Технологии grid из игрушки ученых и разработчиков становятся инструментами, активно используемыми в бизнесе. Однако под этим термином разные компании подразумевают немного разные вещи. Общепринятым сегодня считается деление систем класса grid на вычислительные и бизнес-системы, хотя и оно достаточно условное. Системы для объемных вычислений используются в работе финансовых учреждений, а распределенные базы данных, характерные для бизнес-систем, функционируют на вычислительных кластерах. Этот небольшой обзор технологий grid и участия различных производителей в их развитии и продвижении на рынок коснется именно сетевых вычислений — тема бизнес-grid сама по себе достаточно велика и заслуживает отдельного рассмотрения.

Сетевые вычисления (grid computing), о которых так много говорят последние два года, в сущности, не являются новым явлением. Идея использования простаивающих вычислительных ресурсов, лежащая в центре концепции grid, владеет умами компьютерных специалистов с 80-х и даже с 70-х годов XX века. Сам термин возник в середине 90-х годов и обозначал распределенную вычислительную инфраструктуру для сложных инженерных и научных расчетов. Постоянный прогресс в этой области и решение все новых классов задач привели к расширению понятия. Сегодня, говоря о grid, обычно имеют в виду промежуточное ПО (middleware), программный инструментарий и прикладные программы, способные работать в географически распределенной и неоднородной вычислительной среде.

Grid возник из потребности ученых не только обмениваться данными по сети, но и совместно использовать программное обеспечение, вычислительные ресурсы и даже уникальное специализированное оборудование, такое, как телескопы или микроскопы. В коммерческих организациях также существуют задачи, требующие объединения вычислительной техники в географически распределенной среде. Это укрупнение центров обработки данных, объединение корпоративных прикладных систем, информационное обслуживание по запросу, взаимодействие бизнесов через Интернет, а также все, что требует ресурсоемких расчетов: геологоразведка, финансовый анализ, моделирование лекарственных препаратов, прогноз погоды и т. д. Переход grid-технологий с академических на коммерческие рельсы проходит по сценарию, похожему на тот, что был сыгран в Интернете: от лабораторной технологии к широкому применению в бизнесе.

Рост потребностей в вычислительных ресурсах и стремление сократить расходы на оборудование — основные движущие стимулы развития grid-технологий. Несмотря на то что сегодняшний персональный компьютер мощнее суперЭВМ Cray 15-летней давности, спрос на вычислительные мощности сегодня так же далек от насыщения, как и тогда — увеличение точности анализа финансового рынка или прогноза погоды на проценты требует увеличения времени расчетов в разы. Решение проблемы с помощью grid выглядит очень заманчиво: вместо того чтобы приобретать суперкомпьютер, можно добавить в систему стойку недорогих стандартных серверов или даже ПК. А можно использовать мощности уже имеющихся компьютеров в сети предприятия — средняя загрузка их процессоров, как правило, не превышает нескольких процентов.

Вычислительный grid

Для объяснения принципов устройства вычислительных сетей часто проводят аналогии с сетями электрическими. «Нынешняя ситуация с вычислениями напоминает ситуацию с электричеством в 1910 году, — пишет Айан Фостер. — В то время уже была возможна выработка электроэнергии и появлялись все новые устройства, работающие на электроэнергии, однако нужда в отдельном генераторе для каждого потребителя сдерживала развитие. Революция заключалась не столько в появлении электричества, сколько в развитии электрических сетей и связанных с ними технологий передачи и распределения электроэнергии. Вместе взятые, эти разработки обеспечили надежный и недорогой доступ к стандартному универсальному источнику энергии, которая на протяжении большей части истории была доступна в сырых и плохо трансформируемых формах (мускульная сила человека и лошади, водяные приводы, паровые машины, свечи и т. п.). Открыв доступ к универсальной энергии, электрические сети сделали возможным как появление новых устройств, так и новых производств, на которых изготавливались эти устройства».

Сегодня термином grid, обладающим в английском языке как значением «сетка, решетка», так и «энергетическая система», называют самые разные вещи, имеющие отношение к взаимодействию распределенных систем. Говорят о «вычислительном grid», «научном grid», «grid доступа к данным», «кластерном grid», «сенсорном grid», «grid знаний» и т. д. У неспециалистов вполне резонно возникает вопрос, что же такое grid, — получается, что при желании можно назвать простой доступ к файлам через сеть «grid хранения данных», или вообще определить персональный компьютер как «ПК-grid», коль скоро он сочетает в себе вычислительные ресурсы, оперативную память, диск и сетевой контроллер. В каком-то смысле ситуация с определением grid сегодня напоминает ситуацию с определением Интернета в начале 90-х годов. Тогда шли разговоры о том, входят ли в Интернет сети, построенные на частных стандартах, или являются ли Интернетом локальные сети. Ситуация прояснилась, когда об Интернете стали говорить в терминах использования протокола IP и единого адресного пространства.

Одно из ранних (1998 г.) определений вычислительного grid, данное Карлом Кессельманом и Айаном Фостером, гласит: «Вычислительный grid является программно-аппаратной инфраструктурой, которая обеспечивает надежный, совместимый, повсеместный и недорогой доступ к вычислительным ресурсам большой мощности». Затем, в 2000 году, к этому определению добавилось «координированное распределение ресурсов и решение проблем в динамических виртуальных организациях». По предложению Айана Фостера, систему можно называть grid, если она:

1) координирует ресурсы, которые не контролируются централизованно. Например, объединяются компьютерные системы, находящиеся в разных организациях или разных административных единицах одной компании. Система должна решать вопросы политики доступа, безопасности, оплаты услуг и т. д., которые возникают в гетерогенных системах. В ином случае можно говорить о локально управляющейся системе;

2) задействует открытые, стандартные протоколы и интерфейсы общего назначения. Эти протоколы и интерфейсы используются для решения таких базовых вопросов, как аутентификация, авторизация, поиск ресурсов и доступ к ним. Если протоколы не являются стандартными и открытыми, система является специализированной в отношении приложения;

3) предоставляет новое качество. Объединяя различные ресурсы, grid позволяет предоставить новый уровень сервиса с точки зрения времени отклика, пропускной способности, доступности, безопасности и т. д. Иными словами, польза от всей системы существенно больше, чем от простой суммы составляющих ее частей.

Исходя из этих критериев, из определения grid выпадают кластерные системы, такие, как Sun N1 Grid Engine или Portable Batch System компании Veridian. Будучи инсталлированы на параллельном компьютере (кластере) или в локальной сети, они обеспечивают заданный уровень безопасности, качества обслуживания и других характеристик. Однако эта система не является grid из-за полного контроля над индивидуальными компонентами и скорее подходит под определение конструкции с централизованным управлением. С другой стороны, Интернет не может называться grid — хотя доступ к распределенным системам здесь обеспечивается с помощью стандартизованных и открытых протоколов, эти ресурсы не используются координированно.

Наибольшего развития (в плане соответствия вышеприведенным критериям) grid достиг в международных научных проектах, таких как распределенные системы хранения данных GriPhyN , PPDG, EU DataGrid, iVDGL, DataTAG  или, например, распределенный суперкомпьютер DAS-2, связывающий кластеры в пяти датских университетах (www.cs.vu.nl/das2/). Масштабы систем, используемых в коммерческих целях, пока не достигают размаха этих проектов, и под вычислительным grid здесь часто подразумевают один или несколько кластеров, связанных друг с другом.

Проблема

Очевидно, что «прозрачно» использовать вычислительные мощности в географически распределенных неоднородных компьютерных системах можно лишь при выполнении достаточно строгих условий, в большинстве случаев требующих переделки вычислительной задачи. Во-первых, вычислительная задача должна поддаваться разбиению на отдельные подзадачи, которые могли бы исполняться независимо. Во-вторых, эти подзадачи нужно каким-то образом раздать вычислительным узлам и собрать результаты. Причем делать это нужно в среде, где доставка задания и его выполнение не могут быть гарантированы: отдельные узлы grid могут не работать или дать сбой в процессе расчета. Первое условие — возможность параллельного выполнения задачи лежит на разработчиках прикладного ПО для grid, вторую же проблему решает промежуточное программное обеспечение (middleware), реализующее прозрачность grid для прикладных программ, которым не нужно «знать» конкретных деталей архитектурной реализации.

Решение

Успехам распределенных вычислений, достигнутым к настоящему времени, способствовал ряд факторов: активность международного сообщества исследователей и ранних приверженцев технологии, ранняя формулировка ясных архитектурных принципов построения прикладных программ, появление стандартного де-факто программного обеспечения (в особенности инструментария Globus, www.globus.org). Альянс Globus был сформирован несколькими исследовательскими организациями США, в том числе Аргонской национальной лабораторией и Университетом г. Чикаго, разработки спонсируются Агентством передовых оборонных разработок США (DARPA) и Национальным научным фондом (NSF). Вместе с академическими институтами активно участвуют в разработках общедоступных стандартов и кода крупнейшие ИТ-компании, сформировавшие ряд альянсов. Ключевыми являются Global Grid Forum (GGF) и Enterprise Grid Alliance (EGA).

GGF, в который входят Ascential, DataSynapse, IBM, Microsoft, Oracle, Platform Computing, Sun Microsystems и другие, работает над созданием стандартов, позволяющих широкому спектру промежуточного ПО и прикладных программ взаимодействовать друг с другом в grid. Список разработанных стандартов включает Open Grid Services Architecture (OGSA), Open Grid Services Infrastructure (OGSI), а также Web Services Resource Framework (WSRF), позволяет использовать существующие стандарты веб-служб для идентификации и использования ресурсов grid.

Альянс EGA, образованный Hewlett-Packard, Oracle, Sun Microsystems и другими компаниями, но без участия IBM, Microsoft и Platform Computing, ставит своей задачей обеспечение взаимодействия в grid корпоративных прикладных программ.

Буквально перед выходом этого номера, 24 января 2005 года, был образован еще один альянс. С целью коммерческого продвижения Globus Toolkit компании Hewlett-Packard, IBM, Intel и Sun Microsystems при участии Nortel Networks и Univa основали структуру под названием Globus Consortium. Globus Consortium не является учредителем стандартов и должен работать в тандеме с существующими разрабатывающими стандарты организациями, в первую очередь — c GGF.

(Продолжение следует.)