В.К. Фищенко Тихоокеанский океанологический институт им. В.И. Ильичева Дальневосточное отделение Российской академии наук презентация

ПОДДЕРЖКИ НАУЧНЫХ ИССЛЕДОВАНИЙ:
СОСТОЯНИЕ В МИРЕ, РОССИИ, ДВО РАН, ТОИ ДВО РАН

концепции GRID - 1998 год

Авторы концепции:
Ян Фостер (Ian Foster), Арагонская национальная лаборатория Чикагского университета;
Карл Кессельиан (Karl Kesselman) - Институт информатики Университета Южной Калифорнии

GRID – географически распределенная инфраструктура, объединяющая множество ресурсов разных типов (процессоры, долговременная и оперативная память, хранилища и базы данных, сети), доступ к которым пользователь может получить из любой точки, независимо от места их расположения. GRID предполагает коллективный разделяемый режим доступа к ресурсам и к связанным с ними услугам в рамках глобально распределенных виртуальных организаций, состоящих из предприятий и отдельных специалистов, совместно использующих общие ресурсы. В каждой виртуальной организации имеется своя собственная политика поведения ее участников, которые должны соблюдать установленные правила. Виртуальная организация может образовываться динамически и иметь ограниченное время существования.

– не аббревиатура
Название Grid возникло из аналогии с электрической сетью-
Electric power grid.
Пользователь последней включает утюг или чайник в розетку и получает необходимое количество электрической энергии, не заботясь, откуда она взялась и какой путь прошла до розетки. Пользователь Grid также легко и просто может дома или на работе получить извне нужные объемы вычислительной мощностей и данных

Чикагского университета

ресурсы:
1 - Хранилища данных
2 - Вычислительные системы
3 – Программы анализа данных и моделирования
4 – Экспериментальные установки
4 – Телекоммуникации
5 – Специалисты

Метаописания ресурсов – основа для принятия решения о создании различных ВО

во всех узлах GRID-сети должно функционировать единое ПО «промежуточного уровня»
Фостер и Кессельман сначала предложили всем использовать инструментальный пакет Globus Toolkit, разработанный под их руководством.
Это не устроило ряд авторитетных научных групп, до того разрабатывавших собственные средства интеграции вычислительных и информационных ресурсов для своих задач
Тогда была предложена идея разработать открытую архитектуру стандартизированных GRID-служб - OGSA, а всем разработчикам использовать любое ПО, поддерживающее эти службы
Сразу же был выпущен пакет Globus Toolkit – 3.0, полностью основанный на архитектуре OGSA
Другие разработчики адаптировали свои пакеты, организовав в них поддержку GRID-служб, входящих в OGSA
Сейчас используются пакеты: Globus Toolkit 4.0, gLit, AliEen, NorduGrid

О программном обеспечении GRID

в ПО «промежуточного уровня»
Для «чайников» разрабатывают портальные надстройки

GridSphere
одно из популярных средств разработки портальных надстроек для GRID - GRID-порталов

по всему миру также стремительно, как это было с Интернетом
Взвешенные прогнозы оправдались – GRID получил значительное распространения в наиболее развитых в научном отношении странах и в ряде высокотехнологичных отраслей научного знания

Прошло 10 лет

работу которых вовлечены десятки тысяч ученых.

Лидеры : США и Канада, страны Евросоюза, Япония, Индия, Китай

Научные отрасли : физика высоких энергий, просто физика, биофизика, геофизика, биология, медицина, химия, науки о Земле, астрономия, моделирование климата, нанотехнологии …

Совокупные объемы данных – сотни Петабайт
( 1 Pb = 1000 Tb = 10 ^ 15 байт)

Совокупная вычислительная производительность – около 10 Петафлоп

Президента США

TeraGrid – национальная вычислительная сеть США

Данные системы мониторинга вычислительных ресурсов на 07.09.09 21:30
----------------------------
14 вычислительных комплексов,
суммарная производительность – 1577 TFlop
Выполняется задач – 1739
Ожидает в очереди - 3307

Laboratory
Lawrence Berkeley National Laboratory
Lawrence Livermore National Laboratory
Los Alamos National Laboratory
National Center for Atmospheric Research
Oak Ridge National Laboratory
University of Southern California/Information Sciences Institute
8 климатических моделей
Исходные данные (атмосфера, океан, литосфера) - около 100 терабайт
Выходные данные – десятки петабайт

Ian Foster, “Global Data Services”, Tutorial at 14th NASA Goddard - 23rd IEEE Conference on Mass Storage Systems and Technologies, May 15, College Park, Maryland

1 - сеть приборов наблюдения
2 - каналы доставки данных с моря на берег
3 - хранилища данных
4 - суперкомпьютерных комплексы
5 – аналитические приложения
6 – средства доставки потребителям

Потребители:
1 - научное сообщество
2 – образовательные учреждения
3 - национальные и региональные органы управления территориями
4 – военные
5 - представители бизнеса

Начат в 2005 году. Конечная цель проекта - создание глобальной GRID-инфраструктуры непрерывного наблюдения за состоянием всего Мирового океана

акваториях вдоль Тихоокеанского побережья США

Пример - система оперативного мониторинга залива Монтерей

разным направлениям исследований
Один из наиболее известных – проект LCG (LHC Computing Grid)
По инициативе Великобритании в 2002 году начато развертывание Паневропейской научной GRID-инфраструктуру - EGEE
(Enabling Grids for E-science in Europe)

Данные на 07.09.09
----------------------------

Grid: BDII Locations / All EGEE compatible projects

Number of Countries = 50
Number of Sites = 332 (with Logos = 149)
Number of (monitored) Resource Brokers = 133
Number of Computing Elements = 612

2006 год – объявлено о завершении работы над образовательным проектом (China Educational Grid Project, CEGP). Объединены информационные и вычислительные ресурсы нескольких десятков университетов
2006 год - начат совместный Grid-проекта Европейского Союза и Китая (EUChinaGRID).
2005-2010 – сроки выполнения проекта по развертыванию национальной GRID-сети Китая

нанотехнологий и информационных технологий настойчиво призывает внедрять технологии GRID в научные исследования. В Перечне программ фундаментальных исследований Президиума РАН на 2009 год есть Программа № 1 «Проблемы создания национальной научной распределенной информационно-вычислительной среды на основе развития GRID- технологий и современных телекоммуникационных сетей».

Мы полагаем, что успехи в области внедрения в научный процесс технологии GRID незначительны и не соответствуют уровню технологически развитых стран.

Практически все исследования по GRID сосредоточены в нескольких центральных институтах РАН и практически совсем не ведутся в региональных отделениях.

В рамках упомянутой GRID-Программы РАН на протяжении ряда лет действовала подпрограмма «Электронная Земля», призванная развивать технологии интеграции информационных и вычислительных ресурсов, в том числе и GRID-технологии, в науках о Земле.

На сайте подпрограммы «Электронная Земля» последние обновления от 2007 года и среди ее участников нет ни одного института из региональных отделений РАН

Intensive GRID, RDIG)

Российский консорциум РДИГ образован в сентябре 2003 года в целях обеспечения полномасштабного участия России в осуществлении проекта EGEE.
В настоящее время в РДИГ входят 10 институтов РАН (6 – физика высоких энергий, 2 – математика, 1 – биология, 1 – Геофизический центр РАН

вычислительных и интеллектуальных ресурсов находится в фокусе постоянного внимания с конца 1990-х годов.
К настоящему времени создано значительное число локальных интеграционных проектов масштаба учреждения и территориального центра СО РАН.
Однако практически во всех проектах для реализации функций интеграции используются не стандартизированные GRID-службы, а собственные разработки, что затрудняет последующую интеграцию ресурсов разных проектов.

Сибирское отделение РАН

в практику научных исследований современных GRID-технологий находятся в начальной стадии.
На базе развернутого в 2004 году вычислительного кластера в Вычислительном центре ДВО РАН (г. Хабаровск) некоторое время назад было анонсировано начало работ по развертыванию GRID-системы ДВО РАН. Однако пока работы в основном сосредоточены в области применения ряда частных GRID-сервисов для предоставления пользователям отделения вычислительных услуг, что явно недостаточно для полноценного GRID-проекта.
Примерно такая же ситуация в ИАПУ ДВО РАН, где основные усилия по GRID-тематике также сосредоточены на предоставлении вычислительных услуг.

в области создания информационных систем, концептуально схожих с GRID, но не GRID в строгом смысле.
Предпринимаются усилия по реорганизации этих проектов в полноценные GRID-системы, реализующие средства управления распределенными хранилищами данных и вычислительными ресурсами, поддерживающие концепцию виртуальных организаций

с 2001 года Назначение : накопление и предоставление ученым ДВО РАН в совместное использование 1 – всех потенциально доступных данных по состоянию Дальневосточных морей 2 – эффективных средств визуализации и аналитической обработки данных 3 – высокопроизводительных вычислительных ресурсов для поддержки трудоемких задач

ресурсам

среды, поверхности и атмосферы Вместе с данными предоставляются аналитические средства для их обработки д

деформографа на МЭС м. Шульца, вместе с эффективными программными средствами их анализа

и суперкомпьютерных вычислений на базе средств Condor и Globus Toolkit

время начата работа по реализации в ОИАС подсистемы оперативного мониторинга побережья и акваторий залива Петра Великого, которая будет вестись с применения инструментального пакета разработки GRID-приложений Globus Toolkit 4.0.

В докладе сотрудника нашего отдела А.В. Голик будет представлены некоторые предварительные результаты в этом направлении

Перспективы проекта ОИАС ДВО РАН

– опасность нарушения естественного биологического видового разнообразия ДВ-морей из-за привнесения новых биологических видов морскими судами

Для мониторинга ситуации была инициирована ЦКП ДВО РАН, в которой участвовало несколько научных институтов РАН. Для поддержки их работы был разработан и применялся GRID-портал на основе технологии GridSphere

средств, предоставляемых портлетом «Биоразнообразие»

«Чукотское море»

разнесенных интеллектуальных, информационных и вычислительных ресурсов
GRID активно развивается в мире, менее активно в России, почти не развивается в региональных отделениях РАН, включая ДВО РАН
Выгоды от применения GRID при исследованиях в области физики геосфер могут быть значительными
В ТОИ ДВО РАН есть опыт разработки концептуально схожих с GRID информационных систем и есть намерение со временем трансформировать эти системы в полноценные GRID-проекты
Сотрудники отдела Информационных технологий ТОИ ДВО РАН готовы рассмотреть предложения от участников конференции, связанные с развитием и применениям в исследованиях технологии GRID