ПРИМЕНЕНИЕ СУПЕРКОМПЬЮТЕРОВ ДЛЯ ОБРАБОТКИ ПОТОКОВ АЭРОКОСМИЧЕСКИХ ИЗОБРАЖЕНИЙ презентация

СУПЕРКОМПЬЮТЕРОВ ДЛЯ ОБРАБОТКИ ПОТОКОВ АЭРОКОСМИЧЕСКИХ ИЗОБРАЖЕНИЙ

Министерство образования и науки Российской Федерации
Российская академия наук

академик РАН Бондур В.Г.,
д.т.н.,профессор Резнев А.А.

Федеральное государственное бюджетное научное учреждение
«Научно-исследовательский институт аэрокосмического мониторинга «АЭРОКОСМОС»

105064, Россия, г.Москва, Гороховский пер., д.4
Тел.: 632-16-54, факс: 632-11-78
E-mail: vgbondur@aerocosmos.info
www.aerocosmos.info

ЗЕМЛИ

Наиболее быстро развивающихся областей деятельности, связанной с использованием изображений, является дистанционное зондирование Земли (ДЗЗ).

В настоящее время около 50 стран мира разрабатывают и изготавливают космические средства, а результатами космической деятельности пользуются около 150 стран.

Земли (ДЗЗ) вносит существенный вклад в экономику развитых стран
Космическая информация используется для:
- проведения исследований в интересах наук о Земле,;
исследования и рационального использования природных ресурсов;
охраны окружающей среды;
предупреждения и ликвидации последствий чрезвычайных ситуаций (природные катастрофы и техногенные аварии);
метеорологии и климатологии;
лесного и сельского хозяйства;
градостроительства, транспорта, энергетики;
создания карт, кадастров различных объектов, формирования геоинформационной продукции;
обеспечение безопасности страны и др.

АКТУАЛЬНОСТЬ ДЗЗ

Черное море

Сочи

Адлер

Этот вид деятельности наиболее восприимчив к инновациям и требует внедрения самых последних достижений фундаментальной и прикладной науки

мониторинге наиболее часто используются оптические (панхроматические (ПАН), многоспектральные (МСИ) и гиперспектральные), а также радиолокационные изображения (РЛИ) различного разрешения:
сверхвысокого и высокого (0,4–7,0 м); среднего (7,0–50,0 м); низкого (50,0–1100 м).
Изображения сверхвысокого и высокого разрешения формируются спутниками с оптической (Ресурс-ДК, Ресурс-П (Россия), GeoEye, QuickBird, WorldView-1,2, Ikonos (США), европейскими КА RapidEye, Spot-5 (детальный режим) и др.) и радиолокационной аппаратурой (TerraSAR-X, TanDEM-X, CosmoSkyMed (ЕКА), Radarsat-2 (Канада) и др.), а также с воздушных носителей.

ТИПЫ АЭРОКОСМИЧЕСКИХ ИЗОБРАЖЕНИЙ

Стадион в Лужниках

МГУ им. М.В. Ломоносова

Москва - Сити

GeoEye-1

разрешения формируются КА с оптической (Landsat (США), японский ALOS (AVNIR-2, PRIZM), французский Spot-5 (обзорный режим) и др.) и радиолокационной аппаратурой (Radarsat-1 (Канада), японский ALOS (PALSAR) и др.)




Обзорные изображения низкого разрешения формируют оптические КА типа МЕТЕОР-М, AQUA, TERRA, Suomi NPP (MODIS), NOAA (AVHRR), геостационарные КА (METEOSAT, GOES , ЭЛЕКТРО-Л) ; радиолокационные КА типа CosmoSkyMed (ЕКА) и Radarsat-1 (Канада).

ТИПЫ АЭРОКОСМИЧЕСКИХ ИЗОБРАЖЕНИЙ

КОСМИЧЕСКИХ ИЗОБРАЖЕНИЙ

Покрытие космическими изображениями зоны приема наземной станции

Работа с базой данных

потребителей применяют изображения, полученные с борта космических аппаратов и воздушных носителей (самолеты, вертолеты, беспилотные летательные аппараты, аэростаты , дельтапланы и др.)для решения различных задач

Для эффективного использования больших объемов данных, поступающих при аэрокосмическом мониторинге, требуется разработка и применение инновационных методов, технологий, программных и технических средств хранения и высокопроизводительной обработки изображений

ИСПОЛЬЗОВАНИЕ АЭРОКОСМЧИЕСКИХ ИЗОБРАЖЕНИЙ

обработка (радиометрическая и геометрическая коррекция; учет влияния атмосферы; географическая привязка; синтез изображений из радиоголограмм и др.) ;
2. Повышение качества изображений (контрастирование; фильтрация; подчеркивание границ; совмещение панхроматических и многоспектральных изображений синтез цветных и псевдоцветных изображений и т.п.) ;
3. Тематическая обработка: классификация (контролируемая, неконтролируемая) на основе различных подходов (детерминированного, непрерывно-группового, синтаксического, статического, нечеткого, нейрокомпьютерного и т.п.); обнаружение изменений в изображениях и др.;
4. Интерпретация изображений (выявление признаков; символьное представление результатов; семантическая интерпретация и др.);
5. Формирование временных рядов тематически сегментированных изображений;
6. Сопоставление результатов обработки разновременных и разнотипных изображений и экспорт их в ГИС.
7. Анализ результатов обработки и формирование обоснованных рекомендаций для принятия решений.

ОСНОВНЫЕ ЭТАПЫ ОБРАБОТКИ АЭРОКОСМИЧЕСКИХ
ИЗОБРАЖЕНИЙ

ОБЕСПЕЧЕНИЕ
ДЛЯ ОБРАБОТКИ АЭРОКОСМИЧЕСКИХ ИЗОБРАЖЕНИЙ

ENVI (EXELIS)
ERDAS ErMapper (INTERGRAPH, ERDAS)
ERDAS Imaging (INTERGRAPH, ERDAS)
GEOMATICA (PCI GEOMATICS)
ASPECT-STAT (АЭРОКОСМОС)
SHELL (АЭРОКОСМОС)
XCLASSIFIER (АЭРОКОСМОС)
DYNCLASSIFIER (АЭРОКОСМОС)
SERIAL Image Analyzer (АЭРОКОСМОС)
ScanMagic (СКАНЕКС)
ScanEx Image Processor (СКАНЕКС)

Существующие программные комплексы обеспечивают предварительную и тематическую обработку изображений.
Однако, они не обеспечивают оперативную обработку данных ДЗЗ и имеют низкую степень автоматизации.

комплексы, предназначенные для обработки изображений, функционируют на различных вычислительных средствах с использованием различных операционных систем.
Для повышения эффективности аэрокосмического мониторинга требуется развитие существующих и разработка новых программных и технических средств обработки данных с целью автоматизации, повышения достоверности и быстродействия.
Особо важную роль для достижения этих целей играет выбор и применение соответствующих вычислительных средств.

ПРОГРАММНЫЕ КОМПЛЕКСЫ ДЛЯ ОБРАБОТКИ
ИЗОБРАЖЕНИЙ

ИНФОРМАЦИИ, ФОРМИРУЕМЫХ
ПРИ АЭРОКОСМИЧЕСКОМ МОНИТОРИНГЕ

для одного многоспектрального космического изображения:

где N1, N2 – размеры сцены вдоль и поперек трассы, м;
R1, R2 – пространственное разрешение вдоль и поперек трассы, м;
r – радиометрическое разрешение, бит;
n – число спектральных каналов.
Например, для одного многоспектрального изображения, полученного со спутника WorldView-2, (N1=N2=20 км, R1 = R2 = 2 м;
r = 11 бит, n = 8),

I ≈ 1.1 ГБ.

ОЦЕНКА ОБЪЕМОВ ОДИНОЧНЫХ МУЛЬТИСПЕКТРАЛЬНЫХ АЭРОКОСМИЧЕСКИХ ИЗОБРАЖЕНИЙ

используются не одиночные аэрокосмические изображения, а потоки изображений, поступающих через определенные интервалы времени для всей контролируемой территории.
Например, система оперативного космического мониторинга пожаров НИИ «Аэрокосмос» использует данные с многоспектральных приборов MODIS (спутники TERRA, AQUA), AVHRR (спутники NOAA), МСУ-МР (спутник МЕТЕОР-М), а также данные высокого и среднего разрешения (спутники RapidEye, Landsat и др.) [Бондур , 2010 , 2011, Bondur , 2010].

ОЦЕНКА ОБЪЕМОВ ИНФОРМАЦИИ, ФОРМИРУЕМЫХ
ПРИ АЭРОКОСМИЧЕСКОМ МОНИТОРИНГЕ

ОПЕРАТИВНОГО КОСМИЧЕСКОГО МОНИТОРИНГА ПОЖАРОВ НИИ«АЭРОКОСМОС»

В.Г.Бондур. Вестник ОНЗ РАН, Том 2, 2010; В.Г.Бондур. Российский космос, №12, 2010; В.Г.Бондур. Исследования Земли из космоса, №3, 2011; Бондур В.Г. Вестник РФФИ, №2 (70)

КОСМИЧЕСКОЙ ИНФОРМАЦИИ АНТЕННЫМИ КОМПЛЕКСАМИ «АЭРОКОСМОС»

изображения MODIS (36 каналов, разрешение 250 м, 500 м, 1000 м), составляет ~ 1 ГБ.
Объем одного изображения AVHRR (5 каналов, разрешение 1100 м) и МСУ-МР (6 каналов, разрешение ~ 1100 м) составляет ~ 100 МБ.
Территория России и близлежащих стран покрывается 7-ю такими изображениями.
Периодичность получения данных системой «Аэрокосмос» - 25 раз в сутки.
Поток исходной обзорной космической информации составляет
~ 120 ГБ в сутки.
Для мониторинга последствий пожаров и оценки эмиссий вредных газов в атмосферу используются также данные среднего и высокого разрешения их объем достигает ~ 100 ГБ в сутки.

ОЦЕНКА ОБЪЕМОВ ИНФОРМАЦИИ,
ФОРМИРУЕМЫХ ПРИ АЭРОКОСМИЧЕСКОМ МОНИТОРИНГЕ

потоков данных, получаемых при оперативном космическом мониторинге для обнаружения и оценки последствий пожаров на территории России и близлежащих стран, ~ 220 ГБ в сутки.
Близкий объем космических данных (~280 ГБ в сутки) формируется государственной территориально-распределенной системой космического мониторинга Росгидромета.
Подобные объемы информации формируются и другими спутниковыми, а также воздушными системами мониторинга.

ОЦЕНКА ОБЪЕМОВ ИНФОРМАЦИИ,ФОРМИРУЕМЫХ
ПРИ АЭРОКОСМИЧЕСКОМ МОНИТОРИНГЕ

ДЛЯ РАЗЛИЧНЫХ
ОДИНОЧНЫХ КОСМИЧЕСКИХ ИЗОБРАЖЕНИЙ, А ТАКЖЕ ПОТОКОВ ИЗОБРАЖЕНИЙ И РЕЗУЛЬТАТОВ ИХ ОБРАБОТКИ.

РЕСУРСОВ ДЛЯ
ОБРАБОТКИ ПОТОКОВ АЭРОКОСМИЧЕСКИХ ИЗОБРАЖЕНИЙ

Процессы обработки данных, формируемых при дистанционном мониторинге, сводятся к выполнению ряда математических операций над цифровыми изображениями.
Наиболее трудоемкими являются операции предварительной обработки растровых цифровых массивов (например, синтез радиолокационных изображений (РЛИ) из радиоголограмм), а также операции типа двумерного быстрого преобразования Фурье (БПФ), являющегося одной из базовых при обработке и классификации изображений. Оценку необходимой производительности ЭВМ проведем на примере этих операций.

двумерного БПФ:
t = 5 N log2(N) / V ,
где,
N – число пикселей в изображении;
V – производительность ЭВМ.
Время выполнения БПФ для одного аэрокосмического изображения размером 40000х40000 пикселей на одном процессоре Pentium 4, 3.6 ГГц, оцененное составляет t~160 с.

ОЦЕНКА ПРОИЗВОДИТЕЛЬНОСТИ БПФ

БПФ

Скорость выполнения двумерного БПФ (нормированная на размер изображения N) в зависимости от N
(с использованием различных библиотек)

Оценка масштабируемости производительности двумерного БПФ на различных многоядерных процессорах
[http://numbercrunch.de/blog/2010/03/parallel-fft-performance/]

БПФ ДЛЯ ИЗОБРАЖЕНИЯ 40000Х40000 ПИКСЕЛЕЙ НА РАЗЛИЧНЫХ СУПЕРКОМПЬЮТЕРАХ.

потоков изображений и каналов мультиспектральных изображений время, затрачиваемое на БПФ, возрастает пропорционально числу обрабатываемых изображений (каналов).

Для обработки 10 изображений с использованием суперкомпьютера IBM Blue Gene/P потребуется 16 с.

Суперкомпьютер «Ломоносов» (МГУ) обработает те же каналы менее чем за 1 с.

ВРЕМЯ ВЫПОЛНЕНИЯ БПФ ДЛЯ ПОТОКОВ ИЗОБРАЖЕНИЙ

ИЗОБРАЖЕНИЙ
В ОДНОМ КАНАЛЕ

где

,

k – номер отсчета сигнала вдоль линии пути;

Nn – количество отсчетов за время синтезирования.

Базовая операция при синтезе РЛИ :

ОПЕРАЦИЙ ПРИ СИНТЕЗЕ
РАДИОЛОКАЦИОННОЫХ СЦЕН

Для синтеза радиолокационной сцены потребуется провести расчёты для каждого пикселя.
Число операций для этой процедуры: K = 4⋅Nn⋅Nx⋅Ny,

где Nx и Ny – размеры радиолокационной сцены.
Для современных радиолокаторов количество отсчетов за время синтезирования Nn ~ 103.

Типовые размеры сцен
Nx⋅Ny ~ 104 пикселей.
Для синтезирования такой сцены необходимо произвести
К = 4⋅1011 операций.
В перспективе К ~1012 операций.

обработки РЛИ производятся и другие операции, требующие существенных затрат компьютерного времени (трансформирование, калибровка, фильтрация, сегментация и др.).
Общее число операций при обработке одного РЛИ ~ 5⋅K.
Тогда обработка одной радиолокационной сцены потребует выполнения 2⋅(5/0.5)⋅1012 = 2⋅1013 операций.
При обработке потоков РЛИ, формируемых при аэрокосмическом мониторинга, одновременно могут обрабатываться не менее 5 изображений.

ОЦЕНКА ЧИСЛА ОПЕРАЦИЙ ДЛЯ ОБРАБОТКИ РЛИ

ЗАТРАТ НА ОБРАБОТКУ 5-ТИ РЛИ
С ИСПОЛЬЗОВАНИЕМ РАЗЛИЧНЫХ ЭВМ.

ВНИИЭФ

Основные характеристики

Универсальная вычислительная многофункциональная ЭВМ с масштабируемой кластерной MIMD-архитектурой с распределенной памятью.

Возможно объединение нескольких компактных супер-ЭВМ в одну кластерную систему.

ПРИМЕНЕНИЯ АЭРОКОСМИЧЕСКИХ МЕТОДОВ МОНИТОРИНГА

КОСМИЧЕСКИЙ МОНИТОРИНГ ПОЖАРОВ

МОНИТОРИНГ ПРИРОДНЫХ ПОЖАРОВ СИСТЕМОЙ «АЭРОКОСМОС»

ОБНАРУЖЕНИЯ ПОЖАРОВ ИЗ КОСМОСА

Пожары в Тюменской, Омской и Новосибирской областями

КРАСНОДАРСКОМ КРАЕ 16 НОЯБРЯ 2010 ГОДА

ПОЖАРОВ В КРАСНОДАРСКОМ КРАЕ ОБНАРУЖЕННЫЕ ИЗ КОСМОСА

18 сентября 2012 12-21 мск

20 сентября 2012 12-08 мск

28 сентября 2011 14-34 мск

РАСПРОСТРАНЕНИЯ ПОЖАРОВ В ЗАВИСИМОСТИ ОТ МЕТЕОУСЛОВИЙ

*В.Г.Бондур. Российский космос, №12, 2010

ОБНАРУЖЕННЫЕ ИЗ КОСМОСА
В РАЙОНЕ МАГИСТРАЛЬНЫХ ЛЭП И НЕФТЕПРОВОДОВ

Магистральные
ЛЭП

Буферные зоны ЛЭП

Магистральные нефтепроводы

Буферные зоны нефтепроводов

*В.Г.Бондур. Российский космос, №12, 2010

ПОЖАРОВ ВБЛИЗИ ФЕДЕРАЛЬНОГО ЯДЕРНОГО ЦЕНТРА (Г.САРОВ) 11 АВГУСТА 2010 Г.

*В.Г.Бондур. Российский космос, №12, 2010

ИЗ КОСМОСА ОЧАГОВ ПОЖАРОВ (САЙТ http://www.aerocosmos.info/)

В РОССИИ ЛЕТОМ 2010 Г.

Площади пройденные огнем с июня по август 2010 г.

На территории Европейской части России

На территории Московской области

Относительное количество пожаров по месяцам
в 2010 г. в Европейской части РФ

Изменения температур в июле 2010 г. по сравнению со средними температурами этого месяца в 2002-2009 гг.

*В.Г.Бондур. Российский космос, №12, 2010

ЦЕНТРАЛЬНОЙ ЧАСТИ РОССИИ
(26 июля 2010)

В.Г.Бондур. Вестник ОНЗ РАН, Том 2, 2010; В.Г.Бондур. Российский космос, №12, 2010

концентрации СО для 15 августа 2010 г. спутник AQUA (аппаратура AIRS)

Эмиссии СО с 1 июня по 31 августа 2010 г. по данным «АЭРОКОСМОС»

На территории Европейской части России

На территории Московской области

ОЦЕНКА ЭМИССИЙ УГАРНОГО ГАЗА (СО)
ПО КОСМИЧЕСКИМ ДАННЫМ

*В.Г.Бондур. Российский космос, №12, 2010

ПРИМЕНЕНИЯ РАЗРАБОТАННЫХ МЕТОДОВ, АВТОМАТИЗИРОВАННОЙ ОБРАБОТКИ МУЛЬТИСПЕКТРАЛЬНЫХ АЭРОКОСМИЧЕСКИХ ДАННЫХ

ОБЪЕКТОВ С ИСПОЛЬЗОВАНИЕМ «КОДОВОЙ КНИГИ» ТРИПЛЕТОВ КОНТУРОВ

Пример
выявления триплетов на основании анализа теней от людей

Иллюстрация метода

Примеры возможных контуров людей

АВТОТРАНСПОРТА И РАСЧЁТ ПЛОТНОСТИ ДВИЖЕНИЯ ПО КОСМИЧЕСКИМ ИЗОБРАЖЕНИЯМ

Исходное космическое изображение

Определение зоны интереса

Выделение участка автодороги

Классификация изображения и выделение автотранспорта

Расчёт плотности движения в области интереса

ДОРОЖНОЙ СЕТИ И
СООРУЖЕНИЙ С ИСПОЛЬЗОВАНИЕМ СВЁРТОЧНЫХ ФИЛЬТРОВ

Метод контрастирования линейных и граничных объектов

Метод с применением свёрточных масок Собеля для линейных объектов

Исходное изображение

Результат контрастирования линейных и граничных объектов

Карта выделенных сооружений
и дорожной сети

Исходное изображение

Применение масок Собеля

Карта выделенных сооружений и дорожной сети

РАЗРАБОТАННОГО ПРОГРАММНОГО МОДУЛЯ «МУЛЬТИКЛАСС»

Реализуемые функции:
классификация на основании дискриминантных функций при установке весов вручную и автоматически в соответствии с кривой ошибок;
построение кривой ошибок для случая простых и сложных альтернатив, а также двух сложных альтернатив;
распознавание с использованием кластеризации обучающей выборки;
многоклассовое распознавание методом минимального риска;
распознавание по обобщенному кубу меньшей размерности, полученному методом разделения смесей;
определение количественных характеристик с помощью нейронной сети;
соединение разнородных геопривязанных данных для совместной обработки

изображение

Маска леса

Породный состав леса

ОПРЕДЕЛЕНИЕ ПОРОДНОГО СОСТАВА ЛЕСА С ИСПОЛЬЗОВАНИЕМ ПРОГРАММНОГО МОДУЛЯ «МУЛЬТИКЛАСС»

Многоклассовое распознавание методом минимального риска

изображение

Площадь
проективного покрытия

Обучающие участки для определения проективного покрытия

Обучение нейросетевого алгоритма

ОПРЕДЕЛЕНИЕ ПЛОЩАДИ ПРОЕКТИВНОГО ПОКРЫТИЯ ЛЕСА С ИСПОЛЬЗОВАНИЕМ ПРОГРАМНОГО МОДУЛЯ «МУЛЬТИКЛАСС»

Нейросетевой алгоритм с использованием градиентной процедуры поиска локальных и глобального экстремума функций

ПОДСТИЛАЮЩЕЙ ПОВЕРХНОСТИ С ПОМОЩЬЮ ПРОГРАМНОГО МОДУЛЯ «МУЛЬТИКЛАСС»

Разновременные
гиперспектральные изображения

Байесовский подход с установкой весовых коэффициентов на основании кривой ошибок для случая сложных классов

ОСЕНЬ

ВЕСНА

ВЕСНА

темный

Бетон

Лес
Грунт темный
Грунт светлый

Вода
Бетон
Селитебные земли

КАРТЫ ЗАМЕЩЕНИЙ ТИПОВ ПОДСТИЛАЮЩЕЙ ПОВЕРХНОСТИ

свидетельствуют о необходимости и возможности использования суперкомпьютеров для обработки потоков изображений, формируемых при аэрокосмическом мониторинге для решения различных задач.

При этом необходимо иметь в виду, что с увеличением производительности ЭВМ невозможно добиться их пропорционального снижения скорости вычислений.

ЗАКЛЮЧЕНИЕ

ВНИМАНИЕ!