Google Maps для данных Geoscience Digital Earth

Спутники наблюдения Земли генерируют много данных, и их объем растет в геометрической прогрессии.

Существующий набор данных огромен, собранный парком спутников, таких как миссии США Landsat и MODIS, которые с начала 1970-х годов вращались вокруг планеты в течение 16-дневного цикла. Новые спутники, такие как японская Himawari-8, делают снимки страны каждые 10 минут. Файлы тоже большие; Европейские спутники Sentinel делают снимки с разрешением 10 метров.

Ученые, желающие анализировать, тщательно изучать и сравнивать различные регионы и изменения во времени, сталкиваются с серьезной проблемой обработки данных. Существуют разные типы файлов и координатные проекции, и данные должны быть получены из разных наборов данных.

Снимки наводнений в Квинсленде в 2017 году, снятые программой Европейского космического агентства "Коперник"

Когда «профессиональная необходимость» отнимает половину времени исследователя, работа по сбору спутниковых данных стала настолько громоздкой, что многие проекты теперь «неосуществимы», объясняет NCI, Национальная вычислительная инфраструктура, базирующаяся в ANU.

Чтобы решить эту проблему, Geoscience Australia работает над платформой Digital Earth Australia (DEA), которая предложит «готовые к анализу» данные в удобном пользовательском интерфейсе в стиле Google Maps.

Powering DEA - это новая служба данных, разработанная NCI под названием GSKY, которая была представлена ​​на этой неделе.

Исследовательская группа NCI по исследованиям и инициативам подошла к проблеме, «пересмотрев варианты обработки по требованию», заявили в организации.

«По сути, GSKY сочетает в себе все преимущества пользовательских интерфейсов, присутствующих в современных интерфейсах картографирования - своего рода аналог Google Maps, - с многомерными геопространственными данными, которые хранятся в NCI. Даже если запросы охватывают большую географическую область, служба NCI может обрабатывать запросы в миллисекундах - или практически мгновенно, если это касается пользователя », - пояснил представитель NCI.

DEA фигурирует в федеральном бюджете этого года, получив $ 15,3 млн. Финансирования. Проект получит Вдобавок 36,9 млн. Долл. США в течение следующих четырех лет.

«Digital Earth Australia - это революционный проект, и добавление функциональности NCI GSKY значительно повысит его полезность», - сказал директор программы DEA доктор Тревор Дху.

«Раньше, если исследователи хотели получить доступ к нашим данным, они должны были знать, где и как эти данные были сохранены, вручную выбирать соответствующие файлы и либо приходить в NCI, либо где-нибудь загружать свои данные для собственного анализа. GSKY предоставил нам простой способ передать эти данные в руки широкого круга пользователей и является первым шагом на пути к раскрытию возможностей спутниковых данных в Австралии », - сказал он.

Циклон Дебби захвачен ЕКА

Есть надежда, что DEA и анализ GSKY в режиме реального времени принесут значительные выгоды правительству и промышленности, в частности, сельскому хозяйству и добыче полезных ископаемых.

По его словам, «это позволит создать новый класс рабочих процессов, требующих больших объемов данных, и оперативно ответить на важные вопросы, такие как определение областей, где растительный покров демонстрирует риск лесного пожара».

Есть также выгода для пространственной информации и индустрии услуг. Исследования предсказал этот доступ к новым спутниковым изображениям может создать 12 600 новых рабочих мест в разработке приложений и услуг на основе данных.

«Благодаря шуму, связанному с машинным обучением, глубоким обучением и искусственным интеллектом, GKSY предлагает дразнящий взгляд в будущее этой процветающей области информатики», - сказал представитель NCI.

«Подобно людям, алгоритмы, обеспечивающие машинное обучение, требуют доступа к большим заранее подготовленным коллекциям данных - то, над чем GSKY справляется очень быстро».

Озеро Маккей, самое большое из серии эфемерных соляных озер в Западной Австралии и Северной Территории

GSKY объяснил

GSKY использует несколько программных систем, разработанных командой NCI, и лучшие способы организации наборов данных. Здесь они объясняют, как это работает:

Для каждого источника данных базовые данные сначала организуются в наборы версий временных рядов. Затем NCI использует программное обеспечение под названием MAS (поиск по метаданным), которое сканирует и сохраняет все метаданные, связанные с файлами данных, и делает их доступными для программного обеспечения (такого как GSKY), требующего чрезвычайно быстрого и глубокого поиска. MAS поддерживается в актуальном состоянии благодаря использованию «сканеров» для поиска новых или измененных данных в петабайтах NCI коллекций данных.

Базовый вычислительный движок GSKY запрограммирован, чтобы обеспечить рабочий процесс, способный создавать масштабируемую систему распределенной обработки, чтобы использовать преимущества параллельной обработки с использованием сотен ядер ЦП.

Внутренний конвейер GSKY состоит из отдельных модулей, которые объединены в сеть для создания управляемого рабочего процесса.

Первым этапом рабочего процесса является определение намерений пользователя с помощью заданных параметров, то есть местоположения и сроков запрашиваемой информации. Движок анализирует этот запрос и использует систему индексации для идентификации файлов, которые содержат соответствующие данные.

Затем на втором этапе извлекаются необходимые данные из каждого найденного файла и выполняются необходимые преобразования в соответствии с запросом пользователя. Этот модуль особенный - рабочая нагрузка может быть распределена между многими компьютерными узлами в кластере. Это решение было принято разработчиками для уменьшения высокой загрузки ЦП и ввода-вывода, которые они обнаружили при запуске этого модуля.

Удаленные вызовы процедур (RPC) распределяют работу по кластеру выделенных узлов реального времени, а затем восстанавливают информацию после завершения обработки.

Эти отдельные фрагменты файлов затем объединяются, масштабируются и, наконец, генерируются и отправляются обратно в приложения, использующие обычно используемые системы сетевых запросов, в виде файлов изображений или необработанных данных.

Похожие

Комментарии