Обзор применений глубокого обучения для обнаружения объектов на данных дистанционного зондирования

📖 Gui, S.; Song, S.; Qin, R.; Tang, Y. Remote Sensing Object Detection in the Deep Learning Era — A Review. Remote Sensing. 2024, 16, 327. https://doi.org/10.3390/rs16020327

Представлен современной обзор применений методов глубокого обучения для обнаружения объектов (object detection) в данных дистанционного зондирования Земли (ДЗЗ), а также для решения задач сегментации — instance segmentation и panoptic segmentation.

Анализ методов проводится по группам, в зависимости от типа данных (оптические радарные, цифровые модели поверхности) и их пространственного разрешения. Рассмотрены стратегии обучения для мультимодальных источников данных ДЗЗ, проблемы дисбаланса меток и категориальной несогласованности.

Обзор начинается с краткого представления типичных сенсоров и разрешений данных ДЗЗ. Затем рассматриваются основные подходы к обнаружению объектов и сегментации данных. Приведено краткое описание наиболее распространенных наборов данных в этой области ⬆️. Указаны основные задачи ДЗЗ, в которых достигнут наиболее значительный прогресс, pf счёт применения глубокого обучения. В завершение, авторы высказывают свои соображения о текущем положении дел в области обнаружения объектов и тенденциях её развития.

#нейронки

DeepForest (https://deepforest.readthedocs.io/en/latest/) — это пакет на языке Python для обнаружения и классификации объектов на RGB-снимках (сверх)высокого пространственного разрешения. Он использует сети глубокого обучения и построен на основе модуля обнаружения объектов из пакета torchvision.

DeepForest предназначен для упрощения обучения моделей обнаружения природных объектов, в частности, деревьев. Разработчики старались сделать его простым, настраиваемым и модульным, скрывая ненужные сложности от пользователя. Вот, например, как выглядит разметка снимка предобученной моделью:

from deepforest import main
from deepforest import get_data
import matplotlib.pyplot as plt

model = main.deepforest()
model.use_release()

sample_image_path = get_data("OSBS_029.png")
img = model.predict_image(path=sample_image_path, return_plot=True)

plt.imshow(img[:,:,::-1])

DeepForest содержит две предобученные модели: Bird Detection и Tree Crown Detection.

Пакет неплохо документирован, снабжен примерами использования, а также советами по настройке, обучению и расширению возможностей.

🖥 Пример работы DeepForest в Google Colab (с инсталляцией пакетов)

В документах есть ссылки на публикации с описанием DeepForest, использованные для обучения снимки находятся в открытом доступе. Есть и “сторонние” примеры использования DeepForest:

🔗 Tree crown detection using DeepForest

#нейронки #python #лес

У репозитория методов применения глубокого обучения к данным дистанционного зондирования satellite-image-deep-learning есть свой сайт на Substack — https://www.satellite-image-deep-learning.com, на котором удобно следить за новостями применения глубокого обучения в ДЗЗ.

#нейронки

Croissant — новый формат описания наборов данных, используемых в машинном обучении [ссылка]. Он разработан, чтобы облегчить специалистам работу с наборами данных в различных платформах и репозиториях машинного обучения. Создание или изменение описаний наборов данных Croissant поддерживается с помощью визуального редактора и библиотеки Python.

Подробную информацию о запуске Croissant можно найти на сайте ML Commons и в блоге Google Research.

#нейронки

The BioMassters — соревнование по оценке надземной биомассы леса методами машинного обучения [ссылка].

Задача BioMassters заключалась в оценке годовой биомассы участков леса размером 2560 х 2560 м, расположенных в Финляндии, с помощью ежемесячных снимков Sentinel-1 и Sentinel-2, полученных на тех же участках. В качестве исходных, использовались данные воздушного лидара и натурных измерений, ежегодно проводимых Финским лесным центром.

Соревнование состоялось в прошлом году, но его результаты находятся в открытом доступе.

🛢 Репозиторий моделей-победителей

#AGB #лес #нейронки

Компания Satellogic объявила о выпуске открытого набора данных снимков высокого разрешения для обучения моделей искусственного интеллекта [ссылка].

В наборе содержится около 3 млн снимков Satellogic с пространственным разрешением 1 м и размером 384 х 384 пикселя, собранных по всему миру (6 млн снимков, включая повторные посещения мест). Снимки охватывают различные типы землепользования, объекты, географические регионы и времена года. Данные Satellogic распространяются по лицензии Creative Commons CC-BY 4.0, что позволяет использовать их в коммерческих целях с указанием авторства.

Полный набор данных доступен на сайте Hugging Face как часть проекта EarthView. EarthView объединяет данные Satellogic с ранее выпущенными данными Neon, Sentinel-1 и Sentinel-2.

🛢 Данные Satellogic на Hugging Face. Для доступа к данным необходимо сообщить контактную информацию о себе.

📸 Пространственное покрытие данными EarthView

Satellogic обещает вскоре опубликовать статью с описанием данных EarthView и выпустить базовую модель, построенную на основе этих данных — автоэнкодер с маской (masked autoencoder). Ссылки на статью и модель будут помещены на странице набора данных.

#нейронки #данные

Hisea-1 SAR Floodwater Mapping Dataset

Набор данных создан на основе 20 снимков китайского радарного спутника Hisea-1, полученных во время трёх различных наводнений в 2021 году. Все снимки являются продуктами ORG (orthorectification geolocation) уровня 2, снятыми в маршрутном режиме с пространственным разрешение 3 м и имеют поляризацию VV (вертикально-вертикальную).

Все снимки размечены вручную. Все наборы образцов распределены случайным образом в соотношении 6:2:2 и разделены на 1404 обучающих набора, 468 проверочных и 468 тестовых наборов (всего 2340 образцов данных).

Набор данных охватывает площадь 20 тыс. кв. км и содержит реки, притоки, водохранилища, озера и рисовые поля. Он может быть использован для глубокого обучения в задачах выделения областей затопления.

🛢 Данные на Zenodo

📖 Lv, S., Meng, L., Edwing, D., Xue, S., Geng, X., & Yan, X.-H. (2022). High-Performance Segmentation for Flood Mapping of HISEA-1 SAR Remote Sensing Images. Remote Sensing, 14(21), 5504. https://doi.org/10.3390/rs14215504 — описание создания набора данных и обучение моделей на его основе.

#нейронки #данные #наводнение

Набор данных WorldStrat (https://worldstrat.github.io) содержит бесплатные спутниковые снимки высокого и среднего разрешения общей площадью около 10 тысяч кв. км, которые обеспечивают стратифицированное представление основных типов землепользования по всему миру.

К каждому снимку высокого разрешения (1,5 м/пиксель) прилагается несколько соответствующих ему по времени снимков среднего разрешения со спутников Sentinel-2 (10 м/пиксель).

🛢 Данные на Zenodo

🖥 Код на GitHub. Здесь есть несколько предобученных моделей для повышения пространственного разрешения снимков ДЗЗ (т.н. “super-resolution”), а также python-пакет для создания или расширения набора данных.

📖 J. Cornebise, I. Oršolic, F. Kalaitzis. (2022) High-Resolution Satellite Imagery: The WorldStrat Dataset – With Application to Super-Resolution, Advances in Neural Information Processing System 35, Proceedings of NeurIPS 2022. URL: https://openreview.net/forum?id=DEigo9L8xZA

#данные #нейронки

ДЗЗ в Substack

Substack — это бесплатный сервис почтовых рассылок. Основная форма контента — текст от определённого автора. Рассылка может приходить на почту, её можно прочитать в браузере, а также в специальном приложении.

В Substack есть интересные рассылки, посвящённые ДЗЗ и геопространственным данным. Вот небольшой список, с авторскими аннотациями:

🔹 Spectral Reflectance
By Akis Karagiannis
News, technical posts and research on Earth Observation.

🔹 TerraWatch Space Insights
By Aravind
The TerraWatch Space newsletter is the go-to resource for analysis, insights & deep-dives on Earth Observation, Satellite Data and its Applications!

🔹 Remote Sensing News
By Rafaela Tiengo
A newsletter with the most recent news, tips, tutorials, conferences and more about Remote Sensing and Geoscience. Feel free to subscribe!

🔹 Earthbound
By Priya Patel
Read the latest in earth observation research through easy-to-understand, weekly summaries. We also provide more detailed articles on climate, data science, and more!

🔹 satellite-image-deep-learning
By Robin Cole
Newsletter on deep learning with satellite & aerial imagery.

🔹 Data as Community Commons
By Samapriya Roy
Communities are what communities build together. Deep dive with me on Open Geospatial Datasets as I explore a few through my work with the Earth Engine Community Catalog. Let's explore accessibility to & with data

🔹 Open-Source Solutions for Geospatial Analysis
By Bonny P McClain
Our built infrastructure holds the key to calculating probabilistic risk of harms and inequity in achieving UN sustainable goals -- let’s explore the tools and steps for intervention.

🔹 A Closer Look with Joe Morrison
By Joe Morrison
Irregular essays on maps, satellites, and the businesses that create them.

#справка #нейронки #данные

Обзор методов извлечения дорог из данных дистанционного зондирования высокого разрешения с помощью глубокого обучения

📖 Liu, R., Wu, J., Lu, W., Miao, Q., Zhang, H., Liu, X., Lu, Z., & Li, L. (2024). A Review of Deep Learning-Based Methods for Road Extraction from High-Resolution Remote Sensing Images. Remote Sensing, 16(12), 2056. https://doi.org/10.3390/rs16122056

В статье представлен систематический обзор методов извлечения дорог из данных дистанционного зондирования Земли (ДЗЗ) высокого разрешения при помощи глубокого обучения. В зависимости от типа аннотированных данных, методы глубокого обучения делятся на обучение с учителем, без учителя и с частичным привлечением учителя (supervised learning, unsupervised learning, semi-supervised learning), каждый из которых подразделяется на более детальные подкатегории. Методы подвергаются сравнительному анализу на основе их принципов, преимуществ и ограничений. Кратко описаны метрики, используемые для оценки эффективности моделей выделения дорог, и наборы данных изображений ДЗЗ высокого разрешения, применяемые для выделения дорог (DeepGlobe, Massachusetts и др.). Обсуждаются основные проблемы и перспективы использования развития методов выделения дорожной сети по данным ДЗЗ.

📸 Классификация методов выделения дорог

#обзор #нейронки

Раннее обнаружение дыма лесных пожаров по снимкам Landsat с помощью облегченной сверточной нейросети

📖 Zhao, L., Liu, J., Peters, S., Li, J., Oliver, S., & Mueller, N. (2022). Investigating the Impact of Using IR Bands on Early Fire Smoke Detection from Landsat Imagery with a Lightweight CNN Model. Remote Sensing, 14(13), 3047. https://doi.org/10.3390/rs14133047

Шлейф дыма — первое, что видно из космоса при возникновении лесных пожаров. Поэтому обнаружение дыма важно для раннего обнаружения пожара.

Для обнаружения дыма на спутниковых снимках использовано глубокое обучение.

Создан набор данных, состоящий из 1836 изображений трех классов: “Smoke”, “Clear” и “Other_aerosol”. Каждое изображение состоит из шести каналов снимков, полученных спутниками Landsat 5 и Landsat 8 с пространственным разрешением 30 метров.

Для использования модели обнаружения дыма на борту малого космического аппарата (например, такого) разработана облегченная модель сверточной нейронной сети (CNN) — Variant Input Bands for Smoke Detection (VIB_SD), которая достигла конкурентоспособной точности с современной моделью SAFA, имея менее 2% от ее количества параметров.

Исследование показало, что модель, обученная с использованием мультиспектральных спутниковых данных, может эффективно обнаруживать смешанный с облаками дым от пожара на небольших географических территориях.

📸 Шлейфы дыма от лесных пожаров на снимках Landsat-8 OLI.

#пожары #нейронки

Обнаружение кораблей на радарных снимках Umbra [ссылка]

Несколько недель назад компания Umbra, занимающаяся спутниковой радарной съемкой, выложила в открытый доступ почти 1000 спутниковых снимков кораблей по всему миру [ссылка]. Снимки доступны в нескольких форматах и их общий размер составляет почти 7,5 ТБ.

В статье описан процесс обучения модели обнаружения кораблей, работающей на радарных снимках Umbra. Использована модель YOLOv5 и набор данных High-Resolution SAR Images Dataset (HRSID) для её обучения.

#SAR #нейронки #данные

Российские ученые предложили нейросетевой подход для прогнозирования засух на период от нескольких месяцев до года [ссылка]

Метод основан на использовании доступных ежемесячных климатических данных. Специалисты Сколтеха и Сбера разработали несколько нейросетевых моделей, которые протестировали на данных по пяти регионам, расположенным на разных континентах и в разных климатических зонах. Климатологи спрогнозировали вероятность засух на севере Казахстана, в Польше, штате Миссури (США), штате Гояс (Бразилия) и индийском штате Мадхья-Прадеш.

Лучшие результаты показала модификация модели EarthFormer на основе трансформера. Для долгосрочного прогнозирования больше всего подходит модификация модели ConvLSTM.

Прогнозы засух помогут сельскохозяйственным предприятиям в планировании своей деятельности, а страховщикам и банкам в оценке соответствующих рисков.

📖 Препринт на arXiv
📖 Marusov, A., Grabar, V., Maximov, Y., Sotiriadi, N., Bulkin, A., & Zaytsev, A. (2024). Long-term drought prediction using deep neural networks based on geospatial weather data. Environmental Modelling & Software, 179, 106127. https://doi.org/10.1016/j.envsoft.2024.106127

#засуха #нейронки

geodl

В R есть множество пакетов для работы с пространственными данными. А вот пакетов, где для анализа таких данных используются методы глубокого обучения (deep learning, DL), напротив, совсем мало.

Недавно появился пакет geodl, предоставляющий инструменты для семантической сегментации пространственных данных с помощью DL на основе свёрточной нейронной сети (CNN).

geodl построен на базе пакета torch, который поддерживает реализацию DL с помощью языков R и C++ без необходимости установки среды Python/PyTorch. Это значительно упрощает программную среду, необходимую для реализации DL в R. Растровые данные в geodl обрабатываются с помощью известного пакета terra, который также использует C++. Циклы обучения реализуются с помощью пакета luz.

Подробности о geodl изложены в 📖 препринте.

#R #нейронки

Обзор методов интерпретируемого машинного обучения для прогнозирования погоды и климата

В последнее время передовые модели машинного обучения достигли высокой точности прогнозирования погоды и климата. Большинство из этих моделей является “черными ящиками”: они выдают результаты, не позволяя пользователю заглянуть внутрь, чтобы разобраться, как именно был получен тот или иной прогноз. Поэтому важную роль приобретает развитие интерпретируемых методов машинного обучения.

В 📖 статье рассмотрены современные подходы к интерпретируемому машинному обучению, применяемые для метеорологических прогнозов. Подходы делятся на две группы: (1) методы интерпретации post-hoc, объясняющие предварительно обученные модели, такие как методы атрибуции на основе возмущений, теории игр и градиентные методы; (2) разработка интерпретируемых моделей с нуля с помощью таких архитектур, как ансамбли деревьев или объясняемые (explainable) нейронные сети. Коротко описан каждый метод, и то как именно он позволяет понять прогнозы, раскрывая метеорологические взаимосвязи, улавливаемые машинным обучением. В финале работы обсуждаются проблемы исследования и перспективы на будущее.

📖 Yang, R., Hu, J., Li, Z., Mu, J., Yu, T., Xia, J., Li, X., Dasgupta, A., & Xiong, H. (2024). Interpretable machine learning for weather and climate prediction: A review. Atmospheric Environment, 338, 120797. https://doi.org/10.1016/j.atmosenv.2024.120797

#нейронки #погода #ИИ #климат

Классификация сельскохозяйственных культур Канады: карты и набор данных

Canada AAFC* Annual Crop Inventory (2009–2023) — ежегодные карты классификации сельскохозяйственных культур (и не только) Канады с общей точностью не менее 85% и пространственным разрешением 30 м (в 2009 и 2010 годах — 56 м).

🌍 Данные на Earth Engine
🔗 Код примера

*AAFC — Agriculture and Agri-Food Canada

Набор данных о пахотных землях Канады с метками, полученными из Canadian Annual Crop Inventory. Данные содержат 78 536 вручную проверенных изображений высокого разрешения (10 м/пиксель, 640 x 640 м) с географической привязкой из 10 классов сельскохозяйственных культур, собранных за четыре года производства (2017–2020) и пять месяцев (июнь-октябрь). Каждый экземпляр содержит 12 спектральных каналов, RGB-изображение и дополнительные каналы вегетационных индексов. По отдельности каждая категория содержит не менее 4 800 изображений. Открыт доступ к модели и исходному коду, которые дают возможность пользователю предсказать класс культуры по одному изображению (ResNet, DenseNet, EfficientNet) или по последовательности изображений (LRCN, 3D-CNN).

📖 Описание методики
🖥 Репозиторий проекта

#данные #датасет #GEE #сельхоз #нейронки