Свежие (прошлогодние) наборы данных для глубокого обучения.
Sentinel2GlobalLULC — набор данных для обучения моделей, нацеленных на создание карт землепользования и земного покрова (Land Use & Land Cover — LULC).
Составлен из снимков Sentinel-2, на основе согласования 15 глобальных карт LULC, доступных в Google Earth Engine. Текущая версия содержит 194877 RGB-изображений, разбитых на 29 классов LULC. Каждое изображение представляет собой плитку размером 224 × 224 пикселей с разрешением 10 × 10 м, построенную как безоблачный композит снимков Sentinel-2, полученных с июня 2015 года по октябрь 2020 года.
Описание: Benhammou, Y., Alcaraz-Segura, D., Guirado, E. et al. Sentinel2GlobalLULC: A Sentinel-2 RGB image tile dataset for global land use/cover mapping with deep learning. Sci Data 9, 681 (2022). https://doi.org/10.1038/s41597-022-01775-8
Данные: https://zenodo.org/record/6941662
CloudSEN12 — разновременной глобальный набор данных для обучения моделей, позволяющих выделить облака и тени на спутниковых снимках. Содержит 49 400 изображений, включая (1) мультиспектральные данные Sentinel-2 уровня 1C и уровня 2A, (2) данные радара Sentinel-1, (3) вспомогательные продукты дистанционного зондирования, (4) аннотации для обозначения наличия видов облаков и облачных теней, и (5) результаты восьми современных алгоритмов обнаружения облаков.
Описание: Aybar, C., Ysuhuaylas, L., Loja, J. _et al._ CloudSEN12, a global dataset for semantic understanding of cloud and cloud shadow in Sentinel-2. _Sci Data_ 9, 782 (2022). https://doi.org/10.1038/s41597-022-01878-2
Данные: https://cloudsen12.github.io/
#датасет
Sentinel2GlobalLULC — набор данных для обучения моделей, нацеленных на создание карт землепользования и земного покрова (Land Use & Land Cover — LULC).
Составлен из снимков Sentinel-2, на основе согласования 15 глобальных карт LULC, доступных в Google Earth Engine. Текущая версия содержит 194877 RGB-изображений, разбитых на 29 классов LULC. Каждое изображение представляет собой плитку размером 224 × 224 пикселей с разрешением 10 × 10 м, построенную как безоблачный композит снимков Sentinel-2, полученных с июня 2015 года по октябрь 2020 года.
Описание: Benhammou, Y., Alcaraz-Segura, D., Guirado, E. et al. Sentinel2GlobalLULC: A Sentinel-2 RGB image tile dataset for global land use/cover mapping with deep learning. Sci Data 9, 681 (2022). https://doi.org/10.1038/s41597-022-01775-8
Данные: https://zenodo.org/record/6941662
CloudSEN12 — разновременной глобальный набор данных для обучения моделей, позволяющих выделить облака и тени на спутниковых снимках. Содержит 49 400 изображений, включая (1) мультиспектральные данные Sentinel-2 уровня 1C и уровня 2A, (2) данные радара Sentinel-1, (3) вспомогательные продукты дистанционного зондирования, (4) аннотации для обозначения наличия видов облаков и облачных теней, и (5) результаты восьми современных алгоритмов обнаружения облаков.
Описание: Aybar, C., Ysuhuaylas, L., Loja, J. _et al._ CloudSEN12, a global dataset for semantic understanding of cloud and cloud shadow in Sentinel-2. _Sci Data_ 9, 782 (2022). https://doi.org/10.1038/s41597-022-01878-2
Данные: https://cloudsen12.github.io/
#датасет
GLanCE: глобальный набор данных о земном покрове с 1984 по 2020 год
Глобальный набор данных GLanCE (Global Land Cover Estimation) содержит почти 2 миллиона образцов земного покрова для семи первичных и двенадцати вторичных классов почвенно-растительного покрова.
GLanCE основан на спутниковых снимках Landsat, сделанных в период с 1984 по 2020 год, с пространственным разрешением 30 м. Географически и спектрально набор данных представляет все глобальные экорегионы и содержит до 23 характеристик почвенно-растительного покрова на образец.
Схема классификации, используемая в GLanCE, совместима с общепринятыми системами классификации земного покрова, такими как категории землепользования МГЭИК (для отчетности по выбросам парниковых газов) и система классификации земного покрова ФАО (Land Cover Classification System).
Доступ к данным, описание и ссылки на публикации: https://beta.source.coop/repositories/boston-university/bu-glance/description/
Данные на GEE: https://gee-community-catalog.org/projects/glance_training/
#датасет #LULC
Глобальный набор данных GLanCE (Global Land Cover Estimation) содержит почти 2 миллиона образцов земного покрова для семи первичных и двенадцати вторичных классов почвенно-растительного покрова.
GLanCE основан на спутниковых снимках Landsat, сделанных в период с 1984 по 2020 год, с пространственным разрешением 30 м. Географически и спектрально набор данных представляет все глобальные экорегионы и содержит до 23 характеристик почвенно-растительного покрова на образец.
Схема классификации, используемая в GLanCE, совместима с общепринятыми системами классификации земного покрова, такими как категории землепользования МГЭИК (для отчетности по выбросам парниковых газов) и система классификации земного покрова ФАО (Land Cover Classification System).
Доступ к данным, описание и ссылки на публикации: https://beta.source.coop/repositories/boston-university/bu-glance/description/
Данные на GEE: https://gee-community-catalog.org/projects/glance_training/
#датасет #LULC
⭐️ СТРАНЫ / КОМПАНИИ / СПУТНИКИ
Страны: #австралия #германия #индия #иран #испания #канада #китай #португалия #россия #США #япония и т. п.
Но:
#корея обозначает Северную и Южную Кореи
#РБ — Республика Беларусь
#UK — Великобритания
Компании: #planet #maxar
Спутники: #landsat #sentinel1 #sentinel2
⭐️ ДЗЗ
Методы и приборы
#альтиметр
#гиперспектр — гиперспектральная оптическая съемка
#лидар
#оптика — мультиспектральная оптическая съемка
#радиометр — микроволновой радиометр
#dnb — ночная съёмка (day / night band)
#SIF — солнечно-индуцированная флуоресценция хлорофилла
#ro — радиозатменный метод
#SAR — радарная съемка
#InSAR — радарная интерферометрия
#LST — съемка в тепловом инфракрасном диапазоне
#GNSSR — ГНСС-рефлектометрия
#sigint — радиоэлектронная разведка
Виды орбит: #ГСО — геостационарная, #VLEO — сверхнизкая
#основы — обучающие материалы по ДЗЗ
#обучение курсы, обучающие сервисы и т. п.
#история — в основном, история ДЗЗ
#индексы — спектральные индексы
#комбинация — комбинации каналов
Данные
#данные — коллекции данных ДЗЗ, наземных данных, карты и т.п.
#датасет — набор данных для машинного обучения
Дополнительные хештеги, описывающие данные:
#LULC — Land Use & Land Cover
#осадки
#SST — Sea Surface Temperature
#nrt — (near real time) изображения, получаемые в режиме, близком к реальном времени
#debris — космический мусор
#границы — административные границы
#DEM — цифровая модель рельефа (ЦМР)
#keyhole — рассекреченные снимки разведспутников
Литература, справочная информация
#справка — спектральные каналы, орбиты спутников, поиск данных и т.п.
#обзор
#книга — текст книги прикреплён к сообщению.
Дополнительные хештеги:
#наблюдение — ресурсы для наблюдения спутников и орбиты спутников
#космодромы
#конференции — анонс конференций/семинаров/школ, посвященных ДЗЗ и анализ их материалов.
#конкурсы — анонс конкурсов/чемпионатов/олимпиад.
#МВК — материалы заседаний Межведомственной комиссии (МВК) по использованию результатов космической деятельности.
#снимки — поучительные (хоть в чем-то интересные) снимки, первые снимки
Программные инструменты / Языки
#нейронки #софт #GEE #R #tool #python
#ИИ #FM — Foundation Model (Remote Sensing Foundation Model)
⭐️ ОТРАСЛИ / ТЕМАТИЧЕСКИЕ ЗАДАЧИ
#археология #атмосфера #вода #война #засуха #климат #лед #лес #нефть #океан #оползни #наводнение #пожары #почва #растительность #севморпуть #сельхоз #снег
#AGB — надземная биомасса
#ЧС — мониторинг стихийных бедствий и катастроф
#GHG — парниковые газы
Отдельные газы: #CO2 #NO2
#энергетика — космическая энергетика
#SSA — Space Situational Awareness
Страны: #австралия #германия #индия #иран #испания #канада #китай #португалия #россия #США #япония и т. п.
Но:
#корея обозначает Северную и Южную Кореи
#РБ — Республика Беларусь
#UK — Великобритания
Компании: #planet #maxar
Спутники: #landsat #sentinel1 #sentinel2
⭐️ ДЗЗ
Методы и приборы
#альтиметр
#гиперспектр — гиперспектральная оптическая съемка
#лидар
#оптика — мультиспектральная оптическая съемка
#радиометр — микроволновой радиометр
#dnb — ночная съёмка (day / night band)
#SIF — солнечно-индуцированная флуоресценция хлорофилла
#ro — радиозатменный метод
#SAR — радарная съемка
#InSAR — радарная интерферометрия
#LST — съемка в тепловом инфракрасном диапазоне
#GNSSR — ГНСС-рефлектометрия
#sigint — радиоэлектронная разведка
Виды орбит: #ГСО — геостационарная, #VLEO — сверхнизкая
#основы — обучающие материалы по ДЗЗ
#обучение курсы, обучающие сервисы и т. п.
#история — в основном, история ДЗЗ
#индексы — спектральные индексы
#комбинация — комбинации каналов
Данные
#данные — коллекции данных ДЗЗ, наземных данных, карты и т.п.
#датасет — набор данных для машинного обучения
Дополнительные хештеги, описывающие данные:
#LULC — Land Use & Land Cover
#осадки
#SST — Sea Surface Temperature
#nrt — (near real time) изображения, получаемые в режиме, близком к реальном времени
#debris — космический мусор
#границы — административные границы
#DEM — цифровая модель рельефа (ЦМР)
#keyhole — рассекреченные снимки разведспутников
Литература, справочная информация
#справка — спектральные каналы, орбиты спутников, поиск данных и т.п.
#обзор
#книга — текст книги прикреплён к сообщению.
Дополнительные хештеги:
#наблюдение — ресурсы для наблюдения спутников и орбиты спутников
#космодромы
#конференции — анонс конференций/семинаров/школ, посвященных ДЗЗ и анализ их материалов.
#конкурсы — анонс конкурсов/чемпионатов/олимпиад.
#МВК — материалы заседаний Межведомственной комиссии (МВК) по использованию результатов космической деятельности.
#снимки — поучительные (хоть в чем-то интересные) снимки, первые снимки
Программные инструменты / Языки
#нейронки #софт #GEE #R #tool #python
#ИИ #FM — Foundation Model (Remote Sensing Foundation Model)
⭐️ ОТРАСЛИ / ТЕМАТИЧЕСКИЕ ЗАДАЧИ
#археология #атмосфера #вода #война #засуха #климат #лед #лес #нефть #океан #оползни #наводнение #пожары #почва #растительность #севморпуть #сельхоз #снег
#AGB — надземная биомасса
#ЧС — мониторинг стихийных бедствий и катастроф
#GHG — парниковые газы
Отдельные газы: #CO2 #NO2
#энергетика — космическая энергетика
#SSA — Space Situational Awareness
BigEarthNet (https://bigearth.net) — набор данных, состоящий из 590 326 пар образцов земного покрова, изображенных на снимках спутников Sentinel-1 и Sentinel-2. Каждый образец размечен по принадлежности к нескольким классам земного покрова. Названия классов взяты из данных CORINE Land Cover за 2018 год.
Первоначально, данные BigEarthNet состояли только из образцов снимков Sentinel-2, сделанных с июня 2017 по май 2018 года над 10 странами Европы (Австрия, Бельгия, Финляндия, Ирландия, Косово, Литва, Люксембург, Португалия, Сербия, Швейцария). Все снимки прошли атмосферную коррекцию с помощью sen2cor v2.5.5 и относятся к уровню обработки 2A. В настоящее время эта часть набора данных называется BigEarthNet-S2 и занимает объем около 66 Гб.
Позже данные были дополнены равным количеством образцов снимков Sentinel-1, сделанных в тот же период на тех же участках. Эти данные называются BigEarthNet-S1 и имеют объем около 55 Гб.
Скачать данные, а также получить детальное описание их самих и методики их создания можно на странице проекта BigEarthNet.
#датасет #LULC
Первоначально, данные BigEarthNet состояли только из образцов снимков Sentinel-2, сделанных с июня 2017 по май 2018 года над 10 странами Европы (Австрия, Бельгия, Финляндия, Ирландия, Косово, Литва, Люксембург, Португалия, Сербия, Швейцария). Все снимки прошли атмосферную коррекцию с помощью sen2cor v2.5.5 и относятся к уровню обработки 2A. В настоящее время эта часть набора данных называется BigEarthNet-S2 и занимает объем около 66 Гб.
Позже данные были дополнены равным количеством образцов снимков Sentinel-1, сделанных в тот же период на тех же участках. Эти данные называются BigEarthNet-S1 и имеют объем около 55 Гб.
Скачать данные, а также получить детальное описание их самих и методики их создания можно на странице проекта BigEarthNet.
#датасет #LULC
TreeSatAI Benchmark Archive: набор данных для классификации пород деревьев по данным дистанционного зондирования
(Ahlswede et al., 2023) представили TreeSatAI Benchmark Archive — новый набор данных для классификации пород деревьев в Центральной Европе, основанный на данных авиационных и спутниковых (Sentinel-1 и Sentinel-2) наблюдений. Набор содержит метки 20 европейских пород деревьев (15 родов деревьев), полученные из данных Управления лесами федеральной земли Нижняя Саксония (Германия). Данных охватывают 50381 участков размером 60м х 60м, расположенных в Германии.
TreeSatAI Benchmark Archive доступен на Zenodo и Нugging Face.
#датасет #лес
(Ahlswede et al., 2023) представили TreeSatAI Benchmark Archive — новый набор данных для классификации пород деревьев в Центральной Европе, основанный на данных авиационных и спутниковых (Sentinel-1 и Sentinel-2) наблюдений. Набор содержит метки 20 европейских пород деревьев (15 родов деревьев), полученные из данных Управления лесами федеральной земли Нижняя Саксония (Германия). Данных охватывают 50381 участков размером 60м х 60м, расположенных в Германии.
TreeSatAI Benchmark Archive доступен на Zenodo и Нugging Face.
#датасет #лес
Major TOM: расширяемая структура набора данных [ссылка]
Модели глубокого обучения, в том числе те, что используются в дистанционном зондировании Земли (ДЗЗ), требуют огромного количества данных. Существующие наборы данных различаются форматами и структурой данных, а также покрываемой территорией. Чтобы облегчить пользователям процесс расширения наборов данных, необходима общая структура, позволяющая дополнять эти наборы и объединять разные наборы между собой. В качестве такой расширяемой структуры предлагается Major TOM (Terrestrial Observation Metaset). Она состоит из системы географического индексирования, основанной на наборе точек сетки, и структуры метаданных, позволяющей объединять несколько наборов данных из разных источников.
Помимо спецификации Major TOM, в работе представлен набор данных MajorTOM-Core, который охватывает большую часть земной поверхности. Этот набор данных общедоступен, и пригодится как сам по себе, так и в качестве образца для будущих дополнений экосистемы Major TOM.
MajorTOM-Core состоит из 2 245 886 образцов снимков Sentinel-2 (разрешение 10 м) размером 1068 x 1068 пикселей, доступных на уровнях обработки L1C и L2A.
🛢 MajorTOM на HuggingFace и на GitHub.
💻 Пример в Colab
#датасет #sentinel2 #нейронки
Модели глубокого обучения, в том числе те, что используются в дистанционном зондировании Земли (ДЗЗ), требуют огромного количества данных. Существующие наборы данных различаются форматами и структурой данных, а также покрываемой территорией. Чтобы облегчить пользователям процесс расширения наборов данных, необходима общая структура, позволяющая дополнять эти наборы и объединять разные наборы между собой. В качестве такой расширяемой структуры предлагается Major TOM (Terrestrial Observation Metaset). Она состоит из системы географического индексирования, основанной на наборе точек сетки, и структуры метаданных, позволяющей объединять несколько наборов данных из разных источников.
Помимо спецификации Major TOM, в работе представлен набор данных MajorTOM-Core, который охватывает большую часть земной поверхности. Этот набор данных общедоступен, и пригодится как сам по себе, так и в качестве образца для будущих дополнений экосистемы Major TOM.
MajorTOM-Core состоит из 2 245 886 образцов снимков Sentinel-2 (разрешение 10 м) размером 1068 x 1068 пикселей, доступных на уровнях обработки L1C и L2A.
🛢 MajorTOM на HuggingFace и на GitHub.
💻 Пример в Colab
#датасет #sentinel2 #нейронки
This media is not supported in your browser
VIEW IN TELEGRAM
Global Oil Palm Dataset 1990–2021
Набор данных содержит:
1️⃣ GlobalOilPalm_OP-extent — глобальную карту распространения плантаций масличной пальмы, включающую как промышленные, так и мелкие фермерские поля, с пространственным разрешением 10 метров, построенную на основе данных Sentinel-1 за период с 2016 по 2021 год. Формат: Geotiff.
2️⃣ GlobalOilPalm_YoP — оценки года посадки плантации с 1990 по 2021 год с пространственным разрешением 30 метров, полученные на основе снимков Landsat-5, -7 и -8. Формат: Geotiff.
3️⃣ Grid_OilPalm2016-2021 — Сетка, состоящая из 609 ячеек размером 100 x 100 км, в которых были обнаружены плантации масличной пальмы. Формат: шейпфайл.
4️⃣ Validation_points_GlobalOP2016-2021 — 17812 точек, используемых для проверки глобальных карт 1️⃣ и 2️⃣. Формат: шейпфайл.
📖 Методика создания набора данных: Descals, A., Gaveau, D. L. A., Wich, S., Szantoi, Z., and Meijaard, E. Global mapping of oil palm planting year from 1990 to 2021. Earth Syst. Sci Data Discuss. [preprint], https://doi.org/10.5194/essd-2024-157, in review, 2024.
🛢 Данные на Zenodo
🌍 Данные на GEE
Анализ данных показал, что общая площадь плантаций масличной пальмы составляет 23,98 млн га, из которых 16,66 ± 0,25 млн га занимают промышленные плантации и 7,59 ± 0,29 млн га — мелкие. Точность данных довольно высока: producers' accuracy составляет 91,9 ± 3,4 %, а users' accuracy — 91,8 ± 1,0 % для промышленных плантаций, а для мелких фермеров — 72,7 ± 1,3 % и 75,7 ± 2,5 % соответственно. Средний возраст насаждений составляет 14,1 года, а возраст плантаций на площади 6,28 млн га превышает 20 лет, что указывает на значительную потребность в пересадке деревьев в ближайшее десятилетие.
#GEE #датасет #данные #сельхоз
Набор данных содержит:
1️⃣ GlobalOilPalm_OP-extent — глобальную карту распространения плантаций масличной пальмы, включающую как промышленные, так и мелкие фермерские поля, с пространственным разрешением 10 метров, построенную на основе данных Sentinel-1 за период с 2016 по 2021 год. Формат: Geotiff.
2️⃣ GlobalOilPalm_YoP — оценки года посадки плантации с 1990 по 2021 год с пространственным разрешением 30 метров, полученные на основе снимков Landsat-5, -7 и -8. Формат: Geotiff.
3️⃣ Grid_OilPalm2016-2021 — Сетка, состоящая из 609 ячеек размером 100 x 100 км, в которых были обнаружены плантации масличной пальмы. Формат: шейпфайл.
4️⃣ Validation_points_GlobalOP2016-2021 — 17812 точек, используемых для проверки глобальных карт 1️⃣ и 2️⃣. Формат: шейпфайл.
📖 Методика создания набора данных: Descals, A., Gaveau, D. L. A., Wich, S., Szantoi, Z., and Meijaard, E. Global mapping of oil palm planting year from 1990 to 2021. Earth Syst. Sci Data Discuss. [preprint], https://doi.org/10.5194/essd-2024-157, in review, 2024.
🛢 Данные на Zenodo
🌍 Данные на GEE
Анализ данных показал, что общая площадь плантаций масличной пальмы составляет 23,98 млн га, из которых 16,66 ± 0,25 млн га занимают промышленные плантации и 7,59 ± 0,29 млн га — мелкие. Точность данных довольно высока: producers' accuracy составляет 91,9 ± 3,4 %, а users' accuracy — 91,8 ± 1,0 % для промышленных плантаций, а для мелких фермеров — 72,7 ± 1,3 % и 75,7 ± 2,5 % соответственно. Средний возраст насаждений составляет 14,1 года, а возраст плантаций на площади 6,28 млн га превышает 20 лет, что указывает на значительную потребность в пересадке деревьев в ближайшее десятилетие.
#GEE #датасет #данные #сельхоз
Классификация сельскохозяйственных культур Канады: карты и набор данных
Canada AAFC* Annual Crop Inventory (2009–2023) — ежегодные карты классификации сельскохозяйственных культур (и не только) Канады с общей точностью не менее 85% и пространственным разрешением 30 м (в 2009 и 2010 годах — 56 м).
🌍 Данные на Earth Engine
🔗 Код примера
*AAFC — Agriculture and Agri-Food Canada
Набор данных о пахотных землях Канады с метками, полученными из Canadian Annual Crop Inventory. Данные содержат 78 536 вручную проверенных изображений высокого разрешения (10 м/пиксель, 640 x 640 м) с географической привязкой из 10 классов сельскохозяйственных культур, собранных за четыре года производства (2017–2020) и пять месяцев (июнь-октябрь). Каждый экземпляр содержит 12 спектральных каналов, RGB-изображение и дополнительные каналы вегетационных индексов. По отдельности каждая категория содержит не менее 4 800 изображений. Открыт доступ к модели и исходному коду, которые дают возможность пользователю предсказать класс культуры по одному изображению (ResNet, DenseNet, EfficientNet) или по последовательности изображений (LRCN, 3D-CNN).
📖 Описание методики
🖥 Репозиторий проекта
#данные #датасет #GEE #сельхоз #нейронки
Canada AAFC* Annual Crop Inventory (2009–2023) — ежегодные карты классификации сельскохозяйственных культур (и не только) Канады с общей точностью не менее 85% и пространственным разрешением 30 м (в 2009 и 2010 годах — 56 м).
🌍 Данные на Earth Engine
🔗 Код примера
*AAFC — Agriculture and Agri-Food Canada
Набор данных о пахотных землях Канады с метками, полученными из Canadian Annual Crop Inventory. Данные содержат 78 536 вручную проверенных изображений высокого разрешения (10 м/пиксель, 640 x 640 м) с географической привязкой из 10 классов сельскохозяйственных культур, собранных за четыре года производства (2017–2020) и пять месяцев (июнь-октябрь). Каждый экземпляр содержит 12 спектральных каналов, RGB-изображение и дополнительные каналы вегетационных индексов. По отдельности каждая категория содержит не менее 4 800 изображений. Открыт доступ к модели и исходному коду, которые дают возможность пользователю предсказать класс культуры по одному изображению (ResNet, DenseNet, EfficientNet) или по последовательности изображений (LRCN, 3D-CNN).
📖 Описание методики
🖥 Репозиторий проекта
#данные #датасет #GEE #сельхоз #нейронки