В рубрике интересных наборов данных большая коллекция коллекций геопространственных наборов данных geospatial-data-catalogs [1] включает наборы данных из։
- AWS Open Data
- AWS Open Geospatial Data
- AWS Open Geospatial Data with STAC endpoint
- STAC Index Catalogs
- Earth Engine Catalog
- Planetary Computer Catalog
В общей сложности это более 2000 наборов данных довольно большого объёма, многие из них - это спутниковые снимки, а также все метаданные извлечённые из первоисточников.
Обратите внимание, ни один из этих каталогов не является государственным. Earth Engine Catalog - это Google, Planetary Computer Catalog - это Microsoft, каталоги на AWS - это Amazon, а STAC Index - это общественный каталог вокруг спецификации STAC [2].
А также не могу не напомнить о слегка олдскульном, но любопытном каталоге общедоступных инсталляций ArcGIS [3].
Геоданных становится всё больше, думаю что рано или поздно большая часть госпорталов открытых данных будут поддерживать спецификацию STAC, а открытые каталоги big tech корпораций будут агрегировать их оттуда.
Ссылки։
[1] https://github.com/giswqs/geospatial-data-catalogs
[2] https://stacspec.org/en
[3] https://mappingsupport.com/p/surf_gis/list-federal-state-county-city-GIS-servers.pdf
#opendata #geodata #geospatial #datacatalogs
- AWS Open Data
- AWS Open Geospatial Data
- AWS Open Geospatial Data with STAC endpoint
- STAC Index Catalogs
- Earth Engine Catalog
- Planetary Computer Catalog
В общей сложности это более 2000 наборов данных довольно большого объёма, многие из них - это спутниковые снимки, а также все метаданные извлечённые из первоисточников.
Обратите внимание, ни один из этих каталогов не является государственным. Earth Engine Catalog - это Google, Planetary Computer Catalog - это Microsoft, каталоги на AWS - это Amazon, а STAC Index - это общественный каталог вокруг спецификации STAC [2].
А также не могу не напомнить о слегка олдскульном, но любопытном каталоге общедоступных инсталляций ArcGIS [3].
Геоданных становится всё больше, думаю что рано или поздно большая часть госпорталов открытых данных будут поддерживать спецификацию STAC, а открытые каталоги big tech корпораций будут агрегировать их оттуда.
Ссылки։
[1] https://github.com/giswqs/geospatial-data-catalogs
[2] https://stacspec.org/en
[3] https://mappingsupport.com/p/surf_gis/list-federal-state-county-city-GIS-servers.pdf
#opendata #geodata #geospatial #datacatalogs
GitHub
GitHub - opengeos/geospatial-data-catalogs: A list of open geospatial datasets available on AWS, Earth Engine, Planetary Computer…
A list of open geospatial datasets available on AWS, Earth Engine, Planetary Computer, NASA CMR, and STAC Index - opengeos/geospatial-data-catalogs
В рубрике интересных наборов данных World Bank’s Open Night Lights [1] коллекция снимков ночной Земли на которой можно увидеть распределение обитаемой зоны человечества по интенсивности искусственного света. Особенность этого набора данных в том что он доступен как общедоступный набор данных на Amazon AWS [2] и через Stac Server [3] по спецификации STAC [4]
Данные в форматах GeoTIFF и, что немаловажно, это очень подробное и буквально с азов руководство по тому как с этими данными работать [1].
В 2020 году пара исследователей из Университета Мичигана публиковали код который анализировал эти снимки и позволял оценить уровень доступа к электричеству по странам New Methods to Estimate Electricity Access Using Nightly VIIRS Satellite Imagery [5]
На основе этих данных уже написано некоторое количество статей [6], например, по отслеживанию экономической активности при COVID-19 в Морокко и предсказанию бедности по общедоступным данным.
И это ещё далеко не самое интересное что можно делать на основе спутниковых снимков для создания альтернативных данных.
Ссылки:
[1] https://worldbank.github.io/OpenNightLights/welcome.html
[2] https://registry.opendata.aws/wb-light-every-night/
[3] https://stacindex.org/catalogs/world-bank-light-every-night#/
[4] https://stacspec.org
[5] https://github.com/zachokeeffe/nightlight_electrification
[6] https://scholar.google.com/scholar?hl=en&as_sdt=0%2C5&q=%22OpenNightLights%22&btnG=
#opendata #datasets #remotesensing #geospatial
Данные в форматах GeoTIFF и, что немаловажно, это очень подробное и буквально с азов руководство по тому как с этими данными работать [1].
В 2020 году пара исследователей из Университета Мичигана публиковали код который анализировал эти снимки и позволял оценить уровень доступа к электричеству по странам New Methods to Estimate Electricity Access Using Nightly VIIRS Satellite Imagery [5]
На основе этих данных уже написано некоторое количество статей [6], например, по отслеживанию экономической активности при COVID-19 в Морокко и предсказанию бедности по общедоступным данным.
И это ещё далеко не самое интересное что можно делать на основе спутниковых снимков для создания альтернативных данных.
Ссылки:
[1] https://worldbank.github.io/OpenNightLights/welcome.html
[2] https://registry.opendata.aws/wb-light-every-night/
[3] https://stacindex.org/catalogs/world-bank-light-every-night#/
[4] https://stacspec.org
[5] https://github.com/zachokeeffe/nightlight_electrification
[6] https://scholar.google.com/scholar?hl=en&as_sdt=0%2C5&q=%22OpenNightLights%22&btnG=
#opendata #datasets #remotesensing #geospatial
stacspec.org
root.iss.oneta.title
root.iss.oneta.description
В рубрике полезных наборов данных по России, общедоступные точки подключения к ArcGIS государственных и научных порталов:
- https://agoracle.asutk.ru/arcgis/rest/services
- https://apieatlas.mos.ru/arcgis/rest/services
- https://geoportal.gcras.ru/arcgis/rest/services
- https://gisn.kgilc.ru:6443/arcgis/rest/services
- https://gisnao.ru/arcgis/rest/services/
- https://gis.rkomi.ru/arcgis/rest/services/
- https://karta.yanao.ru/arcgisserver/rest/services
- https://lgtgis.aari.ru/arcgis/rest/services
- https://map.govvrn.ru/arcgis/rest/services
- https://maps1.dvinaland.ru/arcgis/rest/services
- https://meteo-dv.ru/arcgis/rest/services/
- https://portal.shipsea.ru/arcgis/rest/services
У ArcGIS серверов нет указания на лицензии и право повторного использования данных, поэтому используйте на свой страх и риск. Большая часть этих порталов упомянуто в каталоге каталогов datacatalogs.ru и уже в расширённом объёме они будут в проекте Common Data Index
#opendata #datasets #geospatial #geodata #data #arcgis
- https://agoracle.asutk.ru/arcgis/rest/services
- https://apieatlas.mos.ru/arcgis/rest/services
- https://geoportal.gcras.ru/arcgis/rest/services
- https://gisn.kgilc.ru:6443/arcgis/rest/services
- https://gisnao.ru/arcgis/rest/services/
- https://gis.rkomi.ru/arcgis/rest/services/
- https://karta.yanao.ru/arcgisserver/rest/services
- https://lgtgis.aari.ru/arcgis/rest/services
- https://map.govvrn.ru/arcgis/rest/services
- https://maps1.dvinaland.ru/arcgis/rest/services
- https://meteo-dv.ru/arcgis/rest/services/
- https://portal.shipsea.ru/arcgis/rest/services
У ArcGIS серверов нет указания на лицензии и право повторного использования данных, поэтому используйте на свой страх и риск. Большая часть этих порталов упомянуто в каталоге каталогов datacatalogs.ru и уже в расширённом объёме они будут в проекте Common Data Index
#opendata #datasets #geospatial #geodata #data #arcgis
На сайте Интернет-архива ещё в начале 2022 года появилась коллекция David Rumsey Map Collection из более чем 100 тысяч исторических карт [1] созданная изначально Дэвидом Рамси и поддерживаемая и поныне библиотекой Стенфорда на сайте davidrumsey.com [2] где собрано более 200 тысяч карт в общей сложности.
Красивых карт там много, есть на что посмотреть. Желающие могут скачать хоть всю коллекцию целиком, это всего лишь 1.4ТБ файлов.
Что можно с ними делать? Например, создавать цифровые культурные проекты и пополнять архивы.
Например, по России там почти 7 тысяч карт [3] что сопоставимо с почти 10 тысячами карт на геопортале РГО [4]. Но и, в принципе, есть карты практически всех стран, есть что поискать.
Ссылки:
[1] https://archive.org/details/david-rumsey-map-collection
[2] https://davidrumsey.com/
[3] https://archive.org/details/david-rumsey-map-collection&sort=-reviewdate?query=Russia
[4] https://geoportal.rgo.ru/
#digitalpreservation #archives #geospatial #maps
Красивых карт там много, есть на что посмотреть. Желающие могут скачать хоть всю коллекцию целиком, это всего лишь 1.4ТБ файлов.
Что можно с ними делать? Например, создавать цифровые культурные проекты и пополнять архивы.
Например, по России там почти 7 тысяч карт [3] что сопоставимо с почти 10 тысячами карт на геопортале РГО [4]. Но и, в принципе, есть карты практически всех стран, есть что поискать.
Ссылки:
[1] https://archive.org/details/david-rumsey-map-collection
[2] https://davidrumsey.com/
[3] https://archive.org/details/david-rumsey-map-collection&sort=-reviewdate?query=Russia
[4] https://geoportal.rgo.ru/
#digitalpreservation #archives #geospatial #maps
В рубрике интересных наборов данных Global ML Building Footprints [1] набор данных георасположения зданий по всему миру созданный компанией Microsoft в рамках Bing Maps на основе спутниковой и аэрофотосъёмки Maxar, Airbus и IGN France. В репозитории краткая документация и скрипты загрузки, а также ссылка на список всех файлов этого набора данных представленный в виде CSV [2]. В том числе этот набор данных даёт геоданные по странам где публичных геоданных немного: Россия, Казахстан, Кыргызстан, Армения, Туркменистан, Афганистан и многое другое. На мой взгляд датасет сильно недооценённый и очень интересный.
Первая его версия вышла в июле 2022 года и с тех пор неоднократно данные обновлялись, последний раз в марте 2023 года данными по Японии и по Северной Америке.
Сейчас в нём более 1.03 миллиарда зданий. Кроме того набор данных доступен под свободной лицензией ODbL, изначально создавался для интеграции в OpenStreetMap и кроме него существует ещё несколько наборов меньшего объёма с данными по зданиям в США, Австралии, Канаде, Уганде и Танзании, Южной Африке, Кении и Нигерии и Юго-восточной Азии, на них есть ссылки в этом репозитории.
Эти же данные есть в Microsoft Planetary Computer [3] доступные через платформу Azure и через API по стандарту STAC.
Как и во многих других случаях это из тех примеров когда можно найти интересные негосударственные данные о стране/странах за их пределами с потенциально большей достоверностью и свободой использования
Ссылки:
[1] https://github.com/microsoft/GlobalMLBuildingFootprints
[2] https://minedbuildings.blob.core.windows.net/global-buildings/dataset-links.csv
[3] https://planetarycomputer.microsoft.com/dataset/ms-buildings
#opendata #datasets #microsoft #geospatial
Первая его версия вышла в июле 2022 года и с тех пор неоднократно данные обновлялись, последний раз в марте 2023 года данными по Японии и по Северной Америке.
Сейчас в нём более 1.03 миллиарда зданий. Кроме того набор данных доступен под свободной лицензией ODbL, изначально создавался для интеграции в OpenStreetMap и кроме него существует ещё несколько наборов меньшего объёма с данными по зданиям в США, Австралии, Канаде, Уганде и Танзании, Южной Африке, Кении и Нигерии и Юго-восточной Азии, на них есть ссылки в этом репозитории.
Эти же данные есть в Microsoft Planetary Computer [3] доступные через платформу Azure и через API по стандарту STAC.
Как и во многих других случаях это из тех примеров когда можно найти интересные негосударственные данные о стране/странах за их пределами с потенциально большей достоверностью и свободой использования
Ссылки:
[1] https://github.com/microsoft/GlobalMLBuildingFootprints
[2] https://minedbuildings.blob.core.windows.net/global-buildings/dataset-links.csv
[3] https://planetarycomputer.microsoft.com/dataset/ms-buildings
#opendata #datasets #microsoft #geospatial
GitHub
GitHub - microsoft/GlobalMLBuildingFootprints: Worldwide building footprints derived from satellite imagery
Worldwide building footprints derived from satellite imagery - GitHub - microsoft/GlobalMLBuildingFootprints: Worldwide building footprints derived from satellite imagery
В рубрике "как это устроено у них" Oskari [1] продукт с открытым кодом по созданию геопорталов на базе существующих геоданных/геокаталогов, например, каталогов созданных в рамках инициативы INSPIRE.
Продукт создан National Land Survey of Finland, государственной организацией в подчинении Министерства сельского и лесного хозяйства Финляндии.
Его можно привести в качестве успешной государственной работы над открытым кодом, поскольку проект был создан за счёт госбюджета Финляндии, выделен в открытый код, а теперь находится на инкубации в OS Geo.
На базе созданы как минимум 21 геопортал [3], в основном в Финляндии, но и в других странах Северной Европы тоже.
Формально в нем не публикуются открытые данные, но активно используются через интеграцию с Geoserver/Geonetwork/Geonode, а также реализовано собственное документированное API с экспортом картографических слоёв.
Хотя мне не встречались измерения экономического эффекта, наверняка его можно несложно подсчитать сравнив разницу внедрения Oskari с закупкой корпоративного сервера ArcGIS, к примеру.
Ссылки:
[1] https://www.oskari.org
[2] https://wiki.osgeo.org/wiki/Oskari_Incubation_Status
[3] https://www.oskari.org/gallery
#opensource #geospatial #geodata #data #finland
Продукт создан National Land Survey of Finland, государственной организацией в подчинении Министерства сельского и лесного хозяйства Финляндии.
Его можно привести в качестве успешной государственной работы над открытым кодом, поскольку проект был создан за счёт госбюджета Финляндии, выделен в открытый код, а теперь находится на инкубации в OS Geo.
На базе созданы как минимум 21 геопортал [3], в основном в Финляндии, но и в других странах Северной Европы тоже.
Формально в нем не публикуются открытые данные, но активно используются через интеграцию с Geoserver/Geonetwork/Geonode, а также реализовано собственное документированное API с экспортом картографических слоёв.
Хотя мне не встречались измерения экономического эффекта, наверняка его можно несложно подсчитать сравнив разницу внедрения Oskari с закупкой корпоративного сервера ArcGIS, к примеру.
Ссылки:
[1] https://www.oskari.org
[2] https://wiki.osgeo.org/wiki/Oskari_Incubation_Status
[3] https://www.oskari.org/gallery
#opensource #geospatial #geodata #data #finland
В рубрике как это устроено у них портал геоданных Африки [1] создан на базе ArcGIS Hub и поддерживается компанией Esri. Включает 579 наборов данных [2] и 914 карт [3]
А также включает множество подпорталов сообществ по странам, например, Морокко [4], а также всего 11 стран [5]
Портал включает данные из OpenStreetMap и иных открытых источников и сфокусирован на обучении и формировании сообщества вокруг продуктов Esri.
Это пример когда открытые каталоги данных компании создают для продвижения их коммерческих продуктов добавляя им дополнительную ценность.
Все данные можно скачать используя API ArcGIS Hub или с использованием дампов каталога в формате DCAT.
Ссылки:
[1] https://www.africageoportal.com
[2] https://www.africageoportal.com/search?collection=Dataset
[3] https://www.africageoportal.com/search?collection=App%2CMap
[4] https://morocco.africageoportal.com/
[5] https://www.africageoportal.com/pages/GeoPortal%20Initiatives
#opendata #africa #geodata #geospatial
А также включает множество подпорталов сообществ по странам, например, Морокко [4], а также всего 11 стран [5]
Портал включает данные из OpenStreetMap и иных открытых источников и сфокусирован на обучении и формировании сообщества вокруг продуктов Esri.
Это пример когда открытые каталоги данных компании создают для продвижения их коммерческих продуктов добавляя им дополнительную ценность.
Все данные можно скачать используя API ArcGIS Hub или с использованием дампов каталога в формате DCAT.
Ссылки:
[1] https://www.africageoportal.com
[2] https://www.africageoportal.com/search?collection=Dataset
[3] https://www.africageoportal.com/search?collection=App%2CMap
[4] https://morocco.africageoportal.com/
[5] https://www.africageoportal.com/pages/GeoPortal%20Initiatives
#opendata #africa #geodata #geospatial
Помучавшись немного с геоклассификацией объектов, в данном случае наборов данных, и решив эту задачу грубо, я в процессе набросал примерную структуру программного инструмента который помогал бы решать её красиво.
Не знаю когда у меня дойдут руки до того чтобы это сделать и дойдут ли вообще, работы технической, организационной и только как-то ну очень много и это хорошо:) Но если кто-то захочет такое реализовать, то может быть эта схема поможет.
Задача то довольно простая, присвоение цифровым объектам геолокации не по принципу координат или адреса, а в привязке к территории от макрорегиона/группы стран, до конкретного города/территории субрегионального уровня. В Dateno это делается через привязку всего к справочникам UN M49, ISO3166-1 и ISO3166-2. Сложности возникают в том что в каталогах данных где есть геоаннотирование чаще всего нет уникальных кодов территорий и чаще всего названия макрорегионов, к примеру, не гармонизированы.
А потребность в аннотировании есть не только к датасетам, но и ко множеству других объектов: тексты, архивы, документы, изображения и тд.
#thoughts #modelling #geospatial
Не знаю когда у меня дойдут руки до того чтобы это сделать и дойдут ли вообще, работы технической, организационной и только как-то ну очень много и это хорошо:) Но если кто-то захочет такое реализовать, то может быть эта схема поможет.
Задача то довольно простая, присвоение цифровым объектам геолокации не по принципу координат или адреса, а в привязке к территории от макрорегиона/группы стран, до конкретного города/территории субрегионального уровня. В Dateno это делается через привязку всего к справочникам UN M49, ISO3166-1 и ISO3166-2. Сложности возникают в том что в каталогах данных где есть геоаннотирование чаще всего нет уникальных кодов территорий и чаще всего названия макрорегионов, к примеру, не гармонизированы.
А потребность в аннотировании есть не только к датасетам, но и ко множеству других объектов: тексты, архивы, документы, изображения и тд.
#thoughts #modelling #geospatial