В рубрике как это устроено у них специализированные OpenDAP Hyrax порталы для публикации океанографических и климатических данных. Развивается одноимённой НКО [1], изначально создано в научных центрах NOAA и поддерживается 3-мя агентствами в США: NOAA, NSF и NASA, а также Австралийским метеорологическим бюро.

Поддерживает множество стандартов публикации данных таких как HDF4, HDF5, NetCDF3, NetCDF4, FITS, NcML, THREDDS и другие.

Применяется, как минимум, в паре десятков проектов связанных с данными об океанах и климате по всему миру. Например:
- https://servdap.legi.grenoble-inp.fr/opendap/hyrax/
- https://ladsweb.modaps.eosdis.nasa.gov/opendap/hyrax/
- https://ppdb.us.edu.pl/opendap/

Как правило, раскрываемые в этих серверах данные большого объёма, по несколько терабайт на каждой инсталляции и содержат преимущественно численные значения.

Другие продукты в этой области это ERDDAP [2] и THREDDS Data Server (TDS) [3], также имеют только это узкое применение.

В принципе особенность развития работы с данными в климатологии и наук о Земле в наличие большого числа каталогов данных, открытых данных, но по собственным стандартам, в специализированном ПО, не пересекающимися, ни с наиболее популярными инструментами в data science, ни с открытыми данными.

Ссылки:
[1] https://www.opendap.org
[2] https://www.ncei.noaa.gov/erddap/index.html
[3] https://www.unidata.ucar.edu/software/tds/

#opendata #climate #meteorology #datacatalogs #thredds #opendap

[RU] Больше открытых данных об Армении. На сайте Всемирного метеорологического агентства World Weather Information Service [1] публикуются данные прогноза погоды по 3467 городам мира [2] включая станции мониторинга прогноза погоды по Армении.

Данные доступны в виде страниц городов и могут быть выгружены с сайта в машиночитаемых форматах:
- Ереван https://worldweather.wmo.int/en/json/66_en.json
- Севан https://worldweather.wmo.int/en/json/68_en.json
- Капан https://worldweather.wmo.int/en/json/69_en.json
- Ванадзор https://worldweather.wmo.int/en/json/67_en.json
- Дилижан https://worldweather.wmo.int/en/json/2079_en.json
- Джермук https://worldweather.wmo.int/en/json/2080_en.json

Полный список городов включает идентификаторы [2] по которым можно получить данные используя документацию API на сайте [3].

[EN] More open data about Armenia. The World Weather Information Service [1] website of the World Meteorological Agency [1] publishes weather forecast data for 3467 cities of the world [2] including weather forecast monitoring stations for Armenia.

The data are available as city pages and can be downloaded from the site in machine-readable formats:
- Yerevan https://worldweather.wmo.int/en/json/66_en.json
- Sevan https://worldweather.wmo.int/en/json/68_en.json
- Kapan https://worldweather.wmo.int/en/json/69_en.json
- Vanadzor https://worldweather.wmo.int/en/json/67_en.json
- Dilijan https://worldweather.wmo.int/en/json/2079_en.json
- Jermuk https://worldweather.wmo.int/en/json/2080_en.json

The full list of cities includes identifiers [2] for which data can be retrieved using the API documentation on the website [3].

Links:
[1] https://worldweather.wmo.int
[2] https://worldweather.wmo.int/en/json/full_city_list.txt
[3] https://worldweather.wmo.int/en/dataguide.html

#opendata #armenia #climate #meteorology

В рубрике интересных каталогов данных я ранее писал про WIS 2.0 движок от Всемирной метеорологической организации (WMO) по сбору стандартизированных данных о погоде [1]. Но это относительно новый продукт, ведь большое число стран интегрировано с системами WMO и без него. И делают они это, не все но многие, с помощью другого продукта который называется OpenWIS [2].

Это продукт с открытым кодом созданный в The OpenWIS Association AISBL через кооперацию более чем десятка стран.

На базе OpenWIS работают порталы с данными о погоде в России [3], Таиланде [4], Индонезии [5], Южной Корее [6] и многих других странах.

Внутри OpenWIS форк продукта Geonetwork, специализированного каталога метаданных используемого для публикации и поиска по пространственным данным. Поскольку у Geonetwork много открытых API и интерфейсов то к этим порталам можно подключится даже когда их веб интерфейсы закрыты паролями. Например, у российской инсталляции OpenWIS открытое API по стандарту OAI-PMH [7] и, скорее всего и другие тоже есть.

Код OpenWIS не развивается уже несколько лет, явно постепенно метеорологические агентства будут переходить на WIS 2.0 и на другие решения, тем не менее эти порталы это тоже каталоги данных. В реестре каталогов Dateno их пока нет, кроме портала OpenWIS в Таиланде, который был идентифицирован как экземпляр Geonetwork хотя, правильнее всё же будет определять OpenWIS как отдельный тип каталогов данных.

С одной стороны данных в этих каталогах данных немного, сотни слоёв карт, максимум, а с другой стороны их сбор не требует сверхусилий и рано или поздно они появятся в поиске Dateno.

Ссылки:
[1] https://t.iss.one/begtin/5972
[2] https://github.com/OpenWIS/openwis
[3] https://meta.gisc-msk.wis.mecom.ru/openwis-portal/srv/en/main.home
[4] https://wis.tmd.go.th/openwis-user-portal/srv/en/main.home
[5] https://wis.bmkg.go.id/openwis-user-portal/srv/en/about.home
[6] https://dcpc.nmsc.kma.go.kr/openwis-user-portal/srv/en/main.home
[7] https://meta.gisc-msk.wis.mecom.ru/openwis-portal/srv/en/oaipmh?verb=Identify

#opendata #datacatalogs #data #meteorology #opensource