В рубрике интересных наборов данных Subnational HDI [1] индекс человеческого развития на региональном уровне, например, департаментов во Франции, субъектов федерации в России, штатов в США и тд. Публикуются Global Data Lab, единственное ограничение просят зарегистрироваться у них на сайте перед выгрузкой,
На основе их данных есть самая простая визуализация по регионам.
А вот у команды Mozaiks есть уже совсем не простая визуализация и модель данных [2] для отображения этого индекса на гиперлокальном уровне.
Собственно они в марте 2023 г. опубликовали научную работу Global High-Resolution Estimates of the United Nations Human Development Index Using Satellite Imagery and Machine-learning [3]
Визуализация получается весьма наглядная.
Ссылки:
[1] https://globaldatalab.org/shdi/table/shdi/
[2] https://www.mosaiks.org/hdi
[3] https://www.nber.org/papers/w31044
#opendata #datasets #un #dataviz
На основе их данных есть самая простая визуализация по регионам.
А вот у команды Mozaiks есть уже совсем не простая визуализация и модель данных [2] для отображения этого индекса на гиперлокальном уровне.
Собственно они в марте 2023 г. опубликовали научную работу Global High-Resolution Estimates of the United Nations Human Development Index Using Satellite Imagery and Machine-learning [3]
Визуализация получается весьма наглядная.
Ссылки:
[1] https://globaldatalab.org/shdi/table/shdi/
[2] https://www.mosaiks.org/hdi
[3] https://www.nber.org/papers/w31044
#opendata #datasets #un #dataviz
В рубрике интересных наборов данных United Nations Parallel Corpus [1] с одной стороны многим известный, а с другой, на удивление, далеко не всем.
Этот набор данных включает связанные тексты на разных языках позволяя развивать технологии перевода, как минимум, между популярными языками которые использует ООН.
В общей сложности это 799 276 документов и 1 727 539 пар связанных документов.
Доступно под свободной лицензией, но не стандартной, а с требованием упоминания ООН и исследования в рамках которого этот набор данных был создан.
Ссылки:
[1] https://conferences.unite.un.org/uncorpus
#opendata #un #datasets #languages #translation
Этот набор данных включает связанные тексты на разных языках позволяя развивать технологии перевода, как минимум, между популярными языками которые использует ООН.
В общей сложности это 799 276 документов и 1 727 539 пар связанных документов.
Доступно под свободной лицензией, но не стандартной, а с требованием упоминания ООН и исследования в рамках которого этот набор данных был создан.
Ссылки:
[1] https://conferences.unite.un.org/uncorpus
#opendata #un #datasets #languages #translation
В рубрике интересных каталогов данных UN Arab Region Data and Policy Support Hub [1] и ARGP: Arab regional geospatial portal [2] порталы данных платформы регионального сотрудничества ООН посвящённые арабским странам.
Отличаются тем что агрегируют довольно много данных из других порталов ООН (data.un.org, data.worldbank.org) и других источников около 10 тысяч наборов данных часть из которых представлена статистическими индикаторами, часть геоданными. Поскольку агрегация данных выборочная лишь частично то много данных собрано не только по арабским странам.
Также декларируют наличие данных и моделей для машинного обучения. Хотя вот это для меня загадка поскольку почти все индикаторы там внутри - это годовые показатели, впрочем в геоданных есть наложение разных детализированных данных и там такое применение вполне логично.
Туда же можно отнести поисковую систему Manara (Istinara) позволяющая искать по миллионам ООНовских документам данным и картам. Конкретно сейчас поиск по данным у них был поломан, но поиск по картам работал вполне сносно
Ссылки:
[1] https://data.as-rcp.org
[2] https://data.as-rcp.org/GIS
[3] https://manara.as-rcp.org
#opendata #data #indicators #datacatalogs #un
Отличаются тем что агрегируют довольно много данных из других порталов ООН (data.un.org, data.worldbank.org) и других источников около 10 тысяч наборов данных часть из которых представлена статистическими индикаторами, часть геоданными. Поскольку агрегация данных выборочная лишь частично то много данных собрано не только по арабским странам.
Также декларируют наличие данных и моделей для машинного обучения. Хотя вот это для меня загадка поскольку почти все индикаторы там внутри - это годовые показатели, впрочем в геоданных есть наложение разных детализированных данных и там такое применение вполне логично.
Туда же можно отнести поисковую систему Manara (Istinara) позволяющая искать по миллионам ООНовских документам данным и картам. Конкретно сейчас поиск по данным у них был поломан, но поиск по картам работал вполне сносно
Ссылки:
[1] https://data.as-rcp.org
[2] https://data.as-rcp.org/GIS
[3] https://manara.as-rcp.org
#opendata #data #indicators #datacatalogs #un
В рубрике интересных наборов данных совсем не набор данных, а база UNROCA сведений о торговле обычными вооружениями из отчётов стран покупателей и продавцов оружия. Ведется под эгидой ООН в рамках United Nations Register of Conventional Arms, он и есть UNROCA в сокращении.
Несмотря на то что не все страны такие отчёты публикуют и многие публикуются с задержкой в несколько лет, там можно узнать немало интересного о том какие страны и кому в предверии каких конфликтов поставляли вооружение. Охватывают крупное и малое вооружение, не охватывают дроны и всё нестандартное. Немашиночитаемые отчёты доступны, также, в PDF на сайте ООН.
Несомненно эти данные можно распарсить и создать базу данных и удобные датасеты, а также придать им гораздо более качественную визуализацию. А также использовать в журналистских материалах. Как минимум можно проследить зависимости внешней политики стран и военных поставок.
Главное при их использовании и расследованиях не выйти на самих себя.🙏
#opendata #datasets #un #arms #armscontrol
Несмотря на то что не все страны такие отчёты публикуют и многие публикуются с задержкой в несколько лет, там можно узнать немало интересного о том какие страны и кому в предверии каких конфликтов поставляли вооружение. Охватывают крупное и малое вооружение, не охватывают дроны и всё нестандартное. Немашиночитаемые отчёты доступны, также, в PDF на сайте ООН.
Несомненно эти данные можно распарсить и создать базу данных и удобные датасеты, а также придать им гораздо более качественную визуализацию. А также использовать в журналистских материалах. Как минимум можно проследить зависимости внешней политики стран и военных поставок.
Главное при их использовании и расследованиях не выйти на самих себя.🙏
#opendata #datasets #un #arms #armscontrol
Свежий доклад ООН по Индикаторам устойчивого развития (SDG) [1]. Это те самые цели устойчивого развития которые являются одним из приоритетов ООН и по которым большинство стран публикуют свои показатели.
Из доклада можно узнать что:
- большая часть показателей не достигается
- всё ещё много проблем с тем что не по всем странам публикуются данные индикаторов и не всегда актуально
И, кстати, но это уже отдельная тема, много международных инициатив сейчас началось по достижению целей SDG в развивающихся странах и туда активно вовлечены бигтехи, которые или спонсируют такое, или даже помогают данными.
Ссылки:
[1] https://hlpf.un.org/sites/default/files/2024-05/SG%20SDG%20Progress%20Report%202024.pdf
#opendata #un #sdg #indicators #reports
Из доклада можно узнать что:
- большая часть показателей не достигается
- всё ещё много проблем с тем что не по всем странам публикуются данные индикаторов и не всегда актуально
И, кстати, но это уже отдельная тема, много международных инициатив сейчас началось по достижению целей SDG в развивающихся странах и туда активно вовлечены бигтехи, которые или спонсируют такое, или даже помогают данными.
Ссылки:
[1] https://hlpf.un.org/sites/default/files/2024-05/SG%20SDG%20Progress%20Report%202024.pdf
#opendata #un #sdg #indicators #reports
Commit to Data свежий проект ООН, а вернее UN Data Forum [1] состоит из добровольно взятых обязательств со стороны структур ООН, академических организаций, НКО и других по улучшению измерения целей устойчивого развития.
Казалось бы, зачем тут нужен жанр публичных обещаний? В основном для привлечения партнёров организациям которые уже запланировали определённые шаги.
Не могу сказать что в этой области нащупывается какой-то системный прорыв, сбор данных о SDG ограничен бедностью развивающихся стран тем не менее будет интересно если там будут обязательства и со стороны big tech, они бы выглядели тут весьма логично из-за значительной их цифровой инфраструктуры охватывающей весь мир.
Ссылки:
[1] https://commit-2-data.com
#opendata #sdg #data #un
Казалось бы, зачем тут нужен жанр публичных обещаний? В основном для привлечения партнёров организациям которые уже запланировали определённые шаги.
Не могу сказать что в этой области нащупывается какой-то системный прорыв, сбор данных о SDG ограничен бедностью развивающихся стран тем не менее будет интересно если там будут обязательства и со стороны big tech, они бы выглядели тут весьма логично из-за значительной их цифровой инфраструктуры охватывающей весь мир.
Ссылки:
[1] https://commit-2-data.com
#opendata #sdg #data #un
К вопросу о том как развивается открытый код и открытые данные в мире, я как-то уже упоминал про Registry of Digital Public Goods [1], это по сути, пример систематизации открытого кода донорами которые дают финансирование на открытый код, чаще всего, или, социально ориентированным коммерческим компаниям или технологическим НКО. И тех и тех в мире много, открытого кода тоже много вот собственно в этом реестре их начали вносить в привязке к целям устойчивого развития.
Из всех технологических инициатив связанных с ООН эта наиболее понятная, собственно она сама является открытым стандартом описания проектов [2].
А заодно позволяет оценить насколько эффективно создание ПО на грантовые средства и насколько устойчивы создаваемые проекты. Если присмотреться к тому что там опубликовано, то есть немало проектов созданных по принципу "отчитались и ну его". Иначе говоря код выложен однократно, чтобы соответствовать требованиям гранта.
Но есть и серьёзные проекты. В реестре есть FormSG [3] открытый код по генерации форм, созданный Правительством Сингапура. Там есть CKAN [4] наиболее популярный код для создания порталов открытых данных и ещё много всего.
Что характерно там сейчас 176 проектов, но в реальности их гораздо больше. тут лишь те авторы которых явным образом о себе заявили и прошли верификацию. Причём проекты как от НКО, так и от госорганов. Главное что открытый код и соответствие целям развития.
Можно обратить внимание что из РФ, ожидаемо, ни одного проекта нет. Из Армении есть один, созданный явно на грантовые деньги. Пара проектов из Казахстана, тоже, похоже, грантового происхождения. Из Эстонии там есть X-Road, госпроект ПО по обмену данными, в открытом коде.
В целом это всё очень похоже на модели кооперации НКО и гос-ва в западной модели их поддержки. Гранты раздаются многим, лишь некоторые проекты обретают долгую жизнь и те что обретают переводят в режим кооперации.
Ссылки:
[1] https://www.digitalpublicgoods.net/registry
[2] https://www.digitalpublicgoods.net/standard
[3] https://www.digitalpublicgoods.net/r/formsg
[4] https://www.digitalpublicgoods.net/r/ckan
#opensource #opendata #un
Из всех технологических инициатив связанных с ООН эта наиболее понятная, собственно она сама является открытым стандартом описания проектов [2].
А заодно позволяет оценить насколько эффективно создание ПО на грантовые средства и насколько устойчивы создаваемые проекты. Если присмотреться к тому что там опубликовано, то есть немало проектов созданных по принципу "отчитались и ну его". Иначе говоря код выложен однократно, чтобы соответствовать требованиям гранта.
Но есть и серьёзные проекты. В реестре есть FormSG [3] открытый код по генерации форм, созданный Правительством Сингапура. Там есть CKAN [4] наиболее популярный код для создания порталов открытых данных и ещё много всего.
Что характерно там сейчас 176 проектов, но в реальности их гораздо больше. тут лишь те авторы которых явным образом о себе заявили и прошли верификацию. Причём проекты как от НКО, так и от госорганов. Главное что открытый код и соответствие целям развития.
Можно обратить внимание что из РФ, ожидаемо, ни одного проекта нет. Из Армении есть один, созданный явно на грантовые деньги. Пара проектов из Казахстана, тоже, похоже, грантового происхождения. Из Эстонии там есть X-Road, госпроект ПО по обмену данными, в открытом коде.
В целом это всё очень похоже на модели кооперации НКО и гос-ва в западной модели их поддержки. Гранты раздаются многим, лишь некоторые проекты обретают долгую жизнь и те что обретают переводят в режим кооперации.
Ссылки:
[1] https://www.digitalpublicgoods.net/registry
[2] https://www.digitalpublicgoods.net/standard
[3] https://www.digitalpublicgoods.net/r/formsg
[4] https://www.digitalpublicgoods.net/r/ckan
#opensource #opendata #un