К предыдущему посту прилагаю CSV файл с перечнем открытых данных подлежащих публикации в РК. Список был почищен от опечаток и структурирован для самостоятельного анализа. Может кто-то захочет сравнить его со списком из прошлого постановления Пр-ва РК.

#opendata #data #kazakhstan #datasets

Полезная заметка Казахстанские власти хотят закрыть неугодные данные [1] со сравнением прошлого и нового перечней данных подлежащих обязательному раскрытию в Республике Казахстан. Вполне ожидаемо перестанут публиковать некоторые чувствительные данные с одной стороны, а с другой стороны в списке появилась конкретика по содержанию.

Напомню что я ранее писал [2] о новом проекте постановления Пр-ва Казахстана по открытости данных и о том что в нём отсутствуют принципы открытости данных по умолчанию и недискриминационный доступ к данным, сейчас они доступны только гражданам страны. Граждане Казахстана могут оставить свои комментарии к проекту постановления на сайте Открытые НПА [3]. Прошу, не поленитесь, напишите там Ваши комментарии и мнение.

Ссылки։
[1] https://exclusive.kz/kazahstanskie-vlasti-hotyat-zakryt-neugodnye-dannye/
[2] https://t.iss.one/begtin/4440
[3] https://legalacts.egov.kz/npa/view?id=14317392

#opendata #opengov #kazakhstan #policies

В продолжение темы открытости данных в Казахстане о которой я уже писал [1], не могу не добавить ложку дёгтя. Важно то что из-за того что на портале данных data.egov.kz Казахстана данные доступны только после авторизации и только для граждан или лиц получивших местный налоговый код ИИН, то по факту, добавление туда данных из других официальных источников страны, не увеличивает, а снижает уровень доступности и открытости этих данных.

К примеру, есть в Казахстане Единая информационная система охраны окружающей среды [3] где публикуются обобщённые показатели такие как։ Объемы опасных отходов, Объем образованных неопасных отходов и другие. Эти данные общедоступны и их, при небольшом желании, можно скачать с сайта в JSON формате. Экспорта на странице нет, но в коде страницы всё довольно очевидно.

Данные из этой системы упомянуты в постановлении Правительства РК как "Объем опасных отходов по показателям (общие показатели по республике) (отчетный период; вид операции; объем отходов)"․ То есть они должны публиковаться и публикуются на портале [3], но не гражданам и не имеющим ВНЖ недоступны.

Но дело не только в недоступности, но и в том что доступ граждан отслеживается, что довольно странно и, в принципе, в мире практикуется крайне редко.

В целом почти неизбежно при следующих рейтингах и оценках открытости данных в Казахстане уровень открытости там может оцениваться скорее как снижающийся чем иначе.

Ссылки։
[1] https://t.iss.one/begtin/4440
[2] https://oos.ecogeo.gov.kz/
[3] https://data.egov.kz/datasets/view?index=785_megpr

#opendata #kazakhstan #datasets

Когда я регулярно рассказываю о том как устроены порталы открытых данных в мире и раскрытие данных в принципе, то регулярно пишу о том что многие из этих проектов находятся в весьма запущенном состоянии или изначально создавались скорее как имитация для международных рейтингов чем полноценной работы. В некоторых случаях, как, например, в Казахстане портал открытых данных [1] таковым в принципе не является поскольку для доступа к данным необходим ИИН и авторизация через местный сервис гарантированной идентификации человека. Иначе говоря, ни открытости, ни машиночитаемости тут полноценной нет.

Значит ли это что открытых данных нет? Скажем так, нет данных которое бы правительство РК по своей инициативе, целенаправленно, с диалогом с обществом, публиковало бы под свободными лицензиями. Но это не значит что общедоступные данные органов власти не публикуются в машиночитаемом виде. Конечно же, как и в большинстве развитых и развивающихся, но не беднейших стран, данные публикуются. Чаще больше и удобнее чем на портале открытых данных.

Например։
- открытое API системы государственной статистики ТАЛДАУ [2]. Это API к базе статистических показателей, в документации указано что данные возвращаются в XML, по факту в XML и JSON и также присутствуют недокументированные точки доступа к API. Не требует авторизации
- недокументированное API на сайте Правительства РК www.gov.kz. Я писал о нём ранее [3], там есть и REST API, и точка подключения Graphql. Также не требует авторизации, позволяет получать все материалы с сайта в машиночитаемом формате
- многочисленные сервисы геопорталов на базе ArcGIS, например, gis.geology.gov.kz [4] и ещё многих других

Я большого секрета не открою сказав что у информационных систем министерств в РК открытых API не меньше чем, к примеру, в России. При желании и небольших усилиях можно хоть самостоятельно сделать аналог портала открытых данных страны с большим объёмом данных и большей открытостью (да просто без авторизации!).

Создатели порталов открытых данных внутри гос-ва не всегда понимают что по сути каждый такой портал - это систематизация уже имеющегося. Это организационно-техническая задача по систематизации существующих государственных дата-продуктов. Иногда, да, она сопряжена с задачей по оцифровке данных и переводу неструктурированной информации в машиночитаемую форму, но даже просто взять и систематизировать имеющиеся данные органов власти опубликованные и общедоступные - это самое простое и очевидное.

Но, конечно, не снижая доступности данных, наоборот повышая их находимость. Лучшие примеры такого подхода сейчас есть в Австралии, Франции, США и многих европейских странах.

Казахстан - это лишь как пример одной из наиболее технологически развитых стран на пост-советском пространстве. Похожая ситуация повсеместна, технологии меняются, разработчики делают API, открывают данные отдельных информационных систем потому что так просто _значительно удобнее_ работать с технически квалифицированными потребителями.

Ссылки:
[1] https://data.gov.kz
[2] https://taldau.stat.gov.kz/ru/Api/Dev
[3] https://t.iss.one/begtin/4380
[4] https://gis.geology.gov.kz/arcgis/rest/services

#opendata #opengov #kazakhstan #government

Я, кстати, не могу не отметить что в реестре порталов с данными Common Data Index уже больше порталов данных стран постсоветского пространства чем в datacatalogs.ru. Например, в реестре 37 порталов с данными в Республике Казахстан [1] из которых, правда, 33 являются геопорталами, по большей части на базе ArcGIS. Данные оттуда вполне можно получить, главные ограничения юридические поскольку в ArcGIS не вносят информацию о лицензиях/правах на данные. Впрочем я уже неоднократно писал [2] что с открытыми данными в Казахстане проблема другого рода, по факту data.egov.kz порталом открытых данных не является и его создатели всячески препятствуют использованию этих данных. Зачем они так делают я недоумеваю, странно что негосударственный портал открытых данных Казахстана ещё никто не создал.

Ссылки:
[1] https://registry.commondata.io/country/KZ
[2] https://t.iss.one/begtin/4626

#opendata #data #kazakhstan

В отношении Казахстана я, также, напомню что в стране много данных за пределами официального портала data.egov.kz. Например, много геопорталов и есть, даже, пара научных репозиториев. Полный список можно увидеть в реестре Common Data Index [1] там 37 каталогов данных. Из них 9 индексируются в Dateno, это каталоги на базе Geonode, GeoServer и ArcGIS Server. Остальные сделаны, или на каких-то собственных движках, или не индексируются с внешних серверов или имеют какие-то другие ограничения.

Также в Казахстане есть система индикаторов TALDAU [2] и есть много данных на сайтах Пр-ва, госорганов, акиматов и тд. А ещё немало недокументированного API у государственных систем через которые можно собирать местные реестры.

Всё это к тому что национальный портал данных страны data.egov.kz на всём этом фоне выглядит реально вызывающе плохо.

Если появится в стране кто-то кто захочет сделать общественный портал открытых данных то собрать каталог значительно большего объёма совершенно несложно.

Я большого секрета не открою если скажу что пару лет назад мы с коллегами обсуждали не создать ли большой каталог данных на всю Центральную Азию, но в итоге делать этого не стали не будучи достаточно погруженными в местный контекст. Вместо этого появился Dateno в котором охватываются вообще все страны миры.

Ссылки:
[1] https://registry.commondata.io/country/KZ
[2] https://taldau.stat.gov.kz/

#opendata #data #datacalogs #kazakhstan

К вопросу об открытости данных в Казахстане свежая статья в Exclusive.kz [1]. Проблема с этим порталом в том что он к открытым данным отношения не имеет никакого. Видно что не проделано работы, ни по доступности данных, ни по свободе использования (открытые лицензии) и данные которые туда попадают из других источников парадоксальным образом становятся более, а не менее закрытыми.

Это на фоне того что в Казахстане много открытых геопорталов, баз статистики (ТАЛДАУ) и тд.

Всего 13649 датасетов по Казахстану у нас в Dateno проиндексировано [2], но почти все эти данные - это геоданные и индикаторы из международных источников потому что именно открытые данные, в строгом определении, не публикуются.

И ещё отдельная история о том почему во многих странах госорганы пытаются создавать порталы данных на нетиповых продуктах. В результате они не индексируются ни у нас в Dateno, ни в Google Dataset Search, ни в других поисковиках. При том что в том же data.egov.kz нет ничего такого что нельзя было бы сделать с помощью CKAN, DKAN и ещё ряда продуктов создания каталогов открытых данных.

И это только пока мы говорим про техническую сторону процесса, не затрагивая то какие, собственные данные должны публиковаться чтобы быть востребованными. Подсказка, простые опросы пользователей не работают. Работают приоритеты по high value datasets (датасеты особо ценные) которые формируют страны ЕС, к примеру.

К теме данных в Центральной Азии я ещё буду неоднократно возвращаться.

Ссылки:
[1] https://exclusive.kz/chto-skryvaet-otkrytoe-pravitelstvo-kazahstana/
[2] https://registry.commondata.io/country/KZ

#opendata #opengov #kazakhstan #dataportals

17-18 сентября я буду в Алма-Ата, в Казахстане, какое-то число встреч встреч уже запланировано, если задумаете со мной там пересечься, напишите.

А пока об открытых данных в Казахстане я неоднократно тут писал, в стране довольно контрастная ситуация когда одновременно есть портал данных data.egov.kz который хоть и называется порталом открытых данных, но по факту ничего открытого там нет. И параллельно существует геопортал НИПД где как раз именно открытые данные, но только пространственные и в отличие от data.egov.kz он сделан на типовом ПО GeoNode как раз предназначенном для раскрытия геоданных.

А главная особенность Казахстана в большом числе региональных геопорталов сделанных местными компаниями и, соответственно, на которых слои карт отдаются в каких-то собственных форматах вместо общепринятых.

И отдельно, важная тема, в Казахстане практически нет практики публикации научных данных. Либо эта культура ещё не сформировалась, либо публикация данных идёт только на зарубежных ресурсах

В целом ощущения что данных много, систематизации мало, а проекты вроде data.egov.kz правильнее было бы закрыть или радикально переделать.

#opendata #datasets #datacatalogs #kazakhstan

Вдогонку к порталу данных Нацбанка Казахстана, сделаю краткий обзор состояния открытых данных в Республике Казахстан.

Во первых, конечно, начать стоит с профиля страны [1] у нас в реестре Dateno там сейчас 38 каталогов данных и вскоре пополнится большим их числом.

Что можно сказать про Казахстан?
1. Много порталов геоданных, причём многие на каких-то собственных разработках, но есть и на открытом коде. В частности проект Национальная инфраструктура пространственных данных Республики Казахстан [2] работает на GeoNode и содержит 183 набора данных. На самом деле материалов там должно быть куда больше, ранее там всё было общедоступно, но теперь требуется авторизация с электронной подписью. Ещё ряд геопорталов доступны в виде серверов ArcGIS и Geoserver
2. Портал открытых данных РК [3], к сожалению, не открытых. Раньше для любой операции требовалась авторизация, а сейчас просто ограничивают выгрузку по 100 записей (!) из набора данных. Пожалуй худшая из практик в РК по публикации данных
3. Water resources data portal [4] портал данных водных ресурсов который делают в стартапе Ozen-M. Данных там немного, но датасеты хорошо организованы и все опубликованы на Github.
4. Статистическая система ТАЛДАУ [5] статслужбы РК, что удобно - наличие API и есть экспорт данных. Правда только в Excel. Выглядит работоспособно, хотя и довольно консервативно.
5. Почти нет открытых научных данных. У университетов есть развёрнутые репозитории публикаций, но датасеты среди них упоминаются только в репозитории научных результатов Университета Назарбаева и только единожды [6]. В целом такая же картина во многих постсоветских странах, не только в РК
6. Оказывается была/есть небольшая активность и группа Open Data Kazakhstan [7] на Github, но не очень масштабная и небольшими всплесками.
7. То что я знаю так то что в рамках Smart Data Ukimet в Казахстане экспериментируют сейчас с развертыванием австралийского проекта Magda [8], но пока это из пушки по воробьям, потому что Magda тяжёлый продукт и оправдывает себя на десятках тысяч наборов данных. Публичного анонса этого я не видел, поэтому прямой ссылки не даю
—
Какое-то время назад мы с коллегами думали про создание портала/порталов данных по странам Центральной Азии, но в итоге с запуском Dateno сфокусировались на индексации всех данных туда и сейчас в Dateno более 34 тысяч наборов данных классифицированных как относящихся к Казахстану [9]. Все они относятся к открытым индикаторам из международных баз данных и к геоданным. По мере того как мы улучшим инструменты геоклассификации, из других источников добавится ещё 5-6 тысяч наборов данных.

Данных о территории РК, также, много в тех глобальных каталогах научных данных о Земле которые мы ещё пока не проиндексировали.

Ссылки:
[1] https://dateno.io/registry/country/KZ/
[2] https://map.gov.kz
[3] https://data.egov.kz
[4] https://data.qiot.kz/en
[5] https://taldau.stat.gov.kz
[6] https://research.nu.edu.kz/en/publications/?type=%2Fdk%2Fatira%2Fpure%2Fresearchoutput%2Fresearchoutputtypes%2Fnontextual%2Fdatabase&nofollow=true
[7] https://github.com/open-data-kazakhstan/
[8] https://magda.io
[9] https://dateno.io/search?refinementList%5Bsource.countries.name%5D%5B0%5D=Kazakhstan

#opendata #data #kazakhstan #datasets #dateno