Кстати, для тех кто хочет знать как правильно должна быть организована работа по сервисам для граждан и раскрытию открытых данных - обратите внимание на сервисы Комитета по правовой статистики Республики Казахстан [1]
и особенно на раздел криминальной статистики
где в виде Excel файлов раскрываются формы статистической отчётности
Данные криминальной статистики - это данные о качестве жизни. Не менее значимые чем, например, данные по качеству образования. И тут Казахстан нас обгоняет. В Казахстане официально доступна муниципальная статистика по качеству образования с детальностью до районов [3] пока в отчётах на сайте Министерства образования, но и хотя бы так.
А на сайтах отдельных департаментов образования областей эти данные есть в виде рейтинга школ. Пример: город Алма-ты [4], есть в в других городах и областях.
С текущим уровнем раскрытия данных у открытого правительства Республики Казахстан гораздо больше шансов занять высокую позицию в рейтинге открытых данных о качестве жизни если такой будет когда либо создан, например, нами в Инфокультуре.
Ссылки:
[1] https://service.pravstat.kz/portal/page/portal/POPageGroup/MainMenu
[2] https://service.pravstat.kz/portal/page/portal/POPageGroup/Services/Pravstat
[3] https://edu.gov.kz/ru/analytics/regionalnaya-obrazov-0
[4] https://dep.edualmaty.kz/ru/ent/30-itogi-ent
#opendata #opengov #kazakhstan
и особенно на раздел криминальной статистики
где в виде Excel файлов раскрываются формы статистической отчётности
Данные криминальной статистики - это данные о качестве жизни. Не менее значимые чем, например, данные по качеству образования. И тут Казахстан нас обгоняет. В Казахстане официально доступна муниципальная статистика по качеству образования с детальностью до районов [3] пока в отчётах на сайте Министерства образования, но и хотя бы так.
А на сайтах отдельных департаментов образования областей эти данные есть в виде рейтинга школ. Пример: город Алма-ты [4], есть в в других городах и областях.
С текущим уровнем раскрытия данных у открытого правительства Республики Казахстан гораздо больше шансов занять высокую позицию в рейтинге открытых данных о качестве жизни если такой будет когда либо создан, например, нами в Инфокультуре.
Ссылки:
[1] https://service.pravstat.kz/portal/page/portal/POPageGroup/MainMenu
[2] https://service.pravstat.kz/portal/page/portal/POPageGroup/Services/Pravstat
[3] https://edu.gov.kz/ru/analytics/regionalnaya-obrazov-0
[4] https://dep.edualmaty.kz/ru/ent/30-itogi-ent
#opendata #opengov #kazakhstan
Я регулярно пишу про порталы открытых данных, чаще в России чем в других странах. Буду постепенно это исправлять и сегодня про портал открытых данных Казахстана [1]. На портале опубликовано 3602 набора данных. Сам портал является какой-то внутренней разработкой, в нём не используется ни один из движков порталов открытых данных используемых в мире.
Особенность портала в том что при открытии любого набора данных во вкладке "Данные" или попытке скачать данные [2] открывается сообщение о необходимости авторизации на портале. Причём не просто зарегистрироваться с логином и паролем, а так чтобы у пользователя обязательно был бы код ИИН или БИН, чтобы он был гражданином Казахстана или управлял зарегистрированной в Казахстане организацией. Без этого не пройти регистрацию на idp.egov.kz [3]
Конечно это не открытые данные, портал превращён в закрытый национальный портал. При любой оценки международными экспертами в Global Data Barometer и других позиции Казахстана будут очень низкими потому что эксперты просто не получат доступ к данным.
Ну и сам такой подход с принудительной идентификацией и ограничением только для граждан Казахстана нарушает принцип доступности данных прописанный в Хартии открытых данных.
Другие особенности портала - API [4], возможность запросить данные [5] полезны, но также требуют авторизации. Кроме того, API, также собственного создания, отличается от наиболее часто предоставляемых API порталами открытых данных.
Также можно обратить внимание что ни у одного набора данных опубликованного на портале не указан его правовой статус. Нет ни ссылки на одну из открытых лицензий ODbL, Creative Commons, ни собственной разработанной лицении. Фактически можно говорить о том что юристы к созданию этого портала не привлекались, а правовой статус данных не определен.
Итого:
1) Правовой статус данных не определен
2) Данные доступны только после авторизации и только гражданам Казахстана.
Можно ли это исправить? Безусловно и довольно быстро. Достаточно лишь указать лицензии данным, например, СС-4.0 и отменить требования по обязательной авторизации и регистрации.
Ссылки:
[1] https://data.egov.kz
[2] https://data.egov.kz/datasets/view?index=prezidenttik_zhastar_kadr_reze45#dataTab
[3] https://idp.egov.kz/idp/register.jsp
[4] https://data.egov.kz/pages/samples
[5] https://data.egov.kz/proposals/actualize
#opendata #kazakhstan #dataportals
Особенность портала в том что при открытии любого набора данных во вкладке "Данные" или попытке скачать данные [2] открывается сообщение о необходимости авторизации на портале. Причём не просто зарегистрироваться с логином и паролем, а так чтобы у пользователя обязательно был бы код ИИН или БИН, чтобы он был гражданином Казахстана или управлял зарегистрированной в Казахстане организацией. Без этого не пройти регистрацию на idp.egov.kz [3]
Конечно это не открытые данные, портал превращён в закрытый национальный портал. При любой оценки международными экспертами в Global Data Barometer и других позиции Казахстана будут очень низкими потому что эксперты просто не получат доступ к данным.
Ну и сам такой подход с принудительной идентификацией и ограничением только для граждан Казахстана нарушает принцип доступности данных прописанный в Хартии открытых данных.
Другие особенности портала - API [4], возможность запросить данные [5] полезны, но также требуют авторизации. Кроме того, API, также собственного создания, отличается от наиболее часто предоставляемых API порталами открытых данных.
Также можно обратить внимание что ни у одного набора данных опубликованного на портале не указан его правовой статус. Нет ни ссылки на одну из открытых лицензий ODbL, Creative Commons, ни собственной разработанной лицении. Фактически можно говорить о том что юристы к созданию этого портала не привлекались, а правовой статус данных не определен.
Итого:
1) Правовой статус данных не определен
2) Данные доступны только после авторизации и только гражданам Казахстана.
Можно ли это исправить? Безусловно и довольно быстро. Достаточно лишь указать лицензии данным, например, СС-4.0 и отменить требования по обязательной авторизации и регистрации.
Ссылки:
[1] https://data.egov.kz
[2] https://data.egov.kz/datasets/view?index=prezidenttik_zhastar_kadr_reze45#dataTab
[3] https://idp.egov.kz/idp/register.jsp
[4] https://data.egov.kz/pages/samples
[5] https://data.egov.kz/proposals/actualize
#opendata #kazakhstan #dataportals
Open Data
Сервис предоставляет возможость найти наборы данных в форматах XML, EXCEL, JSON.
Тем временем в Казахстане, в отличие от России, продолжает развиваться повестка открытости гос-ва и сам факт открытости диалога власти - это хороший признак такого развития.
Но есть и то за кто можно коллег из Казахстана покритиковать. Портал открытых данных РК data.egov.kz хотя и называется порталом открытых данных, но по факту таким не является. Помимо того что нет чётко сформулированных условий использования для каждого набора данных, таких как Creative Commons или ODBl, важно то что данные невозможно скачать без регистрации через государственный портал требующий местного кода ИИН. Фактически данные доступны только жителям республики и только после однозначной идентификации. Это противоречит принципам доступности открытых данных.
#opendata #kazakhstan
Но есть и то за кто можно коллег из Казахстана покритиковать. Портал открытых данных РК data.egov.kz хотя и называется порталом открытых данных, но по факту таким не является. Помимо того что нет чётко сформулированных условий использования для каждого набора данных, таких как Creative Commons или ODBl, важно то что данные невозможно скачать без регистрации через государственный портал требующий местного кода ИИН. Фактически данные доступны только жителям республики и только после однозначной идентификации. Это противоречит принципам доступности открытых данных.
#opendata #kazakhstan
Open Data
Сервис предоставляет возможость найти наборы данных в форматах XML, EXCEL, JSON.
Я регулярно писал о том что в России много открытых и общедоступных данных гос-ва через открытые API, нигде не документированные, но существующие [1]. Но это, конечно же, не только российская специфика и очень многие сайты создаются по архитектуре Jamstack [2] и данные подгружаются через вызовы REST API или запросы GraphQL.
Такой подход имеет много преимуществ при доступе с мобильных устройств и для ускорения настольных браузеров, но имеет один важнейший недостаток - контент сайтов выпадает из архивации. Поэтому, к примеру, многие данные с сайта Мэрии Москвы (mos.ru) не архивируются, они доступны только через API и не присутствуют в форме HTML кода.
А вот выдался и наглядный пример из другой страны. Относительно недавно обновился официальный сайт органов власти Республики Казахстан (www.gov.kz) [3]. Выглядит он сейчас весьма прилично, быстро грузится и обладает многими полезными характеристиками: удобным поиском, чёткой структурой и быстрым откликом.
И, как Вы уже догадались новый сайт Правительства Казахстана сделан именно таким. Почти весь контент отдаётся через GraphQL или REST API. Например, документы Министерства цифрового развития, инноваций и аэрокосмической промышленности Республики Казахстан [4] возвращаются именно через такое API [5]. Аналогично новости, события, вакансии, госуслуги, жизненные ситуации и тд. по всем организациям на этом портале.
Казалось бы почему бы не публиковать их сразу как открытые данные? Но это другой вопрос. Сейчас ничто не мешает желающим превращать данные из API с этого сайта/этой госсистемы в общедоступные наборы данных.
Но, конечно, это никак не поможет тому что сайт gov.kz будет хуже индексироваться поисковыми системами, что архивы материалов в Интернет-архиве (archive.org) будут не полны и что если теперь делать архивную копию этого сайта, то надо учитывать ещё и его API.
Ссылки:
[1] https://t.iss.one/begtin/3303
[2] https://jamstack.org/
[3] https://www.gov.kz
[4] https://www.gov.kz/memleket/entities/mdai?lang=ru
[5] https://www.gov.kz/api/v1/public/content-manager/documents?sort-by=created_date:DESC&projects=eq:mdai&page=1&size=10
#opendata #opengov #digitalpreservation #webarchives #api #government #kazakhstan
Такой подход имеет много преимуществ при доступе с мобильных устройств и для ускорения настольных браузеров, но имеет один важнейший недостаток - контент сайтов выпадает из архивации. Поэтому, к примеру, многие данные с сайта Мэрии Москвы (mos.ru) не архивируются, они доступны только через API и не присутствуют в форме HTML кода.
А вот выдался и наглядный пример из другой страны. Относительно недавно обновился официальный сайт органов власти Республики Казахстан (www.gov.kz) [3]. Выглядит он сейчас весьма прилично, быстро грузится и обладает многими полезными характеристиками: удобным поиском, чёткой структурой и быстрым откликом.
И, как Вы уже догадались новый сайт Правительства Казахстана сделан именно таким. Почти весь контент отдаётся через GraphQL или REST API. Например, документы Министерства цифрового развития, инноваций и аэрокосмической промышленности Республики Казахстан [4] возвращаются именно через такое API [5]. Аналогично новости, события, вакансии, госуслуги, жизненные ситуации и тд. по всем организациям на этом портале.
Казалось бы почему бы не публиковать их сразу как открытые данные? Но это другой вопрос. Сейчас ничто не мешает желающим превращать данные из API с этого сайта/этой госсистемы в общедоступные наборы данных.
Но, конечно, это никак не поможет тому что сайт gov.kz будет хуже индексироваться поисковыми системами, что архивы материалов в Интернет-архиве (archive.org) будут не полны и что если теперь делать архивную копию этого сайта, то надо учитывать ещё и его API.
Ссылки:
[1] https://t.iss.one/begtin/3303
[2] https://jamstack.org/
[3] https://www.gov.kz
[4] https://www.gov.kz/memleket/entities/mdai?lang=ru
[5] https://www.gov.kz/api/v1/public/content-manager/documents?sort-by=created_date:DESC&projects=eq:mdai&page=1&size=10
#opendata #opengov #digitalpreservation #webarchives #api #government #kazakhstan
Telegram
Ivan Begtin
Я регулярно пишу о том что у многих информационных систем и иных публичных ресурсов государства есть много недокументированных API. Причём эти API имеют, как правило, две истории происхождения:
a) API сделанные разработчиками для работы каких-то компонентов…
a) API сделанные разработчиками для работы каких-то компонентов…
В Казахстане на публичное обсуждение выложили Постановление Правительства "О утверждении единого перечня открытых данных государственных органов, размещаемых на интернет-портале открытых данных" [1].
Не будучи гражданином Казахстана я принять участие в обсуждении не смогу, но могу прокомментировать тут.
Есть условные два подхода к открытости данных, первый - открывайте всё что не имеет статуса для служебного пользования, а пользователи сами разберутся что им нужно. И второй, открываем "по белому списку" и контролируем любую публикацию. Казахстан идёт по второму пути, как и в России утверждали, только не общий перечень, а требования по обязательному раскрытию всеми госорганизациями определенного списка данных.
Итак, мои комментарии։
1. Будет публиковаться меньше данных. Это приказ заменяет постановление Правительства Республики Казахстан от 28 октября 2021 года № 774 «Об утверждении единого перечня открытых данных государственных органов, размещаемых на интернет-портале открытых данных» [2] в котором было 974 пункта, а в этом проекте постановления их 951. Почему перечень был сокращён нигде не упомянуто, в том числе в пояснительной записке к постановлению.
2. Ни в проекте постановления этом, ни в предыдущем, ни где-бы то ни было ещё нет упоминания свободных лицензия и режима доступа к данным. напомню что данные на портале Открытые данные eGov [3] формально критериям открытых данных не соответствуют. Они доступны только после авторизации, только гражданам Казахстана или имеющих право там жить или работать (требуется ИИН), а также данные публикуются без условий их использования.
3. Около 22% (213) наборов данных опубликованы АСПР (Бюро национальной статистики). Фактически это статистические показатели с ежегодным или иным периодом обновления, до ежемесячного. Но в системе Taldau [4] более 3600 показателей, есть ощущение что что-то где-то потеряно или недосказано.
4. Только 76 наборов данных предполагаются к постоянной доступности, по сути это постоянный доступ к базам данных через ведомственные API. Из них 70 наборов - это данные Минфина РК. Фактически, большая часть остальные данных - это ведомственная статистика.
5. Некоторые органы публикуют всего два-три набора данных которые, также, являются лишь статистическими показателями, с редким обновлением.
6. Более половины реестров (ищутся по слову "реестр") имеют период актуализации "ежегодно" или "ежеквартально", что для реестрового учёта и раскрытия совершенно недостаточно. Мало кто будет использовать такие открытые данные, а не идти в первоисточник.
Но, конечно, главный вопрос при публикации открытых данных в том а какие данные есть? Не видно что перед формированием списка органы власти проводили инвентаризацию того что у них есть и уже на основе сформированных списков определяли режим доступа к данным. Поэтому к списку много вопросов, что, впрочем, не отменяет того что очень хорошо что тема открытых данных в Республике Казахстан развивается и, хочется надеяться, что принципы открытости по умолчанию, свободного доступа к данным (без авторизации) и свободных лицензий найдут своё отражение в госполитике страны.
Ссылки։
[1] https://legalacts.egov.kz/npa/view?id=14317392
[2] https://adilet.zan.kz/rus/docs/P2100000774
[3] https://data.egov.kz
[4] https://taldau.stat.gov.kz/
#opendata #data #dataset #kazakhstan
Не будучи гражданином Казахстана я принять участие в обсуждении не смогу, но могу прокомментировать тут.
Есть условные два подхода к открытости данных, первый - открывайте всё что не имеет статуса для служебного пользования, а пользователи сами разберутся что им нужно. И второй, открываем "по белому списку" и контролируем любую публикацию. Казахстан идёт по второму пути, как и в России утверждали, только не общий перечень, а требования по обязательному раскрытию всеми госорганизациями определенного списка данных.
Итак, мои комментарии։
1. Будет публиковаться меньше данных. Это приказ заменяет постановление Правительства Республики Казахстан от 28 октября 2021 года № 774 «Об утверждении единого перечня открытых данных государственных органов, размещаемых на интернет-портале открытых данных» [2] в котором было 974 пункта, а в этом проекте постановления их 951. Почему перечень был сокращён нигде не упомянуто, в том числе в пояснительной записке к постановлению.
2. Ни в проекте постановления этом, ни в предыдущем, ни где-бы то ни было ещё нет упоминания свободных лицензия и режима доступа к данным. напомню что данные на портале Открытые данные eGov [3] формально критериям открытых данных не соответствуют. Они доступны только после авторизации, только гражданам Казахстана или имеющих право там жить или работать (требуется ИИН), а также данные публикуются без условий их использования.
3. Около 22% (213) наборов данных опубликованы АСПР (Бюро национальной статистики). Фактически это статистические показатели с ежегодным или иным периодом обновления, до ежемесячного. Но в системе Taldau [4] более 3600 показателей, есть ощущение что что-то где-то потеряно или недосказано.
4. Только 76 наборов данных предполагаются к постоянной доступности, по сути это постоянный доступ к базам данных через ведомственные API. Из них 70 наборов - это данные Минфина РК. Фактически, большая часть остальные данных - это ведомственная статистика.
5. Некоторые органы публикуют всего два-три набора данных которые, также, являются лишь статистическими показателями, с редким обновлением.
6. Более половины реестров (ищутся по слову "реестр") имеют период актуализации "ежегодно" или "ежеквартально", что для реестрового учёта и раскрытия совершенно недостаточно. Мало кто будет использовать такие открытые данные, а не идти в первоисточник.
Но, конечно, главный вопрос при публикации открытых данных в том а какие данные есть? Не видно что перед формированием списка органы власти проводили инвентаризацию того что у них есть и уже на основе сформированных списков определяли режим доступа к данным. Поэтому к списку много вопросов, что, впрочем, не отменяет того что очень хорошо что тема открытых данных в Республике Казахстан развивается и, хочется надеяться, что принципы открытости по умолчанию, свободного доступа к данным (без авторизации) и свободных лицензий найдут своё отражение в госполитике страны.
Ссылки։
[1] https://legalacts.egov.kz/npa/view?id=14317392
[2] https://adilet.zan.kz/rus/docs/P2100000774
[3] https://data.egov.kz
[4] https://taldau.stat.gov.kz/
#opendata #data #dataset #kazakhstan