Для тех кто интересуется состоянием открытых данных в России, вот некоторые цифры:
- за 2020 год на федеральном портале открытых данных было опубликовано 223 набора данных, за 5 месяцев 2021 года - только 2 набора данных
- всего с 2020 года объём этих 225 наборов данных - 405 мегабайт из которых более 390 мегабайт - это данные Минкультуры России и ФНС России (и то есть подозрение что цифры завышены потому что в реестре наборов данных есть дублирующиеся записи. Скорее всего реально данных значительно меньше)
- лишь 9 178 наборов данных из 24 002 опубликованы федеральными органами власти, остальные региональными и муниципальными
- 10 ФОИВов не опубликовали ни одного нового набора данных с 2013 года (за 8 лет)
- 20 ФОИВов не опубликовали ни одного нового набора данных с 2015 года (за 6 лет)
- 42 ФОИВа не опубликовали ни одного нового набора данных с 2017 года (за 4 лет)
- 68 ФОИВов не опубликовали ни одного нового набора данных с 2019 года (за 2 года)
- иначе говоря в 2020 и 2021 года лишь 6 ФОИВов разместили хотя бы один новый набор данных на портале открытых данных
- некоторые ФОИВы, при этом, кое что опубликовали на своих сайтах, но куда меньше чем раньше и чем могли бы
- общий объём опубликованных данных на портале data.gov.ru оценить сложно, сайт не даёт статистики, API сайта очень куцое, требуется очень много запросов сделать чтобы подсчитать хоть самые приблизительные цифры, но они будут невелики.
- параллельно этому на сайтах и FTP серверах органов власти опубликовано открытых данных примерно на 20 терабайт. Количественно - это сотни наборов данных, качественно - это данные большого объёма.
- безусловные лидеры по масштабам раскрытия данных - Минкультуры, ФНС России, Федеральное казначейство, Минфин России. Даже при том что тенденции там не только к раскрытию, текущие объёмы доступных данных очень велики.

#opendata #stats

Почему российский портал открытых данных не развивается уже несколько лет, данные не публикуются, а эти компетенции находятся в Минэкономразвития РФ в глубоком кризисе?

Специально для тех, кто следит за тематикой открытых данных: Минэкономразвития РФ заключило второе доп. соглашение к контракту на портал открытых данных. На этот раз изменили код вида расходов. Контракт заключен в ноябре прошлого года. Единственное, что доступно по контракту в ЕИС - доп. соглашение от конца августа на исключение из контракта хакатона, который поставщик должен был провести еще в декабре прошлого года. Можно ли вообще задним числом отменять работы, которые должны были быть проведены полгода назад? Вообще заказчик должен был отправить поставщика в РНП, а заодно уведомить следственные органы.

Моя коллега Ольга Пархимович (@ahminfin) писала об этом серию постов [1] [2] [3] [4], которые в кратком изложении звучат так, что подрядчик в лице Рунетсофта не выполнил множество работ по порталу откртыых данных, а Минэкономразвития не рискнули отправлять его в реестр недобросовестных поставщиков.

Никакого движения по контракту [5] кроме доп. соглашений не наблюдается - этапы не приняты, штрафы не выставлены, непонятно зачем вообще юристы Минэкономразвития существуют. За это время Рунетсофт успели внести в Реестр недобросовестных поставщиков, но не из-за контракта на портал открытых данных. А ведь если бы поставщика внесли в РНП сразу, когда первый этап контракта был не исполнен, то не было бы новых контрактов на несколько десятков миллионов рублей, которые в этом году Рунетсофт заключил с несколькими поставщиками, в том числе и с тем же Минэком.

Напомню, что только на техподдержку, консультационное и информационное сопровождение в контракте выделено несколько миллионов. При этом запрос на портал от декабря прошлого года одобряли 2 месяца вместо нескольких рабочих дней, а взяли в работу только в июле. То есть, на протяжении 7 месяцев консультационные/информационные работы не проводились.

Честно говоря, состояние федерального портала открытых данных и так удручающее, представители Минэкономразвития ещё и пытаются рассказывать об оценках открытости данных в регионах и ФОИВах, но при текущем состоянии собственных дел в их епархии, верить оценкам органа власти, не способного выстроить собственную работу с данными и провалившего работу с порталом открытых данных, невозможно.

А я напомню, что несколько раз писал о том, как внутри Минэкономразвития России работают с данными [6], о том как они создавали реестр СО НКО с кучей ошибок [6] и реестр системообразующих предприятий [7] ничуть не лучше.

Всё это редкостный позор, если честно. А бездействие Минэкономразвития по порталу открытых данных можно объяснить тем, что вся эта тема сошла с ключевой повестки правительства, превратившись в фрагментированные инициативы. Но потраченные деньги на портал открытых данных и итоговые результаты объяснить куда сложнее.


Ссылки:
[1] https://t.iss.one/ahminfin/293
[2] https://t.iss.one/ahminfin/294
[3] https://t.iss.one/ahminfin/301
[4] https://t.iss.one/ahminfin/407
[5] https://zakupki.gov.ru/epz/contract/contractCard/common-info.html?reestrNumber=1771034949420000075
[6] https://www.rbc.ru/opinions/society/17/06/2020/5ee8ce139a79479edce77585
[7] https://t.iss.one/begtin/1880

#opendata #opengov

Я сейчас гружу в APICrafter кучу данных с сайта Росстата [1] в раздел "Статистика" [2] и чуть позже сделаем официальный пост от проекта с тем сколько новых наборов данных появилось, а пока скажу вам друзья что всё что мы слышали или слышим про качество работы с открытыми данными у Росстата - это сказки.

Чтобы было понятно:

- с сайта Росстата скачано 1547 наборов данных
- у 742 наборов однотипная структура из CSV файлов с полями: area,gender,urban,value (все их можно было опубликовать как один набор данных)
- ещё 617 наборов данных это однотипные показатели в формате SDMX без документации, также их можно было опубликовать как один набор данных
- надо ли объяснять что это получается куча мелких файлов, эдакое "необоснованное дробление данных" (c) ради числа наборов данных
- половина данных опубликовано как CSV, другая половина как XML. Файлы CSV имеют ту особенность что половина с разделителем запятой (,), половина с разделителем (;).
- у 20 наборов данных у файлов CSV отсутствуют заголовки
- итого, если делать всё по уму, то у Росстата на сайте было бы всего 188 наборов данных. А если ещё объединить в один датасет вакансии всех террорганов Росстата то и всего то около 103-105 наборов данных. Чувствуете разницу?
- некоторые из наборов данных имеют расширение csv, а внутри это zip файлы. А иногда это zip файлы внутри которых файлы csv которые... на самом деле не csv, а тоже zip файлы
- около 30% опубликованных CSV файлов в кодировке windows-1251, остальные в UTF-8, нигде при этом не указано что в каком виде.
- несколько наборов данных XML - это дампы показателей из внутренней BI системы. Без документации.


В итоге пришлось дорабатывать код подготовки пакетов данных для автоматического распознавания кодировки, разделителей и выявления CSV файлов без заголовков. Это не так уж сложно, но окунаться в ад работы с плохоформатированными CSV файлами - это то ещё удовольствие.

А в качестве послесловия я добавлю что это ещё далеко не самый худший ФОИВ по опубликованию данных. Да, много где ситуация сильно хуже, но Росстат тоже, умеет удивлять отсутствием управления данными и таким вот дроблением датасетов на кучу мелких наборов данных.

Как бы то ни было, все они будут у нас в каталоге сегодня уже к концу дня. И, похоже, вводить критерии качества каталогов данных важно не меньше качества содержания наборов данных.

Ссылки:
[1] https://rosstat.gov.ru/opendata
[2] https://data.apicrafter.ru/topics/statistics

#opendata #datasets

Свежий инструмент по моделированию политики открытых данных от Global Integrity и Open Data Charter посвящён теме использования открытых данных при противодействии коррупции [1].

Противодействие коррупции - это наиболее очевидный ответ на вопрос "зачем нужны открытые государственные данные". Именно для борьбы с коррупцией, в первую очередь, открываются данные о госзакупках, бюджетах, деклараций чиновников и многое другое. Почти вся современная госполитика основана на том что общественный и государственный контроль, также, использует данные в своей работе.

В России публикация открытых данных в этой области всё ещё существенна и у нас в стране раскрываются закупки и их результаты, декларации чиновников, данные бюджетов. Но с каждым годом всё больше сигналов об ухудшении этого раскрытия.

Например:
- закрыты все ключевые сведения в реестре субсидий на портале Электронного бюджета, а российские антикоррупционные ведомства и структуры не высказали своей позиции по этому факту.
- скрыты сведения о победителях контрактов по закону 223-ФЗ о закупках госкомпаний и госучреждений
- в реестре юридических лиц более не раскрываются сведения о учредителях НКО

И таких фактов можно собрать много за последние несколько лет.

В то время как страны с гораздо меньшей открытостью изначально сейчас делают существенные шаги вперед.

Важно помнить что противодействие коррупции начинается с доступности данных, именно данные дают необходимые возможности и позволяют создавать инструменты для того что называют общественным контролем.

Ссылки:
[1] https://fightcorruption.opendatacharter.net/

#opendata #opengov #anticorruption

Про текущее состояние открытости данных на примере Фонда социального страхования (ФСС РФ).

ФСС РФ формально не является федеральным органом исполнительной власти, но, тем не менее выполняет многие его функции и с 2015 года фондом публиковались открытые данные.

У фонда было де-факто два способа раскрытия данных
- раздел на портале data.gov.ru [1] на который осталась ссылка на сайте фонда. Данные не обновлялись более 5 лет, ну и в целом это наименьшие по объёму стат показатели и административные справочники
- портал открытых данных data.fss.ru [2] на него уже нет ссылок с официального сайта ФСС РФ и сам портал всё ещё в статусе "тестового режима". На нем последние актуальные данные 4-х летней давности, опубликованы в 2018 году.

В результате актуальных ведомственных данных ФСС РФ нет уже более 4-х лет, а проекты по открытости заброшены.

Ссылки:
[1] https://data.gov.ru/organizations/7736056647
[2] https://data.fss.ru

#opendata #government #russia #fssrf

Вчера зам. министра финансов Алексей Лавров озвучил предложение закрыть для широкой публики информацию о госзакупках [1] предоставив доступ только профессиональным участникам рынка. Озвучивание предложения - это ещё не закрытие, но сигнал о том что оно может произойти уже очень скоро и, скорее всего, обсуждается лишь его масштаб, а там есть вариации которые я не озвучиваю чтобы не упрощать тем кто планирует закрытие работу.

Но важно понимать все последствия этого закрытия и его логику. Логика в недоступности данных для блогосферы, того что ещё совсем недавно называлось гражданским обществом, а в законе о госзакупках был специальный блок посвящённый общественному контролю.

Так вот в России сотни тысяч поставщиков, доступ к данным можно получить и через них, да и просто пройдя аккредитацию на портале. Это означает что целевые расследования сохранятся, усложнится лишь анализ данных, усложнится аналитика и будет уничтожен почти на корню весь легальный бизнес проверки контрагентов. Почему? Потому без запрета и штрафов на использование этих данных сервисы проверки контрагентов будут искать возможность их получить. Они и так сильно пострадали от закрытия данных по контрактам госкомпаний по 223-ФЗ в 2018 году, а теперь станет ещё хуже.

Хорошо ли это для страны? Не думаю. Хорошо ли это для конкуренции ? Точно нет. Кто выиграет ? Конечно те кому было неудобно пилить бюджет.

Но дело не только в этом. Кроме госзакупок российское государство создает и раскрывает много артефактов своей деятельности. Торги по госимуществу, лицензии, данные о городской инфраструктуре и тд. Их тоже могут использовать в блогосфере для критических публикаций. Ждём уже их закрытия для профессиональных участников или ещё нет?

И, наконец, самое главное. Ключевой источник знаний о субсидиях, многих госконтрактах с ед. исполнителями и иных решениях - это нормативно-правовые документы. Ну что, когда ждём что их тоже закроют? Будет доступ к законам только за деньги и только для юристов. Чем отличается от госзакупок? Разве что только объёмами данных.

Тренд на закрытость государства есть уже давно, но сейчас он значительно усиливается. Лично я вижу по слишком многим темам деятельности государства подмену раскрытия данных продуктами жизнедеятельности пиарщиков. Вместо реальных показателей по нац. проектам, медийные государственные проекты. Вместо раскрытия данных, внедрение каптчей на доступ к сайтам. Вместо раскрытия данных для широкой публики, публикация их только для самих госорганов в режиме авторизации через ЕСИА и тд.

Какими бы не казалось выгодными эти решения для тех кто их принимает, в среднесрочном и дальнесрочным периодах они нанесут ущерб гораздо больший чем все декларируемые угрозы которые могли бы возникать от открытости государства.

Ссылки:
[1] https://www.kp.ru/online/news/4911844/

#opendata #opengov #transparency #government #procurement

С Портала открытых данных, который находится в «режиме технического обслуживания», удалили контактные данные (ссылку на телеграм-канал и почту) и ссылку на информационное сообщение с описанием планируемой инвентаризации.

Кстати, письма, отправленные на электронную почту для запросов наборов данных, рассматриваются как официальный запрос гражданина с временем ожидания ответа в 30 дней.

Текст информационного сообщения пока еще доступен на сайте Минэка, но вот ссылки на телеграм-канал и чат уже нет [1]. Жаль

UPD. В 16:31 все вернули. Оперативно

[1] https://www.economy.gov.ru/material/open_data/informaciya_dlya_polzovateley_informacionnoy_sistemy_portal_otkrytyh_dannyh_datagovru.html

#opendata #открытыеданные #minec #datagovru

Раздел «Открытые данные» на сайте Минэка

Совпадение, наверно, но предыдущая заглушка с контактами оперативно вернулась на Портал открытых данных. Вдогонку напишу и про раздел «Открытые данные» на сайте Минэка.

Заголовок раздела гласит: «Портал открытых данных временно недоступен в связи с проведением инвентаризации данных» [1].

В тексте ниже написано, что «общедоступная информация Минэкономразвития России размещается на портале открытых данных» (но он же закрыт) «в соответствии с перечнем общедоступной информации (…) о деятельности Минэкономразвития России, обязательной для размещения на портале открытых данных» [2]. То есть обязательная информация сейчас не размещается.

Если мы изучим приказ Минэка, о котором идет речь в тексте сообщения [2], то увидим, что «публикация и актуализация общедоступной информации Минэкономразвития в форме открытых данных» предполагает только размещение наборов данных Минэка на Портале открытых данных (который минимум полгода не будет доступен), в то время как в Постановлении Правительства РФ от 10 июля 2013 года № 583 «Об обеспечении доступа к общедоступной информации о деятельности госорганов и органов местного самоуправления в информационно-телекоммуникационной сети «Интернет» в форме открытых данных» однозначно говорится о создании разделов «Открытые данные» на официальных сайтах ведомств и ведении в этих разделах реестров открытых данных. К сожалению, этого на сайте Минэка мы не наблюдаем.

[1] https://www.economy.gov.ru/material/open_data/
[2] https://www.economy.gov.ru/material/dokumenty/prikaz_minekonomrazvitiya_rossii_ot_14_sentyabrya_2021_g_545.html

#открытыеданные #opendata #minec