Сколько ни пиши о госзакупках, всегда упомянешь дотационные республики (c)

Счетная палата РФ выпустила рейтинг регионального протекционизма в госзакупках выявив регионы в которых на поставщиков из этого же региона уходит 80-90% всех контрактов и общей суммы по всем контрактам. Об этом с утра пишет РБК [1], об этом можно прочитать на сайте "Госрасходы" [2] (проект Счетной палаты).

Можно из статьи и из рейтинга убедиться что в лидерах почти всегда несколько субъектов федерации, для которых очень было бы интересно сравнить уровень дотационности их бюджета и уровень их протекционистской политики.

Но то о чём не написали журналисты, так это то что изначально авторы работы считали не просто рейтинг протекционизма, а "степень интегрированности" субъектов федерации. На странице рейтинга можно открыть страницу каждого субъекта федерации и увидеть долю поставщиков из других субъектов федерации в контрактах для конкретного субъекта федерации.

Например, Республика Карачаево-Черкесия [3], распределение контрактов по суммам за 2019 год:
- 86.1% Карачаево-Черкесская республика
- 4.9% Москва
- 3.5% Ставропольский край
- 1.5% Краснодарский край
- 4% все остальные субъекты федерации.

Можно увидеть что несмотря на высокую дотационность, большая часть контрактов остаётся в республике и лишь небольшая часть уходит в другие субъекты федерации.

А вот другой пример, Новгородская область [4], противоположная крайность, структура их расходов на 2019 год:
- 28.8% Новгородская область
- 22.3% Санкт-Петербург
- 12.6% Ивановская область
- 11.5% Москва
- 8.9% Владимирская область

Можно увидеть что в самой области поставщики лишь на чуть менее 30% закрывают потребности госзаказчиков.

И так далее. В принципе любой желающий может замерить и составить ещё хоть не один десяток таких рейтингов.
Например:
- рейтинг влияния Москвы и Санкт-Петербурга на рынок госзаказа (по доле Московских и Питерских поставщиков);
- рейтинг интегрированности субъектов в федеральный округ - по доле сумм контрактов с субъектами федерации в своём федеральном округе;
- рейтинги протекционизма по отраслям - ИТ, строительство, фармацевтика, медицинские изделия и так далее

И так далее и тому подобное. Только на анализ данных по экономической связности и протекционизму могут уйти годы.

Как Вы уже догадались над рейтингом работала наша команда в Счетной палате. Мы продолжаем развивать аналитические инструменты портала Госрасходы и готовить новые интересные материалы.

P.S. Все данные доступны как открытые данные для выгрузки и повторного использования.

P.S.S. Напоминаю что у нас есть инициатива Дата лаборатория [5] партнерства с ВУЗами и исследовательскими центрами. Если у Вас нет своих ресурсов подсчитать какую-то сложную аналитику на уже выгруженных первичных данных, то мы можем с этим помочь.

Ссылки:
[1] https://www.rbc.ru/economics/26/02/2020/5e55460d9a79472e99363438
[2] https://spending.gov.ru/analytics/ratings/rating-protectionism/
[3] https://spending.gov.ru/analytics/ratings/rating-protectionism/09/
[4] https://spending.gov.ru/analytics/ratings/rating-protectionism/53/
[5] https://spending.gov.ru/datalab/

#opendata #procurement #goszakaz

Минэкономразвития запустило портал data.economy.gov.ru [1] состоящий из разделов "Системообразующие предприятия" и "Для регионов" где представлены данные по списку системообразующих предприятий в России и аналитические материалы по данным ПФР.

Хочется сказать про этот проект что-то хорошее, но сказать нечего.

Список предприятий опубликован в формате Excel, а аналитика в PDF. То есть как раз данных там и нет. Похоже авторы перепутали название домена, и выбрали под-домен data, вместо nodata.

Хотя и сам список системообразующих предприятий интересен.

Ссылки:
[1] https://data.economy.gov.ru

#opendata #nodata

Я тут ранее много ругался на то как ведут свои реестры и информационные системы Минэкономразвития, Минюст России и многие другие органы власти и время от времени хвалил то Минкультуры России то Минфин России за то что у них ситуация обстоит получше.

И это, конечно правда, если сравнивать. Но если сравнивать даже наиболее продвинутые из органов власти с реальным миром, то и там всё, мягко говоря, далеко не так хорошо.

Например, единый портал бюджетной системы (ЕПБС) является частью системы "Электронный бюджет". Большая система со множеством подсистем, реестров и данных которые публикуются там регулярно. На мой взгляд система, с одной стороны значительно переросла себя по сложности того что там публикуется и и по навигации по ней, а с другой стороны эта сложность превращается в огромное число несвязанных разделов на сайте и, что значительно хуже, разделов неактуальных.

Среди размещенных там, самых разных срезов данных, в основном предоставляемых на веб страницах сайта и иногда в виде открытых данных, не меньше чем в 10 разделах данных не обновлялись с января 2018 года (2.5 года).

Самый наглядный и очевидный всем пример - это паспорта участников бюджетного процесса [1].

Если посмотреть на них то:

- у Министерства цифрового развития название всё ещё "Министерство связи и массовых коммуникаций", а руководитель не назначен (сменился в январе 2020 г., 6 месяцев назад)
- у Роскосмоса руководителем всё ещё является Комаров Игорь Анатольевич (с 28 мая 2018 года руководителем является Дмитрий Рогозин)
- у Генпрокуратуры России руководитель всё ещё Чайка Юрий Яковлевич (сменился в январе 2020 года, 6 месяцев назад)
- у Верховного суда руководителем указан первый заместитель Верховного судьи Серков Петр Павлович. Интересно, а Лебедев об этом знает?

И так далее. Там много неактуальной информации как по внесённым участникам бюджетного процесса, так и по тем которые появились или изменились и особенно по их руководителям.

Я привожу этот пример исключительно как понятный всем пример того как официальные государственные сведения становятся недостоверными по той причине что не актуализируются, причём неактуализируются они не в "замороженных" или "выводимых из эксплуатации" информационных системах. А во вполне хорошо профинансированных.

Аналогично можно пройтись по многим другим разделам на сайте во многих из которых нет данных за последние 2.5 года.

На случай если сайт закроют на техобслуживание, скриншоты у меня в фэйсбуке https://www.facebook.com/ibegtin/posts/10157556711463263

Ссылки:
[1] https://budget.gov.ru/epbs/faces/p/%D0%91%D1%8E%D0%B4%D0%B6%D0%B5%D1%82%D0%BD%D0%B0%D1%8F%20%D1%81%D0%B8%D1%81%D1%82%D0%B5%D0%BC%D0%B0/%D0%A3%D1%87%D0%B0%D1%81%D1%82%D0%BD%D0%B8%D0%BA%D0%B8%20%D0%B1%D1%8E%D0%B4%D0%B6%D0%B5%D1%82%D0%BD%D0%BE%D0%B3%D0%BE%20%D0%BF%D1%80%D0%BE%D1%86%D0%B5%D1%81%D1%81%D0%B0

#finances #opengov #opendata #errors

Я бы сказал удивительно, но на самом деле не очень то что на сайте Открытого бюджета Москвы есть новость о том что проект бюджета на 2021-2023 годы внесен в Московскую городскую думу [1] а ссылки на сам текст внесенного проекта бюджета или данные отсутствуют.

В виде текста в формате DOCX он есть на сайте МГД [2], для тех кому очень лень извлекать таблицы из этого файла вручную рекомендую утилиту docx2csv [3] с её помощью можно извлечь все таблицы в CSV формате или в виде Excel файлов.

Ссылки:
[1] https://budget.mos.ru/news05112020
[2] https://duma.mos.ru/ru/0/regulation_projects/corebofs002080000nb3mf7d2btjvc48
[3] https://github.com/ivbeg/docx2csv

#opendata #moscow #budget

Свежая публикация об открытых данных в России в сборнике Open Government Data in Russia [1] за авторством Ольги Пархимович (@ahminfin). Много хороших примеров и изложение того что с открытыми государственными данными в России

Ссылки:
[1] https://link.springer.com/chapter/10.1007/978-3-030-42855-6_22

#opendata #opengov

13 латиноамериканских стран поменяли свои законы о госзакупках чтобы скрыть сведения о сделках о покупке вакцин. Всё это в расследовании [1] Red Palta (Латиноамериканская сеть журналистов по вопросам транспарентности и борьбы с коррупцией)

Вот так многие страны десятилетия идут в сторону прозрачности госрасходов, а потом во время пандемии всё это стремительно схлопывается. Потому что у пандемии относятся почти как к военному положению и потому что игра идёт по тем правилам кто сильнее. Когда крупный международный фарм. бизнес задаёт правила игры, то у правительств стран нет выбора (мало выбора) кроме как скрывать такие сделки. А скрывают их не столько от граждан, сколько от других стран чтобы те не знали реальных цен и им было бы сложнее торговаться.

Ссылки:
[1] https://www.redpalta.org/post/benefits-to-pharmaceutical-companies-in-the-purchase-of-vaccines/

#opendata #opengov #secrecy #covid19

В США Казначейство опубликовало набор данных о ежесуточных поступлениях в федеральный бюджет U.S. Government Revenue Collections [1]. Это данные начиная с октября 2004 года, обновляемые ежедневно и охватывающие 17 показателей за сутки включая сведения о суммах поступлений, тип поступления (электронно, по почте, через терминал) и других.

Если бы к этим данным ещё была декомпозиция по видам налогоплательщиков, видам налогов и неналоговых платежей - было бы ещё интереснее для анализа влияния COVID-19 и других глобальных и менее глобальных событий с точки зрения поступления средств на счета бюджета.

В целом же видно что казначейство США идёт по принципу что "лучше понемногу, но хорошего качества" и публикуют наборы данных с ежедневным и ежемесячным обновлением, с продуманными метаданными, документацией, удобным API и так далее. Что неплохо, но как-то уж очень медленно.

Ссылки:
[1] https://fiscaldata.treasury.gov/datasets/revenue-collections-management/u-s-government-revenue-collections

#opendata #usa #budgets

Регулярные напоминания

Я время от времени, по мере роста числа подписчиков, напоминаю о проектах которые я и моя команда ведём. Это не исчерпывающий список, а самое что ни на есть основное.

В телеграм
- @begtin - мой канал в телеграм где я пишу про данные, госданные, иногда про госфинансы и госуправление, ИТ в гос-ве и около, технологии и про госзакупки.
- @infoculture - телеграм канал АНО "Инфокультура" которое я возглавляю
- @ahminfin - телеграм канал моей коллеги, Ольги Пархимович, она ведёт разработку проекта Госрасходы (spending.gov.ru) и руководит проектом Госзатраты (clearspending.ru) и регулярно пишет о разных проблемах и достижениях профильных органов власти в этой области и про открытые данные, не только в госфинансах.

Проекты (активные)

По госфинансам
- Госрасходы (spending.gov.ru) - аналитический портал Счетной палаты РФ с анализом данных о госрасходах включая полную базу госконтрактов, субсидий (до ноября 2020 года), иных данных. С открытыми данными, API и так далее. А также с аналитикой по нацпроектам и госпрограммам.
- Госзатраты (clearspending.ru) - изначальный общественный негосударственный проект по анализу госконтрактов созданный для Комитета Гражданских Инициатив. Сейчас поддерживается и развивается Инфокультурой. Также с открытыми данными и API.

По НКО
- Открытые НКО - портал по всем некоммерческим организациям которые существуют в России, включая данные по их контрактам, субсидиям, полученным грантам, идущим арбитражным делам и сдаваемых ими отчетам. С открытыми данными и API.
- Данные НКО - портал открытых данных созданных специально для НКО для раскрытия данных о их деятельности. На базе CKAN с открытыми данными и API.

По открытым данным
- Хаб открытых данных - общественный портал открытых данных, включает многие данные которые мы собирали параллельно официальным порталам открытых данных. В последнее время обновляется сильно реже, давно думаем о его реорганизации. На базе CKAN с открытыми данными и API.

Другое
- Простой русский язык - простой инструмент измерения сложности текстов, выдает показатель в годах обучения. С открытым API и открытым кодом
- Национальный цифровой архив - проект по архивации веб-сайтов Рунета и иных цифровых объектов/артефактов. На практике совокупность проектов под одним брендом. С большими данными в виде дампов архивов сайтов.
- День открытых данных - ежегодное мероприятие по открытым данным в России/Москве.

Исследования
- Приватность государственных мобильных приложений в России - о том какие трекеры в каких госприложениях.
- Open Data Review - Открытые данные в российском правовом поле: обзор лучших практик, рекомендаций и барьеров
- Оценка открытости государственных информационных систем в России - о том какие ГИС есть в России и насколько они открыты
- Открытость государства в России - ежегодный доклад Счетной палаты и ряда НКО
- Утечки данных из государственных информационных систем - о том как персональные данные утекают из государственных и регулируемых государством информационных систем

Блоги и медиа
- Блог Инфокультуры на Хабре - тексты большого формата, пишем туда нечасто, не писали много лет, но начали снова.
- Рассылка Инфокультуры - регулярные новости про открытые данные и события, и иную деятельность как нашу Инфокультуры так и партнёров. 7,5 тысяч подписчиков.
- Моя личная рассылка на Substack - я стараюсь писать туда 2-4 раза в месяц. Темы шире чем у рассылки Инфокультуры и веду я её лично, с середины прошлого года специально для лонгридов.
- Блог begtin.tech - мой блог для публикаций "среднего размера", регулярно возвращаюсь к нему, хотя пишу даже реже чем в рассылку.

Дополнительные ресурсы
- открытый код на Github infoculture, datacoon, ruarxive, ivbeg
- открытые данные на data.world infoculture, ibegtin
- документированные госAPI на Postman infoculture-public
- профили на международном портале данных гуманитарных кризисов infoculture

#opendata #opengov

Open Ownership, проект по разработке стандарта и публикации данных о бенефициарах юридических лиц, опубликовали доклад о применении данных о бенефициарах при процедурах госзаказа Beneficial ownership data in procurement [1]. Об этом же исследовании и его контексте в их блоге [2] и в блоге Data in Government [3] на государственном портале Великобритании gov.uk

Не случайно что эту инициативу упоминают и работают над ней именно в Великобритании. В декабре 2020 года был опубликован документ Transforming public procurement (Green paper) [4] для обсуждения с экспертами и профессионалами. В нём, на 82 страницах текста были изложены вопросы реформы государственного заказа, по итогам года с COVID-19, ситуаций описываемых в документе как "экстремальный кризис" и с необходимостью адаптации процедур государственных расходов под современные технологии и реалии. И вот в этом документе и явным образом есть упоминание на необходимость введения обязательного требования по раскрытию конечных бенефициаров компаний, вплоть до того чтобы это было отсекающим критерием для любой конкурентной процедуры. Не раскрыл сведения о бенефициарах - не можешь получать деньги от государства.

В России практика раскрытия информации о бенефициарных владельцах обязательна только для кредитных организаций, а в госзакупках она отсутствует почти полностью. Плюс к этому в нашей стране слишком много случаев "номинальных владельцев" юридических лиц и эта практика используется не только для сокрытия бенефициарных владельцев при госзакупках, но и чтобы обходить требования закона о госслужбе, к примеру и других ограничениий накладываемых разного рода видами профессиональной деятельности.

При этом, судя по развитию реформ государственного заказа по развитым странам, я бы оценивал высокой вероятность перехода стандартов Open Ownership и Open Contracting [5] в международный статус и постепенное внедрение их в рекомендации ОЭСР, Всемирного банка и иных межгосударственных организаций. Они и так уже есть в рекомендациях OGP и далее вопрос лишь времени в дальнейшем развитии.

Ссылки:
[1] https://www.openownership.org/uploads/OO%20BO%20Data%20in%20Procurement.pdf
[2] https://www.openownership.org/blogs/beneficial-ownership-data-in-procurement-beyond-transparency-and-accountability/
[3] https://dataingovernment.blog.gov.uk/2021/04/08/who-really-benefits-from-uk-business-ownership/
[4] https://assets.publishing.service.gov.uk/government/uploads/system/uploads/attachment_data/file/943946/Transforming_public_procurement.pdf
[5] https://www.open-contracting.org/

#opendata #opengov #procurement

К вопросу о том как сейчас в России обстоит дело с открытостью в целом и открытыми данными:
1. Всё ещё высокий уровень открытости административных данных (деятельность органов власти, базовая информация о лицензировании, выдаче разрешений и тд).
2. Больше открытых данных из государственных информационных систем, в первую очередь в виду роста числа информационных систем и их модернизации. Постепенный рост доступности данных об экономике (ФНС России и др)
3. Снижение открытости как политической ответственности: снижение объёмов раскрытия данных о декларациях чиновников, сокрытие данных о поставщиках по некоторым типам контрактам, сокрытие сведений о субсидиях
4. Снижение числа потребителей открытости: признание инагентами СМИ и НКО, снижение числа независимых СМИ, уголовные дела против журналистов расследователей. Что толку от доступности данных и даже того что госорганы могут ответить на запрос если никто не спросит и не использует?
5. Сохранение низкого уровня открытости всего что связано с качеством жизни, демографией, здравоохранением, правоохраной и образованием. Особенно на гиперлокальном уровне: город, район, муниципалитет.
6. Неработаюющие механизмы соучастия граждан и экспертов в нормотворчестве (игнорирование отзывов граждан по всем ключевым проектам законов и постановлений). Полный отказ от механизма со-написания законопроектов гражданами, ещё примерно 6 лет назад и без возвращения к этой практике.
7. Нефункциональная роль общественных советов при всех органах власти. Никто не может даже подсчитать расходы на их существование. Никто не решается сказать что, как обязательная конструкция, они не работают. А там где польза есть их можно заменить на консультативные органы, которые, ожидаемо, будут состоять из лоббистов.

Если резюмировать, то ситуация следующая.
С одной стороны данных много и вопреки многим другим трендам их становится больше, но... Ровно до тех пор пока кто-то из журналистов расследователей или иных заинтересованных сторон не вскрывают коррупцию или иные нарушения на основе этих данных. После чего именно эти данные закрывают или иным способом ограничивают.

Поэтому экономическая основа у открытости данных ещё есть, а вот политическая основа размывается. А общественная реакция идёт именно на политическую, а не на экономическую или административную открытость. А есть ли кто-то у нас в стране кто оценивает политическую открытость? Нет, таких нет.

#opendata #opengov

Для тех кто интересуется состоянием открытых данных в России, вот некоторые цифры:
- за 2020 год на федеральном портале открытых данных было опубликовано 223 набора данных, за 5 месяцев 2021 года - только 2 набора данных
- всего с 2020 года объём этих 225 наборов данных - 405 мегабайт из которых более 390 мегабайт - это данные Минкультуры России и ФНС России (и то есть подозрение что цифры завышены потому что в реестре наборов данных есть дублирующиеся записи. Скорее всего реально данных значительно меньше)
- лишь 9 178 наборов данных из 24 002 опубликованы федеральными органами власти, остальные региональными и муниципальными
- 10 ФОИВов не опубликовали ни одного нового набора данных с 2013 года (за 8 лет)
- 20 ФОИВов не опубликовали ни одного нового набора данных с 2015 года (за 6 лет)
- 42 ФОИВа не опубликовали ни одного нового набора данных с 2017 года (за 4 лет)
- 68 ФОИВов не опубликовали ни одного нового набора данных с 2019 года (за 2 года)
- иначе говоря в 2020 и 2021 года лишь 6 ФОИВов разместили хотя бы один новый набор данных на портале открытых данных
- некоторые ФОИВы, при этом, кое что опубликовали на своих сайтах, но куда меньше чем раньше и чем могли бы
- общий объём опубликованных данных на портале data.gov.ru оценить сложно, сайт не даёт статистики, API сайта очень куцое, требуется очень много запросов сделать чтобы подсчитать хоть самые приблизительные цифры, но они будут невелики.
- параллельно этому на сайтах и FTP серверах органов власти опубликовано открытых данных примерно на 20 терабайт. Количественно - это сотни наборов данных, качественно - это данные большого объёма.
- безусловные лидеры по масштабам раскрытия данных - Минкультуры, ФНС России, Федеральное казначейство, Минфин России. Даже при том что тенденции там не только к раскрытию, текущие объёмы доступных данных очень велики.

#opendata #stats

Почему российский портал открытых данных не развивается уже несколько лет, данные не публикуются, а эти компетенции находятся в Минэкономразвития РФ в глубоком кризисе?

Специально для тех, кто следит за тематикой открытых данных: Минэкономразвития РФ заключило второе доп. соглашение к контракту на портал открытых данных. На этот раз изменили код вида расходов. Контракт заключен в ноябре прошлого года. Единственное, что доступно по контракту в ЕИС - доп. соглашение от конца августа на исключение из контракта хакатона, который поставщик должен был провести еще в декабре прошлого года. Можно ли вообще задним числом отменять работы, которые должны были быть проведены полгода назад? Вообще заказчик должен был отправить поставщика в РНП, а заодно уведомить следственные органы.

Моя коллега Ольга Пархимович (@ahminfin) писала об этом серию постов [1] [2] [3] [4], которые в кратком изложении звучат так, что подрядчик в лице Рунетсофта не выполнил множество работ по порталу откртыых данных, а Минэкономразвития не рискнули отправлять его в реестр недобросовестных поставщиков.

Никакого движения по контракту [5] кроме доп. соглашений не наблюдается - этапы не приняты, штрафы не выставлены, непонятно зачем вообще юристы Минэкономразвития существуют. За это время Рунетсофт успели внести в Реестр недобросовестных поставщиков, но не из-за контракта на портал открытых данных. А ведь если бы поставщика внесли в РНП сразу, когда первый этап контракта был не исполнен, то не было бы новых контрактов на несколько десятков миллионов рублей, которые в этом году Рунетсофт заключил с несколькими поставщиками, в том числе и с тем же Минэком.

Напомню, что только на техподдержку, консультационное и информационное сопровождение в контракте выделено несколько миллионов. При этом запрос на портал от декабря прошлого года одобряли 2 месяца вместо нескольких рабочих дней, а взяли в работу только в июле. То есть, на протяжении 7 месяцев консультационные/информационные работы не проводились.

Честно говоря, состояние федерального портала открытых данных и так удручающее, представители Минэкономразвития ещё и пытаются рассказывать об оценках открытости данных в регионах и ФОИВах, но при текущем состоянии собственных дел в их епархии, верить оценкам органа власти, не способного выстроить собственную работу с данными и провалившего работу с порталом открытых данных, невозможно.

А я напомню, что несколько раз писал о том, как внутри Минэкономразвития России работают с данными [6], о том как они создавали реестр СО НКО с кучей ошибок [6] и реестр системообразующих предприятий [7] ничуть не лучше.

Всё это редкостный позор, если честно. А бездействие Минэкономразвития по порталу открытых данных можно объяснить тем, что вся эта тема сошла с ключевой повестки правительства, превратившись в фрагментированные инициативы. Но потраченные деньги на портал открытых данных и итоговые результаты объяснить куда сложнее.


Ссылки:
[1] https://t.iss.one/ahminfin/293
[2] https://t.iss.one/ahminfin/294
[3] https://t.iss.one/ahminfin/301
[4] https://t.iss.one/ahminfin/407
[5] https://zakupki.gov.ru/epz/contract/contractCard/common-info.html?reestrNumber=1771034949420000075
[6] https://www.rbc.ru/opinions/society/17/06/2020/5ee8ce139a79479edce77585
[7] https://t.iss.one/begtin/1880

#opendata #opengov

Я сейчас гружу в APICrafter кучу данных с сайта Росстата [1] в раздел "Статистика" [2] и чуть позже сделаем официальный пост от проекта с тем сколько новых наборов данных появилось, а пока скажу вам друзья что всё что мы слышали или слышим про качество работы с открытыми данными у Росстата - это сказки.

Чтобы было понятно:

- с сайта Росстата скачано 1547 наборов данных
- у 742 наборов однотипная структура из CSV файлов с полями: area,gender,urban,value (все их можно было опубликовать как один набор данных)
- ещё 617 наборов данных это однотипные показатели в формате SDMX без документации, также их можно было опубликовать как один набор данных
- надо ли объяснять что это получается куча мелких файлов, эдакое "необоснованное дробление данных" (c) ради числа наборов данных
- половина данных опубликовано как CSV, другая половина как XML. Файлы CSV имеют ту особенность что половина с разделителем запятой (,), половина с разделителем (;).
- у 20 наборов данных у файлов CSV отсутствуют заголовки
- итого, если делать всё по уму, то у Росстата на сайте было бы всего 188 наборов данных. А если ещё объединить в один датасет вакансии всех террорганов Росстата то и всего то около 103-105 наборов данных. Чувствуете разницу?
- некоторые из наборов данных имеют расширение csv, а внутри это zip файлы. А иногда это zip файлы внутри которых файлы csv которые... на самом деле не csv, а тоже zip файлы
- около 30% опубликованных CSV файлов в кодировке windows-1251, остальные в UTF-8, нигде при этом не указано что в каком виде.
- несколько наборов данных XML - это дампы показателей из внутренней BI системы. Без документации.


В итоге пришлось дорабатывать код подготовки пакетов данных для автоматического распознавания кодировки, разделителей и выявления CSV файлов без заголовков. Это не так уж сложно, но окунаться в ад работы с плохоформатированными CSV файлами - это то ещё удовольствие.

А в качестве послесловия я добавлю что это ещё далеко не самый худший ФОИВ по опубликованию данных. Да, много где ситуация сильно хуже, но Росстат тоже, умеет удивлять отсутствием управления данными и таким вот дроблением датасетов на кучу мелких наборов данных.

Как бы то ни было, все они будут у нас в каталоге сегодня уже к концу дня. И, похоже, вводить критерии качества каталогов данных важно не меньше качества содержания наборов данных.

Ссылки:
[1] https://rosstat.gov.ru/opendata
[2] https://data.apicrafter.ru/topics/statistics

#opendata #datasets

Свежий инструмент по моделированию политики открытых данных от Global Integrity и Open Data Charter посвящён теме использования открытых данных при противодействии коррупции [1].

Противодействие коррупции - это наиболее очевидный ответ на вопрос "зачем нужны открытые государственные данные". Именно для борьбы с коррупцией, в первую очередь, открываются данные о госзакупках, бюджетах, деклараций чиновников и многое другое. Почти вся современная госполитика основана на том что общественный и государственный контроль, также, использует данные в своей работе.

В России публикация открытых данных в этой области всё ещё существенна и у нас в стране раскрываются закупки и их результаты, декларации чиновников, данные бюджетов. Но с каждым годом всё больше сигналов об ухудшении этого раскрытия.

Например:
- закрыты все ключевые сведения в реестре субсидий на портале Электронного бюджета, а российские антикоррупционные ведомства и структуры не высказали своей позиции по этому факту.
- скрыты сведения о победителях контрактов по закону 223-ФЗ о закупках госкомпаний и госучреждений
- в реестре юридических лиц более не раскрываются сведения о учредителях НКО

И таких фактов можно собрать много за последние несколько лет.

В то время как страны с гораздо меньшей открытостью изначально сейчас делают существенные шаги вперед.

Важно помнить что противодействие коррупции начинается с доступности данных, именно данные дают необходимые возможности и позволяют создавать инструменты для того что называют общественным контролем.

Ссылки:
[1] https://fightcorruption.opendatacharter.net/

#opendata #opengov #anticorruption

Про текущее состояние открытости данных на примере Фонда социального страхования (ФСС РФ).

ФСС РФ формально не является федеральным органом исполнительной власти, но, тем не менее выполняет многие его функции и с 2015 года фондом публиковались открытые данные.

У фонда было де-факто два способа раскрытия данных
- раздел на портале data.gov.ru [1] на который осталась ссылка на сайте фонда. Данные не обновлялись более 5 лет, ну и в целом это наименьшие по объёму стат показатели и административные справочники
- портал открытых данных data.fss.ru [2] на него уже нет ссылок с официального сайта ФСС РФ и сам портал всё ещё в статусе "тестового режима". На нем последние актуальные данные 4-х летней давности, опубликованы в 2018 году.

В результате актуальных ведомственных данных ФСС РФ нет уже более 4-х лет, а проекты по открытости заброшены.

Ссылки:
[1] https://data.gov.ru/organizations/7736056647
[2] https://data.fss.ru

#opendata #government #russia #fssrf

Вчера зам. министра финансов Алексей Лавров озвучил предложение закрыть для широкой публики информацию о госзакупках [1] предоставив доступ только профессиональным участникам рынка. Озвучивание предложения - это ещё не закрытие, но сигнал о том что оно может произойти уже очень скоро и, скорее всего, обсуждается лишь его масштаб, а там есть вариации которые я не озвучиваю чтобы не упрощать тем кто планирует закрытие работу.

Но важно понимать все последствия этого закрытия и его логику. Логика в недоступности данных для блогосферы, того что ещё совсем недавно называлось гражданским обществом, а в законе о госзакупках был специальный блок посвящённый общественному контролю.

Так вот в России сотни тысяч поставщиков, доступ к данным можно получить и через них, да и просто пройдя аккредитацию на портале. Это означает что целевые расследования сохранятся, усложнится лишь анализ данных, усложнится аналитика и будет уничтожен почти на корню весь легальный бизнес проверки контрагентов. Почему? Потому без запрета и штрафов на использование этих данных сервисы проверки контрагентов будут искать возможность их получить. Они и так сильно пострадали от закрытия данных по контрактам госкомпаний по 223-ФЗ в 2018 году, а теперь станет ещё хуже.

Хорошо ли это для страны? Не думаю. Хорошо ли это для конкуренции ? Точно нет. Кто выиграет ? Конечно те кому было неудобно пилить бюджет.

Но дело не только в этом. Кроме госзакупок российское государство создает и раскрывает много артефактов своей деятельности. Торги по госимуществу, лицензии, данные о городской инфраструктуре и тд. Их тоже могут использовать в блогосфере для критических публикаций. Ждём уже их закрытия для профессиональных участников или ещё нет?

И, наконец, самое главное. Ключевой источник знаний о субсидиях, многих госконтрактах с ед. исполнителями и иных решениях - это нормативно-правовые документы. Ну что, когда ждём что их тоже закроют? Будет доступ к законам только за деньги и только для юристов. Чем отличается от госзакупок? Разве что только объёмами данных.

Тренд на закрытость государства есть уже давно, но сейчас он значительно усиливается. Лично я вижу по слишком многим темам деятельности государства подмену раскрытия данных продуктами жизнедеятельности пиарщиков. Вместо реальных показателей по нац. проектам, медийные государственные проекты. Вместо раскрытия данных, внедрение каптчей на доступ к сайтам. Вместо раскрытия данных для широкой публики, публикация их только для самих госорганов в режиме авторизации через ЕСИА и тд.

Какими бы не казалось выгодными эти решения для тех кто их принимает, в среднесрочном и дальнесрочным периодах они нанесут ущерб гораздо больший чем все декларируемые угрозы которые могли бы возникать от открытости государства.

Ссылки:
[1] https://www.kp.ru/online/news/4911844/

#opendata #opengov #transparency #government #procurement

С Портала открытых данных, который находится в «режиме технического обслуживания», удалили контактные данные (ссылку на телеграм-канал и почту) и ссылку на информационное сообщение с описанием планируемой инвентаризации.

Кстати, письма, отправленные на электронную почту для запросов наборов данных, рассматриваются как официальный запрос гражданина с временем ожидания ответа в 30 дней.

Текст информационного сообщения пока еще доступен на сайте Минэка, но вот ссылки на телеграм-канал и чат уже нет [1]. Жаль

UPD. В 16:31 все вернули. Оперативно

[1] https://www.economy.gov.ru/material/open_data/informaciya_dlya_polzovateley_informacionnoy_sistemy_portal_otkrytyh_dannyh_datagovru.html

#opendata #открытыеданные #minec #datagovru

Раздел «Открытые данные» на сайте Минэка

Совпадение, наверно, но предыдущая заглушка с контактами оперативно вернулась на Портал открытых данных. Вдогонку напишу и про раздел «Открытые данные» на сайте Минэка.

Заголовок раздела гласит: «Портал открытых данных временно недоступен в связи с проведением инвентаризации данных» [1].

В тексте ниже написано, что «общедоступная информация Минэкономразвития России размещается на портале открытых данных» (но он же закрыт) «в соответствии с перечнем общедоступной информации (…) о деятельности Минэкономразвития России, обязательной для размещения на портале открытых данных» [2]. То есть обязательная информация сейчас не размещается.

Если мы изучим приказ Минэка, о котором идет речь в тексте сообщения [2], то увидим, что «публикация и актуализация общедоступной информации Минэкономразвития в форме открытых данных» предполагает только размещение наборов данных Минэка на Портале открытых данных (который минимум полгода не будет доступен), в то время как в Постановлении Правительства РФ от 10 июля 2013 года № 583 «Об обеспечении доступа к общедоступной информации о деятельности госорганов и органов местного самоуправления в информационно-телекоммуникационной сети «Интернет» в форме открытых данных» однозначно говорится о создании разделов «Открытые данные» на официальных сайтах ведомств и ведении в этих разделах реестров открытых данных. К сожалению, этого на сайте Минэка мы не наблюдаем.

[1] https://www.economy.gov.ru/material/open_data/
[2] https://www.economy.gov.ru/material/dokumenty/prikaz_minekonomrazvitiya_rossii_ot_14_sentyabrya_2021_g_545.html

#открытыеданные #opendata #minec