Ivan Begtin
8.1K subscribers
2.03K photos
3 videos
102 files
4.76K links
I write about Open Data, Data Engineering, Government, Privacy, Digital Preservation and other gov related and tech stuff.

Founder of Dateno https://dateno.io

Telegram @ibegtin
Facebook - https://facebook.com/ibegtin
Secure contacts ivan@begtin.tech
Download Telegram
О необходимости архивации данных и о том почему когда-то в Информационной культуре мы начали Национальный цифровой архив России (ruarxive.org).

На сайте Правительства более не публикуются сведения о государственных программах. Они всё ещё находятся через поисковики запросом: "site:government.ru/programs", но на странице "Госпрограммы" [1] их более нет, а ссылки с поисковиков теперь выдают ошибку 404. Ранее там были ссылки которые вели на новости по каждой из госпрограмм и подробности их реализации. Специальный портал госпрограмм [2] этих сведений не содержит, также как и остальные онлайн ресурсы.

Материалы о госпрограммах не были перемещены, заархивированы, перенесены на другой ресурс. Они были именно сняты с сайта правительства. Поэтому, даже не смотря на то что в целом Правительство является одной из немногих государственных структур которая официально [предполагается что] хранит архивные версии сайтов правительств прошлых составов [3] c 2008 года, тем не менее в рамках работы одного правительства материалы могу исчезать безвозвратно.

Ситуация усугубляется тем что, на самом деле, официальные архивы сайта Правительства также не дают гарантии сохранности материалов. Например, Архив сайта Правительства России 07.05.2008-07.05.2012 (archive.government.ru) [4] более недоступен и не открывается, архив сайта Правительства за 2012-2018 годы просто отсутствует, а сайты до 2008 года просто нигде не найти кроме как восстанавливая из общедоступных открытых сервисов Archive.org и CommonCrawl.

Гораздо хуже происходит с сайтами органов власти которые подвергаются реорганизации, таких как Минобрнауки РФ до его разделения. Их сайт минобрнауки.рф [5] более недоступен, материалы с него перенесены не все, его архивацию никто не проводил.

Отсутствие целевой госполитики в сохранении хотя бы официальных, государственных цифровых документов и материалов приводит к тому что каждая реорганизация органа власти всегда приводит к существенным потерям данных, знаний и информации. Исправить это можно только путём обязательного сохранения в цифровых архивах всех материалов являющихся результатом деятельности органов власти.

Ссылки:
[1] https://government.ru/programs/
[2] https://programs.gov.ru
[3] https://government.ru/archive/
[4] https://archive.government.ru/
[5] https://xn--80abucjiibhv9a.xn--p1ai/

#opengov #opendata #digitalpreservation #archives
May 31, 2019
May 31, 2019
May 31, 2019
May 31, 2019
Дмитрий Скугаревский и Денис Савельев из ИПП в колонке в Ведомостях [1] пишут о простоте и сложности закона о контроле. Это очень важно что вопрос о простоте не просто официальных, но и нормативных текстов выносится на первый план. В России ежегодно принимается почти 500 федеральных законов и тысячи постановлений правительства и приказов ФОИВов. Законодательная нагрузка на граждан, бизнес и госслужащих растёт год от года. Есть ли шанс успешно с ней бороться?

Ссылки:
[1] https://www.vedomosti.ru/opinion/articles/2019/05/30/802835-yazik-sovetskogo-zakona

#plainlang
May 31, 2019
June 2, 2019
Портал открытых данных data.mosreg.ru [1] более не существует. Согласно распоряжению N10-24-1/РВ от 25.03.2019 выпущенному Министерства государственного управления, информационных технологий и связи Московской области 29 марта 2019 года система АИСОД (data.mosreg.ru) официально выведена из эксплуатации.

Нюанс этой истории добавляет тот факт что это распоряжение подписано 25 марта, а опубликовано 31 мая 2019 года [2]. Никого не предупредили, решили за 4 дня, уничтожили и через 2 месяца опубликовали распоряжение.

К сожалению именно этот портал я заархивировать не успел. И он лишь один из тысяч примеров моментально исчезающих государственных ресурсов.

Мы, конечно, запросим архив этого сайта, но скорее всего ничего не получим.

Учитывая что у федерального портала data.gov.ru [3] уже давно нет финансирования, то скоро исчезнуть может и он.

Ссылки:
[1] https://data.mos.reg.ru
[2] https://mits.mosreg.ru/dokumenty/normotvorchestvo/normativnye-pravovye-akty-mingosupravleniya-m/31-05-2019-11-05-13-o-vyvode-iz-ekspluatatsii-avtomatizirovannoy-infor
[3] https://data.gov.ru

#opendata #digitalpreservation #archive
June 3, 2019
June 3, 2019
Для всех кто помнит про бот для телеграма по ретрансляции новостей в каналы [1], у меня, к сожалению, с новой работой остаётся очень мало времени на его поддержку, поэтому я его код полностью публикую на github'е [2].

Пишите там в issues если найдёте ошибки или смело их исправляйте. Клонируйте бот и используйте в личных задачах как Вам удобно.

Напомню что этот бот умеет выгружать новости из RSS каналов и веб-сайтов где есть страницы с новостями и отправлять их в телеграм каналы. Очень удобно для тех кому надо транслировать новости из своего сайта в телеграм канал автоматом или если кому-то надо настроить мониторинг новостей по теме.

С помощью этого бота работает канал Инфокультуры @infoculture и Правительственный дайджест @govdigest и новостной канал о Московском патриархате @mospatriarhia о котором мало кто знает.

Ссылки:
[1] https://begtin.tech/feedbot/
[2] https://github.com/datacoon/feedrebot

#news #opensource
June 4, 2019
В СМИ уже идут публикации на основе доклада по открытости который готовили мы в Инфокультуре в Центре перспективных управленческих решений, а теперь и в Счетной палате с момента моего туда выхода. Прочитать о докладе можно в РБК [1], в Российской газете [2] и в Коммерсанте [3]. А также Известия [4], телеканал 360 [5], Вести [6] и ТАСС [7]

В ближайшее время само исследование будет общедоступно для всех, а также о нём будет разговор 8-го июня на ПМЭФе [8]. Все подробности я уже буду рассказывать после ПМЭФа:) Сейчас лишь упомяну что этот доклад лишь начало работы, а её ещё предстоит много. Открытость находится в приоритете работы Счетной палаты и тем ФОИВам которые решили на неё "подзабить" за последние годы ещё не поздно исправить эту ошибку.

Ссылки:
[1] https://www.rbc.ru/economics/05/06/2019/5cf65bac9a7947c873d7fa90?from=from_main
[2] https://rg.ru/2019/06/05/schetnaia-palata-nazvala-samoe-zakrytoe-ministerstvo-rossii.html
[3] https://www.kommersant.ru/doc/3991634
[4] https://iz.ru/885558/2019-06-05/schetnaia-palata-nazvala-samoe-zakrytoe-ministerstvo-rossii
[5] https://360tv.ru/news/vlast/schetnaja-palata-nazvala-samye-otkrytye-ministerstva-rossii/
[6] https://www.vesti.ru/doc.html?id=3154726
[7] https://tass.ru/ekonomika/6508493
[8] https://www.forumspb.com/programme/71093/
#opengov #opendata #government
June 5, 2019
June 5, 2019
June 7, 2019
Утверждена Концепция создания и функционирования национальной системы управления данными
https://government.ru/docs/36940/

Распоряжение от 3 июня 2019 года №1189-р, постановление от 3 июня 2019 года
№710. Создание и функционирование национальной системы управления данными
приведёт к повышению эффективности принятия управленческих решений на основе
использования государственных информационных ресурсов в целях улучшения
качества и доступности для граждан государственных, муниципальных и
коммерческих услуг.
June 7, 2019
June 8, 2019
Open Budgets India [1] общественный проект в Индии собирающий данные по бюджетам со всех штатов в Индии и от федерального пр-ва. Существует в формате визуализаций и портала открытых данных.

Это ныне какая-то устойчивая форма проектов на открытых данных когда создатели одновременно делают продукт для массовых потребителей и не забывают выложить все данные для аналитиков/программистов.

Ссылки:
[1] https://openbudgetsindia.org/

#opendata #opengov #openbudgets #budgets #india
June 11, 2019
Не секрет что даже в самых развитых странах оцифровка и систематизация законов, законопроектной деятельности идёт очень тяжело. LegalTech стартапы лучше работают в корпоративном мире, но уже там где есть их применение к решениям судов, законодателей и не только - становится всё непросто. А может стать и ещё сложнее

Во Франции рассматривают законопроект о запрете на разработку систем предсказания судебных решений [1]. В переводе на русский это звучит как:
"Идентификационные данные магистратов и сотрудников судебных органов не могут использоваться повторно с целью или в целях оценки, анализа, сравнения или прогнозирования их фактической или предполагаемой профессиональной деятельности.’

Всё это вкодировано в статью 33 [2] закона о реформе юстиции который рассматривается парламентом Франции.

В России где почти 99% всех приговоров обвинительные это не столь критично, но во Франции есть стартапы такие как Predictice [3] которые предполагают возможность формирования аналитики по конкретным судьям.

С введением ответственности в 5 лет тюрьмы все кто такую аналитику предлагают на рынке немедленно свернут свою деятельность.

Почему это важно? Можно сказать что это первый прецедент запрета на интерпретацию информации из открытых источников. И прецедент довольно жёсткий. Зная склонность российских законодателей к сбору наиболее жёстких практик по всему миру - остаётся лишь ждать когда подобные ограничения предложат и в России и к чему они будут применены. У меня есть несколько идей, но озвучивать их я не хочу дабы не давать законодателям лишней пищи для размышления.

Ссылки:
[1] https://www.artificiallawyer.com/2019/06/04/france-bans-judge-analytics-5-years-in-prison-for-rule-breakers/
[2] https://www.legifrance.gouv.fr/eli/loi/2019/3/23/2019-222/jo/article_33
[3] https://predictice.com/

#data #dataanalytics #opendata
June 11, 2019
June 13, 2019
Уже пять лет в системе закупок нет значимых положительных изменений – Счетная палата представляет мониторинг за 2018 г.
https://audit.gov.ru/press_center/news/37416

Уже пять лет в системе закупок нет значимых положительных изменений – Счетная
палата представляет мониторинг за 2018 г.
June 13, 2019
New York Times выложили в открытый доступ материалы по обучению журналистов дата-журналистике [1], со всеми материалами и датасетами [2]. Неплохой курс/тренинг, очень практичный, про работу с таблицами, очистку данных, брейншторм на данных и так далее.

Такой гайд был бы хорош и на русском языке. Благо материалов предостаточно.

Ссылки:
[1] https://www.niemanlab.org/2019/06/the-new-york-times-has-a-course-to-teach-its-reporters-data-skills-and-now-theyve-open-sourced-it/
[2] https://drive.google.com/drive/u/0/folders/1ZS57_40tWuIB7tV4APVMmTZ-5PXDwX9w

#opendata #ddj #data #datajournalism
June 13, 2019
June 17, 2019
June 17, 2019