Ivan Begtin
8.09K subscribers
1.99K photos
3 videos
102 files
4.7K links
I write about Open Data, Data Engineering, Government, Privacy, Digital Preservation and other gov related and tech stuff.

Founder of Dateno https://dateno.io

Telegram @ibegtin
Facebook - https://facebook.com/ibegtin
Secure contacts ivan@begtin.tech
Download Telegram
МВД опубликовало офицальную информацию о том что услуги регистрации автомобилей восстановятся не раньше завтрашнего дня [1] и даже принесло извинения. Как писали СМИ ранее [2] сервера залиты водой в связи с тем что произошёл прорыв трубы и с её механическим повреждением в серверной в Москве [3].

Несмотря на то что адрес серверной и ответственный эксплуатант не указываются в сообщениях, но мы то его знаем. Это ФКУ НПО "СТИС" МВД РОССИИ [4]. Именно на них оформлен патент на систему ФИС ГИБДД-М используемой для оказания государственных услуг и именно они выступали в роли госзаказчика этой системы, последний контракт на доработку ПО был c РОСБИ ИНФОРМ КО в 2020 году [5].

При этом нигде не упоминается местонахождение местонахождение именно ФИС ГИБДД-М, МВД вообще не распространяется о собственной инфраструктуре. Но если посмотреть два их последних крупных контракта на поставку оборудования [6] [7] на 771 и 931 млн. руб в 2019 году, то там упоминается два адреса поставки, без указания эксплуатируемых на них информационных систем:
- г. Москва, Боярский переулок, д. 4, стр. 1 - это бывший адрес ФМС, а теперь Главное управление по вопросам миграции при МВД России
- 115230, г. Москва, ул. Электролитный проезд, д. 3, стр. 4 - это ЦОД Нагорная от АО "Электронная Москва" [8]

Есть ли у МВД дополнительные арендованные ЦОДы - это, тоже, вопрос, я склоняюсь к тому что нет иначе контракты на их обслуживание были бы известны.

Возникает в итоге довольно много разных вопросов:
1. Как получилось что довольно критичная ФГИС для оказания услуг гражданам оказалась без георезервирования?
2. Где, всё таки, эта информационная система находится?
3. Какие другие системы МВД России пострадали? Напомню что у НПО "СТИС" таких систем несколько десятков (см. их сайт)
4. Какая организация, в итоге, отвечала за эксплуатацию зданий ЦОДа - МВД или АО "Электронная Москва" или ещё какая-то организация?
5. Понимают ли в МВД что "прорыв трубы" - это не технические неполадки, а авария и говорить иное - это дезинформация?
6. Застрахованы ли были сервера/информационная система? Какая ответственность оператора была предусмотрена?

Вообще же будет удивительно если по итогам не будет, как минимум, расследования внутри МВД, а как максимум со стороны прокуратуры и др. органов власти, потому что какой-то вопиющий случай.

Ссылки:
[1] https://мвд.рф/news/item/27539293
[2] https://www.fontanka.ru/2021/12/19/70326554/
[3] https://www.fontanka.ru/2021/12/18/70325834/
[4] https://стис.мвд.рф
[5] https://clearspending.ru/contract/1770802535820000019/
[6] https://zakupki.gov.ru/epz/contract/contractCard/document-info.html?reestrNumber=1770802535819000044&contractInfoId=53143678
[7] https://zakupki.gov.ru/epz/contract/contractCard/document-info.html?reestrNumber=1770802535819000037&contractInfoId=54111750
[8] https://www.e-moskva.ru/projects-new/data-centers/

#government #govtech #govit
December 19, 2021
December 20, 2021
December 20, 2021
Для тех кто интересуется реакцией правительств на COVID-19 через мобильные приложения для отслеживания, вышел финальный отчет Tracing The Tracers 2021 report: Automating COVID responses [1] от Algrorithm Watch, германской исследовательской группы в области ИИ и приватности.

В отчете много разного полезного, вроде того что утечки данных были не только в российских приложениях и о том какие меры и как предпринимали центральные и региональные власти европейских стран.

Ссылки:
[1] https://algorithmwatch.org/en/tracing-the-tracers/2021-report/

#privacy #covid19 #ai #ethics
December 20, 2021
Коммерсантъ пишет о появлении [1] Концепции обеспечения защиты прав и свобод человека и гражданина в цифровом пространстве РФ разработанной СПЧ.

Я внимательно прочитал эту концепцию и по её содержанию мои комментарии есть в статье Коммерсанта. Но есть и не менее важные "стилистические" замечания. Вся концепция написана по шаблону "риски-противодействие", а переводя с русского-на-русский язык - это шаблон "угрозы-противодействие", по такому шаблону у нас пишут многочисленные стратегии информационной безопасности и тд.

В концепции нет отсылок к фундаментальным принципам прав человека, аналогичным международным документам и тд. Есть отсылка только к российской Конституции.

В концепции нет ничего про международное регулирование и защиту прав граждан и потребителей в части защиты их данных (в Китае, в Евросоюзе, в Германии, в США) и ещё в десятках стран. Во многих странах есть государственные стратегии цифрового суверенитета и госрегулирования big tech.

При этом, в концепции довольно много всего про безальтернативные ограничения на использование данных в госсекторе и в бизнесе, запретительную модель регулирования и совсем удивительных требований вроде:
- установление запрета на присвоение единого номера-идентификатора человеку в общенациональном цифровом пространстве
...
- сохранение бумажного документооборота в критически значимых сферах защиты интересов государства, гражданского общества, коммерческих и некоммерческих организаций, общественных объединений, человека и гражданина
...
- введение моратория на формирование и использование интегральных баз данных о гражданах, создаваемых путем объединения баз персональных данных, обработка которых осуществляется в целях, несовместимых между собой

И там ещё довольно много всего такого. К сожалению не могу дать ссылку на сам документ, он ещё в открытом доступе вроде как не опубликован, могу лишь цитировать ту версию с которой я успел ознакомиться.

Поэтому, конечно, документ это, в первую очередь, политический. В форме "манифеста цифрового консерватизма" очень недалёкому от "аналогового консерватизма" с большим числом утверждений напрямую противоречащих современной цифровой экономике и цифровому госуправлению.

Лично я, несмотря на критику в адрес big tech компаний и государства, считаю что единственно возможный путь регулирования - это не запретительно-консервативная, а гибкая регуляторная модель с чётким взвешиванием рисков и возможностей, а также последствий регулирования.

Несмотря на то что у концепций нет нормативно-правового статуса, они являются основной для других документов, на их основе в дальнейшем пишутся и изменяются законы. Поэтому эта концепция, в случае рассмотрения её как основы госполитики, на мой взгляд, требует существенной переработки и снижения градуса политического популизма.

Лично я, и многие эксперты в области работы с данными, считаю необходимым появление Национальной стратегии управления данными, определяющей принципы развития экосистемы и рынков данных в нашей стране. Защита прав потребителей и граждан, права на доступ к их данным должны быть частью этой стратегии.

Ссылки:
[1] https://www.kommersant.ru/doc/5140980

#data #regulation
December 21, 2021
Я регулярно пишу об открытых данных и для тех кто мог забыть или не знал что это такое я напомню.
Определение открытых данных дано в Open Definition [1] и звучит как

“Open data and content can be freely used, modified, and shared by anyone for any purpose”

или по русски

"Открытые данные и открытый контент могут быть свободно используемы, изменены, и предоставлены кем угодно для любой цели"

В 2015 году правительствами стран, гражданским обществом и экспертами были разработаны 6 принципов открытых данных [2] таких как:
1. Открытость по умолчанию
2. Своевременность и полнота
3. Доступность и пригожность
4. Сравнимость и переносимость
5. Для улучшения управления и вовлечения граждан
6. Для инклюзивного развития и инноваций

Свобода использования данных предполагает позволяющий делать это юридический статус и публикацию данных под такими лицензиями как ODbL, Creative Commons и ряда других. По этой же причине часто термин открытые данные смешивают с открытые государственные данные, по тому как на данных коммерческих компаний, как правило, есть ограничения интеллектуальной собственности, а на данных граждан ограничения персональных данных.

Но многие данные изначально создавались не государством. Крупнейшие некоммерческие проекты с открытыми данными - это OpenStreetMap и Wikipedia предоставляющие дампы собранных в них данных.

Важно помнить что открытость данных - это просветительская функция. Например, собрать материалы с сайтов органов власти и опубликовать их в виде открытых данных - это легально и допустимо, это пример того что госорганы могут делать и сами и это работа с данными на которых нет запретительных юридических ограничений.

А, к примеру, собрать набор данных с сайтов интернет-магазина или социальной сети можно рассматривать как открытые данные только при наличии соответствующего согласия владельца данных, компании оператора сайта.

Это не значит что открытых корпоративных данных нет, это означает что открытыми данными они становятся при соблюдении юридических условий их публикации.

Важно помнить что открытых данных много, становится всё больше, а порталы открытых данных создаются, в том числе для указания того на каких условиях эти данные распространяются.

Ссылки:
[1] https://opendefinition.org/
[2] https://opendatacharter.net/principles/

#opendata #opendefinition #data
December 21, 2021
Ай-яй-яй-яй, как интересно.

Коллеги из Счетная палата Российской Федерации опубликовали видеоролик о том как писать отчеты [1]

Что, безусловно, очень правильно и полезно. Вообще всем бы органам власти следовать тем же путём.
Я на всякий случай напомню что где-то с 5-й минуты в ролике приводится пример сравнения сложности текста. Для этого сравнения используется сервис Простым языком plainrussian.ru [2] созданным в Информационная культура и автором которого я являюсь.

Этот сервис специально создавался максимально простым и понятным, с оценкой сложности текста в годах обучения.
Сервис некоммерческий, использовать его может каждый, не стесняйтесь. А если будут вопросы/предложения/идеи то пишите на infoculture@infoculture.ru или в чате @begtinchat

В ролике Счетной палаты и в аннотации к нему коллеги, почему-то не упомянули ни меня ни сервис, но уверен что они это исправят.

Ссылки:
[1] https://www.youtube.com/watch?v=HvqerB5Bb2A
[2] https://plainrussian.ru

#plainrussian #services #lingustics #russian
December 21, 2021
December 22, 2021
Появились в открытом доступе предложения о мерах повышения доступности данных и эффективности их использования для целей развития цифровой экономики в РФ [1] прозвучавшие на заседании комиссии РСПП 30 ноября этого года.

Кроме всего прочего там есть предложения:
- по открытию данных органами власти
- по созданию экспертной группы по доступу к госданным при экспертном совете при Пр-ве РФ
- по развитию практики data sharing

И иногое другое. Напомню что от Ассоциации участников рынка данных (АУРД) мы помогали РСПП в организации этого заседания и формировании его повестки. Важно помнить что открытые данные - это не только открытость государства, но и бесплатное топливо для современных цифровых продуктов создаваемых бизнесом.

Ссылки:
[1] https://rspp.ru/events/news/predlozheniya-o-merakh-povysheniya-dostupnosti-dannykh-i-effektivnosti-ikh-ispolzovaniya-dlya-tseley-61c1af5cbe064/

#opendata #datasharing #aurd #rspp
December 22, 2021
Я готовлю большое обновление материалов по открытому государственному коду в мире который мониторю уже 7 лет и вот сейчас запустил пересчёт статистики которая почти готова. Через какое-то время опубликую лонгрид и наборы данных по этой теме, а пока просто в цифрах и оценка, пока без какой-либо инфографики и визуальной подачи. Просто текстом.

Есть два рейтинга стран по открытости кода на Github по числу форков и по числу звезд поставленных репозиториям относящихся к госорганизациям из этой страны.

Топ стран по числу форков госкода
1. США - 56541
2. Великобритания - 29339
3. Франция - 7932
4. Канада - 7794
5. Италия - 5368
6. Австралия - 3452
7. Япония - 2941
8. Германия - 2794
9. ООН - 1970 (не страна, но добавлены в сравнение)
10. Норвегия - 1948

Топ стран по числу звезд
1. США - 120246
2. Великобритания - 46536
3. Франция - 22317
4. Германия - 12429
5. Канада - 10475
6. Италия - 8996
7. Япония - 7434
8. Австралия - 5014
9. Норвегия - 3232
10. ООН - 2735

Применительно к США и Великобритании заниженные оценки поскольку учитывались только репозитории центральных органов власти и не учитывались репозитории государственных исследовательских центров.

Топ 5 наиболее популярных госрепозиториев по числу звезд
- gchq/CyberChef от британского киберагентства GCHQ (UK) - 13685 звезд (российскому ФСТЭК на заметку). ПО для инфобеза
- nasa/openmct от космического агентства NASA (США) - 10093 звезд. ПО для контроля миссий
- nasa/fprime от космического агентства NASA (США) - 8653 звезд. ПО обеспечения полетов
- tokyo-metropolitan-gov/covid19 от городских властей Токио (Япония) - 6265. ПО для визуализации данных и сами данные о COVID-19
- uswds/uswds от агентства GSA (США) - 5912. Дизайн система федерального правительства США.
Открытые данные об открытом исходном коде

Органы власти не просто используют открытый код, они публикуют код который используют десятки тысяч пользователей разработчиков.

Продолжение следует
А в лонгриде я добавлю больше сравнений стран, рейтинги репозиториев по разным критериям и сравнение развития репозиториев органов власти и так называемых civil hackers, представителей НКО и неформальных групп помогающих создавать код для повышения качества работы государства.

#opensource #opendata #ratings
December 22, 2021
December 23, 2021
Я бы сказал что у меня скепсиса прибавилось, но посмотрим. По прежнему считаю что концепция здравая, а реализацию ещё не поздно корректировать.

Ссылки:
[1] https://www.youtube.com/watch?v=NddaKbSqa94
[2] https://www.developer.tech.gov.sg/

#govtech #government #tech
December 23, 2021
Forwarded from Ах, этот Минфин (Olya Parkhimovich)
Молодежная политика.pdf
188.8 KB
December 23, 2021
Печальная новость в том что похоже что данным переписи 2021 года доверять нельзя [1]. По опросу Левада-центра только 46% опрошенных приняли участие в переписи и основная причина неучастия в том что не пришёл переписчик.

Хуже всех от этой ситуации будет всем тем кто анализирует данные по стране, оценивает качество жизни, изучает то как устроены наши территории и как они могут развиваться. И раньше то было ощущение что "линзы сбиты", но сейчас они просто неверны.

Ссылки:
[1] https://www.levada.ru/2021/12/21/uchastie-rossiyan-v-perepisi/

#data #statistics #failure
December 23, 2021
Все уже написали по поводу огромных оборотных штрафов наложенных на Google и Meta российскими судами [1]. Google (Alphabet) оштрафованы на 7.2 миллиарда рублей, а Facebook (Meta) на 2 миллиарда рублей.

Конечно, вся эта история про то "кто здесь власть". Big tech компании нарастили политического и социального влияния до того уровня который уже нельзя игнорировать. Давят на них не только российские власти, но и власти Китая, Индии, Турции да и многих других стран. И штрафы - это ещё не худший вариант подобного давления.

Например, в Индии, во время протестов фермеров власти угрожали арестом сотрудникам Facebook [2] если те не выдадут информацию о протестующих.

Но и оборотные штрафы - это жесткая форма переговоров с big tech. Важно лишь помнить что выкладывая карты на стол надо быть готовыми что корпорации могут на это не согласится. Если Meta уйдет, вернее не придёт (у них нет своего представительства) в Россию, то катастрофы не случится. А вот про Google важно помнить что это не только поиск, но и почта, экосистема Android, Google Cloud и ещё много чего.

Почтой на Google пользуются многочисленные российские университеты, госорганизации и просто коммерческие компании. Приложения для Android'а являются инструментом заработка многих компаний в России, не говоря уже о пользователях этой платформы и так далее.

Иначе говоря риски у Google (Alphabet) сейчас будет патовая ситуация где, с одной стороны, если они пойдут на требования российских властей, то их обвинят в цензуре, в том числе политической. А если не пойдут, то получат ещё несколько штрафов, усиление давления и возможно уйдут из России.

Лично я считаю что давление властей стран на big tech неизбежно, но неприятно что это происходит через задачи цензуры, а не защиты местного бизнеса и прав граждан. Конфликт властей Австралии с Google закончился тем что Google сдались на их условия. Но австралийские власти добивались компенсации местным новостным агентствам и добились этой цели. А в Турции штрафовали Гугл на 296 лир (36.6 миллионов долларов США) за доминирующее положение в поиске [3]

Ссылки:
[1] https://www.reuters.com/technology/russian-court-fines-alphabets-google-72-bln-roubles-2021-12-24/
[2] https://www.businessinsider.com/india-threatens-to-jail-facebook-twitter-workers-over-farmer-protests-2021-3
[3] https://www.reuters.com/technology/turkey-fines-google-abusing-dominant-position-2021-04-14/

#google #facebook #fines
December 25, 2021
На днях прошла встреча Михаила Мишустина с новым составом экспертного совета при Пр-ве РФ [1]. Содержание встречи не так важно, куда интереснее изменение состава экспертного совета [2]. На этой встрече было 22 человека, можно ещё предположить что несколько человек не могли принять участие физически и то что ещё нет опубликованного финального состава совета.

Но выводы уже можно сделать:
- единственная женщина в составе - Елена Бунина из Яндекс'а, она же единственная глава частной компании
- она же единственный представитель ИТ компании
- вообще никого нет моложе 40 лет (поправьте меня если я неправ)
- почти все участники - опытные бюрократы-лоббисты
- сложно назвать экспертным совет из управленцев, даже весьма уважаемыми, даже если они управленцы от науки. В лучшем случае его участники обладают ресурсами для организации экспертной работы.

Я не берусь сказать стал ли новый совет лучше или хуже предыдущего. Предыдущий экспертный совет был большим, около 400 человек. Я также входил в их число и могу сказать что по узким задачам он работал, но не целиком, а отдельными группами экспертов.

Непонятно пока как новый совет будет работать, так что будем наблюдать.

Ссылки:
[1] https://government.ru/news/44189/
[2] https://static.government.ru/media/files/DZHYK7Z6uoSdyAUcsIsi68oLWCDZGfMW.pdf

#councils #government
December 25, 2021
Писать о том как журналисты искажают смысл оригинальных новостей уже стало чем-то обыденным. Кризис ли это журналистики в принципе или в отдельных изданиях, но не могу не обратить внимание на публикации с хлёсткими заголовками:
- ЕС потребовал от России многомиллиардную компенсацию за импортозамещение (РИА Новости) [1]
- За нормы ВТО: Евросоюз потребовал от России €290 млрд (Известия) [2]

При этом самая адекватная публикация была в РБК
- Евросоюз оценил потери из-за политики импортозамещения России в €290 млрд (РБК) [3]

Потому что в оригинальной новости на сайте ВТО [4] ничего нет про сумму которую Евросоюз требует, там речь идет о требовании отмены российской политики импортозамещения и оценки средств на которую эта политика распространялась, это те самые 290 миллиардов евро или 20% российского ВВП.

Собственно Блумберг писал об этом ещё 20 декабря [5], когда вышла новость на сайте ВТО.

Всё это не значит что на Россию не могут быть наложены штрафы, но это точно произойдет не в следующем году и точно не на сумму указанную Евросоюзом как объем средств дискриминируемых товаров. Но на политику импортозамещения в России может повлиять и пока нельзя предсказать как именно потому что это вопрос, в первую очередь, макрополитический и того что российские власти пошли по пути прописывания импортозамещения в нормативных документах, а это и есть предмет претензий Евросоюза.

P.S. Самое забавное в том что в России очень многие относятся к стратегии импортозамещения с большим скепсисом, особенно в ИТ, а вот в Евросоюзе, судя по претензиям переданным в ВТО, относятся очень серьёзно.

Ссылки:
[1] https://ria.ru/20211226/es-1765519939.html
[2] https://iz.ru/1269467/oksana-belkina/za-normy-vto-evrosoiuz-potreboval-ot-rossii-eu290-mlrd
[3] https://www.rbc.ru/rbcfreenews/61c7ec9a9a7947f012162062
[4] https://www.wto.org/english/news_e/news21_e/dsb_29nov21_e.htm
[5] https://www.bloomberg.com/news/articles/2021-12-20/wto-to-review-eu-dispute-over-russian-procurement-discrimination

#government #procurement #russia #eu #importsubstitution
December 26, 2021
January 11, 2022
В рубрике много интересного чтения о данных. Практически все по практике работы с данными и технологических стартапах:
- 30 startups that show how open source ate the world in 2021 [1] обзор 30 стартапов продуктов с открытым кодом привлекших значительное финансирование. Многие стартапы исключительно про работу с данными и про инфраструктурные аспекты работы с данными, например, MindsDB [2] про машинное обучение внутри СУБД или Airbyte [3] про преобразование и интеграцию данных. Там же упоминается весьма интересный проект Hoppscotch [4] про проектирование API с открытым кодом, фактически открытый аналог Postman. А модель многих open source продуктов часто похожа на "давайте посмотрим на лучший продукт на рынке и сделаем такой-же только с открытым кодом. А зарабатывать будем на облачной версии", иногда это работает;)
- One Year of dbt [5] статья автора о более чем годе практике использования Dbt (data build tool) [6], теперь уже популярном инструменте преобразования данных, с открытым кодом и интеграцией практически со всеми современными корпоративными инструментами и современным стеком данных.
- Announcing preview of BigQuery’s native support for semi-structured data [7] в Google BigQuery анонсируют поддержку полу-структурированных данных, с обращением к JSON данным внутри запросов. Много времени прошло с тех пор как она ожидалась и вот появилась.

Ссылки:
[1] https://venturebeat.com/2022/01/03/30-startups-that-show-how-open-source-ate-the-world-in-2021/
[2] https://mindsdb.com/
[3] https://airbyte.com/
[4] https://hoppscotch.io
[5] https://tech.devoted.com/one-year-of-dbt-b2e8474841ca
[6] https://www.getdbt.com/
[7] https://cloud.google.com/blog/products/data-analytics/bigquery-now-natively-supports-semi-structured-data

#reading #data #tech
January 11, 2022
Для тех кто ищет вдохновения и красивую инфографику, большая коллекция из 100 красивых и иноформативных визуализаций [1] от Observable

Визуализаций там много и многие из них очень даже неплохи. Например, World Grids [2] с разными формами отображения мира.

А мне лично нравится сама модель Observable в виде открытой воспроизводимой визуализации, единственный недостаток для пользователя это неотделимость от самой платформы, но с точки зрения создателей платформы - это, конечно, её преимущество.

Ссылки:
[1] https://observablehq.com/@tomlarkworthy/notebooks2021
[2] https://observablehq.com/@neocartocnrs/world-grids

#infographics #dataviz #vizualization
January 11, 2022