Ivan Begtin
8.09K subscribers
1.99K photos
3 videos
102 files
4.7K links
I write about Open Data, Data Engineering, Government, Privacy, Digital Preservation and other gov related and tech stuff.

Founder of Dateno https://dateno.io

Telegram @ibegtin
Facebook - https://facebook.com/ibegtin
Secure contacts [email protected]
Download Telegram
Михаил Карякин в Актуальных комментариях пишет о том что государство было, но перестало быть открытым [1] после ликвидации "Открытого правительства" и фактического отказа от направления открытости гос-ва в России.

Если такое впечатление могло сложиться, то это совсем не так.
И вот лишь несколько тезисов:
1. Первый федеральный закон о госзакупках 94-ФЗ был принят в середине 2005 года и начал действовать с 1 января 2006 года, именно он обеспечил доступность информации о госзакупках для граждан
2. 8-ФЗ о свободе доступа к информации был принят в феврале 2009 год задолго до Открытого правительства [1]
3. Само Открытое правительство стало таким под общественным и экспертным давлением. Изначальной идеей Медведева было использовать термин "Большое правительство" как расширение Правительство на пул приближенных экспертов. Мало кто помнит, но они даже использовали домен "bigovernment.ru" долгое время до того как получили "open.gov.ru".
4. Открытого правительства не было в федеральном бюджете никогда. Оно финансировалось через НКО созданное под совсем другие цели и через Внешэкономбанк и, может быть, другие внебюджетные источники.
5. В его составе не было никого кто имел бы практический и ценностный опыт в открытости государства и довольно небольшое число тех кто имел опыт в госуправлении. В итоге первые 1,5 года его сотрудники собирали информацию со среды и пытались сформировать внутренние компетенции с нуля.
6. При этом ценностно никого там близкого к тематики открытости не было, что подтверждается и тем что после распада "Открытого правительства" никто из его участников темой открытости заниматься не продолжил. Это были их функции, а не ценности. В том числе и Михаил Абызов "забил" на открытость ещё до ликвидации "Открытого правительства"
7. При этом изначальная функция ОП как лоббисткая (вспомним "Большое правительство") очень активно эксплуатировалась. Вспомним все те многочисленные рабочие группы "мягкого лоббизма" которое оно создавало.
8. Сама тема открытости там активно размывалась другими темами. Все ключевые направления открытости в мире: открытый диалог, открытые данные, свобода доступа к информации были размазаны по темам более мелким и неактуальным или же были полностью слиты. Так среди десяти механизмов открытости [2] открытые данные были размещены в конец списка, а остальные девять - это лишь маленькие кусочки паззла которые должны ложится в свободу доступа к информации и открытый диалог. Неполные кусочки, потому что ключевых пунктов там нет и связаны они с реализацией 8-ФЗ и нормальными механизмами коммуникациями с граждан. А консультации с общественными советами и экспертными группами туда попали, хотя это всё продолжение вопросов о "мягких формах" лоббирования.

Я могу продолжать ещё долго и я ранее уже писал о судьбе Открытого правительства у себя в блоге [3].
Повторю лишь то что я неоднократно повторял на многих мероприятиях в течении всех лет открытости государства.

"Я занимался открытыми данными до того как государство об этом узнало, я занимаюсь ими вместе с государством когда оно это делает и я продолжу заниматься открытыми данными после того как государство об этом забудет" (c).

Ссылки:
[1] https://actualcomment.ru/ne-boltat-kak-zakrytost-stanovitsya-osnovoy-gosudarstva-1809121751.html
[2] https://opendandard.ru
[3] https://begtin.tech/failed-gov/

#opendata #opengov
Небольшой шаг для человечества, но важный для тех кто думает о приватности. Cloudflare анонсировали [1] шлюз к IPFS [2], децентрализованной p2p файловой системе на основе которой могут существовать самые разные сервисы. Самый очевидный из них - это distributed web, распределённая неблокируемая сеть сайтов.

Cloudflare уже внедляют distributed web gateway [3] и себя как CDN для сайтов использующих IPFS.

Шаг важный потому что Cloudflare - это один из двух крупнейших сервисов интернет-инфраструктуры, по эффекту на Интернет они где-то рядом с Amazon'ом. Если (или когда) IPFS или ZeroNet появятся во базовых браузерах и на мобильных телефонах то вся деятельность того же Роскомнадзора в России и других ведомств в других странах по блокировки по доменам быстро поломается. Но радоваться рано, все ограничения в реализации блокировок основаны на невозможности контролировать конечные устройства пользователей. А это значит что попытки контролировать конечные устройства будут.

Ссылки:
[1] https://blog.cloudflare.com/distributed-web-gateway/
[2] https://ru.wikipedia.org/wiki/IPFS
[3] https://www.cloudflare.com/distributed-web-gateway/

#privacy #ipfs #cloudflare
Forwarded from Ах, этот Минфин (Olya Parkhimovich)
26 сентября в Москве мы проводим мероприятие, посвященное тому, как открытые данные меняют нашу жизнь (вопрос открытости госфинансов обойти мы, конечно, не можем).

Что такое API и какие проекты можно сделать с использованием открытых данных проекта "Госзатраты"? Где найти данные о всех бюджетных учреждениях? Какое министерство использует ИТ-сервисы и открытые данные для взаимодействия с десятками тысяч учреждений? У какого проекта Министерства культуры ежемесячная аудитория - 1 млн пользователей? Какие данные о вас есть у бизнеса? Стоит ли бояться "большого брата"? Где найти данные о контрактах любого госоргана? - на эти и другие вопросы ответят Тимур Алейников, Иван Бегтин и Артур Хачуян. Участие бесплатно, но регистрация обязательна: https://infoculture.timepad.ru/event/810022/
Как бизнесу работающему с данными защищать свои интересы? Как говорить с государством о регулировании и де-регулировании? Как добиваться открытия данных для коммерческого использования?

Эти и многие другие вопросы мы обсудим на рабочей встрече 28 сентября во ФРИИ. Мероприятие организуется Ассоциация участников рынка данных созданием которой я занимался последние полгода.

Зарегистрироваться на встречу можно по ссылке https://www.facebook.com/events/317758312323781/ или напрямую через Timepad https://aurd.timepad.ru/event/807139/ Подробности по мероприятию можно задавать мне на [email protected] и Александру Фузееву ([email protected])

Ассоциация участников рынка данных будет заниматься защитой интересов бизнеса в части работы с открытыми данными, стандартизации, выработки совместной позиции в отстаивании госрегулирования и наоборот защите от избыточного и ненужного госрегулирования в этой области.

Приглашаю в первую очередь представителей среднего и малого бизнеса принять участие в рабочей встрече и вступать в ассоциацию. Это ассоциация с открытым участием, приглашаются все компании имеющие повестку работы с данными в своей деятельности.

В дальнейшем разделение моей лично активности будет в том что интересы граждан и общества я продолжу защищать от лица АНО "Информационная культура", а интересы бизнеса от лица Ассоциация участников рынка данных.

Пишите мне на [email protected] или в телеграм @ibegtin если будут вопросы.

#data #aurd #opendata
Хабр (Тематические медиа) опубликовал первый в России отчёт о прозрачности (transparency report) [1] о том сколько запросов ему направляют органы власти и как он на них реагирует. Это хорошая новость что такие отчёты публикуются. Со многих точек зрения это очень важный шаг и круто что его делает Хабр и очень жаль что на него не решаются лидеры рынка MRG и Яндекс.

Браво Хабр!

Ссылки:
[1] https://habr.com/company/tm/blog/422967/

#privacy #government
Не могу не обратить ваше внимание что вот уже 3 недели Правительство на своём сайте не выкладывает постановления и распоряжения в разделе "Документы" [1]
И ведь не в первый раз такое.

Ссылки:
[1] https://government.ru/docs/all/?type=102000066_102000496&number=&text=&dt=&dt.till=&dt.since=

#government
Минкомсвязи анонсирует что к 2020 году на все компьютеры ввезённые и созданные в России должен ставится отечественный антивирус [1], а депутаты ещё в июле внесли законопроект о создании системы проверки сведений об абоненте Сотовой связи [2].

Ни то ни другое не являются катастрофическими новостями для приватности граждан, но могут иметь двойное применение, поэтому будет полезно отслеживать что там происходит.

Ссылки:
[1] https://www.kommersant.ru/doc/3745820
[2] https://sozd.parliament.gov.ru/bill/514780-7

#privacy
Я напомню что в среду, 26 сентября пройдёт Дата-среда Дата-среда: «Как открытые данные меняют нашу жизнь» зарегистрироваться там можно по ссылке [1]

где Тимур Алейников , Артур Хачуян и я, и всё это с модераторством Всилий Бурова будем говорить о том как открытые данные меняют нашу жизнь.

Я буду рассказывать про то многое и немногое что мы делаем в АНО "Информационная культура".

Мы проводим много мероприятий и их будет даже очень много в этом году и в начале следующего.

Подписывайтесь на нашу рассылку [2], подписывайтесь на наш канал в телеграм [3], страницу в фэйсбуке АНО "Информационная культура" [4] и пишите Ваши идеи и предложения на [email protected]

Ссылки:
[1] https://www.facebook.com/events/852263484980680/
[2] https://infoculture.us7.list-manage.com/subscribe?u=2e38b8af0d8a547b51427dc9b&id=dadb533f05
[3] https://t.iss.one/infoculture
[4] https://www.facebook.com/InformationCulture/

#opendata #opengov
MRG (Mail.Ru Group) выпустили то что они называют СУБД в облака - облачный сервис для работы с данными [1]. Через сервис предоставляют MySQL и PostgreSQL [2], а MongoDB, Tarantool и Galera обещают по запросу.

Это хорошая новость что российский рынок облачных сервисов развивается и как-минимум 2 российских игрока Яндекс и Mail.ru развивают эти сервисы. Я искренне надеюсь что к ним подтянутся и другие.

Но, не могу Вам не напомнить, что прежде чем использовать сервис Mail.ru внимательно почитайте условия использования [3]. Внимательное чтение условия Яндекс.Облака, например, меня остановило от регистрации там [4], [5]. Условия использования Mail.ru лично я ещё не вычитывал подробно, но подозреваю что тут всё будет также не гладко.

Увы, ничто кроме конкуренции не заставит "толстых котов" Рунета писать условия использования не под себя, а с учётом интересов клиентов.

Ссылки:
[1] https://corp.mail.ru/ru/press/releases/10343/
[2] https://mcs.mail.ru/databases
[3] https://help.mail.ru/mcs/legal/termofuse
[4] https://t.iss.one/begtin/1098
[5] https://t.iss.one/begtin/1093

#data #paas
Это очень интересный материал, жаль лишь что сам Вконтакте входящий в Mail.ru Group не имеет исследовательского отдела и какого-либо взаимодействия с академическими учреждениями. Внешние данные могут дать очень многое, но даже деперсонализированные данные из Вконтакте могут дать гораздо больше, хотя и понятно что не могут быть открытыми в некоторых аспектах.
​​📈Из каких городов переезжают жить в Москву

Год назад, тогда еще в «ДП», вышел мой материал о том, из каких городов переезжают в Петербург. Теперь вышла вторая серия про Москву - в Strelka Magazine. Все как в прошлый раз: анализ профилей «Вконтакте», сравнение родного города и города проживания. Прокачал работу с точки зрения экспертной оценки - Никита Мкртчян и Надежда Замятина помогли лучше интерпретировать данные. Поменял инструменты визуализации: сделал все в Datawrapper, мобильная версия стала приятнее.

Смотреть: https://clck.ru/ES3zx
Напомню что в репозитории govdomains на github [1] находится наиболее полный на сегодняшний день реестр доменов относящихся к органам власти РФ. Сейчас он актуализирован и довольно существенно пополнился.

В общей сложности это 13766 доменов федерального уровня и 57 субъектов федерации. Охватываются домены относящиеся к органам власти, государственным информационным системам, госпрограммам и разного рода другим госпроектам.

Пока не охвачены все субъекты, но это только вопрос времени.

Зачем нужен этот репозиторий? Вот лишь несколько применений:
1. Архивация официальных сайтов органов власти и их проектов.
2. Мониторинг качества официальных сайтов. Например, наличия HTTPS и качества подключения HTTPS по аналогии с проектом pulse.cio.gov
3. Мониторинг того какой хостинг и сервисы использует государство. Не хостятся ли российские госсайты в странах НАТО например (шутка).
4. Мониторинг не попадают ли госсайты под блокировки Роскомнадзора.
5. Проверка официальных email'ов представителей власти. Такое исследование мы ранее делали, выяснили что у большинства госорганов официальная почта на mail.ru

И так далее. Основное применение для Национального цифрового архива России [2], но может пригодится и другим исследователям Рунета.

Ссылки:
[1] https://github.com/infoculture/govdomains
[2] https://ruarxive.org

#opendata #opengov #domains #digitalpreservation
Так сложилось что то чем я занимаюсь и то о чём я пишу в СМИ - очень разные темы. Вот и сейчас в Republic вышла моя колонка " Цифровой профиль и анфас. Будет ли в России свой Синьцзян?" [1] о госинициативах об отечественных антивирусах и о цифровом профиле.

Тема большая, пока малораскрытая в России, о том какие данные граждан и где собираются, о том как общесистемное и специализированное ПО следит за пользователями и не только. Но важнее тут другое. Права граждан в защите от слежки, коммерческой или государственной, сейчас никто не защищает. Максимум что можно услышать - это "пусть вместо западных супостатов за нами следят наши супостаты". А сценарий чтобы никто не следил будет ли когда-либо теперь в нашей жизни? Bли всё, цифровой апокалипсис давно наступил, просто незаметен?

Ссылки:
[1] https://republic.ru/posts/92148

#privacy
В Новой Зеландии открыли электронную торговую площадку (marketplace) для облачных услуг [1]. Площадка, как бы не могло показаться, открытой не является. В отличие от российской практики все реестры, закупки и уведомления поставщиков там не публичны, что-либо узнать о внутренностях можно только после авторизации [2]. Это является общепринятой англосаксонской практикой (встречается в Великобритании, Австралии, Канаде, Новой Зеландии) когда системы раскрытия информации и системы коммуникации разделены, а защита коммерческой тайны не менее важна чем открытость государства.

В чём отличия этой площадки от других? Там всё происходит только онлайн, я имею в виду совсем всё, включая поставку цифровых продуктов.


Ссылки:
[1] https://webtoolkit.govt.nz/blog/marketplace-launches/
[2] https://www.marketplace.govt.nz

#procurement #ict
Вышла новая редакция рейтинга стран по открытости данных - Open Data Barometer [1] я как мог оттягивал того чтобы написать об этом, ожидая того что напишут другие и как отреагируют.

Имеет смысл не только обратить внимание на то что Россия на 16-м месте в этом рейтинге [2], но и на профиль страны с детальным пояснением [3]

Оценка России достаточно высока, но, можно обратить внимание что достигнута она не благодаря, а скорее вопреки деятельности открытого пр-ва в последние годы.

Не оно обеспечило высокую доступность данных о бюджете и о госконтрактах - это заслуги Минфина России. Данные международной торговли доступны благодаря Федеральной Таможенной службе (снова Минфин, это его подведомственная служба)
Данные криминальной статистики раскрывала Генпрокуратура на crimestat.ru и без Открытого пр-ва и так по всем пунктам.

Так что куда денется тема открытых данных? Никуда она не денется.

Ссылки:
[1] https://opendatabarometer.org/
[2] https://opendatabarometer.org/leadersedition/report/
[3] https://opendatabarometer.org/country-detail/?_year=2017&indicator=ODB&detail=RUS

#opendata #opengov
Вышла версия 2.0 браузера Vivaldi [1] претендующего на максимальную приватность, во второй версии много изменений, в основном про удобство.

Браузер ориентированный на приватность - это очень хорошо, для полного счастья не хватает ещё и чтобы связанные с таким браузером сервисы тоже можно было бы от него отделять. Например, все браузеры сейчас синхронизуют устройства предлагаю включить сервисы синхронизации. Но пока ни один не предлагает возможность развернуть самому такой сервис синхронизации для себя лично или, за деньги, в корпоративных целях в рамках компании.

P.S. Поправка, у Mozilla есть сервис синхронизации [2]. Спасибо внимательному читателю за подсказку!

Ссылки:
[1] https://vivaldi.com/ru/press/releases/vivaldi-browser-launches-2-0/
[2] https://github.com/mozilla-services/syncserver

#privacy
Два важных преданонса:
1. Мы уже начали планировать День открытых данных в 2019 году. В ближайшие месяцы определимся с программой, в зависимости от программы, с площадкой и с форматом. У нас есть формат этого года с направлениями: Бизнес, Государство, НКО, Город и Журналистика. Как это будет в 2019 году? Уже начинаем думать над этим.
Форматы могут быть разные. Можно вместо этого взять направления: здравоохранение, образование, транспорт, журналистика. Можно ещё как-то. В любом случае ещё есть время определиться.

Присылайте Ваши идеи и предложения на [email protected]

2. В одну из ближайших встреч ДатаСреды мы хотим поднять вопрос о доступности и принципах работы Цифровых библиотек и цифровых архивов. Пока обсуждаем как и где лучше сделать акценты. Хочется поговорить и о нашем Национальный цифровой архив России и о том что в принципе важно делать в части доступности цифрового нац. достояния. В первую очередь это касается даже не оцифровки офлайнового, а в сохранении цифрового онлайнового.

Пишите на [email protected] если у Вас будут идеи по мероприятию, готовность выступить и рассказать и вообще идеи по цифровой архивации/работе с долгосрочной доступностью цифрового контента.

#opendata #opendataday #digitalpreservation
Forwarded from Ах, этот Минфин (Olya Parkhimovich)
Для журнала "Метод" мы подготовили Рейтинг автономности регионов по 44-ФЗ за 2017 год.

Проект Комитета гражданских инициатив «ГосЗатраты» существует более четырех лет. Изначально он был открытой базой всех государственных контрактов, закупок, поставщиков и госзаказчиков и предоставлял возможность пользователям просматривать информацию о каждом контракте и каждой организации — участнике госзаказа.

В рамках проекта мы довольно давно наблюдаем за самыми разными показателями устройства государственных финансов в России. И мы обнаружили, что многие контракты органов власти субъектов Федерации, причем довольно крупных, заключаются с компаниями ведущих экономических или промышленных центров, в первую очередь из Москвы и Санкт-Петербурга. В то же время во многих регионах картина совершенно иная: почти все средства заказчиков любого уровня (федеральных, субъекта Федерации и муниципальных) оставались поставщикам этого региона.

Мы решили назвать это явление автоном­ностью регионов. Другое возможное определение — самодостаточность региона. Явление характеризует то, насколько развита и как устроена экономика субъекта Федерации, а также то, насколько она «замкнута» с точки зрения распределения государственного заказа.
При разработке рейтинга мы сформулировали несколько гипотез:

- чем дальше от Москвы, тем меньше контрактов (и денег) уходит московским поставщикам;
- большая часть денег по контрактам в СЗФО уходит в Санкт-Петербург;
- регионы сильно связаны между собой, и значительная часть контрактов должна уходить за пределы субъекта Федерации;
- контракты с поставщиками своего региона не превысят 50% всех средств госзаказа в регионе.

Далеко не все эти предположения оправдались. Так, оказалось, что в 63 регионах более 50% средств идет местным поставщикам, причем у семи из них остается более 75% средств.
У ряда субъектов значительная часть средств не остается в регионе, но и не уходит в Москву или Санкт-Петербург. Это Астраханская область (53%), Севастополь (42%) и Хабаровский край (37%).

Обращает на себя внимание доля поставщиков из Москвы в контрактах Магаданской области и Чукотского автономного округа (по 32%) от общей суммы всех контрактов. Некоторые другие интересные детали наверняка бросятся в глаза читателю, хорошо знающему специфику конкретных территорий.

Безусловно, этот рейтинг далеко не дает полной картины. Например, поскольку у него нет отраслевого разреза, нельзя сказать, какая доля госзаказа формируется строительными контрактами, а какая — контрактами на разработку ИТ-систем. Углубленный анализ позволил бы сформировать полный контрактный профиль субъекта Федерации с информацией о его связанности с другими регионами страны.

Ознакомиться с рейтингом можно по ссылке: https://amp.gs/hBAF
Я наконец-то собрался и сделал рейтинг открытости стран по открытости исходного кода их информационных систем и вообще их политике открытой разработки.

Вот тут подробная заметка [1], а вот некоторые факты

- 58 правительств публикуют код на GitHub через 730 организаций разместивших 21 222 репозиториев кода с общим числом наблюдателей в 109 307 человек и общим числом участников в 2 052 человека, общий объём опубликованного кода составляет 303 Гигабайта, а всего ошибок и задач внесено в количестве 65 476 штук.
- львиная доля активности и кода публикуется органами власти США. Это 239 организаций (32% от общего числа) разместивших 6345 репозиториев (29,8% от общего числа) в общем объёме кода в 147 Гигабайт (45% от общего объёма) и с 1080 разработчиками ведующими активную разработку кода (52% от общего числа)
- на втором месте Великобритания с отрывом вдвое, и далее Канада, Австралия и Франция.
- открытый код публикуется всеми правительствами стран Большой семерки: США, Канада, Италия, Великобритания, Германия, Франция, Япония.
- открытый код публикуется всеми правительствами стран Большой двадцатки (G20) кроме: Турции, Индонезии, Китая, Южной Кореи и России

Все первичные данные есть по ссылке [2], а таблицу рейтинга можно увидеть здесь [3]

Ссылки:
[1] https://begtin.tech/osgrating/
[2] https://hubofdata.ru/dataset/osgdata
[3] https://datawrapper.dwcdn.net/9JBvr/1/

#opengov #opendata #opensource