Хабр (Тематические медиа) опубликовал первый в России отчёт о прозрачности (transparency report) [1] о том сколько запросов ему направляют органы власти и как он на них реагирует. Это хорошая новость что такие отчёты публикуются. Со многих точек зрения это очень важный шаг и круто что его делает Хабр и очень жаль что на него не решаются лидеры рынка MRG и Яндекс.

Браво Хабр!

Ссылки:
[1] https://habr.com/company/tm/blog/422967/

#privacy #government

Не могу не обратить ваше внимание что вот уже 3 недели Правительство на своём сайте не выкладывает постановления и распоряжения в разделе "Документы" [1]
И ведь не в первый раз такое.

Ссылки:
[1] https://government.ru/docs/all/?type=102000066_102000496&number=&text=&dt=&dt.till=&dt.since=

#government

Минкомсвязи анонсирует что к 2020 году на все компьютеры ввезённые и созданные в России должен ставится отечественный антивирус [1], а депутаты ещё в июле внесли законопроект о создании системы проверки сведений об абоненте Сотовой связи [2].

Ни то ни другое не являются катастрофическими новостями для приватности граждан, но могут иметь двойное применение, поэтому будет полезно отслеживать что там происходит.

Ссылки:
[1] https://www.kommersant.ru/doc/3745820
[2] https://sozd.parliament.gov.ru/bill/514780-7

#privacy

Я напомню что в среду, 26 сентября пройдёт Дата-среда Дата-среда: «Как открытые данные меняют нашу жизнь» зарегистрироваться там можно по ссылке [1]

где Тимур Алейников , Артур Хачуян и я, и всё это с модераторством Всилий Бурова будем говорить о том как открытые данные меняют нашу жизнь.

Я буду рассказывать про то многое и немногое что мы делаем в АНО "Информационная культура".

Мы проводим много мероприятий и их будет даже очень много в этом году и в начале следующего.

Подписывайтесь на нашу рассылку [2], подписывайтесь на наш канал в телеграм [3], страницу в фэйсбуке АНО "Информационная культура" [4] и пишите Ваши идеи и предложения на [email protected]

Ссылки:
[1] https://www.facebook.com/events/852263484980680/
[2] https://infoculture.us7.list-manage.com/subscribe?u=2e38b8af0d8a547b51427dc9b&id=dadb533f05
[3] https://t.iss.one/infoculture
[4] https://www.facebook.com/InformationCulture/

#opendata #opengov

MRG (Mail.Ru Group) выпустили то что они называют СУБД в облака - облачный сервис для работы с данными [1]. Через сервис предоставляют MySQL и PostgreSQL [2], а MongoDB, Tarantool и Galera обещают по запросу.

Это хорошая новость что российский рынок облачных сервисов развивается и как-минимум 2 российских игрока Яндекс и Mail.ru развивают эти сервисы. Я искренне надеюсь что к ним подтянутся и другие.

Но, не могу Вам не напомнить, что прежде чем использовать сервис Mail.ru внимательно почитайте условия использования [3]. Внимательное чтение условия Яндекс.Облака, например, меня остановило от регистрации там [4], [5]. Условия использования Mail.ru лично я ещё не вычитывал подробно, но подозреваю что тут всё будет также не гладко.

Увы, ничто кроме конкуренции не заставит "толстых котов" Рунета писать условия использования не под себя, а с учётом интересов клиентов.

Ссылки:
[1] https://corp.mail.ru/ru/press/releases/10343/
[2] https://mcs.mail.ru/databases
[3] https://help.mail.ru/mcs/legal/termofuse
[4] https://t.iss.one/begtin/1098
[5] https://t.iss.one/begtin/1093

#data #paas

Это очень интересный материал, жаль лишь что сам Вконтакте входящий в Mail.ru Group не имеет исследовательского отдела и какого-либо взаимодействия с академическими учреждениями. Внешние данные могут дать очень многое, но даже деперсонализированные данные из Вконтакте могут дать гораздо больше, хотя и понятно что не могут быть открытыми в некоторых аспектах.

​​📈Из каких городов переезжают жить в Москву

Год назад, тогда еще в «ДП», вышел мой материал о том, из каких городов переезжают в Петербург. Теперь вышла вторая серия про Москву - в Strelka Magazine. Все как в прошлый раз: анализ профилей «Вконтакте», сравнение родного города и города проживания. Прокачал работу с точки зрения экспертной оценки - Никита Мкртчян и Надежда Замятина помогли лучше интерпретировать данные. Поменял инструменты визуализации: сделал все в Datawrapper, мобильная версия стала приятнее.

Смотреть: https://clck.ru/ES3zx

Напомню что в репозитории govdomains на github [1] находится наиболее полный на сегодняшний день реестр доменов относящихся к органам власти РФ. Сейчас он актуализирован и довольно существенно пополнился.

В общей сложности это 13766 доменов федерального уровня и 57 субъектов федерации. Охватываются домены относящиеся к органам власти, государственным информационным системам, госпрограммам и разного рода другим госпроектам.

Пока не охвачены все субъекты, но это только вопрос времени.

Зачем нужен этот репозиторий? Вот лишь несколько применений:
1. Архивация официальных сайтов органов власти и их проектов.
2. Мониторинг качества официальных сайтов. Например, наличия HTTPS и качества подключения HTTPS по аналогии с проектом pulse.cio.gov
3. Мониторинг того какой хостинг и сервисы использует государство. Не хостятся ли российские госсайты в странах НАТО например (шутка).
4. Мониторинг не попадают ли госсайты под блокировки Роскомнадзора.
5. Проверка официальных email'ов представителей власти. Такое исследование мы ранее делали, выяснили что у большинства госорганов официальная почта на mail.ru

И так далее. Основное применение для Национального цифрового архива России [2], но может пригодится и другим исследователям Рунета.

Ссылки:
[1] https://github.com/infoculture/govdomains
[2] https://ruarxive.org

#opendata #opengov #domains #digitalpreservation

Так сложилось что то чем я занимаюсь и то о чём я пишу в СМИ - очень разные темы. Вот и сейчас в Republic вышла моя колонка " Цифровой профиль и анфас. Будет ли в России свой Синьцзян?" [1] о госинициативах об отечественных антивирусах и о цифровом профиле.

Тема большая, пока малораскрытая в России, о том какие данные граждан и где собираются, о том как общесистемное и специализированное ПО следит за пользователями и не только. Но важнее тут другое. Права граждан в защите от слежки, коммерческой или государственной, сейчас никто не защищает. Максимум что можно услышать - это "пусть вместо западных супостатов за нами следят наши супостаты". А сценарий чтобы никто не следил будет ли когда-либо теперь в нашей жизни? Bли всё, цифровой апокалипсис давно наступил, просто незаметен?

Ссылки:
[1] https://republic.ru/posts/92148

#privacy

В Новой Зеландии открыли электронную торговую площадку (marketplace) для облачных услуг [1]. Площадка, как бы не могло показаться, открытой не является. В отличие от российской практики все реестры, закупки и уведомления поставщиков там не публичны, что-либо узнать о внутренностях можно только после авторизации [2]. Это является общепринятой англосаксонской практикой (встречается в Великобритании, Австралии, Канаде, Новой Зеландии) когда системы раскрытия информации и системы коммуникации разделены, а защита коммерческой тайны не менее важна чем открытость государства.

В чём отличия этой площадки от других? Там всё происходит только онлайн, я имею в виду совсем всё, включая поставку цифровых продуктов.


Ссылки:
[1] https://webtoolkit.govt.nz/blog/marketplace-launches/
[2] https://www.marketplace.govt.nz

#procurement #ict

Вышла новая редакция рейтинга стран по открытости данных - Open Data Barometer [1] я как мог оттягивал того чтобы написать об этом, ожидая того что напишут другие и как отреагируют.

Имеет смысл не только обратить внимание на то что Россия на 16-м месте в этом рейтинге [2], но и на профиль страны с детальным пояснением [3]

Оценка России достаточно высока, но, можно обратить внимание что достигнута она не благодаря, а скорее вопреки деятельности открытого пр-ва в последние годы.

Не оно обеспечило высокую доступность данных о бюджете и о госконтрактах - это заслуги Минфина России. Данные международной торговли доступны благодаря Федеральной Таможенной службе (снова Минфин, это его подведомственная служба)
Данные криминальной статистики раскрывала Генпрокуратура на crimestat.ru и без Открытого пр-ва и так по всем пунктам.

Так что куда денется тема открытых данных? Никуда она не денется.

Ссылки:
[1] https://opendatabarometer.org/
[2] https://opendatabarometer.org/leadersedition/report/
[3] https://opendatabarometer.org/country-detail/?_year=2017&indicator=ODB&detail=RUS

#opendata #opengov

Вышла версия 2.0 браузера Vivaldi [1] претендующего на максимальную приватность, во второй версии много изменений, в основном про удобство.

Браузер ориентированный на приватность - это очень хорошо, для полного счастья не хватает ещё и чтобы связанные с таким браузером сервисы тоже можно было бы от него отделять. Например, все браузеры сейчас синхронизуют устройства предлагаю включить сервисы синхронизации. Но пока ни один не предлагает возможность развернуть самому такой сервис синхронизации для себя лично или, за деньги, в корпоративных целях в рамках компании.

P.S. Поправка, у Mozilla есть сервис синхронизации [2]. Спасибо внимательному читателю за подсказку!

Ссылки:
[1] https://vivaldi.com/ru/press/releases/vivaldi-browser-launches-2-0/
[2] https://github.com/mozilla-services/syncserver

#privacy

Два важных преданонса:
1. Мы уже начали планировать День открытых данных в 2019 году. В ближайшие месяцы определимся с программой, в зависимости от программы, с площадкой и с форматом. У нас есть формат этого года с направлениями: Бизнес, Государство, НКО, Город и Журналистика. Как это будет в 2019 году? Уже начинаем думать над этим.
Форматы могут быть разные. Можно вместо этого взять направления: здравоохранение, образование, транспорт, журналистика. Можно ещё как-то. В любом случае ещё есть время определиться.

Присылайте Ваши идеи и предложения на [email protected]

2. В одну из ближайших встреч ДатаСреды мы хотим поднять вопрос о доступности и принципах работы Цифровых библиотек и цифровых архивов. Пока обсуждаем как и где лучше сделать акценты. Хочется поговорить и о нашем Национальный цифровой архив России и о том что в принципе важно делать в части доступности цифрового нац. достояния. В первую очередь это касается даже не оцифровки офлайнового, а в сохранении цифрового онлайнового.

Пишите на [email protected] если у Вас будут идеи по мероприятию, готовность выступить и рассказать и вообще идеи по цифровой архивации/работе с долгосрочной доступностью цифрового контента.

#opendata #opendataday #digitalpreservation

Для журнала "Метод" мы подготовили Рейтинг автономности регионов по 44-ФЗ за 2017 год.

Проект Комитета гражданских инициатив «ГосЗатраты» существует более четырех лет. Изначально он был открытой базой всех государственных контрактов, закупок, поставщиков и госзаказчиков и предоставлял возможность пользователям просматривать информацию о каждом контракте и каждой организации — участнике госзаказа.

В рамках проекта мы довольно давно наблюдаем за самыми разными показателями устройства государственных финансов в России. И мы обнаружили, что многие контракты органов власти субъектов Федерации, причем довольно крупных, заключаются с компаниями ведущих экономических или промышленных центров, в первую очередь из Москвы и Санкт-Петербурга. В то же время во многих регионах картина совершенно иная: почти все средства заказчиков любого уровня (федеральных, субъекта Федерации и муниципальных) оставались поставщикам этого региона.

Мы решили назвать это явление автоном­ностью регионов. Другое возможное определение — самодостаточность региона. Явление характеризует то, насколько развита и как устроена экономика субъекта Федерации, а также то, насколько она «замкнута» с точки зрения распределения государственного заказа.
При разработке рейтинга мы сформулировали несколько гипотез:

- чем дальше от Москвы, тем меньше контрактов (и денег) уходит московским поставщикам;
- большая часть денег по контрактам в СЗФО уходит в Санкт-Петербург;
- регионы сильно связаны между собой, и значительная часть контрактов должна уходить за пределы субъекта Федерации;
- контракты с поставщиками своего региона не превысят 50% всех средств госзаказа в регионе.

Далеко не все эти предположения оправдались. Так, оказалось, что в 63 регионах более 50% средств идет местным поставщикам, причем у семи из них остается более 75% средств.
У ряда субъектов значительная часть средств не остается в регионе, но и не уходит в Москву или Санкт-Петербург. Это Астраханская область (53%), Севастополь (42%) и Хабаровский край (37%).

Обращает на себя внимание доля поставщиков из Москвы в контрактах Магаданской области и Чукотского автономного округа (по 32%) от общей суммы всех контрактов. Некоторые другие интересные детали наверняка бросятся в глаза читателю, хорошо знающему специфику конкретных территорий.

Безусловно, этот рейтинг далеко не дает полной картины. Например, поскольку у него нет отраслевого разреза, нельзя сказать, какая доля госзаказа формируется строительными контрактами, а какая — контрактами на разработку ИТ-систем. Углубленный анализ позволил бы сформировать полный контрактный профиль субъекта Федерации с информацией о его связанности с другими регионами страны.

Ознакомиться с рейтингом можно по ссылке: https://amp.gs/hBAF

Я наконец-то собрался и сделал рейтинг открытости стран по открытости исходного кода их информационных систем и вообще их политике открытой разработки.

Вот тут подробная заметка [1], а вот некоторые факты

- 58 правительств публикуют код на GitHub через 730 организаций разместивших 21 222 репозиториев кода с общим числом наблюдателей в 109 307 человек и общим числом участников в 2 052 человека, общий объём опубликованного кода составляет 303 Гигабайта, а всего ошибок и задач внесено в количестве 65 476 штук.
- львиная доля активности и кода публикуется органами власти США. Это 239 организаций (32% от общего числа) разместивших 6345 репозиториев (29,8% от общего числа) в общем объёме кода в 147 Гигабайт (45% от общего объёма) и с 1080 разработчиками ведующими активную разработку кода (52% от общего числа)
- на втором месте Великобритания с отрывом вдвое, и далее Канада, Австралия и Франция.
- открытый код публикуется всеми правительствами стран Большой семерки: США, Канада, Италия, Великобритания, Германия, Франция, Япония.
- открытый код публикуется всеми правительствами стран Большой двадцатки (G20) кроме: Турции, Индонезии, Китая, Южной Кореи и России

Все первичные данные есть по ссылке [2], а таблицу рейтинга можно увидеть здесь [3]

Ссылки:
[1] https://begtin.tech/osgrating/
[2] https://hubofdata.ru/dataset/osgdata
[3] https://datawrapper.dwcdn.net/9JBvr/1/

#opengov #opendata #opensource

Хочешь рассмешить Бога, расскажи ему о своих планах (c)

Итак план мероприятий на октябрь в которых я принимаю участие:
- 3 октября - Осенний навигатор АСИ [1] Лекция про работу с данными, буду рассказывать о том как искать, находить, обрабатывать и анализировать данные. В первую очередь в контексте субъектов федерации и федеральной власти, но и не только.
- 6 октября Spending Sprint [2]. Однодневный ускоренный хакатон по работе с данными госфинансов
- 10-11 октября Томск, Форум U-NOVUS 2018 [3] несколько лекций и семинар про данные для госчиновников и депутатов. О том что такое CDO и CDTO
- 17 октября. Предварительно, Дата среда по архивам и библиотекам в Интернете [4]
- 20-21 октября Хакатон Мосфиндата [5]
- 25 октября Ежегодная конференция Форума Доноров [6] о том как работать с данными НКО

Программу ноября я напишу ещё позднее

Ссылки:
[1] https://leader-id.ru/page/navigator
[2] https://www.facebook.com/events/293990154752559/
[3] https://u-novus.ru
[4] https://datasreda.ru
[5] https://mosfindata.ru
[6] https://www.donorsforum.ru/projects/conference/


#data #opendata

В России до сих пор проекты состоящие только из базы данных, без иного продукта до сих пор не воспринимаются как общественные проекты. А тем временем в США Urban Institute [1] создали проект открытых данных по образованию Education Data Portal [2] которые отдаёт API с данными по школам, школьным округам и колледжам. Это некоммерческий проект с финансированием от Overdeck Family Foundation, что характерно, его потребители не граждане, а ИТшники, программисты, которые на его основе сделают свои проекты.

Ссылки:
[1] https://www.urban.org
[2] https://educationdata.urban.org/documentation/

#data #opendata

Ещё один способ рассказывать об открытых данных - это периодическая таблица влияния открытых данных (Periodic table of open data impact factors) [1].

The GovLab, авторы такой карты, умеют правильно расставлять акценты не на технических аспектах работы с открытыми данными.

Ссылки:
[1] https://odimpact.org/periodic-table.html

#opendata