Можно сказать что новый термин INDS (Integrated national data system) / Интегрированная национальная система данных. В блоге Мирового банка [1] заметка о таких системах в Гане, Эстонии и Мексике и со ссылкой на доклад World Development Report 2021: DATA FOR BETTER LIVES [2] того же Мирового банка.

Доклад полезный, есть версия на русском языке [3], много примеров, но не о России, но не в России, а жаль, в России немало примеров работы с данными на государственном уровне и в частном секторе.

Ссылки:
[1] https://blogs.worldbank.org/opendata/creating-integrated-national-data-system-lessons-estonia-ghana-and-mexico
[2] https://www.worldbank.org/en/publication/wdr2021
[3] https://openknowledge.worldbank.org/bitstream/handle/10986/35218/211600ovRU.pdf

#data #opendata

Правительство Санкт-Петербурга вернуло портал открытых данных ^_^. Сайт снова доступен по ссылке: data.gov.spb.ru.

Подробнее об исчезновении портала в июне 2021 года здесь: https://t.iss.one/ahminfin/397

Big data for economic statistics [1] свежий обзор практик применяемых статистическими ведомствами для мониторинга экономической ситуации и сбора оперативной экономической статистики.

Много примеров, например:
- Малазийское статведомство DOSM разработало собственный портал мониторинга цен данные для которого собирают парсингом с сайтов интернет-магазинов
- Аналогично статведомство Новой Зеландии собирает с помощью парсинга сайтов данные по ценам на еду и объединяет их с данными полученными из других источников
- аналогично поступают ещё около десятка статведомств других стран
- в Индонезии и в Грузии отслеживают статистику туризма с помощью данных сотовых операторов

И так далее, примеров много, областей и направлений работы с данными много. Всё это про альтернативные источники данных заменяющие классические статистические показатели. Важные для инвесторов, туристов и тех кто принимает решения внутри страны.

Ссылки:
[1] https://repository.unescap.org/handle/20.500.12870/3501

#statistics #bigdata #economics

Написал большой текст в рассылку с подробностями о том как и зачем мы создаем сервис DataCrafter [1]. В ближайшем будущем я буду больше рассказывать о проблемах работы с данными, ведением реестров и другим особенностям работы с общедоступными источниками данных.

Ссылки:
[1] https://begtin.substack.com/p/datacrafter

#data #datasets #opendata

Написал в рассылку текст о том где и как искать данные и о том что нет до сих пор универсального поисковика по всем наборам данных, но есть много каталогов данных и каталогов-каталогов данных с которых можно начать [1].

А здесь хочу написать про обратную сторону каталогизации данных. Большая часть открытых каталогов данных и каталогов открытых данных в мире поддерживают стандарт DCAT [2] от W3C, который в первой версии вышел в 2014 году, а далее обновлялся, последний раз в 2020 году. Этот стандарт определяет метаданные наборов данных и благодаря ему возможно не только собирать описания данных в агрегированный каталог, но и осуществлять контроль за качеством данных, как, например, это делают европейцы в мониторинге Open Data Maturity [3] и в Metadata quality [4]

Российские государственные порталы открытых данных, в основном, медленно умирают, не обновляются или имитационно публикуют кучу мелких административных данных. С другой стороны сама тема открытых данных в России жива и поэтому есть отдельные акторы публикующие открытые данные инициативно.

Но строить единые агрегаторы вроде европейского или каталога данных США (data.gov) сложно потому что метод. рекомендации используемые сейчас, как бы сказать помягче, довольно устаревшие и задачи агрегации данных и контроля качества не решают.

Ссылки:
[1] https://begtin.substack.com/p/datasearch
[2] https://www.w3.org/TR/vocab-dcat/#motivation
[3] https://data.europa.eu/en/impact-studies/open-data-maturity
[4] https://data.europa.eu/mqa/?locale=en

#opendata #datasets

Свежие госприложения:
- от Минцифры "Госключ" [1] для подписания договоров
- от МИД РФ "Зарубежный помощник" [2] со справочной инфой для граждан

Приложение от Минцифры совсем свежее и включает трекеры Google Firebase Analytics и Huawei Mobile Services (HMS) Core [3]

Приложение МИДа существует с 2016 года, но зарегистрированно было на их подрядчика Sitesoft (отдельный вопрос почему так) и поэтому ранее не находилось и у того же Сайтсофта в профиле в Google Play ещё несколько госприложений оказывается. Их тоже надо будет проверить. А вот это приложение МИДа просит доступ к контактам, набору номера телефона и ещё много к чему.

Ссылки:
[1] https://play.google.com/store/apps/details?id=ru.gosuslugi.goskey
[2] https://play.google.com/store/apps/details?id=ru.sitesoft.mid&hl=ru
[3] https://beta.pithus.org/report/ae2b9cd4298554dfd12706ad4576b0e1695ecb57d8e95c53b462d5fecaba99c2
[4] https://reports.exodus-privacy.eu.org/en/reports/192278/

#mobile #privacy

Аэрофлот при входе запросил согласие на обработку персональных данных, а там полный спектр организаций
ООО Иннодата
ООО Базис
и ещё и Авиакомпания Победа

Причём запрашивают они это согласие безальтернативно, нельзя отказаться и не передавать персональные данные какой-либо компании, но хотя бы все хорошо подсчитаны и понятно кому слать запросы на отзыв согласия на обработку данных и кого проверять на предмет наличия права на такую обработку данных.

#privacy #personaldata

Я рассказывал ранее что госорганы крайне халатно относятся к персональным данным граждан, особенно граждан которые вступают с ними в любые взаимоотношения, например, трудовые или договорные. Ещё один наглядный пример федерального уровня, Минобороны России продаёт высвобождаемое имущество и публикует протоколы торгов включая паспортные данные представителей компаний. Их довольно легко "нагуглить" запросом 'паспорт серия site:mil.ru/files filetype:pdf' [1]

Удивительно что никто из граждан так и не засудил представителей Минобороны за такое.

И это один пример из тысяч и не все они находятся так просто, но пытливые умы могут найти многое.

Ссылки:
[1] https://www.google.com/search?q=паспорт+серия+site:mil.ru/files+filetype:pdf

#leaks #milru #government #privacy #personaldata

Дата журналистика - самое активно развивающееся направление журналистики в России.

Дата-стрим «Как выгорает Россия»
📆 Четверг, 5 августа, в 20:00 (мск)

Где искать данные о лесных пожарах в России и как их исследовать, расскажут дата-журналистка «Новой Газеты» Катя Бонч-Осмоловская и дата-журналист Андрей Дорожный.

За один час они создадут прототип дата-материала: придумают тему, получат данные, найдут инсайт и сделают визуализацию. А также они расскажут об инструментах и приемах, которые используют практикующие дата-журналисты.

➡️ Регистрация: https://dorozhnij.com/firestream

На самом деле, главная проблема с проектами вроде Госключ и всём остальном сделанном государством по принципу G2B и G2C за рамками обязательных госфункций, так вот главная проблема в том что из опциональных они слишком легко переходят в обязательные.

Например, по такому сценарию:
1. Вначале появится Госключ
2. Через какое-то время его установят несколько сотен тысяч предпринимателей.
3. Потом окажется что что внедрение идёт не так активно и будет организовать госмониторинг использования.
4. Потом появятся публикации что Госключ это хорошо (может и будет где-то и кому-то с него польза) и без него плохо.
5. Потом появятся призывы сделать его обязательным в каких-то областях.
6. Потом его сделают обязательным, например, в какой-то области, где уже есть цифра, например, для подписания сделок с самозанятыми.
7. Потом обяжут к применению в каких-нибудь "социально значимых областях", например, для подписания договоров с турфирмами.
8. ... и так далее по цепочке.

Но важнее то что государство приходит на рынок который оно могло бы создать. Какими бы большими, тяжёлыми и неприятными не были бы грёбанные олигополии национальные цифровые чемпионы, лучше они чем государство. А ещё лучше нормальный конкурентный рынок по разумным правилам где государство выступает арбитром, а не игроком.

#government #business #govapps

Утром в газете, вечером в куплете (с)
CNews написали про публикацию персональных даннных граждан https://www.cnews.ru/news/top/2021-08-03_v_otkrytom_dostupe_obnaruzhilis и Илья Варламов написал https://varlamov.ru/YXl01mjqt4e

Только некорректно, конечно, говорить что я сейчас имею отношение к Счетной палате РФ, уже 2 месяца как я "свободный человек и поэтому пишу и думаю что хочу" (c)

В догонку к подборке источников и каталогов данных о которых я писал сегодня в рассылке [1], стартап bit.io [2] решает вопрос доступности данных обмена данными через гигантскую единую базу Postgres. Помимо того что туда уже загружены тысячи/десятки тысяч наборов данных из открытых источников, они дают возможность грузить собственные данные в Excel, CSV, JSON форматах, держать их в форме репозиторией, а далее обмениваться ими, визуализировать и многое другое. Чем-то похоже на data.world, но меньше про визуализацию и больше про хранение, API и обмен данными. У стартапа есть финансирование на нераскрываемую сумму и довольно неплохой старт.


Ссылки:
[1] https://begtin.substack.com/p/datasearch
[2] https://bit.io

#opendata #data #datacatalogs

Подробное и весьма познавательное исследование на основе опроса разработчиков Stack Overflow за 2021 год [1]

Знаете ли Вы что:
- лишь 3.38% разработчиков Black or of African descent
- мужчин среди разработчиков 91.6%
- большинство разработчиков в возрасте от 18 до 34 лет
- самые популярные технологии Python и SQL
- самые популярные СУБД MySQL, Postgres, SQLite и MongoDB
- облако Amazon наиболее популярно и за ним Google Cloud и Microsoft Azure

и там ещё много всего.

Ссылки:
[1] https://insights.stackoverflow.com/survey/2021

#developers

Размышления последних дней:
1. Один из признаков что у коммерческой компании "отношения" с госзаказчиком - это когда 99% её бюджета формируется лишь этим госзаказчиком на протяжении многи х лет. Например, 10 лет. Знаю такой случай.
2. Российская контрактная система начисто игнорирует мировой опыт реформирования контрактных систем последних лет. Это не только про отсутствие раскрытия в стандартах Open Contracting, но и отсутствие даже намёка на ведение реестра бенефициарных собственников компаний заключающих госконтракты.
3. Пример с утечкой персональных данных на сайте Минобороны - это просто пример, есть много других примеров аналогичного и они свидетельствуют о том что: а) В большинстве органов власти нет процедур контроля за публикацией персональных данных. б) Нет мониторинга того что они же сами публикуют. Правда и нет признаков того что это изменится. Я писал об этом 2 года назад, 2.5 года назад писал в Роскомнадзор и ещё не раз напишу.
4. В копилку ГосНКО надо добавлять организации с непрозрачной системой финансирования и связанные с государством не через отношения учредителей, а через их продвижение руководителями органов власти. Обычно, в последние годы, ГосНКО практически все имели в учредителях госструктуры, в той или иной форме. А их участие в госмероприятиях было как участие одной из госструктур, типа как продолжение государства. Но есть и те ГосНКО которые как бы частные или частные которые представляются как бы гос.

#thoughts

По поводу "легальных" утечек персональных данных, я хочу напомнить о материалах которые публиковал пару лет назад.

В 2018 году я проводил анализ нескольких десятков государственных информационных систем и систем регулируемых государством и выяснил что на них публикуют данные граждан: паспортные, СНИЛС, и иную идентифицирующую гражданина информацию. Почти всё это публикуется по причине "нормотворческой неграмотности" и реже, халатности при разработке этих систем и ошибок проектирования. Иначе говоря "не украли, а продолбали". Историю этого я описал в 2019 году об удостоверяющих центрах [1], о электронных торговых площадках [2], о государственных информационных системах [3]. А также вышла статья на РБК [4] и другие публикации куда я отдал эти материалы эксклюзивом.

А предыстория этого такова что ещё в 2018 году это исследование я направлял в прокуратуру, в Роскомнадзор (через прокуратуру) и даже одному зам. министру цифрового развития федерального уровня. Реакция была ожидаемо - никакая. После публикаций в СМИ многие зашевелились, но и то до сих пор далеко не всё о чем я писал тогда было исправлено. Я и сейчас знаю удостоверяющие центры раскрывающие весь реестр сертификатов, к примеру.

Что я хочу этим сказать, то что когда вопрос стоит о контроле государства за государством, госорганов за госорганами, то работает только "медийный рычаг". Он работает, при этом, тоже плохо, многие перестали реагировать даже на такие публикации, но хоть как-то ещё возможен.

Вот сейчас у меня на руках черновик постоянно откладываемого повторного доклада на ту же тему легального раскрытия перс данных граждан органами власти. Примеров множество и то что я упомянул Минобороны с их раскрытием паспортных данных в протоколах торгов - это иголка в стогах сена. Самые большие случаи раскрытия перс данных в поисковиках не найдёшь, но они есть.

Я считал и считаю что в государстве сейчас за контроль персональных данных никто не отвечает. Несмотря на многочисленные публикации системной государственной реакции на это нет, политики публикации данных на официальных сайтах и информационных системах не поменялись и так далее. Всё это, конечно, в адрес Роскомнадзора и Минцифры в первую очередь.

P.S. Если Вы знаете случаи когда органы власти и госучреждения публикуют перс данные граждан онлайн, напишите мне, добавлю в примеры готовящейся новой версии отчета.

Ссылки:
[1] https://begtin.tech/pdleaks-p1-uc/
[2] https://begtin.tech/pdleaks-p2-etp/
[3] https://begtin.tech/pdleaks-p3-govsys/
[4] https://www.rbc.ru/politics/29/04/2019/5cc2df569a7947c83b69b0d5

#privacy #personaldata

На 26 июля 2020 года было принято 1123 постановлений Правительства РФ, на 26 июля 2021 года было принято 1267 постановлений Правительства РФ. Разница в 144 постановления или в 12.8% от изначального числа.

На 26 июля 2020 года было принято 1969 распоряжение Правительства РФ, на 26 июля 2021 года было принято 2075 распоряжение Правительства РФ. Разница в 109 распоряжений или в 5.3% от изначального числа.

На 13 июля 2020 года было принято 210 федеральных законов, на 13 июля 2021 года было принято 360 федеральных законов. Разница в 150 законов или 71%. от изначального числа.

Видно что депутаты принимали законы в последней сессии ударными темпами. Не рискую предположить интенсивность работы нового депутатского корпуса, но всё идет к тому что число принятых законов вырастет в этом году. А также явно к концу года будет больше постановлений и распоряжений Правительства РФ.

Регуляторная нагрузка растёт, а нам с этим жить.

#legal #legaltech #laws

В США агенство EPA обновило проект Airnow [1] проект по мониторингу качества воздуха и добавили туда 10 тысяч сенсоров которые поддерживаются гражданами [2] через краудсорсинг в проекте PurpleAir. Эти сенсоры EPA раздавало и раздает библиотекам, сообществам и многим другим [3] и всё это часть того что называется гражданской наукой (citizen science) где рядовые граждане могут принимать участие в идущих исследованиях. В США гражданская наука уже давно институционализирована в рамках инициативы CitizenScience.gov [4] в виде каталога из 491 проекта в которых можно принять участие. А сам каталог и инициативы идут под эгидой Crowdsourcing and Citizen Science Act [5], они разрешены и поощеряются.

Ссылки:
[1] https://www.airnow.gov
[2] https://gcn.com/articles/2021/08/04/airnow-smoke-data.aspx
[3] https://www.epa.gov/air-sensor-toolbox/air-sensor-loan-programs
[4] https://www.citizenscience.gov
[5] https://uscode.house.gov/view.xhtml?req=granuleid:USC-prelim-title15-section3724)&num=0&edition=prelim

#citizenscience #science #airquality #fires

В блоге Инфокультуры на Хабре подробный отчет Ольги Пархимович о нескольких годах участия в общественномсовете при Федеральном Казначействе [1] и о том как последний состав общественного совета был сформирован в основном ... профсоюзом казначеев. Весьма познавательная история подтверждающая вырожденность такого явления как общественные советы при ФОИВах. Немногие попытки их оживить, в основном, приводили к уходу из общественных советов тех кто представляют общественность.

Ссылки:
[1] https://habr.com/ru/company/infoculture/blog/571924/

#opendata #govfinances

Нашёл крутейший исследовательский проект под названием Sherloq, который представляет собой божественную GUI лабораторию из 36 инструментов с открытым исходным кодом для анализа фотографий. Проект создан профессиональным фотографом Гвидо Бартоли.

Пожалуй данное решение можно считать одним из лучших бесплатных проектов на данный момент в области форензики фотографий. Шерлок может помочь с анализом метаданных фото, определением геолокации, шумами, выявлением фальсификации фотошоп (сканы паспортов например), HEX, анализом яркости, свойств JPEG и т.д.

https://github.com/GuidoBartoli/sherloq

К вопросу о сайтах органов власти и почему это важно. Минобрнауки недавно обновили сайт и поломали _все ссылки_ на документы и разделы с ними. Как следствие теперь ссылки вроде ссылок на документы антикоррупционного регулирования [1] ведут в 404 ошибку. А именно эти ссылки указаны на страницах деклараций сведений о доходах почти всех ВУЗов. К примеру, МГУ [2], ссылка под названием "Нормативные правовые и иные акты в сфере противодействия коррупции" в разделе "Противодействие коррупции".
Новая ссылка на сайте Минобрнауки выглядит так [3], но её ещё надо найти.

Ссылки:
[1] https://minobrnauki.gov.ru/ru/activity/anticorr/npa/index.php
[2] https://www.msu.ru/info/documents.html
[3] https://minobrnauki.gov.ru/open_ministry/anticorr/npa/index.php?sphrase_id=159545

#government