Ivan Begtin
7.99K subscribers
1.87K photos
3 videos
101 files
4.58K links
I write about Open Data, Data Engineering, Government, Privacy, Digital Preservation and other gov related and tech stuff.

Founder of Dateno https://dateno.io

Telegram @ibegtin
Facebook - https://facebook.com/ibegtin
Secure contacts [email protected]
Download Telegram
Forwarded from DRC LAW: IT-юристы
В мобильном приложении МВД, которое позволяет экстренно вызвать полицию, появится сервис для борьбы с мошенническими звонками. Чтобы воспользоваться сервисом, пользователю придется дать приложению доступ к своей телефонной книге.

Инициатива правоохранителей может усложнить работу телефонных мошенников, но несет риски и для пользователей: их контакты будут полностью открыты полиции и могут оказаться в свободном доступе в случае утечки.
Обзор топ 5 трендов работы с данными в 2021 году [1] в Towards Data Science. Автор сооснователь продукта Atlan по ведению каталогов данных поэтому, конечно, тренды с большим акцентом на его рынок и бизнес интересы, тем не менее обратить на них внимание стоит.

1. Конвергенция хранилищ данных и озер данных
2. Современный стек технологий работы с данными
3. Новые роли - лидер цифровой платформы и инженер аналитики
4. Перерождение управления метаданными (metadata 3.0)
5. Инструменты контроля качества данных на подъёме

По каждой из тем можно писать и говорить долго, в области корпоративного управления данными да эти 5 трендов присутствуют. Являются ли они единственными? Возможно нет

Ссылки:
[1] https://towardsdatascience.com/the-top-5-data-trends-for-cdos-to-watch-out-for-in-2021-e230817bcb16

#data #trends
Алексей Лукацкий пишет [1] про наше исследование о том что государственные мобильные приложения передают данные в другие юрисдикции [2].

Он делает акцент на том что эта практика, вообще-то, нарушает отечественные законы и эти данные подпадают под персональные данные.

А тем временем за последние 3 дня у меня было несколько разговоров на тему: "А можете ли Вы привести примеры когда реально данные передавались и какие?". Я обращаю внимание всех что цель нашего исследования была не обвинить Минцифру или ДИТ Москвы, они творят немало плохого, хорошего или странного, а в, в первую очередь, обратить внимание на нарастающий тренд появления госприложений и последствия этого в виде:
- формирования новой экосистемы государственной слежки
- передачу данных из госприложений в экосистемы AdTech
- полное отсутствие регуляторной политики в этой области.

Но реакции Минцифры или Роскомнадзора или ФСТЭК или даже депутатов именно как регуляторов не последовали, а цель была именно в этом.

Ну а если бы у меня были факты, вернее если я и коллеги, хотели бы сделать акцент на фактах передачи персональных данных, а не на регуляторных проблемах, то прежде чем публиковать доклад эти факты следовало бы направлять в Роскомнадзор, Генпрокуратуру и ФСТЭК так как я ранее делал это с докладом по утечкам общедоступных данных из государственных информационных систем.

А пока давайте я обозначу - с 1 апреля 2021 года станет обязательной предустановка приложений на мобильные устройства.
С этого момента не только компании разработчики этих приложений, но и регулятор утвердивший их список - Минцифры России, Правительство РФ и далее по цепочке берут на себя ответственность за передачу данных в них сторонним компаниям, включая передачу данных в другие юрисдикции.

Выпустим ли мы по ним исследование к 1 апреля? Может быть. А может быть это сделает кто-то ещё, а мы сделаем исследование на другую тему.


Ссылки:
[1] https://lukatsky.blogspot.com/2021/02/google-analytics.html
[2] https://privacygosmobapps.infoculture.ru/

#privacy #regulation #mobile #research
Большая практическая статья [1] о методах измерения открытости объектов научных данных (RDA, Research Data Objects). Она несколько далека от российских реалий поскольку начинается со слов Funders and policy makers have strongly recommended the uptake of the FAIR principles in scientific data management. Чего в России сейчас и в помине нет, ни регулятор(-ы), ни органы финансирующие научные разработки не проповедуют принципы открытости и качества работы с данными FAIR для исследований и не требуют обязательной публикации данных полученных в результате исследований [2]

В странах же где соблюдение этих принципов для исследователей стало частью их работы, теперь переходят к оценке соответствия, не одним, но множеством способов.

Ссылки:
[1] https://datascience.codata.org/articles/10.5334/dsj-2021-004/
[2] https://www.go-fair.org/fair-principles/

#opendata #openaccess #FAIR
В Nature статья о запросе учёных на полностью открытый обмен данными о коронавирусе [1]. 29 января сотнями ведущих учёных было подготовлено и подписано открытое письмо [2] о том что данные о расшифровке геномов штаммов SARS-CoV-2 должны публиковаться на портале International Nucleotide Sequence Database Collaboration (INSDC) [3] и быть доступными всем желающим.

Это необходимо потому что без этого невозможно поддерживать высокий темп разработки мер противодействия COVID-19.

Откуда возникло это письмо? В статье подробно рассматривается текущая инфраструктура раскрытия геномных данных. Основным порталом для их сбора является GISAID (Global Initiative on Sharing Avian Influenza Data) [4] созданный в форме государтсвенно-частной инициативы [5] правительствами Германии, США, Сингапура, Бразилии, компании Seqirus и фонда Sanofi Pasteur’s Foundation for Influenza Epidemiology.

GISAID изначально был платформой не про открытие данные, а про обмен данными (data sharing). Главная причина в том что учёные работающие над исследованиями хотят точно знать кто скачивал и использует их данные и быть уверенными что результаты их работы
не будут использованы без ссылки на них.

Авторы письма не предлагают открыть данные GISAID, но получится ли создать более полную базу данных и полностью открытую, вот в чём вопрос. Впрочем проблема COVID-19 - это, действительно, мировая проблема и хочется надеяться что принципы ограничения доступа к информации применяемые в "условно-мирное время" могут быть более открытыми во время пандемии.


Ссылки:
[1] https://www.nature.com/articles/d41586-021-00305-7
[2] https://www.covid19dataportal.org/support-data-sharing-covid19
[3] https://www.insdc.org/
[4] https://www.gisaid.org/
[5] https://www.gisaid.org/about-us/public-private-partnerships/

#opendata #openaccess #fair #covid19
Фабрика законов (La fabrique de la loi) [1] французский проект по мониторингу и визуализации производства законов французским парламентом. Самое интересное в проекте в том что они разбирают всё прохождение от законопроекта до закона, принятые/непринятые поправки, изменения в тексте и ещё многое другое. Для стран с активной парламентской жизнью такой проект очень нагляден. Правда, в данном случае, он скорее ближе к академической работе, чем к общественной или применимой лоббистами или в госуправлении. В нем нет призывов к действию или инструментов отслеживания рисков или вовлеченных сторон. Все это впрочем не отменяет его ценности и возможности развиваться в любом направлении.

Авторы проекта Regards Citoyens [2] создатели многих проектов по открытости государства и данных во Франции, включая мониторинг парламентариев NosDéputés [3] и Sciences Pro Medialab [4] междисциплинарной лабораторией исследующей влияние роли цифровых технологий на общество.

У проекта открытое API и открытые данные [5] и открытый код [6].

Ссылки:
[1] https://www.lafabriquedelaloi.fr/
[2] https://www.regardscitoyens.org
[3] https://www.nosdeputes.fr/
[4] https://medialab.sciencespo.fr/
[5] https://www.lafabriquedelaloi.fr/api/
[6] https://github.com/regardscitoyens/the-law-factory

#opendata #opengov #lawmaking #france #legaltech
Фонд Chan-Zukerberg Initiative [1] выдал грант на 190 тысяч долларов проекту Galaxy [2]. Galaxy - это платформа интенсивной работы с данными используемая, в первую очередь, для биомедицинских расчетов с 250 тысячами пользователей по всему миру, большой коллекцией больших данных и значительным числом инструментов для работы с ними [3]

В мире есть более 163 сред и инсталляций для развертывания или использования общедоступных проектов на базе Galaxy [4]. Некоторые только для внутреннего пользования, другие, как австралийский [5] поддерживаются национальным исследовательским агентством Австралии и общедоступны.

У Galaxy полностью открытый код [6] и сам проект создавался под data intesive science и пример того что часто исследователям нужны не просто данные, а сложные комплексные расширяемые среды где кроме данных есть ещё и инструменты работы с ними с учётом их специфики

Ссылки:
[1] https://chanzuckerberg.com/
[2] https://ardc.edu.au/news/chan-zuckerberg-initiative-injects-funds-into-galaxy-platform-for-biomedical-research/
[3] https://usegalaxy.org/
[4] https://galaxyproject.org/use/
[5] https://usegalaxy.org.au
[6] https://github.com/galaxyproject

#data #datascience
Знаете ли Вы что...
Германское приложение по отслеживанию контактов при COVID-19 [1]:
- сделано не Правительством Германии, а компанией SAP в консорциуме с 12 компаниями
- при этом продвигается Правительством Германии [2]
- его исходный код полностью открыт [3] и разработка ведется в открытом режиме
- в нем абсолютно нет никаких трекеров [4], включая Google Firebase и Crashlytics (привет Минцифре в приложении которого они есть [5])

Итого:
- данные собираются не государством
- код открыт и вся разработка видна и публична
- трекеров нет

Другие примеры:
- Австрия, приложение Stopp Corona [6], исходный код открыты с апреля 2020 года [7], создатели - Австрийский красный крест. Трекеров нет [8]
- Австралия, приложение COVIDSafe [9], исходный код раскрыт [10], используют один трекер [11] Google Firebase
- Индия, приложение Aarogya Setu App [12], исходный код раскрыт [13], используют те же трекеры что и российское Google Firebase и Google CrashLytics

и так ещё более 20 официальных государственных приложений для отслеживания COVID-19 разрабатываются полностью с открытым кодом. Некоторые включают трекеры, в основном, Google Firebase, но тогда их использование можно увидеть в исходном коде и уже предметно говорить с разработчиками когда это использование необосновано.

Лично я считаю что весь код созданный за средства государственных бюджетов должен раскрываться и мобильные приложения не исключение. Если даже в Марокко это делают [15], то, казалось бы, что мешает Минцифры России начать публиковать код общественно значимых проектов и перевести их разработку в открытый режим?

Ссылки:
[1] https://www.coronawarn.app/en/
[2] https://www.bundesregierung.de/breg-de/themen/corona-warn-app/corona-warn-app-englisch
[3] https://github.com/corona-warn-app/
[4] https://reports.exodus-privacy.eu.org/en/reports/de.rki.coronawarnapp/latest/
[5] https://reports.exodus-privacy.eu.org/en/reports/com.minsvyaz.gosuslugi.stopcorona/latest/
[6] https://play.google.com/store/apps/details?id=at.roteskreuz.stopcorona
[7] https://github.com/austrianredcross/stopp-corona-android
[8] https://reports.exodus-privacy.eu.org/en/reports/164043/
[9] https://covidsafe.gov.au/
[10] https://github.com/AU-COVIDSafe
[11] https://reports.exodus-privacy.eu.org/en/reports/161910/
[12] https://aarogyasetu.gov.in/
[13] https://github.com/nic-delhi/AarogyaSetu_Android
[14] https://reports.exodus-privacy.eu.org/en/reports/140895/
[15] https://github.com/Wiqaytna-app

#mobile #apps #covid19
#13. Что делать в ситуации, когда за приватность граждан никто не отвечает?
Существует давний вопрос о том, какой из российских органов должен реагировать на проблемы с текущими, потенциальными и возможными утечками данных, злоупотреблениями в использовании данными и так далее. ФСТЭК? Роскомнадзор? Минцифры? МВД? Генпрокуратура? Например, в мире этой проблемой более всего озадачены органы по защите прав потребителей. А проблема госслежки - это, в первую очередь, вопрос защиты граждан законодательной властью от произвола исполнительной.
...
Продолжение в регулярной рассылке https://begtin.substack.com/p/13

#privacy #data #government
Рыночная стоимость компаний Big Tech в США на конец 2020 года превысила $7.5 триллиона долларов, это в полтора раза больше чем на конец 2019 года когда их рыночная стоимость была чуть более $4.9 триллионов.

Крупнейшие Big Tech компании - это:
- Facebook
- Alphabet
- Amazon
- Microsoft
- Apple

А также доходы компаний выросли на 24%, более чем на $1.1 триллион долларов.

Об этом статья в Wall Street Journal [1] (требуется подписка)

Что всё это значит? Усиление регулирования, рост налообложения, усиление лоббирования и GR со стороны компаний big tech.

Сложно до конца представить мир в котором мы будем жить лет через 10 если этот тренд не изменится.

Ссылки:
[1] https://www.wsj.com/articles/how-big-tech-got-even-bigger-11612587632

#tech #bigtech
Последний раз я обновлял рейтинг и метрики стран по открытости кода 2 года назад. Расчёты и данные рейтинга сохранено на Data.world в проекте "Open source government project" [1]. Тогда открытый код публиковался 58 странами и десятками международных организаций. Сейчас их значительно больше потому что кураторы списка открытых репозиториев государства на Github [2] не учитывают госорганы публикующие свой код на других платформах и поскольку не поспевают за раскрытием кода в контексте COVID-19, многие страны начали публиковать код приложений.

Пока же вот ещё несколько стран которые точно прибавились к тому списку из 58 стран и начали публиковать исходный код в последнее время:
- Ирландия https://github.com/HSEIreland/
- Словакия https://github.com/slovak-egov
- Мадагаскар https://github.com/e-Gouvernance-Madagascar

Забегая вперед сказу скажу что России в этом списке по прежнему нет. Официально в России всё ещё нет политики раскрытия исходного кода и открытой его разработки.

Ссылки:
[1] https://data.world/ibegtin/open-source-government-project
[2] https://government.github.com/

#opensource #opengov #opendata
Forwarded from Госзатраты
«Госзатраты» планируют опубликовать архив документов по истории госфинансов в России.

Уже несколько месяцев команда нашего проекта кропотливо собирает исторические документы, связанные с темой госфинансов. Среди них как уже оцифрованные материалы, так и те, которые никогда не публиковались. Мы объединим на одной общедоступной площадке самые разные исторические источники — от бюджетов, отчетов и перечней цен до статистических сводок и учебников.

Приглашаем принять участие в создании цифрового архива по истории госфинансов. Будем признательны всем, кто сможет предоставить материалы для оцифровки или пришлет готовые сканы, веб-ссылки на архивы или наборы данных с исторической ретроспективой. Если вам есть, чем поделиться — пишите Ольге Пархимович на эл. почту [email protected].
Роскомнадзор анонсировал мобильное приложение [1] для ускоренной подачи жалоб граждан на запрещенную информацию.

Как я и говорил ранее, на госприложения этот год будет урожайным. Его вариант для Android'а [2] сейчас помечен как в разработке и поэтому пока не получается стандартными средствами скачать APK файл для анализа на предмет трекеров и разрешений. Разрешения, вернее, можно увидеть и так на странице в Google Play.

Если Вы знаете как скачать APK файл такого приложения и можете помочь инструкцией/инструментом или скачать его и передать на исследование, то можем узнать какие трекеры Роскомнадзора туда запрятал. Или не запрятал, не проверишь не узнаешь.

Буду рад любой помощи, пишите мне в Telegram или на почту [email protected]

Ссылки:
[1] https://rkn.gov.ru/news/rsoc/news73388.htm
[2] https://play.google.com/store/apps/details?id=org.rkn.ermp

#privacy #mobile #rkn #roskomnadzor
Итак, парам-пам-пам, о том почему бессмысленно обращаться в Роскомнадзор по поводу трекинга пользователей в госприложениях.

В свежее приложение Роскомнадзора [1] включён код передачи данных в сервис Google Firebase и в сервис AppMetrica (Яндекс).

На скриншоте результат анализа через инструменты Exodus Privacy. На всякий случай перепроверка через MobSF это подтверждает. Там и с точки зрения безопасности приложение неидеально, но пусть это анализируют другие.

Не только "гос госу глаз не выклюет", но и "Роскомнадзор сам себя не выпорет".

А пора бы Роскомнадзору быть не только дуботолками и чертями веревочными, а заканчивать это божедурье и начать работать.

Ссылки:
[1] https://play.google.com/store/apps/details?id=org.rkn.ermp

#privacy
Google обновили "Требования к приложениям, имеющим отношение к коронавирусной инфекции COVID-19" [1].

Теперь упоминание COVID-19 в приложении возможно только в случаях если:

1. Приложения, содержащие информацию о болезни, лечении, вакцинировании и тестировании, а также другие данные, связанные с коронавирусной инфекцией COVID-19.
2. Приложения, созданные для помощи в борьбе с коронавирусной инфекцией COVID-19, ее сдерживании, исследованиях, обучении или подготовке в этой сфере.
3. Приложения, созданные для оказания услуг, непосредственно связанных с коронавирусной инфекцией COVID-19, например услуг в области здравоохранения, предоставления социальной поддержки (выплат, продовольственных талонов) или выдачи кредитов.

Приложения должны иметь подтверждение:

1. Письмо на официальном бланке соответствующего государственного учреждения или организации. Оно должно включать название приложения и название его пакета.
2. Государственный регистрационный номер организации здравоохранения (NPI в США, NIN в Индии и т. д.). Применимо не для всех стран.

Также были обновлены разделы "Требования к конфиденциальности" и "Видимость приложения и информирование пользователя".

Похоже что в ближайшее время начнется чистка Google Play от приложений не соответствующих этим требованиям.

Российские приложения, кстати, также необходимо будет проверить на соответствие и, скорее всего, обновить.

Ссылки:
[1] https://support.google.com/googleplay/android-developer/answer/9889712#privacy_requirements

#privacy #covid19
В марте 2021 года Еврокомиссия официально открытывает портал Open Research Europe [1] созданный для публикации материалов исследований в рамках исследовательской программы Евросоюза Horizon 2020. Внутри платформы движок от F1000Research [2], коммерческой платформы для открытой публикации научных материалов. Её бизнес модель, в отличие от "классических издательств", во взимании от 800 до 1300 евро за ревью и публикации статьи. Изначально платформа создавалась под публикацию биомедицинских исследований, но, похоже, будет использоваться и для других научных направлений.

А Open Research Europe имеет свой ISSN, похоже что, будет приравнено к научному изданию и обязательным для всех исследований в рамках Horizon 2020.

Ссылки:
[1] https://open-research-europe.ec.europa.eu/
[2] https://f1000research.com

#openaccess #research #opendata #europe
В Glowing Flow короткий и полезный текст про управление метаданными [1], конечно, с акцентом на корпоративные системы управления метаданными, но ими не ограничиваясь.

Полезно для понимания того как рынок корпоративных данных будет структурироваться в ближайшее время. Каждый блок - это кусок функций единой системы или отдельный, но интегрированный продукт.

Ссылки:
[1] https://gradientflow.com/the-growing-importance-of-metadata-management-systems/