Ivan Begtin
8.09K subscribers
1.99K photos
3 videos
102 files
4.7K links
I write about Open Data, Data Engineering, Government, Privacy, Digital Preservation and other gov related and tech stuff.

Founder of Dateno https://dateno.io

Telegram @ibegtin
Facebook - https://facebook.com/ibegtin
Secure contacts [email protected]
Download Telegram
Наши друзья и партнёры Инфокультуры - Центр цифровых прав проводят регулярные курсы по обучению юристов цифровому праву.
Forwarded from DRC LAW: IT-юристы
​​Интенсив для юристов по цифровому праву с 29 ноября по 3 декабря

Сегодня закон пытается догнать стремительно уходящие вперед технологии. Вопросы регулирования криптовалют, доменные споры, авторское право и реклама в интернете. Для современного юриста разобраться в этих вопросах значит обеспечить себе базу знаний, которые помогут быть востребованным специалистом как в современных реалиях и в будущем.

🎓 С 29 ноября по 3 декабря 2021 года пройдет пятидневный интенсив по современному российскому и международному законодательству CyberLaw School, разработанный специально для in-house и частнопрактикующих юристов, адвокатов и специалистов консалтинговых компаний.

Программа обучения будет состоять из 7 модулей:

1. Intermediaries & ISP
2. Tax & Ad
3. IP & Copyright & Domains
4. Big Data & AI
5. Privacy & Security
6. Forensic
7. Digital assets & crypto/blockchain

5 дней, 11 экспертов, 7 модулей, 45 академических часов актуального материала от лучших практикующих экспертов. Не только теория, но и разбор кейсов из реальной практики. По итогам обучения выдается удостоверение о повышении квалификации. Ознакомиться с программой и подробнее узнать о наших тренерах можно на сайте https://cyberlaw.center/.

Наш курс прошли юристы из таких организаций, как: Universal Music Group, АО «Мерседес-Бенц РУС», ПАО Сбербанк, Финансовая группа БКС, АО «Тинькофф Банк» и многие другие.

Для вашего удобства мы предлагаем опционально и дистанционное участие в обучении. Таким образом вы можете выстроить свой персональный график очного/заочного посещения занятий.

📆 Старт программы уже 29 ноября. Количество мест ограничено. Успейте записаться на обучение у экспертов в области цифрового права. Будет непросто и интересно.

👉 Регистрируйтесь по ссылке: https://clck.ru/YjuaL
В Север.Реалии статья о реалиях прохождения переписи населения, "Цена таким данным нулевая". Фальсификации при переписи населения [1], на ту же темы в Deutsche Welle Всероссийская перепись населения: чем опасна фальсификация данных [2] и выступление Натальи Зубаревич на Эхо Москвы [3].

Перепись у нас в стране очень политизирована, в ней выражается многое, и замороженные национальные конфликты [4] и общей уровень недоверия государству граждан и ещё много чего.

Но в чем права Наталья Зубаревич и экономисты и демографы так в том что данные переписи необходимы, насколько возможно качественные, насколько возможно подробные, насколько возможно локализованные, но анонимизированные. Да, государство и так владеет базами данных о граждан в виде данных в ФНС, в Пенсионном фонде, в ФСС, в ФОМС, а также базы данных SIM карт и передвижения есть у сотовых операторов и ещё у ряда коммерческиз и государственных структур есть разной степени актуальности, полноты и достоверности базы данных.

Перепись - это один из немногих дата-продуктов государства который хотя бы частично предоставляется исследователям, бизнесу и самим гражданам в виде аналитики, официальной статистики и иных срезов данных.

Поэтому то что граждане не доверяют переписчикам, то перепись охватывает не всё, это, конечно, скорее трагедия для всех кто потом эти данные будет использовать при принятии решений и мне не хочется злорадствовать в стиле "опять ничего не получается". Да лучше бы получалось и лучше бы в российские данные были доступны с раскрытием до муниципалитета и переписного участка, например, как в Австралии [5] или США и в других странах доступны данных до уровне блока (block level).

Ссылки:
[1] https://www.severreal.org/a/tsena-takim-dannym-nulevaya-falsifikatsii-pri-perepisi-naseleniya/31557044.html
[2] https://www.dw.com/ru/perepis-naselenija-rossii-chem-opasna-falsifikacija-dannyh/a-59801766?maca=rus-yandex_new_politics_mm-9641-xml
[3] https://echo.msk.ru/programs/personalno/2926988-echo/
[4] https://kazan.mk.ru/social/2021/11/11/ilnar-garifullin-po-tatarskim-rayonam-bashkortostana-ezdyat-bashkirskie-agitbrigady.html
[5] https://www.abs.gov.au/census/find-census-data

#opendata #data #census
В рубрике международные каталоги данных Pacific Data Hub [1] каталог данных Тихоокеанского содружества (Pacific Community) [2] объединяющего тихоокеанские островные государства при ассоциированном партнерстве с Новой Зеландией и Австралией.

В каталоге 1126 наборов данных, большая часть данных в простых CSV форматах, почти все данные статистические, кроме того в рамках каталога существует ещё один каталог микроданных [3].

Многие межгосударственные организации сейчас создают свои порталы открытых данных и программы обмена данными. Например, ESA Data Hub [4] портал открытых данных Европейского космического агентства, UNFCCC Climate Finance Data Portal портал данных ООН по финансированию программ изменения климата [5], портал данных по миграции [6], хаб открытых статданных COMESA [7] и ещё десятки порталов структур ООН, Мирового банка, объединений стран и так далее.

Международных инициатив по открытости данных всё больше, большая их часть начинается именно с порталов открытых данных.

Ссылки:
[1] https://pacificdata.org
[2] https://www.spc.int
[3] https://microdata.pacificdata.org/index.php/home
[4] https://climate.esa.int/en/odp/#/dashboard
[5] https://unfccc.int/climatefinance?home
[6] https://www.migrationdataportal.org/
[7] https://comstat.comesa.int/

#opendata #data #datacatalogs
В рубрике данные о России, не в России и в России, каталог открытых наборов данных о биоразнообразии GBIF Global Biodiversity Information Facility [1]. В каталоге более 63 тысяч наборов данных посвящённых таксономии живых существ и из них 548 наборов данных опубликовано из Российской Федерации [2], например, Национальный банк-депозитарий живых систем при МГУ [3] и многие другие.

Если быть точным, то у GBIF есть сообщество и в России [4] посвящённое оцифровке коллекций, правильному ведению метаданных, принципам FAIR и многое, а также о том как пишутся статьи на данных [5].

Здесь надо сказать что в России, возможно как и во многих других странах, внедрение практики открытости науки и открытости данных в науке продолжается там где есть живая наука интегрированная в мировую. Там где она есть там есть и принципы FAIR, и интеграция с большими международными каталогами данных и многое другое что является просто естественным развитием исследовательской деятельности.

При этом в России постепенно появляются руководства по управлению исследовательскими данными. Они есть, как минимум в виде рекомендаций [6] в ГПНТБ СО РАН и в Офисе управления исследовательскими данными СибГМУ [7], но нет ничего на уровне инициатив Минобрнауки или РНФ или иных финансирующих отечественную науку организаций.

Ссылки:
[1] https://www.gbif.org/
[2] https://www.gbif.org/dataset/search?publishing_country=RU
[3] https://plant.depo.msu.ru/
[4] https://gbif.ru/
[5] https://gbif.ru/datapaper
[6] https://www.spsl.nsc.ru/naukresursy-i-uslugi-gpntb-so-ran-dlya-nauki-i-biznesae-i-biznesu/rdm/
[7] https://ssmu.ru/ru/nauka/databank/

#opendata #openscience #openaccess #FAIR
Чуть меньше чем год назад я писал о реформе институтов развития в нашей стране о том что главное при любоей реформе - это сохранять архивы [1] Потому что помните как в пьесе Шварца "Дракон" и фильме по мотивам пьесы "Убить дракона" главный антагонист говорил "Папа всегда говорил: Уничтожай архивы!" [2]

Тогда было заархивировано 54 веб-сайта организаций институтов развития и сайты их проектов.
Что произошло за это время.
Более недоступны следующие сайты:
- www.investvostok.ru (Агентство дальнего востока по привлечению инвестиций) - организация ликвидируется
- www.madeinrussia.com (Проект Сделано в России) - выдаёт ошибку 500, возможно временно
- grant.rfbr.ru (Система Грант-экспоесс РФФИ) - сайт более не открывается
- monitoring.russez.ru (Камеры РосОЭЗ) - сайт более не открывается
- sprgm.ru (Гранты РНФ на реализацию комплексных научных программ организаций) - домен потерян, теперь продается

Скорее всего скоро исчезнут:
- hcfe.ru (Агентство по развитию человеческого капитала на Дальнем Востоке) - организация ликвидируется

Итого 5 сайтов исчезло и ещё один скорее всего исчезнет. Полный список можно посмотреть тут [3] Сохранило ли ликвидированные сайты Пр-во при реформе или головная организация ВЭБ.РФ ? Нет, конечно. Единственный государственный институт России сохраняющий сайты поглощённых им структур с 2003 года - это ЦБ РФ [4].

Нами все сайты институтов развития сохранены на конец декабря 2020 года в Национальный цифровой архив [5] и доступны всем желающим работать с ними в исследовательских целях.

Ссылки:
[1] https://t.iss.one/begtin/2464
[2] https://www.youtube.com/watch?v=Mp5LIAoKLx8
[3] https://docs.google.com/spreadsheets/d/1YIwLeSBJ3WqR4nvsPq50rLkX2Z_4uHpW2q9ni8hw8x0/edit?usp=sharing
[4] https://cbr.ru/archive/archive_fkcb/
[5] https://ruarxive.org

#webarchival #digitalpreservation #archives
К вопросу о приватности приложений по отслеживанию заболевших COVID-19, в сентябре U.S. Government Accountability Office (GAO), орган высшего парламентского аудита США, в каких-то функциях аналог российской Счетной палаты. Они выпустили доклад Exposure Notification: Benefits and Challenges of Smartphone Applications to Augment Contact Tracing [1] с анализом того какие приложения создавались властями штатов США и какие основные проблемы с ними возникали.

Весь ключевой акцент на приватности, безопасности и технических ограничениях этих приложений. И, в принципе, это хорошо составленный доклад с объяснением того как может осуществляться парламентский контроль и надзор за технологическими инструментами в подобных ситуациях.

Здесь надо оговориться что GAO в США часто выступает в роли мозгового центра. Увы, в России его аналога нет и неизвестно кто такой анализ может проделать.

Ссылки:
[1] https://www.gao.gov/products/gao-21-104622
[2] https://www.gao.gov/assets/gao-21-104622.pdf

#privacy #covid19 #gao #usa
У коалиции по цифровым архивам (Digital Preservation Coalition, DPC) с 2017 года публикуется перечень "видов информации под угрозой вымирания", так называемый The Bit List [1] of Digitally Endangered Species. Его совсем недавно, 4 ноября, во Всемирный день цифровой архивации этот список обновили и на него стоит взглянуть чтобы знать какие человеческие знания и информационные артефакты сейчас наиболее уязвимы и могут исчезнуть:

Наиболее критичная ситуация с [2]:
- веб приложения и апплеты на технологии Adobe Flash
- унаследованные интерфейсы и сервисы предоставляемые онлайн крупными компаниями
- нестандартные способы публикации официальной информации (public records)
- архивные источники данных для open source intelligence
- сервисы данных, бордов и тд. эпохи до WWW (Fidonet, BBS, Videotex) и другие
- неопубликованные данные исследователей (остаются только на их компьютерах или в лабораторных бумажных журналах)

И это только список того что находится в наибольшем риске, а есть и много других рисков и просто отсутствие требований по публикации или архивации данных.

Например, данные организаций которые я упоминаю как "ГосНКО", в мире чаще называют ALEO (Arms Length Executive Organizations) - организации на расстоянии руки от исполнительной власти или QuaNGO (Quasi non-governmental organization) - "квази-НКО". У таких организаций нет требований по раскрытию и архивации данных, при их ликвидации все материалы чаще всего уничтожаются [3] и их материалы DPC упоминают как находящиеся под высоким риском (critically endangered).

Отчасти и я потому придаю 'госНКО' такое внимание. Не только вопрос финансирования, но и целостности того что находится в их ведении.

Ссылки:
[1] https://www.dpconline.org/digipres/champion-digital-preservation/bit-list
[2] https://www.dpconline.org/digipres/champion-digital-preservation/bit-list/practically-extinct
[3] https://www.dpconline.org/digipres/champion-digital-preservation/bit-list/critically-endangered/bitlist2021-records-of-quangos

#digitalpreservation #archives
Среди приложений по улучшению написанных текстов много лет выделялся Grammarly [1], стартап основанный в кремниевой долине в 2009 году несколькими выходцами из Украины и поднявший 200М инвестиций за эти 12 лет. Его особенность была в понимании контекста и эффективных подсказках по замене слов, конструкций, замене пунктуации под разные стили написания текстов и даже виды английского языка.

Те кто сталкивался с образованием в зарубежных университетах знают что многие из них заключают большой корпоративный договор с Grammarly и предоставляют его своим студентам бесплатно.

И вот 2020 году появился стартап Writer.com [2], со многими похожими на Grammarly свойствами, опять же заточенный под английский язык и в буквально совсем недавно они получили второй раунд финансирования в 20 миллионов долларов [3] под автоматизацию проверки текстов по корпоративным руководствам стилей адаптированным под их бренды. Идея, с одной стороны оригинальная, а с другой как раз под ожидания клиентов и адаптацию практики аутсорсинга подготовки пресс-релизов, контента для сайтов и много чего ещё связанного с текстами. Крупные компании отдают пресс-релизы на аутсорс, но хотят контролировать их качество, гендерную нейтральность и ещё много чего, актуального как минимум в США.

Впрочем Writer.com появился не на пустом месте, до него основатели делали стартап Qordoba в котором совмещали сервисы управления контентом, перевода и упрощения языка. Далее, по видимому, упрощение языка оказалось наиболее перспективной темой для развития и инвестиций.

Это довольно сильный уход от модели существования большинства сервисов по проверки грамматики. Большая их часть развивались как продукты для тех для кого язык не родной и проверка грамматики позволяет избежать основных ошибок. Поэтому так много клиентов у Grammarly среди университетов, для студентов кому английский язык не родной. А у Writer.com модель основанная на улучшении контроле текстов которые могут быть написаны и носителями языка, но под решение корпоративных задач.

Ссылки:
[1] https://www.crunchbase.com/organization/grammarly
[2] https://www.crunchbase.com/organization/writer
[3] https://techcrunch.com/2021/11/15/writers-automated-style-guide-for-web-based-publishing-brings-in-21m-a-round/

#plainlanguage #startups #language
В рубрике "интересные наборы данных" база в 7 гигабайт о 7 миллионах транзакций с токенами NFT [1] на базе Ethereum. Данные собраны за период с апреля по сентябрь 2021 года. Команда опубликовавшая этот набор данных занимается разработкой инструментов с открытым кодом для работы с NFT и они разместили свой анализ этих транзакций [2]. Согласно этому анализу рынок NFT похож на классические рынки с тем же уровнем финансового неравенства.

Ссылки:
[1] https://www.kaggle.com/simiotic/ethereum-nfts
[2] https://github.com/bugout-dev/moonstream/blob/main/datasets/nfts/papers/ethereum-nfts.pdf

#opendata #opensource #cryptocurrencies #nft
Написал в рассылку большой текст со скучным названием "18. Как правильно архивировать цифровые ресурсы при архивационных кампаниях" [1] о том как устроена веб архивация и цифровая архивация на практике архивации сайтов институтов развития и Мемориала. Первые исчезают из-за реформы, вторые могут исчезнуть из-за ликвидации юр. лица / юр. лиц Мемориала. Позиция любого архивиста в такой ситуации в том что сохранение знания стоит на первом месте.

Таких архивационных кампаний я проводил довольно много и могу сказать что важнейшее вовлечение широкой публики в них - это стадия поиска и обнаружения того что надо хранить. Как отделить значимое от незначимого, вот в чём вопрос, а сам сбор, обработка и хранение данных - это задача куда более техническая и решаемая наличием ресурсов финансовых и технических.

Ссылки:
[1] https://begtin.substack.com/p/18

#digitalpreservsation #archives
Hекоторые факты из публичных следов госинформатизации которые вы можете ещё не знать:
- 100+ недокументированных общедоступных API доступны из государственных информационных систем. От очень простых вроде поиска по сайту госоргана, до весьма сложных с системой доступа к объектам внутри информационной системы, интеграционный контур информационной системы. По ним чаще всего нет документации или её совсем мало, эти API бывают самого разного вида, на базе REST API, GraphQL, SOAP, API на базе XML и так далее. О некоторых из этих API я писал ранее и ещё напишу в будущем.

- Битрикс использует зарубежную ИТ инфраструктуру. Де-факто Битрикс: самая популярная автономная CMS у госорганизаций. Не возьмусь утверждать что это показатель качества именно этой CMS, но она точно наиболее популярна для автономных сайтов госучреждений и госорганов. В то же время в битрикс встроеа система сбора статистики привязанная к домену bitrix.info (ссылка https://bitrix.info/ba.js) хостящемуся в датацентре Amazon в Ирландии. Роскомнадзору стоит об этом не забывать когда в следующий раз начнут массово блокировать подсети у облачных провайдеров.

- ГАС Правосудие крупнейший конструктор сайтов. Де факто на сегодняшний день больше всего сайтов создано на системе ГАС Правосудие. Это несколько тысяч сайто судов всех уровней юрисдикции. Стилистически сейчас они выглядят жутковато, не работают на мобильных устройствах удобным образом и тд., но по факту это пока крупнейший конструктор для специализированных госсайтов.

- Госвеб для школ. Оказывается история с Госвебом никуда не исчезла и на платформе gosweb.gosuslugi.ru где-то с сентября 2020 года появляются сайты школ. Например, МБОУ СОШ с. Ивановка или МОУ СОШ №3 г. Звенигород. У сайтов школ пока что чрезмерно длинные доменные имена вроде "school-3-zven-mos.gosweb.gosuslugi.ru" и непонятно сколько их реально переведено, как это происходит и тд. Внутри технически CMS Netcat, а в поиске гугла находится всего около 100 страниц с сайтов на этой платформе.

- Система доставки контента Cloudflare одна из наиболее популярных у разработчиков госсайтов. Даже если она не используется напрямую, на госпорталах как и на коммерческих используются сервисы вроде fontawesome.com или fonts.net для подгрузки шрифтов. А также как CDN хостинг для популярных библиотек Javascript и типовых CSS файлов.

#government #it #govtech
В блоге AppCensus, стартапа занимающегося анализом приватности приложений для Android, появился весьма подробный и полезный разбор [1] сервиса Huq в котором собирается до нескольких миллиардов событий ежесуточно [2].

Стартап Huq предоставляется разработчикам в виде SDK и после установки приложения с этим SDK оно собирает все сведения о геопозиции, BSID у сетей WiFi, факты подключения пользователя к сети Wifi и ещё много чего. Всё это каждый 9 минут загружается на сервер Huq'а.

Причём инсталляций с ним много, в особенности в самых что ни на есть массовых бесплатных мобильных приложениях [3]

Об этом Huq и сборе данных без согласия бользователей BBC написали в конце октября [4], по мотивам статьи в Vice [5] где также обратили внимание на это расследование AppCensus и на то что Huq собирает данные не уведомляя об этом пользователей.

Google обещают что проводят расследование по этому поводу, поскольку это нарушает их собственные правила в экосистеме Android'а.

История показательная, разумеется, Huq далеко не единственные кто собирает столь много данных и использует подобную бизнес модель и такие истории будут повторятся. Нам же стоит помнить что любое бесплатное приложение - не бесплатное, мы расплачиваемся сбором информации о себе, всегда.

Ссылки:
[1] https://blog.appcensus.io/2021/10/25/what-the-huq/
[2] https://web.archive.org/web/20211001150723/https://huq.io/data/
[3] https://reports.exodus-privacy.eu.org/en/trackers/408/
[4] https://www.bbc.com/news/technology-59063766
[5] https://www.vice.com/en/article/5dgmqz/huq-location-data-opt-out-no-consent

#privacy #huq #android
Для тех кто интересуется последними инициативами социально-экономического характера, я обновил таблицу сравнения ФЦП, госпрограмм, нац. проектов и теперь ещё и инициатив. Всё это можно посмотреть в табличке в Google Docs [1]. Наверное, эти инициативы уже можно сократить до ИСЭРов. Что нужно о них знать? В том что их непрозрачность и неподотчетность даже выше чем по национальным проектам. Обязательное раскрытие данных, по прежнему, присутствует только по ФЦП/Госпрограммам со многими вопросами к качеству этого раскрытия. Но по нац проектам и теперь и ИСЭРам нет даже этого.

По нацпроектам единственным официальным контуром раскрытия сведений является медийный портал futurerussia.gov.ru [2], а остальные материалы если где и всплывают, то рассеяно по другим ресурсам органов власти и в [анонимных] телеграм-каналах.

Сведения явно собираются, но не раскрываются.

Ссылки:
[1] https://tinyurl.com/2vunudnd
[2] https://futurerussia.gov.ru

#opendata #spending #budgets #government
Минцифры подвело итоги аукциона на 873 млн. руб. по использованию Гостеха для ФФОМС. Электронный аукцион N 0173100007521000107 завершился победой [1] ООО "Облачные технологии" (входит в группу компаний Сбер). Собственно только их заявка и подавалась на этот аукцион [2].

На что стоит обратить внимание:
1. За чуть более 1 месяц 2021 года поставщик получит 86 млн. рублей. Это чуть менее 10% всей суммы и не вполне понятно за что потому что структура контракта поэтапно описана неподробно.
2. На портале госзакупок размещены неполные сведения о предмете закупок на 370 тысяч, а не на 873 млн. руб. Это как-то совсем вызывающе странно и позиции закупки не описаны.

А самый главный вопрос который я до сих пор не могу понять, так это если Сбер уже выбран оператором Гостех'а, то зачем конкурсы и аукционы? Почему не ед. исполнитель или почему вообще не создали АО по модели ГЧП и не дали ему прямую субсидию?

Ссылки:
[1] https://tinyurl.com/ye8hesex
[2] https://tinyurl.com/f6pjsku4

#spending #government #govtech