Пытался сформулировать мысли про происходящее и СМИ иноагенты. Главная проблема, конечно, в том что все что касается открытости государства, данных, взаимодействия государства - во всем этом лидерами были в первую очередь расследовательские медиа. В самом деле, зачем открытость если ее некому применять? Вот и закрытия и иноагентизация вначале НКО, а далее СМИ создают ситуацию когда открытость государства становится рудиментом потому что все ее потребители изгнаны из публичного пространства.

Я вижу что ликвидация СМИ и НКО - это часть идеологии рудиментизации открытости, подмены реальной прозрачности государства и общества на суррогаты из пиара, подмены понятий, искажения смыслов и работе на имитацию позиций в рейтингах вместо качественных изменений.
Насилие через запреты говорить, выражать мнение, неважно, верное или ошибочное, неприятное или резкое - всё это признаки слабости государства, крайне опасное в самой ближайшей перспективе.

Каков бы ни был кризис журналистики в России, блокировка СМИ проходит не по критерию низкого качества, а по критерию наличия альтернативной точки зрения государственному мейнстриму. Но лишать общество разнообразия мнений - это тупиковый путь, показывающий что диалог невозможен, есть лишь методы цензуры.

И из этого тупика нам ещё придётся выходить.

Новые наборы данных в APICrafter:
- Статистика регистрации юридических лиц по почтовым индексам https://beta.apicrafter.ru/packages/egrulpoststats
- Статистика регистрации юридических лиц по кодам КЛАДР https://beta.apicrafter.ru/packages/egrulkladrstats
- Записи из ЕГРЮЛ сокращённые для статистического анализа https://beta.apicrafter.ru/packages/egrulstatsrecords (11,2 миллиона записей), 5.8 гигабайт

Если первые два набора - это уже рассчитанные статистические показатели, то третий набор включает данные для анализа регистрации и ликвидации юридических лиц по почтовым индексам, кодам КЛАДР, кодам ОКОПФ, кодам ОКФЭД и основаниям ликвидации. Фактически, можно замерить сколько юр лиц по конкретному коду ОКВЭД создаётся и ликвидируется по дням, месяцам, годам, территориям и так далее.

Эти наборы данных являются открытыми и их можно скачать целиком в форматах CSV, BSON и JSON lines в разделах "версии и сборки" по каждому набору данных или воспользоваться API для доступа к данным.

Все эти наборы данных созданы на базе ЕГРЮЛ, доступ к которому также есть через систему APICrafter https://apicrafter.ru и там же можно оформить подписку для коммерческого доступа к данным.

#opendata #data #egrul

Странно что к российским выборам никто из политиков не предложил штрафовать за замедление старых устройств вендорами. Как например это делает Apple, за что и были оштрафованы во Франции и во Франции перестали это делать. Теперь выходят публикации о том что если переключить старый iPhone 7 на регион Франция, то он работает быстрее [1].

Ссылки:
[1] https://www.gizchina.com/2021/08/23/old-iphones-become-faster-if-you-change-the-region-to-france/

#tech #apple #globaltech

За последние годы наше правительство "поднаторело" в регулировании прослеживания самых разных товаров. Сельхозпродукции, лекарств, да и ещё много чего. И хочется задать лишь один вопрос, а прослеживать законы или приказы органы власти уже научились? Кто, когда, по какой причине написал НПА, кто внес правки, кто их завизировал, кто утвердил и кто принял? Потому что я лично не устаю повторять что если цепочки ответственных нет, то виноват всегда руководитель.

Потому что если нет виноватых (читай - ответственных) Приказ Министерства науки и высшего образования Российской Федерации от 21.08.2020 № 1076 "Об утверждении Порядка приема на обучение по образовательным программам высшего образования - программам бакалавриата, программам специалитета, программам магистратуры" [1] [2]

Потому что в пункте 79 этого приказа есть:
79. В конкурсном списке указываются следующие сведения:

1) номер страхового свидетельства обязательного пенсионного страхования (при наличии), уникальный код, присвоенный поступающему (при отсутствии указанного свидетельства);

Потому из-за этого университеты теперь массово публикуют списки абитуриентов с указанием СНИЛС каждого. Примеры:
- Бауманка [3]
- СФУ [4]
- КГПУ [5]

И продолжать можно долго. Тем кто не понимает что это значит я поясню. СНИЛС - это постоянный идентификатор человека выдаваемый ему, считайте, на всю жизнь. По СНИЛС можно идентифицировать ФИО конкретного человека. Базы сопоставляющие СНИЛС и ФИО периодически всплывают, я писал о доступности сертификатов удостоверяющих центров в которых по умолчанию (спасибо Минцифре и ФСБ) вписываются СНИЛСы физ. лиц, как следствие найти ФИО и другие сведения по СНИЛС совершенно точно возможно.

Возвращаясь к вопросу о прослеживаемости. По прежнему интересно кто был такой умный вставил этот пункт в этот приказ? Ну и если ответственных нет, то виноват, как всегда, министр лично.

А нам остается помнить что не хакеры, а государство - вот кто главный враг приватности граждан.

Ссылки:
[1] https://publication.pravo.gov.ru/Document/View/0001202009140014
[2] https://www.garant.ru/products/ipo/prime/doc/74441661/
[3] https://priem.bmstu.ru/lists/upload/enrollees/first/moscow-1/01.03.02.pdf
[4] https://admissions.sfu-kras.ru/stats
[5] https://www.kspu.ru/upload/documents/2021/08/02/792308e2ea453f5e6a07114ca192a6dc/tehnologiya-s-osnovami-predprinimatelstva.pdf

#government #education #privacy

Fiscal Note [1] компания по мониторингу изменений в законодательстве и решений политиков купили [2] стартап Predata [3]. Predata - это весьма интересный стартап декларирующий использование ИИ для выявления аномалий, трендов и индикаторов в информационной медийной повестке на основе данных СМИ и соцсетей. Основной прицел был на участников рынка. Они привлекли относительно немного инвестиций в $3.3 миллиона [4] и стали частью системы альтернативных данных собираемых Bloomberg'ом [5]

В общем и целом любопытный стартап на растущем рынке альтернативных данных.

Ссылки:
[1] https://fiscalnote.com
[2] https://fiscalnote.com/press-room/fiscalnote-announces-acquisition-of-predata
[3] https://www.predata.com
[4] https://www.crunchbase.com/organization/predata
[5] https://www.businesswire.com/news/home/20190312005155/en/Bloomberg-Offering-Predata’s-Alternative-Data-Set-Data

#alternativedata #data #predata #fiscalnote

К вопросу о доступности данных и работе государственных информационных систем.

С июня месяца ГИБДД (читай - МВД) не публикует данные о ДТП на сайте stat.gibdd.ru [1]. На сайте указано что Доступ к показателям состояния безопасности дорожного движения временно ограничен в связи с проведением технических работ и будет восстановлен в полном объёме по их завершении.

Без указания конкретных дат когда эти работы будут закончены, при том что раскрытие данных прописано в Постановлении Правительства РФ от 19.09.2020 N 1502 "Об утверждении Правил учета дорожно-транспортных происшествий, об изменении и признании утратившими силу некоторых актов Правительства Российской Федерации". Часть 1, пункт 10 и Часть 2, пункт 16. [2]

По слухам у МВД вышли из строя часть серверов и их функциональность они восстановили лишь частично.

Фактически требования этого постановления Правительства уже нарушаются.
Возникают вопросы:
1. Так когда же данные начнут обновляться?
2. Применительно к открытости данных и информационных системам мониторинг правоприменения может быть автоматизирован. Может быть и Минюсту стоит над этим задуматься или Минцифре? Насколько я знаю худо-бедно-плохо-нормально мониторинг организован только в СМЭВе.

Всё это к вопросу о том что вот данные МВД недоступны и даже непонятно к кому обращаться для того чтобы хотя бы узнать когда они появятся не говоря уже о их доступности в целом. Конечно, можно писать запрос в МВД, и ждать 30 дней ответа. Что видимо и придётся сделать в итоге.

Ссылки:
[1] https://stat.gibdd.ru/
[2] https://www.garant.ru/products/ipo/prime/doc/74580240/

#opendata #data #mvd #gibdd #dtp

В Австралии, при офисе комиссара по данным (National Data Commisioner) создается проект по Dataplace [1] для запросов на данные к органам власти и госструктурам. Обратите внимание что это не запросы на доступ к информации в классическом понимании (FOI), а именно data requests. Обещают сделать beta версию к концу 2021 года и релиз в 2022 году.

Там же анонсировали проект всегосударственного каталога данных [2] и пилотных проектов по инвентаризации данных. Обратите внимание - это общедоступный каталог всех данных, основная его идея в том что чтобы понять что должно быть открыто вначале необходимо понять, а что есть и метаданные, сведения о наборах данных и базах данных, должны быть общедоступны. Пока же с 2022 по 2024 годы в Австралии будут инвентаризировать данные небольшими командами в рамках этого пилотного проекта.


Ссылки:
[1] https://www.datacommissioner.gov.au/media-hub/creating-human-centric-government-data-request-process
[2] https://www.datacommissioner.gov.au/media-hub/new-pilot-program-deliver-government-wide-data-catalogue

#opendata #data #australia #datacatalogs

В Motherboard статья "How Data Brokers Sell Access to the Backbone of the Internet" [1] о том как Интернет провайдеры приторговывают втихую данными о трафике (netflow) и помогают отслеживать пользователей VPN. Там подробно рассказывается о компании Team Cymru, в том числе историю о том как CitizenLab с помощью инструментов Team Cymru ловили израильский малварь Candiru [2].

Статья полезная для тех кто хочет больше о том как устроена реальная приватность, а ещё вернее её отсутствие, и о том что VPN далеко не гарантировано защищает от слежки и, если очень надо и при наличии финансовых ресурсов, всё отслеживается.

Ссылки:
[1] https://www.vice.com/en/article/jg84yy/data-brokers-netflow-data-team-cymru
[2] https://citizenlab.ca/2021/07/hooking-candiru-another-mercenary-spyware-vendor-comes-into-focus/

#privacy #internet #teamcymru

Europeana подвела итоги [1] 1st Digital Storytelling Festival в победителях:
- История кошек которые стали мумиями [2]
- Анимация старых движущихся картинок [3]
и Celebrating women — Art and machine learning [4]
Последнее любопытно, там автор взяла две старые фотографии и применила Runway ML software with DeOldify model [5]. Фактически сама она ничего не программировала в machine learning, но применила уже имеющиеся разработки.

Лично мне очень по душе такие фестивали как и все инициативы цифрового культурного наследия по применению технологий в обеспечении их доступности. А digital storytelling - это ещё и хорошая тема для журналистов рассказывающих истории из прошлого и настоящего.

Ссылки:
[1] https://medium.com/digital-storytelling-festival/discover-the-winners-of-the-1st-digital-storytelling-festival-b2d5b5c49561
[2] https://medium.com/digital-storytelling-festival/story-of-cats-who-became-mummies-8163e1815e93
[3] https://medium.com/digital-storytelling-festival/animating-old-morphing-pictures-28df9ef76090
[4] https://medium.com/digital-storytelling-festival/celebrating-women-art-and-machine-learning-89ba03a09433
[5] https://github.com/jantic/DeOldify

#digitalheritage #digitalstorytelling

Эй гражданин! Ты только не зверей
Думаешь вокруг случайные погрешности?
В госуслугах избегают теперь
«образы людей не славянской внешности»

Ты в зеркало то на себя посмотрел?
То-то
Всегда найдешь в себе разное генетическое чего-то
А тут, на тебе, евгенестические чуда природы
Отрицают что все мы немного разной породы

Вместо добросовестного разнообразия
Предлагают лишь одну форму безобразия
Может у составителей брендбука
Поехала кукуха

А может они нам на что-то намекают неаккуратно
Что госполитику мы не знаем или знаем превратно
И тувинцам и татарам в нашем правительстве
Не поможет от цензуры партийное представительство

Национализм не шутка
и не предмет для
мелких
локальных
исправлений
А для прокуророрской проверки,
посадок и увольнений

Источник вдохновения: В составленном Минкомсвязи брендбуке «Госуслуг» нашли требование не использовать «образы людей не славянской внешности» https://breakingmad.me/ru/11485

В Нигерии появился портал раскрытия данных о госзакупках/госконтрактах [1] в форматах открытых данных. Портал создан в рамках реформы государственных закупок Нигерии [2]. Но расследование от Dataphyte показало что по контрактам на сумму 70 миллиардов нигерийских найр (27 миллиардов в рублях) отсутствуют ключевые сведения о поставщиках [3], такие как их наименования и идентификаторы.

В Мексике Институт конкуренции IMCO выпустил индекс коррупционных рисков для 278 федеральных агентств [4]. Общий вывод - ухудшение ситуации и рост коррупционных рисков. Визуализация рейтинга с 2018 года [5] и открытые данные исследования в Excel [6].

В США поставщики по оборонному бюджету получили в общей сложности $1 миллиард на работы в Афганистане после вывода оттуда войск [7]. Неизвестно продолжатся ли эти контракты после окончания вывода войск или же будут расторгнуты.

Ссылки:
[1] https://bigfutportal.azurewebsites.net/Home/OcdsRecords
[2] https://bpp.ekitistate.gov.ng/about-us/public-procurement-reforms-program/
[3] https://www.dataphyte.com/economy/ekiti-bpp-flouts-procurement-law-publish-contracts-worth-over-n70-billion-without-vendors-name-identifiers/
[4] https://imco.org.mx/indice-de-riesgos-de-corrupcion/
[5] https://imco.org.mx/riesgosdecorrupcion/
[6] https://drive.google.com/drive/folders/1HZe-AZkTtyjWtA9RJOEPpGo3VRN5Qjgi
[7] https://www.opensecrets.org/news/2021/08/defense-contractors-spent-big-in-afghanistan-before-the-us-left-taliban-took-control

#opendata #opengov #procurement #spending

Главный радиочастотный центр (ФГУП при Роскомнадзоре) объявил закупку на "Выполнение работ по созданию автоматизированной системы мониторинга нарушений прав субъектов персональных данных в сети «Интернет» " [1] (АС МПДн)

Закупают они по 223-ФЗ, поэтому победителя торгов мы не узнаем, а вот на что точно можно и нужно обратить внимание так это на чрезвычайно детальное техническое задание с тщательным перечислением всех технических средств предполагаемых к использованию, что, чаще, бывает когда ТЗ пишет поставщик предопределенный госзаказчиком. Но, опять же, с сайта ЕИС мы о поставщике не узнаем.

Зато можно обратить внимание по каким ключевым словам Роскомнадзор собирается искать сайты распространяющие ПДн.

Как бы сказать помягче, система в будет совершенно бессмысленна. Её заказчики явно не понимают как устроено распространение персональных данных.

Ссылки:
[1] https://zakupki.gov.ru/223/purchase/public/purchase/info/common-info.html?regNumber=32110590564

#privacy #rkn #procurement

Почему в разговорах о пенсионной реформе никто не поднимает вопрос о необходимости опрозрачивания пенсионной системы?

О том что статистика и аналитика выплат по категориям застрахованных должна быть предельно подробной, с разбивкой по социальным группам, типам пенсионеров, субъектам федерации и тд и тп.

То что данные о расходах ПФ РФ должны быть открыты.
То что необходимо ежеквартальный отчёт ВЭБа по вложениям пенсионных средств.
То что должна быть особая политики прозрачности и предоставление информации по запросу от журналистов не за 30 дней, а гораздо быстрее

и многое и многое другое.

В США сенаторы и конгрессмены должны отчитываться о покупках и продажах акций. На основе этих данных инженер Tim Carambat [1] создал два проекта: House Stock Watcher [2] и Senate Stock Watcher [3] чтобы отслеживать как они инвестируют средства.

Всё на основе общедоступных раскрываемых сведений тут конгрессом [4] и сенатом [5].

Ссылки:
[1] https://twitter.com/tcarambat
[2] https://housestockwatcher.com/
[3] https://senatestockwatcher.com/
[4] https://disclosures-clerk.house.gov/
[5] https://efdsearch.senate.gov/search/home/

#opendata #dataviz

Быть может не каталоги данных, а каталоги метаданных? Свежий проект OpenMetadata [1] нацелен на автоматизацию сбора именно данных-о-данных которые находятся под Вашим управлением в самых разных СУБД - MySQL, PostgreSQL, MSSQL, ElasticSearch и иногие другие. По сути это почти то же самое что корпоративный каталог данных, но без претензий на "швейцарский нож". OpenMetadata начинает со стандартизации и продолжает интеграцией и взаимодействием пользователей.

Плюс - это подход от стандартизации и открытый код
Минус - в пока ещё слабой поддержке NoSQL и других источников данных

Реализуемые идеи очень похожи на те что у нас в движке DataCrafter'а [2], но с акцентом на корпоративные, а не на общедостурные данные.

В любом случае это интересный проект за которым стоит понаблюдать и попробовать.

Ссылки:
[1] https://open-metadata.org
[2] https://beta.apicrafter.ru

#opendata #metadata #data #datacatalogs

Как исчезают официальные данные в сети - в первую очередь через ликвидацию организаций. Приведу в пример Уставной суд Санкт-Петербурга. Это был один из конституционных судов субъектов федерации, о нем есть статья в Википедии [1]. 31 марта 2021 года законодательное собрание Санкт-Петербурга приняло решение о его ликвидации [2], а с 1 июля (всего 2 месяца назад) суд ликвидирован, а сайт суда закрыт.

Обычно, если организация ликвидируется через реорганизацию, то у нее есть правопреемник, которому передаются архивы, имущество и тд.
Но уставной суд именно ликвидировался, а не реорганизовывался, имущество, скорее всего, было возвращено в собственность города, а вот процедуры сохранения материалов публикуемых в цифровой форме в России нет и не было.

Поэтому сайт суда просто одномоментно закрыли. В лучшем случае его решения остались в коммерческих системах вроде Консультант плюс или Гарант. С высокой вероятностью их нет в государственных системах регистрации нормативно-правовых документов, поскольку это был суд вне юрисдикции Судебного департамента и поскольку решения судов не регистрируются в pravo.gov.ru или системах Минюста России.

Это довольно маленький, очень небольшой пример, того как материалы органов власти исчезают при реорганизации. Он, конечно, несравним с моментальным закрытием всех материалов ФМС и ФСКН после их возврата в МВД. Тогда МВД убрали из сети все материалы этих ведомств в тот же день когда был анонсирован указ Президента РФ о реорганизации этих ведомств.

Ссылки:
[1] https://ru.wikipedia.org/wiki/Уставный_суд_Санкт-Петербурга
[2] https://www.assembly.spb.ru/ndoc/doc/0/706135935

#digitalpreservation #data

Не очевидные источники открытых данных по транспорту/городу:

- медленные зоны для самокатов https://transport.mos.ru/build/geojson/electrosamokat_slow_zones.geojson
- Данные по Такси (ждем и другие) - https://prodvizhenie.mos.ru/
- данные по Вело - velostat.ru (теперь умеет собирать данные по Мурманску, Тюмени, Нижнему)
- данные по авариям и программе БКД (СКДФ) - https://xn--d1aluo.xn--p1ai/opendata (на днях обновили большинство датасетов)
- общегородские данные по Москве - https://ehd.moscow/

К предыдущей моей публикации про исчезновение сайта Уставного суда Санкт-Петербурга. Нашёлся проект spb-elections.ru автор которого провел архивацию сайта суда в марте 2021 года [1]. Это хорошая новость потому что в России, всё таки, возникают проекты по цифровой архивации значимых данных. В данном случае значимость была у решений суда в отношении выборов в Санкт-Петербурге.

Лично я очень рад что архивация становится предметом общественного интереса и сам проект про выборы интересный, не в последнюю очередь ретроспективой до 1993 года.

Ссылки:
[1] https://spb-elections.ru/sites/sites_www.spbustavsud.ru_comment.html

#digitalheritage #digitalpreservation #webarchives

В открытом доступе появился препринт замечательной книжки Analyzing US Census Data: Methods, Maps, and Models in R [1] о том как обрабатывать данные переписи населения США с помощью языка R. Автор книги, Kyle Walker, создатель библиотеки tidycensus [2] для языка R для упрощения работы с данными переписи.

Книга чрезвычайно прикладная, со скриншотами ГИС систем и систем переписи населения, часто в стиле "откройте страницу (вот скриншот), нажмите туда, нажмите сюда, скачайте результат" и конечно же книга про эту библиотеку tidycensus и как с её помощью с данными переписи работать.

Здесь надо отметить что в США вокруг переписи населения выстроена довольно большая, как теперь говорят, экосистема. Чтобы работать с их данными необходимо получить ключ, просто зарегистрировавшись [3] и там же у US Census Bureau на сайте большой раздел для разработчиков [4] с руководствами, примерами, каталогом API, публичным форумом [5], чатом в слаке, рассылкой и так далее.


Ссылки:
[1] https://walker-data.com/census-r/
[2] https://github.com/walkerke/tidycensus
[3] https://api.census.gov/data/key_signup.html
[4] https://www.census.gov/data/developers.html
[5] https://gitter.im/uscensusbureau/home

#opendata #data #census #us