Почему в разговорах о пенсионной реформе никто не поднимает вопрос о необходимости опрозрачивания пенсионной системы?

О том что статистика и аналитика выплат по категориям застрахованных должна быть предельно подробной, с разбивкой по социальным группам, типам пенсионеров, субъектам федерации и тд и тп.

То что данные о расходах ПФ РФ должны быть открыты.
То что необходимо ежеквартальный отчёт ВЭБа по вложениям пенсионных средств.
То что должна быть особая политики прозрачности и предоставление информации по запросу от журналистов не за 30 дней, а гораздо быстрее

и многое и многое другое.

В США сенаторы и конгрессмены должны отчитываться о покупках и продажах акций. На основе этих данных инженер Tim Carambat [1] создал два проекта: House Stock Watcher [2] и Senate Stock Watcher [3] чтобы отслеживать как они инвестируют средства.

Всё на основе общедоступных раскрываемых сведений тут конгрессом [4] и сенатом [5].

Ссылки:
[1] https://twitter.com/tcarambat
[2] https://housestockwatcher.com/
[3] https://senatestockwatcher.com/
[4] https://disclosures-clerk.house.gov/
[5] https://efdsearch.senate.gov/search/home/

#opendata #dataviz

Быть может не каталоги данных, а каталоги метаданных? Свежий проект OpenMetadata [1] нацелен на автоматизацию сбора именно данных-о-данных которые находятся под Вашим управлением в самых разных СУБД - MySQL, PostgreSQL, MSSQL, ElasticSearch и иногие другие. По сути это почти то же самое что корпоративный каталог данных, но без претензий на "швейцарский нож". OpenMetadata начинает со стандартизации и продолжает интеграцией и взаимодействием пользователей.

Плюс - это подход от стандартизации и открытый код
Минус - в пока ещё слабой поддержке NoSQL и других источников данных

Реализуемые идеи очень похожи на те что у нас в движке DataCrafter'а [2], но с акцентом на корпоративные, а не на общедостурные данные.

В любом случае это интересный проект за которым стоит понаблюдать и попробовать.

Ссылки:
[1] https://open-metadata.org
[2] https://beta.apicrafter.ru

#opendata #metadata #data #datacatalogs

Как исчезают официальные данные в сети - в первую очередь через ликвидацию организаций. Приведу в пример Уставной суд Санкт-Петербурга. Это был один из конституционных судов субъектов федерации, о нем есть статья в Википедии [1]. 31 марта 2021 года законодательное собрание Санкт-Петербурга приняло решение о его ликвидации [2], а с 1 июля (всего 2 месяца назад) суд ликвидирован, а сайт суда закрыт.

Обычно, если организация ликвидируется через реорганизацию, то у нее есть правопреемник, которому передаются архивы, имущество и тд.
Но уставной суд именно ликвидировался, а не реорганизовывался, имущество, скорее всего, было возвращено в собственность города, а вот процедуры сохранения материалов публикуемых в цифровой форме в России нет и не было.

Поэтому сайт суда просто одномоментно закрыли. В лучшем случае его решения остались в коммерческих системах вроде Консультант плюс или Гарант. С высокой вероятностью их нет в государственных системах регистрации нормативно-правовых документов, поскольку это был суд вне юрисдикции Судебного департамента и поскольку решения судов не регистрируются в pravo.gov.ru или системах Минюста России.

Это довольно маленький, очень небольшой пример, того как материалы органов власти исчезают при реорганизации. Он, конечно, несравним с моментальным закрытием всех материалов ФМС и ФСКН после их возврата в МВД. Тогда МВД убрали из сети все материалы этих ведомств в тот же день когда был анонсирован указ Президента РФ о реорганизации этих ведомств.

Ссылки:
[1] https://ru.wikipedia.org/wiki/Уставный_суд_Санкт-Петербурга
[2] https://www.assembly.spb.ru/ndoc/doc/0/706135935

#digitalpreservation #data

Не очевидные источники открытых данных по транспорту/городу:

- медленные зоны для самокатов https://transport.mos.ru/build/geojson/electrosamokat_slow_zones.geojson
- Данные по Такси (ждем и другие) - https://prodvizhenie.mos.ru/
- данные по Вело - velostat.ru (теперь умеет собирать данные по Мурманску, Тюмени, Нижнему)
- данные по авариям и программе БКД (СКДФ) - https://xn--d1aluo.xn--p1ai/opendata (на днях обновили большинство датасетов)
- общегородские данные по Москве - https://ehd.moscow/

К предыдущей моей публикации про исчезновение сайта Уставного суда Санкт-Петербурга. Нашёлся проект spb-elections.ru автор которого провел архивацию сайта суда в марте 2021 года [1]. Это хорошая новость потому что в России, всё таки, возникают проекты по цифровой архивации значимых данных. В данном случае значимость была у решений суда в отношении выборов в Санкт-Петербурге.

Лично я очень рад что архивация становится предметом общественного интереса и сам проект про выборы интересный, не в последнюю очередь ретроспективой до 1993 года.

Ссылки:
[1] https://spb-elections.ru/sites/sites_www.spbustavsud.ru_comment.html

#digitalheritage #digitalpreservation #webarchives

В открытом доступе появился препринт замечательной книжки Analyzing US Census Data: Methods, Maps, and Models in R [1] о том как обрабатывать данные переписи населения США с помощью языка R. Автор книги, Kyle Walker, создатель библиотеки tidycensus [2] для языка R для упрощения работы с данными переписи.

Книга чрезвычайно прикладная, со скриншотами ГИС систем и систем переписи населения, часто в стиле "откройте страницу (вот скриншот), нажмите туда, нажмите сюда, скачайте результат" и конечно же книга про эту библиотеку tidycensus и как с её помощью с данными переписи работать.

Здесь надо отметить что в США вокруг переписи населения выстроена довольно большая, как теперь говорят, экосистема. Чтобы работать с их данными необходимо получить ключ, просто зарегистрировавшись [3] и там же у US Census Bureau на сайте большой раздел для разработчиков [4] с руководствами, примерами, каталогом API, публичным форумом [5], чатом в слаке, рассылкой и так далее.


Ссылки:
[1] https://walker-data.com/census-r/
[2] https://github.com/walkerke/tidycensus
[3] https://api.census.gov/data/key_signup.html
[4] https://www.census.gov/data/developers.html
[5] https://gitter.im/uscensusbureau/home

#opendata #data #census #us

💻Из электронных трудовых некоторых россиян начал пропадать стаж.

Из электронных трудовых книжек стала исчезать информация о стаже работы на ликвидированных предприятиях. Из-за этого некоторые россияне рискуют остаться без положенной пенсии.

Для того чтобы восстановить пропавшие записи в цифровой трудовой, нужно потратить много времени, а также столкнуться с бумажной волокитой, отмечает издание. «Запись в трудовой книжке с 1 марта 2007 года, а в электронной трудовой — с 31 декабря 2007 года, то есть восемь месяцев потеряно», — рассказала москвичка Светлана Антонова.

Во второй компании, где она работала, Антонова обнаружила информацию в цифровой книжке о якобы прерывании стажа. «Теперь я, что ли, ежегодно должна проверять, все ли записи мне сделали в трудовую книжку? Это же ненормально!» — заявила собеседница издания.

В Пенсионном фонде России (ПФР) сказали, что обе компании были ликвидированы и помочь Антоновой будет проблематично. В ведомстве пообещали отправить запросы в архивы, но «не факт, что там что-то найдется». Женщина указала, что у нее имеется оригинал трудовой, где есть этот стаж со всеми печатями, но в ПФР заявили, что «просто трудовую книжку мы взять теперь не можем».

Устраиваться на работу с электронными трудовыми стало можно с 1 января 2021 года. Бумажная трудовая после получения электронной выдается на руки, однако ее необходимо сохранить, поскольку в цифровом формате будут содержаться сведения только начиная с 2020 года.

В рубрике интересных наборов данных, коллекция ботов для Twitter, Facebook, Tumblr, Slack и других сервисов собранных на платформе Botwiki [1]. На основе данных вики собран набор данных из наиболее популярных Twitter ботов и доступен на Kaggle [2].

Среди ботов есть те которые относятся к визуализации данных [3], а также много других, весьма любопытных. В принципе, Botwiki - это хорошая база идей по созданию альтернатив наиболее интересных/успешных ботов для других платформ.

При этом, там практически нет ни одного телеграм бота.

Ссылки:
[1] https://botwiki.org
[2] https://www.kaggle.com/fourtonfish/popular-twitter-bots
[3] https://botwiki.org/?s=dataviz&search-filters-options%5B%5D=everything

#data #datasets #bots

В Ведомостях статья " Банки столкнулись с проблемой блокировки переводов на запрещенных сайтах" [1] о том что у банков нет доступа реестру запрещённых сайтов и они не могут автоматически проверять своих клиентов и блокировать им переводы, по новым требованиям.

В статье, в принципе, скрытый, но чёткий намек что Роскомнадзор как бы, делает всё так, чтобы другим закон было выполнять неудобно. А это не абы что, а требования закона «О противодействии легализации доходов, полученных преступным путем, и финансированию терроризма» (115-ФЗ) поправки в который вступили в силу 13 июля и за невыполнение которого ЦБ может у банка вплоть до того что отозвать лицензию.

Всё это про два практических аспекта ведения этого самого реестра запрещённых сайтов:
1. Отсутствие в нём сведений о формальных основаниях блокировки, о чём есть в статье.
2. Недоступность его ни для кого кроме телеком операторов. Хотя, по хорошему, он вообще как открытые данные должен был бы публиковаться. Ну или в неком регламентированном режиме доступа, ограниченный не только телеком операторами.

Но технические подробности этого реестра и насколько хорошо (скорее плохо) его Роскомнадзор ведет я хочу сейчас отставить в сторону. Сам факт смешения борьбы с онлайн казино, незаконными операциями в интернет и использования реестра для политической цензуры довольно сильно дискредитирует эту затею.

А вот на что стоит обратить внимание так это на вот этот абзац



Кроме автоматизации доступа к реестру запрещенных сайтов, банки описали и другие проблемы, возникшие из-за новых требований.

Сейчас нет единого реестра доменных имен с информацией об их владельцах-юрлицах, а регистраторов доменных имен только в России больше 30, говорится в письме. Агрегированная информация от регистраторов о том, какому юрлицу или ИП принадлежит определенный домен, предоставляется только правоохранительным органам. Поэтому у банков возникает сложность с установлением наличия у клиента каких-либо доменных имен, зарегистрированных в зоне .ru или любой другой, отмечается в письме. Если клиент не сообщит о владении каким-либо доменом, установить полный и актуальный список сайтов, принадлежащих ему, невозможно. РКН ответил банкам, что у ведомства нет «специализированных механизмов», которые позволяют определить принадлежность домена или указателя страницы сайта лицу, оказывающему услуги в интернете.

Это очень прозрачный намек на будущее регулирование через создание такого реестра "конечных бенефициаров или аффилированных лиц' с интернет-доменами. Это только кажется сложной задачей провязать домены с компаниями и ИП, а на практике у этого много интересантов и тотальная гос-перепись доменов с их привязкой к юридическим лицам более чем возможна, весьма вероятно и весьма ожидаема.

Ссылки:
[1] https://www.vedomosti.ru/finance/articles/2021/09/01/884745-banki-blokirovki

#it #regulation #domains #data

В Tinkoff Journal статья Алексея Смагина о такси зарегистрированных в России и в Москве и области с цифрами статистики и не только https://journal.tinkoff.ru/taxi-stat/
и с данными о типах машин используемых таксистами.

От проекта Datacrafter мы предоставили редакции полный набор данных о такси в городе Москве и области https://beta.apicrafter.ru/tables/mostaxi/licenses

Если Вы журналист, работаете над материалом основанном на данных и эти данные у нас есть или мы можем их собрать - пишите нам на [email protected] и мы постараемся Вам помочь!

В США появился портал Evaluation.gov [1] посвящённый доказательной политике и составлению Annual evaluation plans и иным активностям вокруг этой темы. Например, в плане казначейства [2] есть такой пункт как "How are consumers using USAspending.gov?". Жаль таких вопросов мало по российским порталам и ГИСам

Ссылки:
[1] https://www.evaluation.gov/
[2] https://home.treasury.gov/system/files/266/Treasury-FY22-Annual-Evaluation-Plan.pdf

#data #us #evidence

В качестве небольшого оффтопика интересный патент на звуковое оружие подавляющее возможность говорить раскопало издание New Scientist [1] (закрыто пэйволом) и пишет об этом Interesting Engineering [2]. Сам патент на Acoustic hailing and disruption (AHAD) уже применяется и внедрент в ВМФ США.

Суть в том что акустические волны воспроизволят то что говорит человек и нарушают его способность говорить. Фактически дезориентируя людей ведущих любой разговор. Вместе с оружием выводящим из строя или блокирующим электронные устройства, можно воистину парализовать любое общение между людьми.

Ссылки:
[1] https://www.newscientist.com/article/2287973-sneaky-us-navy-feedback-device-could-stop-people-being-able-to-speak/
[2] https://interestingengineering.com/a-new-navy-weapon-actually-stops-you-from-talking

#tech #weapons

Digital Public Infrastructure не новый термин, но активно развивающийся в свежем докладе "Co-Develop: Digital Public Infrastructure for an Equitable Recovery" [1] от Rockfellr Foundation.

Там есть многое о том что государства, могут и должны бы создавать инфраструктуру для оперативного реагирования на кризисы, помощи бедным и пострадавшим и ещё многое и о том что это все непросто и поэтому открытые решения на базе открытого кода в том числе с созданием инфраструктуры несколькими странами сообща - вот то что нужно делать. Там же упоминаются Digital Common Goods как цифровые продукты пригодные для повторного использования.

Доклад полезный для понимания подходов которые будут продвигать на базе ООН в ближайшие годы.

А если перевести термин на русский язык, то он будет звучать как Общественная цифровая инфраструктура (ОЦИ) или "Цифровая общественная инфраструктура" (ЦОИ). Запомните эти названия, готов поспорить что в течении года кто-то в федеральном правительстве или крупных регионах запустят их в общественный оборот.

Главное чтобы не забыли что открытость кода, данных и доступа к инфраструктуре лежат в основе этой идеи.

Ссылки:
[1] https://www.rockefellerfoundation.org/report/co-develop-digital-public-infrastructure-for-an-equitable-recovery/

#opensouce #data #digital #opendata

Моя свежая колонка в Forbes [1] про импортозамещение компьютеров, смартфонов и тд. и того что с ним не так

Ссылки:
[1] https://www.forbes.ru/tekhnologii/438943-analogi-neumestny-pocemu-cinovniki-ne-hotat-pokupat-rossijskie-komp-utery

#spending #contracts

Для тех кто интересуется веб архивацией и не только, подборка сервисов и ПО которые помогают в работе:
- Интернет-архив https://web.archive.org - помимо того что огромный архив наиболее популярных веб-страниц и веб-сайтов, также можно через него сохранять данные о сайтах отправляю туда конкретные страницы которых там нет
- Archive.Today https://archive.ph сохраняет веб страницы делая их полные слепки и скриншоты которые потом можно сохранить локально
- Time Travel https://timetravel.mementoweb.org сервис позволяющий находить слепки страницы веб-сайта в десятках веб архивов. Часть проекта Memento по стандартизации доступа к веб-архивам
- WARCreate https://chrome.google.com/webstore/detail/warcreate/kenncghfghgolcbmckhiljgaabnpcaaa?hl=en&gl=US расширение для Google Chrome по сохранению веб страницы в формате WARC
- ArchiveBox https://archivebox.io инструмент для создания личной коллекции архивов из закладок в браузере. Зрелый продукт с открытым кодом с многочисленными возможностями по сохранению веб-страниц
- Perma.cc https://perma.cc сервис сохранения веб страниц для использования в научных статьях. Бесплатные аккаунты для научных учреждений и платные для юридических фирм.
- Stillio https://www.stillio.com сервис регулярных, ежесуточных, скриншотов выбранных веб страниц. Платный, с частотой от ежемесячной до каждых 5 минут.

Все это полезно когда Вам надо сохранить, например, какую-либо веб-страницу и пока ещё не требуется её нотариальное заверение, но уже нужна 3-я подтверждающая сторона.

А также, для тех кто программирует Awesome Web Archiving https://github.com/iipc/awesome-web-archiving большая коллекция, в основном примеров кода, библиотек и инструментов по разным аспектам создания и работы с веб архивами.

#webarchives #tools #digitalpreservation

В Москве завтра проходит Московский финансовый форум. Я когда-то давно принимал в нём участие и не могу не отметить два важных изменения последнего времени:
1. Из программы форума исчезло всё что касается открытости [1]. Это, де факто, означает исчезновения открытости и прозрачности как приоритета. Осталось только инициативное бюджетирование, но в той форме каким оно было и осталось последние 7 лет. Значит ли это что открытость в госфинансах/финансах перестала быть частью мировой повестки? Нет. Только перестала быть часть повестки Минфина РФ.
2. Куда-то, исчезли материалы всех прошедших ранее форумов. На сайте пишут что форуму 5 лет [2], а материалов за эти 5 лет нету

Ссылки:
[1] https://mff.minfin.ru/forum/program/
[2] https://mff.minfin.ru

#govfinances #events #finances

Министерство финансов нашей с Вами любимой федерации
Вышло из состояния перманентной гибернации
Мониторинг закупок оно выпустило в свет [1]
И я читаю этот ... интересный документ

Первое на что стоит обратить внимание
На замену дотошностью понимания
Много цифр по разным, возможно, поводам
Имитируют удовлетворение информационного голода

На практике
Это тактика
Стратегия в вопросах куда более сложных
И потому незатронутых. Очень всё осторожно!

Например, зачем в законе смешаны госкомпании и бюджетные учреждения
Почему они в одинаковом положении?
Если у госкомпаний ещё могут быть секретные подрядчики
То какие, к лешему, они у остальных зайчиков?

Почему мы не знаем поставщиков университет
Если закупакет он по 223-ФЗ из внебюджета?

Впрочем есть и важные вопросы
Вокруг которых авторы отчета "наматывали тросы"
Это объём закупок у единственного исполнителя
Согласитесь, вопрос волнительный

Но и тут от смысла есть уклонения
Просто до недоумения
Важно не только кто там единоисполнитель
Но и кто его лееятель и хулитель

Группировать поставщиков важно и нужно
По их принадлежности к государственной службе
Не просто так ед исполнители на анаболиках
А учрежденные госухой субъекты госэкономики

Особенно когда ед исполнитель подвед у госзаказчика
Для заказчика это такой свой, управляемый зайчик
Одной рукой бабло ему подкидываешь в ненасытное рыло
Другой выбираешь чьё горло в этом рыле бы было

В общем, напомню, мониторинг там без смысловой части
Мало кому интересны вопросы реальной мат части
Богатые богаче, бедные беднее
Так описать ситуацию будет вернее

Ссылки:
[1] https://minfin.gov.ru/ru/document/?id_4=134177-monitoring_primeneniya_federalnogo_zakona_ot_18_iyulya_2011_g.__223-fz_o_zakupkakh_tovarov_rabot_uslug_otdelnymi_vidami_yuridicheskikh_lits_v_2020_godu#

#госзакупки #procurement #spending

О том как создаются открытые наборы данных чуть ли не с нуля. Dolthub, большой публичный каталог и сервис хостинга данных по аналогии с Github, объявили конкурс на создание набора данных по бизнесу зарегистрированному в США [1]. Для тех кто не знает, в США до сих пор нет централизованного реестра компаний, вместо этого есть множество реестров в штатах по отдельности и несколько реестров юридических лиц созданных частными компаниями и предоставляемыми за большие деньги. Вот и в Dolthub финансируют решение проблемы с общедоступностью реестра организаций в США.

Одно из компаний создающих коммерческие реестры юр. лиц является D&B (Dun & Bradstreet, Inc.) [2]. Именно их идентификатор с определенного момента стал обязательным для участия в государственных закупках в США. Для того чтобы стать подрядчиком для федеральной власти в США нужно иметь номер DUNS выдаваемый D&B и D&B также держат реестр с регистрационной информацией организации. Но дело этим не заканчивается, эту информацию они рассматривают как их интеллектуальную собственность и, поэтому, при сборе о компаниях, если эти сведения из D&B, то Вы не имеете права использовать их для воссоздания их продукта. На сайте USASpending.gov есть специальная оговорка [3] по поводу использования и сбора данных из D&B. То есть если они раскрываются правительством США на официальном сайте, ещё не факт что Вы имеете право это использовать как-либо в антикоррупционных целях или целях комплаенс.

Я не знаю как эту проблему будут решать в Dolthub и участники их конкурса, потому что код DUNS упоминается в структуре набора данных который они хотят создать, а его использование почти 100% приведет к требованиям от D&B о запрете использования такого сводного набора данных.

В качестве итога хочу сказать что всё познается в сравнении. Есть страны где реестродержатели базы юридических лиц - это коммерческие регистраторы, есть те где нет централизованного реестра, есть те где любые сведения стоят очень больших денег. Поэтому можно обратить внимание что в проектах вроде OpenCorporates [4] и OpenOwnership [5] участвует всё ещё ограниченное число стран, многие из которых на себя обязательства по раскрытию сведений в рамках инициатив по политической открытости / открытости в целях мониторинга отмывания среде приобретенных незаконным путем.

Если вернуться к проблеме с DUNS номерами, то правительство США планирует окончательно отказаться от них к 22 апреля 2022 года [6], немногим больше чем через полгода. Вместо этого всем поставщикам и получателем средств из федерального бюджета США будет присваиваться Unique Entity ID (SAM) в системе sam.gov, а для проверки достоверности сведений будет выбран сервис валидации (validation provider). Это уже к вопросу о качестве данных о юридических лицах в информационных системах и достоверности сведений.

Ссылки:
[1] https://www.dolthub.com/blog/2021-09-07-announcing-10000-usd-us-businesses-bounty/
[2] https://www.dnb.com/
[3] https://www.usaspending.gov/db_info
[4] https://opencorporates.com
[5] https://www.openownership.org
[6] https://www.gsa.gov/about-us/organization/federal-acquisition-service/office-of-systems-management/integrated-award-environment-iae/iae-systems-information-kit/unique-entity-identifier-update
[7] https://sam.gov

#opendata #datasets #procurement #usa