Ivan Begtin
9.13K subscribers
2.03K photos
3 videos
102 files
4.76K links
I write about Open Data, Data Engineering, Government, Privacy, Digital Preservation and other gov related and tech stuff.

Founder of Dateno https://dateno.io

Telegram @ibegtin
Facebook - https://facebook.com/ibegtin
Secure contacts ivan@begtin.tech
Download Telegram
Forwarded from ministryofpoems
Эй гражданин! Ты только не зверей
Думаешь вокруг случайные погрешности?
В госуслугах избегают теперь
«образы людей не славянской внешности»

Ты в зеркало то на себя посмотрел?
То-то
Всегда найдешь в себе разное генетическое чего-то
А тут, на тебе, евгенестические чуда природы
Отрицают что все мы немного разной породы

Вместо добросовестного разнообразия
Предлагают лишь одну форму безобразия
Может у составителей брендбука
Поехала кукуха

А может они нам на что-то намекают неаккуратно
Что госполитику мы не знаем или знаем превратно
И тувинцам и татарам в нашем правительстве
Не поможет от цензуры партийное представительство

Национализм не шутка
и не предмет для
мелких
локальных
исправлений
А для прокуророрской проверки,
посадок и увольнений

Источник вдохновения: В составленном Минкомсвязи брендбуке «Госуслуг» нашли требование не использовать «образы людей не славянской внешности» https://breakingmad.me/ru/11485
August 27, 2021
В Нигерии появился портал раскрытия данных о госзакупках/госконтрактах [1] в форматах открытых данных. Портал создан в рамках реформы государственных закупок Нигерии [2]. Но расследование от Dataphyte показало что по контрактам на сумму 70 миллиардов нигерийских найр (27 миллиардов в рублях) отсутствуют ключевые сведения о поставщиках [3], такие как их наименования и идентификаторы.

В Мексике Институт конкуренции IMCO выпустил индекс коррупционных рисков для 278 федеральных агентств [4]. Общий вывод - ухудшение ситуации и рост коррупционных рисков. Визуализация рейтинга с 2018 года [5] и открытые данные исследования в Excel [6].

В США поставщики по оборонному бюджету получили в общей сложности $1 миллиард на работы в Афганистане после вывода оттуда войск [7]. Неизвестно продолжатся ли эти контракты после окончания вывода войск или же будут расторгнуты.

Ссылки:
[1] https://bigfutportal.azurewebsites.net/Home/OcdsRecords
[2] https://bpp.ekitistate.gov.ng/about-us/public-procurement-reforms-program/
[3] https://www.dataphyte.com/economy/ekiti-bpp-flouts-procurement-law-publish-contracts-worth-over-n70-billion-without-vendors-name-identifiers/
[4] https://imco.org.mx/indice-de-riesgos-de-corrupcion/
[5] https://imco.org.mx/riesgosdecorrupcion/
[6] https://drive.google.com/drive/folders/1HZe-AZkTtyjWtA9RJOEPpGo3VRN5Qjgi
[7] https://www.opensecrets.org/news/2021/08/defense-contractors-spent-big-in-afghanistan-before-the-us-left-taliban-took-control

#opendata #opengov #procurement #spending
August 28, 2021
August 28, 2021
Forwarded from Ivan Begtin (Ivan Begtin)
August 29, 2021
В США сенаторы и конгрессмены должны отчитываться о покупках и продажах акций. На основе этих данных инженер Tim Carambat [1] создал два проекта: House Stock Watcher [2] и Senate Stock Watcher [3] чтобы отслеживать как они инвестируют средства.

Всё на основе общедоступных раскрываемых сведений тут конгрессом [4] и сенатом [5].

Ссылки:
[1] https://twitter.com/tcarambat
[2] https://housestockwatcher.com/
[3] https://senatestockwatcher.com/
[4] https://disclosures-clerk.house.gov/
[5] https://efdsearch.senate.gov/search/home/

#opendata #dataviz
August 30, 2021
August 30, 2021
August 30, 2021
Как исчезают официальные данные в сети - в первую очередь через ликвидацию организаций. Приведу в пример Уставной суд Санкт-Петербурга. Это был один из конституционных судов субъектов федерации, о нем есть статья в Википедии [1]. 31 марта 2021 года законодательное собрание Санкт-Петербурга приняло решение о его ликвидации [2], а с 1 июля (всего 2 месяца назад) суд ликвидирован, а сайт суда закрыт.

Обычно, если организация ликвидируется через реорганизацию, то у нее есть правопреемник, которому передаются архивы, имущество и тд.
Но уставной суд именно ликвидировался, а не реорганизовывался, имущество, скорее всего, было возвращено в собственность города, а вот процедуры сохранения материалов публикуемых в цифровой форме в России нет и не было.

Поэтому сайт суда просто одномоментно закрыли. В лучшем случае его решения остались в коммерческих системах вроде Консультант плюс или Гарант. С высокой вероятностью их нет в государственных системах регистрации нормативно-правовых документов, поскольку это был суд вне юрисдикции Судебного департамента и поскольку решения судов не регистрируются в pravo.gov.ru или системах Минюста России.

Это довольно маленький, очень небольшой пример, того как материалы органов власти исчезают при реорганизации. Он, конечно, несравним с моментальным закрытием всех материалов ФМС и ФСКН после их возврата в МВД. Тогда МВД убрали из сети все материалы этих ведомств в тот же день когда был анонсирован указ Президента РФ о реорганизации этих ведомств.

Ссылки:
[1] https://ru.wikipedia.org/wiki/Уставный_суд_Санкт-Петербурга
[2] https://www.assembly.spb.ru/ndoc/doc/0/706135935

#digitalpreservation #data
August 31, 2021
Не очевидные источники открытых данных по транспорту/городу:

- медленные зоны для самокатов https://transport.mos.ru/build/geojson/electrosamokat_slow_zones.geojson
- Данные по Такси (ждем и другие) - https://prodvizhenie.mos.ru/
- данные по Вело - velostat.ru (теперь умеет собирать данные по Мурманску, Тюмени, Нижнему)
- данные по авариям и программе БКД (СКДФ) - https://xn--d1aluo.xn--p1ai/opendata (на днях обновили большинство датасетов)
- общегородские данные по Москве - https://ehd.moscow/
August 31, 2021
August 31, 2021
В открытом доступе появился препринт замечательной книжки Analyzing US Census Data: Methods, Maps, and Models in R [1] о том как обрабатывать данные переписи населения США с помощью языка R. Автор книги, Kyle Walker, создатель библиотеки tidycensus [2] для языка R для упрощения работы с данными переписи.

Книга чрезвычайно прикладная, со скриншотами ГИС систем и систем переписи населения, часто в стиле "откройте страницу (вот скриншот), нажмите туда, нажмите сюда, скачайте результат" и конечно же книга про эту библиотеку tidycensus и как с её помощью с данными переписи работать.

Здесь надо отметить что в США вокруг переписи населения выстроена довольно большая, как теперь говорят, экосистема. Чтобы работать с их данными необходимо получить ключ, просто зарегистрировавшись [3] и там же у US Census Bureau на сайте большой раздел для разработчиков [4] с руководствами, примерами, каталогом API, публичным форумом [5], чатом в слаке, рассылкой и так далее.


Ссылки:
[1] https://walker-data.com/census-r/
[2] https://github.com/walkerke/tidycensus
[3] https://api.census.gov/data/key_signup.html
[4] https://www.census.gov/data/developers.html
[5] https://gitter.im/uscensusbureau/home

#opendata #data #census #us
September 1, 2021
Forwarded from LegalTech
September 1, 2021
В рубрике интересных наборов данных, коллекция ботов для Twitter, Facebook, Tumblr, Slack и других сервисов собранных на платформе Botwiki [1]. На основе данных вики собран набор данных из наиболее популярных Twitter ботов и доступен на Kaggle [2].

Среди ботов есть те которые относятся к визуализации данных [3], а также много других, весьма любопытных. В принципе, Botwiki - это хорошая база идей по созданию альтернатив наиболее интересных/успешных ботов для других платформ.

При этом, там практически нет ни одного телеграм бота.

Ссылки:
[1] https://botwiki.org
[2] https://www.kaggle.com/fourtonfish/popular-twitter-bots
[3] https://botwiki.org/?s=dataviz&search-filters-options%5B%5D=everything

#data #datasets #bots
September 2, 2021
В Ведомостях статья " Банки столкнулись с проблемой блокировки переводов на запрещенных сайтах" [1] о том что у банков нет доступа реестру запрещённых сайтов и они не могут автоматически проверять своих клиентов и блокировать им переводы, по новым требованиям.

В статье, в принципе, скрытый, но чёткий намек что Роскомнадзор как бы, делает всё так, чтобы другим закон было выполнять неудобно. А это не абы что, а требования закона «О противодействии легализации доходов, полученных преступным путем, и финансированию терроризма» (115-ФЗ) поправки в который вступили в силу 13 июля и за невыполнение которого ЦБ может у банка вплоть до того что отозвать лицензию.

Всё это про два практических аспекта ведения этого самого реестра запрещённых сайтов:
1. Отсутствие в нём сведений о формальных основаниях блокировки, о чём есть в статье.
2. Недоступность его ни для кого кроме телеком операторов. Хотя, по хорошему, он вообще как открытые данные должен был бы публиковаться. Ну или в неком регламентированном режиме доступа, ограниченный не только телеком операторами.

Но технические подробности этого реестра и насколько хорошо (скорее плохо) его Роскомнадзор ведет я хочу сейчас отставить в сторону. Сам факт смешения борьбы с онлайн казино, незаконными операциями в интернет и использования реестра для политической цензуры довольно сильно дискредитирует эту затею.

А вот на что стоит обратить внимание так это на вот этот абзац



Кроме автоматизации доступа к реестру запрещенных сайтов, банки описали и другие проблемы, возникшие из-за новых требований.

Сейчас нет единого реестра доменных имен с информацией об их владельцах-юрлицах, а регистраторов доменных имен только в России больше 30, говорится в письме. Агрегированная информация от регистраторов о том, какому юрлицу или ИП принадлежит определенный домен, предоставляется только правоохранительным органам. Поэтому у банков возникает сложность с установлением наличия у клиента каких-либо доменных имен, зарегистрированных в зоне .ru или любой другой, отмечается в письме. Если клиент не сообщит о владении каким-либо доменом, установить полный и актуальный список сайтов, принадлежащих ему, невозможно. РКН ответил банкам, что у ведомства нет «специализированных механизмов», которые позволяют определить принадлежность домена или указателя страницы сайта лицу, оказывающему услуги в интернете.

Это очень прозрачный намек на будущее регулирование через создание такого реестра "конечных бенефициаров или аффилированных лиц' с интернет-доменами. Это только кажется сложной задачей провязать домены с компаниями и ИП, а на практике у этого много интересантов и тотальная гос-перепись доменов с их привязкой к юридическим лицам более чем возможна, весьма вероятно и весьма ожидаема.

Ссылки:
[1] https://www.vedomosti.ru/finance/articles/2021/09/01/884745-banki-blokirovki

#it #regulation #domains #data
September 2, 2021
Forwarded from APICrafter
В Tinkoff Journal статья Алексея Смагина о такси зарегистрированных в России и в Москве и области с цифрами статистики и не только https://journal.tinkoff.ru/taxi-stat/
и с данными о типах машин используемых таксистами.

От проекта Datacrafter мы предоставили редакции полный набор данных о такси в городе Москве и области https://beta.apicrafter.ru/tables/mostaxi/licenses

Если Вы журналист, работаете над материалом основанном на данных и эти данные у нас есть или мы можем их собрать - пишите нам на apicrafter@apicrafter.ru и мы постараемся Вам помочь!
September 2, 2021
В США появился портал Evaluation.gov [1] посвящённый доказательной политике и составлению Annual evaluation plans и иным активностям вокруг этой темы. Например, в плане казначейства [2] есть такой пункт как "How are consumers using USAspending.gov?". Жаль таких вопросов мало по российским порталам и ГИСам

Ссылки:
[1] https://www.evaluation.gov/
[2] https://home.treasury.gov/system/files/266/Treasury-FY22-Annual-Evaluation-Plan.pdf

#data #us #evidence
September 2, 2021
В качестве небольшого оффтопика интересный патент на звуковое оружие подавляющее возможность говорить раскопало издание New Scientist [1] (закрыто пэйволом) и пишет об этом Interesting Engineering [2]. Сам патент на Acoustic hailing and disruption (AHAD) уже применяется и внедрент в ВМФ США.

Суть в том что акустические волны воспроизволят то что говорит человек и нарушают его способность говорить. Фактически дезориентируя людей ведущих любой разговор. Вместе с оружием выводящим из строя или блокирующим электронные устройства, можно воистину парализовать любое общение между людьми.

Ссылки:
[1] https://www.newscientist.com/article/2287973-sneaky-us-navy-feedback-device-could-stop-people-being-able-to-speak/
[2] https://interestingengineering.com/a-new-navy-weapon-actually-stops-you-from-talking

#tech #weapons
September 3, 2021
Digital Public Infrastructure не новый термин, но активно развивающийся в свежем докладе "Co-Develop: Digital Public Infrastructure for an Equitable Recovery" [1] от Rockfellr Foundation.

Там есть многое о том что государства, могут и должны бы создавать инфраструктуру для оперативного реагирования на кризисы, помощи бедным и пострадавшим и ещё многое и о том что это все непросто и поэтому открытые решения на базе открытого кода в том числе с созданием инфраструктуры несколькими странами сообща - вот то что нужно делать. Там же упоминаются Digital Common Goods как цифровые продукты пригодные для повторного использования.

Доклад полезный для понимания подходов которые будут продвигать на базе ООН в ближайшие годы.

А если перевести термин на русский язык, то он будет звучать как Общественная цифровая инфраструктура (ОЦИ) или "Цифровая общественная инфраструктура" (ЦОИ). Запомните эти названия, готов поспорить что в течении года кто-то в федеральном правительстве или крупных регионах запустят их в общественный оборот.

Главное чтобы не забыли что открытость кода, данных и доступа к инфраструктуре лежат в основе этой идеи.

Ссылки:
[1] https://www.rockefellerfoundation.org/report/co-develop-digital-public-infrastructure-for-an-equitable-recovery/

#opensouce #data #digital #opendata
September 3, 2021