Статья в The Verge [1] о человеке в Чикаго по которому алгоритм выдал что он может оказаться по любую из сторону при стрельбе. Может быть жертвой или может использовать оружение сам. К нему пришли полицейские и соц работники в рамках профилактических мер, но интереснее всего то что алгоритмы предсказания преступлений применяются всё чаще и приводят к ситуациям вроде этой.

Кстати, не стоит думать что до России этот тренд не дойдёт. Скоринг граждан по социальным рискам (неизвестный самому гражданину) можно сказать неизбежен. Предиктивные системы для правоохранительных систем, также, довольно активно будут внедряться. С одной стороны это естественное развитие правоохранительной системы, а с другой всё зависит от вектора развития полиции.

Ссылки:
[1] www.theverge.com

#opendata #predictive #policing
_______
Причиной появления полицейских у его дверей был компьютерный алгоритм из научной фантастики, который идентифицировал Макдэниела на основе коллекции. источников данных, к которым ни одно гражданское лицо не могло получить доступ в качестве стрелка или жертвы стрельбы в некоторых будущих обстоятельствах, которые могут или не могут разыграться.

... он предсказал стрельбу, которая не произошла бы, если бы не предсказала стрельбу.

Руководство полиции Лос-Анджелеса завершило свою программу прогнозирующей полицейской деятельности, ориентированной на людей, в апреле 2020 года.

Источник | #begtin

Я регулярно писал о том как многие органы власти "имитируют открытость", вместо открытых данных публикуют что-то другое, не публикуют данные или делают это каким-то особо странным образом вызывающим недоумение.

Вот несколько примеров мимо которых пройти сложно:
- Ростуризм создал специальный сайт для публикации открытых данных opendata.tourism.gov.ru [1] инициатива неплохая и там даже опубликовано 207 наборов данных. Но, они разрезали реестр туроператоров на 85 субъектов федерации и опубликовали по каждому субъекту федерации свой маленький кусочек этого реестра, а также реестр туристических маршрутов разрезали на 10 частей по 10 субъектам федерации. В результате внешне выглядит словно там 207 наборов данных, а по факту их 113. В результате "разрезания" реестра туроператора возникли наборы из 4-х записей [2] и, в целом, выглядит это странно поскольку он реально небольшой, и целиком в реестре содержится 4247 записей, а то есть решение никак не вызванное объёмам публикуемых данных
- У Минюста России, с одной стороны, публикуется 27 наборов открытых данных [3] и даже сразу на портале Data.gov.ru, можно увидеть что некоторые данные начали обновлять и публиковать в конце июня, например "
Список зарегистрированных политических партий" [4], но это все довольно смешно на фоне объёмов данных в информационных системах которыми Минюст РФ управляет. Нет никаких открытых данных из портала НКО Минюста, нет ничего, даже статистических сведений, из системы регистрации нормативных документов. Причём я говорю сейчас только про общедоступные данные создаваемые в рамках основных функций министерства. Иначе говоря если измерять goodwill (добрую волю) органов власти по раскрытию в машиночитаемой форме и так раскрываемых сведений, то Минюст будет в группе "агрессивно сопротивляющихся открытости органах власти", где-то рядом с МВД РФ.
- МВД РФ публикует 21 набор данных, которые даже, теперь время от времени обновляют [5], казалось бы прогресс, но нет. Например, данные по состоянию преступности [6] публикуются накопительным итогом в виде цельного набора данных, а каждая новая версия набора данных - это срез за период времени. Иначе говоря чтобы собрать статистику преступности целиком, надо выгрузить все версии этого набора данных, но и в этом случае данные будут только с 2014 года. Как будто до этого МВД РФ не существовало, как будто не существовало МВД в СССР, как будто не было полиции в Российской Империи. И это, конечно, далеко не самый главный вопрос, есть немало вопросов о том почему нет данных муниципального уровня, не публикуется реестр участковых, нет никаких данных по функциям МВД переданным им вместе с ФМС, по миграции, да и объёмы расходов на ФГИС МВД несопоставимы с доступностью данных о деятельности министерства.

Я могу продолжать этот список очень и очень долго, анализ открытости любого ведомства или региональных властей идёт от списка полномочий и собираемых данных и реальная ситуация обычно значительно хуже декларируемой или демонстрируемой. В каких-то случаях это легко правится, вроде странной публикации Ростуризмом данных реестра туроператоров, а в каких-то открытость - это однозначно политические решения на уровне Правительства РФ которые с момента роспуска "Открытого правительства" до сих пор не приняты.

Ссылки:
[1] opendata.tourism.gov.ru
[2] opendata.tourism.gov.ru/7708550300-ReestrRosturizm1B
[3] minjust.gov.ru
[4] data.gov.ru
[5] мвд.рф
[6] мвд.рф/7727739372-sosprestupnost

#opendata #opengov #datasets #data
_______
Источник | #begtin

Вчера закрылась Команда 29 и многочисленные их проекты, а сама команда предупредила что лучше удалить ссылки на их материалы поскольку закрываются они из-за обвинений в связях с нежелательной организацией Společnost Svobody Informace, НКО из Чехии.

Я, скажу честно, не ко всем проектам команды 29 относился с симпатией. У меня было немало претензий к их подходам к оценке открытости информации по 8-ФЗ и лично к Ивану Павлову, когда ещё в 2014 году в оценки открытости в России в Open Data Index его сотрудники пытались внести искажения которые показали бы состояние открытых данных в России лучше чем это было на самом деле. Но у них это тогда не получилоась, а то ради чего это делалось, пусть будет на их совести.

Как бы то ни было, несмотря на моё личное отрицательное отношение к деятельности многих в Команде 29, если от этого личного отношения отстраниться, то, конечно, они были одними из немногих кто занимался вопросами открытости в России. Мои личные антипатии не означает что я не могу признать большой и важной работы которую эта команда делала. Больше того, ещё недавно многие госорганы ссылались на результаты их исследований. На сайте Минфина России есть специальный раздел где ещё в декабре 2020 года они публиковали "сертификаты системы Инфометр" (за что я их отдельно критиковал, в том числе). Так что же теперь у нас Минфин России популяризирует материалы иностранного агента?

Я по прежнему настаиваю на том тезисе что открытость данных и государства в целом бессмысленна в условиях ликвидации потребителей этой открытости.

#opengov #opendata
_______
Источник | #begtin

В свежем расследовании Сергея Шпилькина про 29 миллионов переболевших [1] важно не только само расследование, к нему уже есть комментарии разбирающие его [2], важнее то что нет смысловой/содержательной/осмысленной реакции Минздрава РФ да и оперштаба тоже. Важная российская особенность в том что с начала пандемии российским Правительством / Минздравом / Оперштабами не опубликовано ни одного набора данных относящихся к COVID-19. Всё что есть было собрано активистами с сайтов вроде стопкоронавирус.рф, из поисковой выдачи поисковых систем, по другим косвенным признакам. Мы от Инфокультуры контактировали с теми кто такие данные собирал и выкладывали их на Humanitarian Data Exchange [3], фактически, выполняя ту работу которую должны делать правительственные и региональные чиновники.

Я хочу обратить внимание что за эти годы весь социальный блок органов власти в нашей стране по закрытости мог бы соревноваться разьве что с МВД или другими правоохранительными органами. Данные не раскрываются не только о COVID-19, в принципе медицинская статистика, даже региональная, а уж о более гранулярной и речи ещё нет, не публикуется. Диалога с обществом о доступности данных не ведётся и, не велось даже во время открытого пр-ва, сопротивление со стороны Минздрава, Минобра и др. было коллосальным.

Что хуже - это то что шло и идёт вымывание профессионалов из очень многих областей госусправления. Вот этот пример с номерами переболевших очень показателен. Может ли со стороны Минздрава кто-то содержательно подробно прокомментировать откуда возникла такая ситуация? Проблема в том что нет, не могут. Также как и в десятках других отраслей. В ИТ сфере это выражается в вымывании самого понятия архитектуры государственных ИТ решений причем в долгосрочном плане. Все настолько увлечены тактическими планами что "поговорить не с кем".

Ссылки:
[1] holod.media
[2] www.facebook.com
[3] data.humdata.org

#opendata #investigations
_______
Источник | #begtin

В США сенаторы и конгрессмены должны отчитываться о покупках и продажах акций. На основе этих данных инженер Tim Carambat [1] создал два проекта: House Stock Watcher [2] и Senate Stock Watcher [3] чтобы отслеживать как они инвестируют средства.

Всё на основе общедоступных раскрываемых сведений тут конгрессом [4] и сенатом [5].

Ссылки:
[1] twitter.com
[2] housestockwatcher.com
[3] senatestockwatcher.com
[4] disclosures-clerk.house.gov
[5] efdsearch.senate.gov

#opendata #dataviz
_______
Источник | #begtin

Для меня, если честно, тема выборов скорее неинтересна, а про технические особенности и проблемы с электронным голосованием в Москве хорошо пишут более мотивированные к этому авторы. Я сфокусируюсь на системных проблемах подрывающих доверие к системе электронного голосования у нас в стране с самого начала её апробации/запуска/тестирования.

1. На всякий случай я напомню что есть такое явление как разделение власти оно прописано в Конституции и предполагает независимость каждой ветви власти друг от друга. В частности, избирательные комиссии не являются органами власти - это особые структуры не находящиеся в подчинении федеральной власти или властей субъектов федерации. Принцип их формирования основан на независимом проведении выборов. Поэтому большая часть информатизации выборов все эти годы (десятилетия) шли с тем что ЦИК РФ был основным заказчиком работ системы ГАС Выборы. Для электронного голосования этот принцип был нарушен, разработка систем была передана исполнительным органам власти в лице ДИТ Москвы и Минфры России. Даже если предположить что там работают прекрасные люди, желающие стране хорошего тем не менее, они не являются и не могут являться даже формально независимыми сторонами.

2. Важная характеристика любой системы, в том числе информационной, это просматриваемость/наблюдаемость, на английском языке это звучит как observability. Главное отличие от прозрачности в том что прозрачность - это практическая реализация, а просматриваемость - это пригодность системы к такому наблюдению. Когда речь идёт об электронном голосовании и его реализации на блокчейне, то всё это, частично, имеет характеристики просматриваемости и прозрачности, но... Важная оговорка в том где эта система стыкуется с другими системами, техническими и человеческими. А вспомним насколько прозрачны эти системы. Есть ли цифры показывающие прозрачность и работу Госуслуг? Как получается что по такой продвинутой системе нет ежесуточной детальной статистики по демографии, активности, регистрациям, осуществляемым услугам и так далее. Аналогично по регистрации избирателей в Москве через портал mos.ru. Эти системы непрозрачны, ненаблюдаемы, не предполагающие не то что раскрытия их кода, но и даже раскрытия самых базовых показателей, не говоря уже о чём либо ещё.

3. В целом, участие Венедиктова как эдакого "общественного омбудсмена" дискредитирует электронное голосование не меньше чем его результаты. Венедиктов ничего не понимает в технической стороне, безапелляционные его утверждения настолько вне-рефлексивны и настолько не допускают даже вероятности ошибки (а добросовестные ошибки тут возможны), что не возможно делать никаких других интерпретаций кроме того что "человека назначили защищать, он и защищает как может". Может он плохо, от этого всё выглядит ещё хуже.

4. Раскрытие исходного кода электронного голосования выглядит довольно удручающе. Публиковать в репозитории код без документации, в виде архивов, это, конечно, показывает что, или это сделано "на отвали", или разработчики просто не имеют квалификации работать с репозиториями кода.

5. И, чуть ли не самое главное, а кто проектировал систему электронного голосования? Кто её архитектор, проектировщик, ведущие разработчики? не Венедиктов же и не Артём Костырко, выступающие говорящими головами. Получается что, либо разработчики настолько стыдятся своей работы что не готовы о ней говорить, либо их заказчиики боятся их выступления потому что "косяки" системы станут ещё более очевидными.
Схемы, логика, бизнес-процесс, архитектура этой системы должны быть открыты, равно как и должны быть открыты те кто её создает.

#opensource #opendata #observability #transparency #openness #elections
_______
Источник | #begtin

ФНС России обновили и, я бы сказал, "поломали" свой аналитический портал analytic.nalog.ru [1].

Раньше на нём публиковались региональные налоговые паспорта, Excel файлы с подробной региональной ведомственной статистикой (у меня есть архив на руках) и немного цифр с визуализацией. Теперь много визуализации в стиле BI, но какого-то недоделанного BI без возможности выгрузки индикаторов, информации об актуализации и тд. А файлы налоговых паспортов регионов с сайта исчезли.

Если старый сайт был неудобен, то новый выглядит даже не недоделанным, а как-то совсем тяп-ляп, сделанным на коленках. В лучших традициях старая версия сайта исчезла, а до исчезновения в поисковиках не индексировалась, поскольку специально делалась неиндексируемой.

Для тех кому нужны архивы налоговых паспортов они есть в DataCrafter'е в открытом доступе [2]. Похоже надо усилить функцию DataCrafter'а по архивации данных.

Ссылки:
[1] analytic.nalog.ru
[2] data.apicrafter.ru

#nalog #data #opendata
_______
Источник | #begtin

В рубрике интересных наборов данных сведения о объёме газа в газовых хранилищах Европы [1] доступны в виде таблиц, выгрузки в Excel и через API. База данных создана и ведётся Gas Infrastructure Europe (GIE) ассоциацией Европейских газовых операторов.

Данные будут полезны всем журналистам пишущих о поставках данных в Европу и о дефиците газа, но не приводящих цифры или графики.

Ссылки:
[1] agsi.gie.eu

#opendata #datasets #gas #europe
_______
Источник | #begtin

Минюст опубликовал единый реестр иностранных агентов [1] в виде PDF файла в 15 страниц и 493 записи. Не буду комментировать странности ведения и публикации этого реестра в PDF файле и тем более его содержание.

В любом случае журналистам и не только для анализа будет удобнее работать с Excel и CSV файлами, поэтому именно их прилагаю.

Ссылки։
[1] https://minjust.gov.ru/uploaded/files/reestr-inostrannyih-agentov-01-12-2022.pdf

#opendata #dataset

В России закрыт централизованный портал поиска по судебным решениям bsr.sudrf.ru [1] через который ранее можно было найти любое принятое решение судом любой юрисдикиции. Закрыт без новостей о том насколько закрыт, когда откроют и так далее. С текущей формулировкой он может не быть открыт никогда или завтра.

Судебные решения всё ещё доступны через сайты судов в разделах "Судебное делопроизводство", однако сайтов тысячи и поиск на них требует введения каптчи.

При этом в формате открытых данных судебные решения судебным департаментом никогда не публиковались, а поиск и сайты были единственными способами получения этих сведений.

Почему закрыли версий может быть более одной. Работа журналистов расследователей , изменения в руководстве Верховного суда и многое другое. Важнее то что эти данные активно использовались во многих проектах/задачах/исследованиях и закрытие поиска это ещё один сигнал о растущей закрытости значимых для общества сведений.

Ссылки:
[1] bsr.sudrf.ru

#opendata #closeddata #russia
_______
Источник | #begtin
@F_S_C_P
Узнай судьбу картами Таро:
✨Anna Taro bot

В продолжение размышлений про то как публикуют открытые данные, я в какие-то из ближайших дней напишу про то как публикуют дата продукты и их качественные отличия от открытых данных (спойлер - большая часть дата продуктов коммерческие и в открытый доступ публикуют данные с ограничениями).

А пока в качестве одного из упоминаемых там материалов, проект OpenCellID [1]. База геолокаций сотовых вышек по всему миру, с возможностью выгрузки данных в по всему миру или отдельной стране.

В статистике упоминают более 30 миллионов вышек, а также можно загружать туда информацию с помощью их API [2]. За проектом стоит компания UnwiredLabs предоставляющая сервисы геолокации [3]

В чем особенность проекта так в том что он начинался как сообщество у которого появилось много контрибьюторов. Изначально данные в нём тоже были открыты и удобны для выгрузки, можно прочитать об этом в статье на Хабр в 2014 году [4], а сейчас данные не только не скачать без регистрации и API ключа, но и не более 2-х файлов в месяц.

Более того, у меня есть слепок данных из этого проекта за 2021 год и когда я сравниваю, например, данные по РФ, со статистикой по РФ на сайте и содержанием дампа на сегодня, то выглядят цифры вот так:
- 1.9 миллионов сотовых вышек РФ в выгрузке за 2021 г.
- 2.2. миллиона сотовых вышек по РФ упоминаются в статистике на 2024 г.
и только 146 тысяч сотовых вышек в выгрузке данных за 2024 г.

На форуме пользователи уже задаются вопросами почему так происходит, но безответно [5].

Ответ, почти наверняка, очевиден, владелец открытого сервиса "портит его" в пользу связанного коммерческого продукта. Так не редко случается в коммерческих дата продуктах изначально основанных на создание открытых данных.

Такое бывает и с опенсорс проектами переходящими в коммерциализацию.

Ссылки:
[1] opencellid.org
[2] wiki.opencellid.org
[3] unwiredlabs.com
[4] habr.com
[5] opencellid.org/downloads.php
[6] community.opencellid.org

#opendata #dataproducts #data

_______
Источник | #begtin
@F_S_C_P

Стань спонсором!