Правительство Абу Даби (город в Объединённых арабских эмиратах) запустило портал открытых данных [1] с 550 наборами данных, в первую очередь геоданных в формате API и слоёв для геоинформационных систем. Для сравнения, на портале открытых данных страны Bayanat.ae [2] опубликовано чуть менее 2400 наборов данных, в основном статистика в формате Microsoft Excel.

Ссылки:
[1] https://data.abudhabi
[2] https://data.bayanat.ae

#opendata

На сайте Европейского партнерства для демократии (EPD) появилась [1] совместная декларация [2] 29 организаций гражданского общества, специализирующихся на цифровых продуктах, о значимой прозрачности всей рекламы ( meaningful transparency on all ads ).

Это не только про открытые данные, а ещё и про технологическую и алгоритмическую прозрачность и открытый код и, в том числе, про стандартизацию библиотек, форматов и API применяемых в рекламном рынке.

Текст и предложения в нем весьма любопытные, весьма разумно проработанные, но, безусловно, если превратятся в регулирование то затронут не только мировых игроков рынка рекламы: Facebook, Google и др., но и российские крупнейшие онлайн сервисы, как минимум, Яндекс и MRG.

Тема довольно большая, я сделаю отдельный обзор всего что там предложено.

P.S. Конечно, очень расстраивает что во всех подобных инициативах Россия теперь упоминается исключительно в негативном контексте, в виде кейсов по дезинформации и fake news.

Ссылки:
[1] https://epd.eu/2020/09/08/pressreleaseadstransparency/
[2] https://epd.eu/wp-content/uploads/2020/09/joint-call-for-universal-ads-transparency.pdf

#opendata #opensource #ads

Правительство Великобритании опубликовало Национальную стратегию по работе с данными [1].
О стратегиях работы с данными я, обычно, делаю более подробные обзоры у себя в блоге begtin.tech, в ближайшие дни подготовлю обзор и этой стратегии.

Ссылки:
[1] https://www.gov.uk/government/publications/uk-national-data-strategy

#datastrategy #opendata

К вопросу о том что я писал ранее про проект Спутник и его закрытие [1] и об отсутствии "культуры провалов" в государственном ИТ (это, кстати, вместе с системой госзакупок и формирует ситуацию когда правоохранители прийти могут к каждому ответственному за государственные информационные системы, даже если это кристально "честный и порядочный человек" (c), они встречаются как и единороги, я верю в это (с).

В США GSA (U.S. General Service Administration) опубликовали руководство по снижению рисков при внедрении государственных ИТ проектов [2]. Начало там хорошее "Only 13% of large government IT projects succeed" из отчёта Standish Group "Haze" [3].

Вот лишь несколько рекомендаций оттуда, по стадии Планирование:
- Назначьте выделенных и уполномоченных владельцев продуктов чтобы возглавить усилия по разработке
- Вовлекайте конечных пользователей на ранней стадии и чаще в работу по разработке ПО
- Оценивайте риски в ситуациях сделать-или-купить, учитывайте все факторы при принятии решений
- Обеспечивайте открытость по умолчанию (открытость разработки кода, в первую очередь)
- Требуйте реализации инфраструктура-как-код и однокомандного развертывания и еже-спринтовую государственную верификацию функциональности
- Лидер должен устанавливать направления и усиливать команды
- Усилия по разработке должны быть четко определены для снижения риска и избежания перерасходов
- Ясный "путь до продукта" до заключения контракта
- Дайте командам доступ к инструментам взаимодействия которые им нужны для успеха
- Инвестируйте в технологии постепенно и управляйте бюджетом для управления рисками прототипирования

Всё это из Federal Field Guide [4]
И там же далее стоит обратить внимание и на остальные стадии. В целом материал там хорошо изложен и его даже если просто перевести на русский язык, то оно применимо и к госпроектам в России. Вернее могло бы быть применимо, если бы в последние годы у нас не было бы ровно противоположной тенденции - укрупнение ИТ проектов, сверхконцентрация усилия на мега-ФГИС и миллиардные расходы (и последующие посадки).

Ссылки:
[1] https://t.iss.one/begtin/2103
[2] https://derisking-guide.18f.gov/
[3] https://www.standishgroup.com/sample_research_files/Haze4.pdf
[4] https://derisking-guide.18f.gov/federal-field-guide/

#opensource #guides #it #failures

Вышел доклад ОЭСР Building Capacity for Evidence-Informed Policy-Making (Создание потенциала для разработки политики, основанной на фактических данных), или как в России чаще употребляют термин : "Доказательная политика" [1]

Доклад интересен и большим числом примеров данных собираемых и используемых государственными органами для выстраивания долгосрочной политки.

Ссылки:
[1] https://www.oecd.org/publications/building-capacity-for-evidence-informed-policy-making-86331250-en.htm

#data #policy

Netflix заопенсорсили Polyglot [1] аналог Jupyter Notebook, но на Scala.
Выглядит весьма перспективно, для тех кто не любит Python и любит Scala.

Ссылки:
[1] https://medium.com/dataseries/netflixs-polynote-is-a-new-open-source-framework-to-build-better-data-science-notebooks-4bdab6b8d0ae

#opensource

В Австралии офис Национального дата комиссионера (комиссара?) опубликовал The Foundational Four [1] документ рекомендаций для государственных агентств по работе с данными.

Это хороший верхнеуровневый документ покрывающие такие вопросы как:
- лидерство
- организация работы
- стратегия работы с данными
- инвентаризация и владение данными


Ссылки:
[1] https://www.datacommissioner.gov.au/resources/foundational-four

#data #australia

Ещё одна новость из Австралии и также из офиса Национального дата комиссионера (комиссара?).
На днях они опубликовали черновик для дискуссии документа регулирующего аккредитацию пользователей, сервисов и посредников в работе с чувствительными государственными данными.

Фактически основная идея в том чтобы привести на законодательном уровне к единым правилам все регламенты предоставления доступа к чувствительными данным (перс. данные, коммерческая тайна и тд.)

Основные тезисы:
- аккредитацию проводит Office of National Data Comissioner
- типы аккредитаций: Data Custodian, Accredited Data Service Provider, Accredited User
- аккредитацию должны проходить коммерческие сервисы которые хотят получить статус Accredited Data Service Provider и выполнять функции по: услугам обмена данными (Data Sharing Services) и комплексным услугам интеграции данных (Complex data integration services)
- организации проходящие аккредитацию могут быть любого размера, но должны продемонстрировать что "в должной мере" ими владеют австралийские граждане

Попробую привести гипотетический пример того как это может работать.
1. Предположим что налоговая служба Австралии будет готова делиться с банками с данными о налогоплательщиках в целях обеспечения процедур due diligence.
Им необходимо аккредитоваться как Data Custodian.
2. Некоторые data стартапы хотят добавить эти данные в их услуги скоринга - они должны аккредитоваться как Accredited Data Service Provider.
3. Ряд банков хочет воспользоваться сервисами этих стартапов и для этого им необходимо получать статус Accredited User.

Это довольно жёсткая форма аккредитации, с контролем на каждом этапе: владельца, посредников и конечных получателей. Для некоторых видов данных, таких как персональные данные, возможно других сценариев и быть не может, в принципе же это могло бы накладывать большие ограничения, но, на самом деле, это механизм по снятию ограничений с тех данных которые сейчас просто закрыты для любого использования.

Этот принцип уже применяется в австралийском статистическом ведомстве [2] для интеграционных проектов работающих с детальными статистическими данными.

Ссылки:
[1] https://www.datacommissioner.gov.au/exposure-draft/accreditation
[2] https://statistical-data-integration.govspace.gov.au/about-3/about-these-guidelines

#data #australia

Не знаю как у Вас, а лично у меня возникает мощный диссонанс между тем что Росреестр контрактуется с Высшей школой экономики на 4,98 миллиона рублей [1] за НИР по теме "«Исследование вклада Росреестра в развитие экономики Российской Федерации»" и одновременно в Государственной Думе сейчас ко второму чтению готовится проект федерального закона № 962484-7 [2]

В котором, на 114 странице [3] текста представленного к первому чтению есть такие пункты:
—
24. Полученные органами государственной власти, органами местного самоуправления, организациями или гражданами сведения, содержащиеся в Едином государственном реестре недвижимости,
не могут быть предоставлены ими третьим лицам за плату.
25. Не допускается создание сайтов в информационно-телекоммуникационной сети "Интернет" (за исключением официального сайта), обеспечивающих возможность предоставления сведений, содержащихся в Едином государственном реестре недвижимости, и использование таких сайтов создавшими их гражданами, организациями или иными лицами в целях предоставления, в том числе организации
и (или) обеспечения предоставления, таких сведений заинтересованным лицам
—

Так каким же будет вклад Росреестра в экономику России после принятия этого законопроекта?

Ссылки:
[1] https://spending.gov.ru/goscontracts/contracts/1770656053620000057/
[2] https://sozd.duma.gov.ru/bill/962484-7
[3] https://sozd.duma.gov.ru/download/3B7F674D-DBE8-4140-84C3-D1C265483CEA

#data #government #rosreestr

Минцифра России опубликовали проект приказа " Об утверждении типовых условий контрактов на выполнение работ по созданию и (или) развитию (модернизации) государственных (муниципальных) и (или) иных информационных систем" [1]. Его можно прочитать и прокомментировать на regulation.gov.ru


Ссылки:
[1] https://regulation.gov.ru/projects#npa=108289

#it #government

Свежая история про китайские социальные рейтинги. В городе Suzou в 100 километрах от Шанхая сделали приложение Suzou App в которое добавили "civility score" (гражданскую оценку) [1] где изначально предполагалось хранить сведения о состоянии здоровья и историю поездок чтобы не разрешать некоторым гражданам посещать общественные места. Но, как оказалось, кроме этих данных там собирались ещё многие данные для формирования "личного портрета" гражданина.

Инициатива понравилась далеко не всем, её даже сравнивали с системой liangmin zheng (сертификат хорошего гражданина) японской армии на оккупированных китайских территориях.

В итоге приложение свернули после 3 дней эксплуатации, с формулировкой что ещё есть многое для доработки.


Ссылки:
[1] https://algorithmwatch.org/en/story/suzhou-china-social-score/

#privacy #china

Ещё один интересный проект в рамках европейской исследовательской программы Horizon 2020 - это проект ARCHIVER (Archiving and preservation for research environments) [1] в котором Евросоюз финансирует разработку и пилотирование технологий архивации данных петабайтного объёма и выше.

В проекте три крупных исследовательских центра: CERN, DESY и PIC и две консалтинговые компании.
В проекте собраны основные сценарии использования для которых нужны новые технологии [2] и уже сформировались 5 консорциумов компаний, в основном вокруг крупных облачных игроков [5] таких как Google и Amazon

P.S. Архивация и долгосрочное сохранение - это одна из моих любимых тем и очень жаль, конечно, состояние цифровизации этой отрасли в России. Остаётся лишь писать про лучшие практики в мире

Ссылки:
[1] https://www.archiver-project.eu/
[2] https://www.archiver-project.eu/deployment-scenarios
[3] https://www.archiver-project.eu/design-phase-award

#data #archival #eu

Вдогонку к моему предыдущему посту про свежий контракт Мосгортелекома и Максимателеком.
Спасибо коллегам, подсказали что документ на сайте мэрии Москвы. Вот тут [1] можно обнаружить что 28 февраля 2020 года был опубликован документ распоряжение "Об утверждении Порядка взаимодействия органов исполнительной власти города Москвы и подведомственных им государственных учреждений города Москвы, государственных образовательных организаций высшего образования, осуществляющих деятельность на территории города Москвы, а также отдельных автономных некоммерческих организаций, созданных Правительством Москвы или органами исполнительной власти города Москвы, при обеспечении их услугами по беспроводному широкополосному доступу в информационно-телекоммуникационную сеть Интернет по технологии Wi-Fi" подписанный 27 марта 2020 года

Вообще чертовски интересно узнавать что люди способные перемещаться во времени работают рядом с нами. Вот живёшь себе и думаешь как же всё скучно мы живём, а в органах власти так совсем рутинно. А тут такое рядом. Если бы в России была тайная спецслужба захватывающая экстрасенсов, шаманов, магов и прочих людей с суперспособностями для секретных опытов, я уверен что тот кто смог проделать такой трюк давно бы трудился на благо родины где-то в менее известных местах.

Но более реалистичный сценарий что дату размещения документа на сайте подкрутили, а его реквизиты 64-16-141/20 "забыли" указать чтобы его не могли найти интересующиеся жители города. Учитывая как организован поиск по документам на сайте mos.ru, это совсем не удивительно.

Но, хорошая новость, это означает что если есть желание поискать документы которые власти любимого города хотят скрыть от жителей то мы знаем теперь два важных признака:
- отсутствие реквизитов документа при его публикации
- дата публикации ранее (значительно ранее) даты его фактического подписания

А пока всячески стоит внимательно прочитать что написано в этом распоряжении и узнать как именно происходит мониторинг граждан подключающихся к городской системе Wi-Fi.

Ссылки:
[1] https://www.mos.ru/dit/documents/normativnye-pravovye-akty-departamenta/view/237288220/

#москва #moscow #opendata #opengov

В Новой Зеландии начал работу Digital Government Partnership Innovation Fund [1], специальный фонд конкурс с годовым бюджетом в $5 миллионов новозеландских долларов (~250 миллионов рублей) инвестирующий в инновации в цифровой трансформации и данных. В фокусе фонда такие направления как [2]:
- цифровые госуслуги
- дорожная карта по данным (с сильным фокусом на открытые данные)
- реформы государственного сектора

Из важных особенностей я бы выделил:
- это конкурс для _органов власти_, в нём могут принять участие департаменты правительства, агентства и учреждения в статусе crown entities. Для сравнения это как если бы российское правительство устроило бы публичный конкурс между министерствами;
- защита проектов происходит в режиме 10 минутного питча
- при подаче заявок надо заполнить Lean Canvas (Бережливая канва), которая является подвидом Канвы бизнес модели [4] Александра Остервальдера и Ива Пинье и которую организаторы предоставляют участникам по их запросу

Ссылки:
[1] https://www.digital.govt.nz/digital-government/digital-transformation/innovation-fund/
[2] https://www.digital.govt.nz/digital-government/digital-transformation/innovation-fund/application-criteria/
[3] https://www.digital.govt.nz/digital-government/digital-transformation/innovation-fund/eligibility/
[4] https://ru.wikipedia.org/wiki/Канва_бизнес-модели

#newzealand #publicsector #data #opendata #innovation

CNews написали о истории со слежкой в городской сети Wi-Fi в Москве [1] и сослались на мой канал в Телеграм, жаль без ссылки, но хорошо что в принципе это сделали. Мне меньше работы, можно не готовить материал и пересылать журналистам, а они сами берут их из опубликованного.

Но я хочу сделать акцент даже не на слежке за гражданами, а вот на всей этой истории с публикацией документа задним числом с указанием даты на месяц раньше его фактического подписания.

Нормативные, правовые и иные регламентирующие и отчетные документы - это чуть ли не основной результат деятельности органов власти. С подготовки подобных документов начинается и заканчивается работа по большинству функций и задач органов власти.

Но если мы посмотрим на то как устроено раскрытие хотя бы только нормативно-правовых документов, то обнаружим что:
- документы публикуются в виде сканов
- документы публикуются с ошибками в метаданных
- документы не проходят оценку регулирующего воздействий
- документы публикуются с большими задержками
- документы не публикуются

На федеральном уровне, например, не публикуется значительная доля Постановлений Правительства (9%), Распоряжений Правительства (23%), Указов Президента (34%), Распоряжений Президента (72%) [2].

Честно говоря у меня никак не доходили руки посмотреть на то в каком объёме публикуются НПА утверждаемые отдельными органами власти и вот изучая эту историю с регулированием Wi-FI, я не поленился и скачал метаданные по всем НПА Правительства Москвы и ОИВов Москвы.

Например, за 2019 год ДИТ Москвы принял не менее 715 документов НПА (последний опубликованный документ имеет номер 64-16-715/19 где 64-16 - префикс ДИТ Москвы, 715 - порядковый номер и 19 - год). При этом за год на mos.ru размещено всего 31 документ НПА, это 4.3% всех принятых ими документов.
Для сравнения:
- Минцифры России за 2019 год приняли не менее 870 приказов из которых опубликовано 76, это 8.7% всех принятых ими документов.
- Минюст России за 2019 год приняли не менее 321 приказ из которых опубликовано 92, это 28.6% всех принятых ими документов.
- Минсельхоз России за 2019 год приняли не менее 713 приказ из которых опубликовано 152, это 21% всех принятых ими документов.
и так далее. Из министерств самое открытое, в этой части - это Минфин России, но цифры приводить не буду, каждый может проверить это сам, например, через pravo.gov.ru [3].

Особенность опубликования НПА в том что можно хоть что-то знать об опубликованных документах, но ничего о тех которые не опубликованы. Не публикуют их потому что они секретны или не размещаются по каким-либо иным причинам или не размещаются, ну, просто потому что кто-то решил их не размещать несмотря на отсутствие формальных ограничений.

Даже без анализа текстов НПА очень много аномалий находятся анализом метаданных, в каком-то смысле это один из самых главных критериев открытости государства. Но большая часть органов власти об этом забывают и даже собственные НПА не публикуют как открытые данные.

Ссылки:
[1] https://www.cnews.ru/news/top/2020-09-18_za_polzovatelyami_wifi_v_stolichnom
[2] https://data.world/infoculture/lawstats/
[3] https://pravo.gov.ru

#law #lawstats #openness #transparency

В недавно вышедшем исследовании Open is not forever: a study of vanished open access journals [1] от Mikael Laakso, Lisa Matthias, Najko Jahn выяснилось что журналы открытого доступа умирают также как и все остальные и их содержание теряется безвозвратно. Так с 2000 по 2019 год пропало более 176 журналов.

Что с этим делать? Одно из решений сейчас запускает Интернет архив под названием Fatcat [2], о нем подробнее в статье в Vice [3]. Фактически это каталог 151 тысячи научных журналов с более чем 110 миллионам публикаций из которых 26 миллионов публикаций доступны с полным текстом. На момент когда я писал этот текст каталог нормально ещё не работал и выдавал ошибки на любые попытки поиска.

Здесь трудно не вспомнить про такие проекты как Semantic Scholar [4] или Microsoft Academic Knowledge Graph [5] и многие другие в которых собираются базы метаданных по всем опубликованным научным работам (до которых авторам проектов удаётся добраться) и не хватает лишь включить архивацию этих работ.

Ссылки:
[1] https://arxiv.org/abs/2008.11933
[2] https://fatcat.wiki
[3] https://www.vice.com/en_us/article/g5p7pj/the-internet-archive-has-a-new-tool-to-save-research-papers-from-vanishing
[4] https://www.semanticscholar.org/
[5] https://ma-graph.org/

#opendata #openaccess

Продолжая тему открытости данных и открытости нормотворчества, я хочу напомнить о том что открытость законов и судебных решений - это чуть ли не ключевая открытость государственных органов перед налогоплательщиками. Причём с этим "всё сложно" во многих странах. Carl Malamud [1], активист много лет призывающий публиковать строительные кодексы, кодексы безопасности и иные обязательные документы аналогичные российским ГОСТам, когда-то публиковал то каким должен был бы быть устроен федеральный портал законов США law.gov [2], а относительно недавно Harvard Law School стартовали проект Case.law [3] с решениями судов необходимыми для работы юристов по общему праву.

В России действует континентальное право и решения судов, хотя и важны, но в первую очередь важна доступность нормативно-правовых документов. Практически все органы власти публикуют их у себя на сайтах и передают Минюсту России для публикации на pravo.minjust.ru и в ФСО России для официального опубликования на pravo.gov.ru.

Чем это оборачивается на практике? Я в последние месяцы подробно изучаю деятельность властей Москвы и могу показать на их примере:
1. На сайте официального опубликования НПА pravo.gov.ru полностью отсутствуют нормативные документы города Москвы. Как выяснилось, для региональных властей публикация на сайте официального опубликования не является обязательным, да и не для всех органов власти кстати тоже, как следствие в базе pravo.gov.ru большие пробелы
2. На официальном сайте www.mos.ru в разделе нормативных документов [4] опубликованы документы только за последние 12 лет, конкретно с 2009 года включительно. Вопрос где все остальные НПА Москвы ? Фактически полностью отсутствует официально опубликованные НПА до-Собянинской Москвы. Архив старого сайта Мэрии и иных официальных сайтов, либо не делался, либо недоступен для граждан.
3. Все документы в разделе официальных документов на сайте www.mos.ru опубликованы в цифровыми подписями. Это даже вполне неплохая практика. До какого-то времени это была отсоединённая подпись в формате .sig, далее с тем же расширением стали публиковать сами документы подписанные подписью в том же контейнере .sig в формате base64. Файлы подписывались все деперсонализированной электронной подписью ДИТ Москвы. Все кто работают с электронными подписями знают что со временем они "протухают", у каждого сертификата есть срок действия после которого невозможности проверить подпись. Каких-либо мер для того чтобы избежать такого протухания в Мэрии не предпринимали, как следствие электронные подписи на документах за 10 из 12 лет не поддаются верификации.
4. По идее цифровая подпись заменяет подпись обычную, а то есть нет необходимости для публикации сканов документов с печатью и подписями. Тем не менее все документы НПА публикуемые на www.mos.ru - это сканы, по ним невозможно вести полнотекстовый поиск и работать с ними можно только визуальным чтением. При этом размеры некоторых документов после сканирования достигают 500 мегабайт и 120 тысяч страниц.
5. К примеру документов огромного размера. Распоряжение № 40557 от 29.11.2018 «Об утверждении результатов определения кадастровой стоимости объектов недвижимости в городе Москве по состоянию на 01 января 2018 г.» [5] имеет размер в 361 мегабайт и содержит 118691, с таблицей из 6 526 878 строк из номера строки, кадастрового номера и суммы его оценки. Казалось бы - это и должно быть открытыми данными, публиковаться на портале открытых данных Москвы и уж точно в PDF файле из изображений на сотню тысяч страниц, но нет.
6. Отдельно о нормативных документах ОИВов в Москве. Так вот их нет даже в системе Минюста, pravo.minjust.ru, единственный сайт их опубликования это всё тот же портал mos.ru, но не в разделе нормативных документов, найти их можно только через общий поиск по сайту или в разделах "Документы" на страницах ОИВов.

+ Здесь ещё я мог бы написать очень многое про сроки опубликования, пропуски в номерах документов и так далее. Но это уже общее для всех органов власти, федеральных и региональных.