Ivan Begtin
7.98K subscribers
1.85K photos
3 videos
101 files
4.55K links
I write about Open Data, Data Engineering, Government, Privacy, Digital Preservation and other gov related and tech stuff.

Founder of Dateno https://dateno.io

Telegram @ibegtin
Facebook - https://facebook.com/ibegtin
Secure contacts [email protected]
Download Telegram
Свежий канадский план по открытости государства, в виде их Национального плана открытости [1]
Многое можно о нём сказать, показательна будет даже его структура, по сути через открытость отражающая приоритеты правительства:
—-
Введение
Прогресс на текущую дату
Лидерство Канады в открытости правительств
От комментариев к обязательствам
Наши приниципы управления
1. Государство удобное для пользователей
2. Финансовая прозрачность и подотчетность
3. Корпоративная прозрачность
4. Цифровое государство и сервисы
5. Открытая наука
6. Здоровая демократия
7. Доступ к информации
8. Феминистический и инклюзивный диалог
9. Согласованное и открытое правительство
10. Сообщество открытости государства
—-
Сам план представляет Scott Brison, Министр цифрового развития Канады.

Чтобы было понимание как всё устроено - в России национального плана открытости более нет. Есть планы по другим направлениям, это инициативы вроде программы "Цифровая экономика" и "Цифровое государственное управление".

В чём отличие и особенности канадского плана по открытости от планов по цифровой экономики в России? В том что Канадский план политический, он адресован разным социальным группам и, по сути, он продолжение политических обязательств правительства. Российские программы, практически все что выходили за это время, политическими не являются. В лучшем случае они являются компромиссом и консенсусом групп влияния внутри государства/правительства, но ни в коей мере отражение реальных потребностей общества или, хотя бы, значимых его частей.

Ссылки:
[1] https://open.canada.ca/en/content/canadas-2018-2020-national-action-plan-open-government

#opengov #opendata #canada
Десятки тысяч международных студентов и работников из других стран в Канаде получили визы автоматически за счёт роботизированных алгоритмов. Vancover Sun пишут об этом в статье "Douglas Todd: Robots replacing Canadian visa officers, Ottawa report says" [1]. Во внутреннем отчете департамента иммиграции страны упоминается о применении алгоритмов автоматического принятия решения и раздражённости граждан их применением.

Ссылки:
[1] https://vancouversun.com/opinion/columnists/douglas-todd-robots-replacing-canadian-visa-officers-ottawa-report-says

#ai #privacy #algorithms #canada
Тем временем канадский регулятор оштрафовал Facebook на 9 миллионов канадских долларов ($6.5 миллионов долларов США, примерно полмиллиарда рублей) за введение в заблуждение о приватности пользователей [1].

Ранее европейские регуляторы принимали законопроекты об оборотных штрафах и штрафах до 50 миллионов Евро [2], по другим обстоятельствам, но смысл не меняется - серьёзные регуляторы "бьют" международные корпорации единственным действенным способом, штрафами сопоставимыми с размерами их бизнеса.

Здесь я от себя прокомментирую что подобная ситуация в России, почти наверняка, невозможна. Российские регуляторы могут сколь угодно угрожать блокировать зарубежные социальные сети, но не могут ввести и, самое главное, применить аналогичное регулирование. Причина этого в размере рынка и общей политической ситуации. Почти 100% что при подобном российском регулировании международные игроки, либо просто уйдут с российского рынка, или уведут дела в международные суды, или просто проигнорируют.

По той причине что для того чтобы оказывать влияние на крупнейших игроков, нужно иметь либо значительный рынок (а это, увы не про Россию), либо находится в "условно западной" экосистеме Интернета. Чем больше Рунет самоизолируется от мира, тем больше вероятность что действия российских регуляторов в этой области будут бесперспективны.

И, в любом случае, важно помнить что в противостоянии национальных регуляторов и международных корпораций нет какой-то одной правой стороны. Интересы пользователей могут как нарушать так и защищать как государственные органы так и крупнейшие корпорации.

Ссылки:
[1] https://www.bbc.com/news/world-us-canada-52640785
[2] https://t.iss.one/begtin/1908

#regulation #fines #canada #facebook
Статистическое ведомство Канады внедрило сервис виртуальной лаборатории для данных связанных с COVID-19 [1]. Лаборатория представлена в виде дистанционного рабочего места в которое включены такие продукты как Jupiter Notebook, R Studio, Kubeflow, Seldon, Shiny и другие. Подробнее в презентации [2] и в документации [3]

Все инструменты приведены с исходным кодом [4].

Все вместе они формируют Data analytics as a Platform (DaaP).

Ссылки:
[1] https://analytics-platform.statcan.gc.ca/covid19
[2] https://govcloud.blob.core.windows.net/docs/daaas-cncf.pdf
[3] https://statcan.github.io/daaas/en/
[4] https://github.com/StatCan

#data #canada #analytics
В рубрике как это работает у них, в Канаде проект FRDR (Federated Research Data Repository) [1] централизованный репозиторий всех научных данных создаваемыми исследовательскими центрами в Канаде.

Появился он давно, ещё в 2016 году, но только в 2021 году перешёл в промышленное использование и поэтому объёмы его относительно невелики, около 77 тысяч наборов данных из 103 научных репозиториев [2]. По сравнению с европейскими проектами Zenodo и OpenAIRE - это немного, но для Канады с её 38 миллионным населением, вполне немало.

Из особенностей:
- по сути, выступает поисковиком данных для исследователей
- кроме научных репозиториев агрегируют данные с порталов открытых данных
- собирают данные канадских исследовательских центров из глобальных репозиториев вроде Dryad
- как и большая часть других публичных ресурсов в Канаде - двуязычен на английском и французском языках
- является частью большого проекта Цифровой научной инфраструктуры [3]

Всё это не так масштабно как европейские, китайские или австралийские проекты по открытому доступу именно к данным, но показательно с точки зрения рассмотрения открытых государственных данных с точки зрения повышения их находимости и использования исследователями.

Ссылки:
[1] https://www.frdr-dfdr.ca
[2] https://www.frdr-dfdr.ca/stats/en/
[3] https://ised-isde.canada.ca/site/digital-research-infrastructure/en

#opendata #canada #openaccess #casestudies #government #science
В рубрике как это устроено у них канадский портал публикации микроданных опросов посвящённых COVID-19 CITF DATA PORTAL [1] где CITF расшифровывается как he COVID-19 Immunity Task Force, рабочая группа по иммунитету от COVID. В отличие от порталов открытых данных подобные порталы опросов не бывают открытыми в виду того что содержащиеся в них данные содержат персональные данные опрашиваемых или же поскольку персональные данные могут быть из них восстановлены. Такие ресурсы ещё называют каталогами микроданных, их довольно много в мире.

Хотя эти данные редко доступны широкой аудитории, они доступны исследователям через формальные запросы и процедуры их одобрения.

Хотя здесь и нет открытых данных, но есть открытый код и конкретно CITF Data Portal создан на базе открытого ПО для эпидемиологии Obiba Mica [3].

Ссылки:
[1] https://portal.citf.mcgill.ca/
[2] https://www.covid19immunitytaskforce.ca
[3] https://www.obiba.org

#opendata #datacatalogs #microdata #canada
В рубрике как это устроено у них портал открытых данных Торонто [1], крупнейшего города Канады с численностью в 2.7 миллиона человек.

Портал построен на базе ПО каталога открытых данных CKAN поверх API которого сделан веб-интерфейс включающий дополнительные возможности такие как:
- отображение содержания набора данных
- отображение схемы/структуры данных
- метрики качества набора данных
- возможность выгрузки в разных форматах JSON/CSV/XML
- примеры кода для работы с API
- автоматизированная визуализация данных

Любопытная надстройка с открытым кодом [2].

Сам проект создан и развивается в рамках городского плана развития открытых данных [3] весьма детально описывающего стратегию города по публикации данных.

Ссылки:
[1] https://open.toronto.ca
[2] https://github.com/open-data-toronto/ckan-customization-open-data-toronto
[3] https://www.toronto.ca/legdocs/mmis/2018/ex/bgrd/backgroundfile-110740.pdf

#opendata #canada #datacatalogs
В рубрике как это работает у них канадский официальный национальный геопортал Geo.ca [1]
включает 7659 геопространственных наборов данных в машиночитаемых форматах CSV, SHP, GeoJSON, Esri REST, KML. Все данные под канадской открытой лицензией [2]. Внутри базовых слоёв используется ESRI ArcGIS, компоненты платформы выложены открытым кодом [3].

Канадская особенность в том что все официальные материалы, включая данные, двуязычны и их описания и файлы дублируются.

А также в том что очень много общедоступных геоданных выложено на FTP сервере [4], но с минимальным описанием [5]

Всего же в Канаде огромное число общедоступных и открытых официальных баз и каталогов геоданных. Как я понимаю большая их часть постепенно будет переносится на Geo.ca

Ссылки:
[1] https://geo.ca
[2] https://open.canada.ca/en/open-government-licence-canada
[3] https://github.com/Canadian-Geospatial-Platform
[4] https://ftp.maps.canada.ca/pub/
[5] https://natural-resources.canada.ca/science-and-data/science-and-research/earth-sciences/geography/topographic-information/download-directory-documentation/17215

#opendata #canada #geodata #datacatalogs #data
В рубрике как это устроено у них статистический портал Канады [1] фактически превращённый в портал открытых данных. В общей сложности более 12 тысяч наборов данных из которых 11.5 тысяч - это табличные данные индикаторов с возможностью их выгрузки в форматах CSV и SDMX, а также через открытое API [2].

Характерная особенность что их аналитические тексты - это де факто data stories в форме лонгридов к которым всегда приложены таблицы с данными в их же системе [3].

То есть даже те кто приходит почитать текст имеют возможность сразу открыть таблицу и изучить данные.

Внутри всё работает на SDMX движке и есть возможность работать с API основанном на SDMX для подключения к данным. [4]

В принципе, это иллюстрация одного из трендов развития статистических продуктов в сторону профессиональных стандартов работы с данными, в данном случае SDMX.

Ссылки:
[1] https://www150.statcan.gc.ca/n1/en/type/data?MM=1
[2] https://www.statcan.gc.ca/en/developers?HPA=1
[3] https://www150.statcan.gc.ca/n1/daily-quotidien/241003/dq241003a-eng.htm
[4] https://www150.statcan.gc.ca/t1/wds/sdmx/statcan/rest/data/DF_17100005/1.1.1

#statistics #canada #opendata #sdmx #api #data