Ivan Begtin
8.06K subscribers
1.97K photos
3 videos
102 files
4.68K links
I write about Open Data, Data Engineering, Government, Privacy, Digital Preservation and other gov related and tech stuff.

Founder of Dateno https://dateno.io

Telegram @ibegtin
Facebook - https://facebook.com/ibegtin
Secure contacts [email protected]
Download Telegram
Долго думал как это прокомментировать, но комментарий подобрать никак не могу. Ничего хорошего, в принципе не-государственных и независящих от государства НКО в России практически не остаётся. Чтобы там кому ни нравилось в Википедии, страна сильно беднеет от того что вместо множества мнений остаётся лишь официальная идеология.
Сооснователь «Викимедиа РУ» Станислав Козловский объявил о закрытии организации.

Это произошло после того, как МГУ, где он работал доцентом факультета психологии, предложило ему написать заявление на увольнение. «Меня вызвали и сказали, что в ректорат пришла информация, что меня признают в эту пятницу иноагентом. Предложили уволиться, написать заявление по собственному желанию. Я его подписал», — сообщил РБК Козловский.

После этого прошло общее собрание «Викимедиа РУ», где было решено, что «в таких условиях работать невозможно», поэтому организацию закроют.

«Викимедиа РУ» содействует развитию «Википедии» на территории России, при этом это юридически самостоятельная организация, которая не имеет контроля над сайтами Фонда Викимедиа.
Не так сложно изнутри России найти VPN или прокси, как сложно многим уехавшим заплатить за квартиру, налоги и ещё много что. Многие госсайты блокируют любое подключение извне, в том числе Интернет-архив. Многое из публикуемого российскими госструктурами может исчезнуть одномоментно, потому что Интернет архив просто не может до них достучаться.

Вот неполная подборка, со ссылками на archive.org для подтверждения:
- Минюст России [1] - полностью не индексируется
- МВД России [2] - полностью не индексируется
- МЧС России [3] - падение индексации в несколько раз, первое полугодие 2023 года совсем не индексировался
- ФССП России [4] - с виду индексируется, по факту сайт выдаёт заглушку [5]
- Росздравнадзор [6] - с виду индексируется, по факту заглушка Forbidden [7]
- Минкультуры России [8] - падение индексации более чем в 4 раза, индексировался в первом квартале 2023 г. и немного в конце года.
- Минприроды России [9] - почти не индексировался в 2023 году, мало в 2022.
- Росприроднадзор [10] - не индексировался с середины 2022 года по середину 2023, минимально индексировался в 2023
- Минпросвещения России [11] - почти не индексировался с начала 2023 года, немного вначале года и чуть-чуть в конце
- Минвостокразвития России [12] - почти не индексировался в 2023 году, немного лишь в конце года
- Минсельхоз России [13] - не индексируется с марта 2022 года, более 1.5 лет

Список можно продолжать долго, практически бесконечно. Туда же надо смотреть многие сайты госучреждений, региональных властей и государственных информационных систем. Я подозреваю что какие-то подсети полностью выпадали из доступа не с российских IP адресов.

Последствия ровно те с которых я начал:
1) Россияне не из России не могут проделывать многие операции
2) Огромное число официальных сайтов государства теперь не архивируются, повышая безнаказанность действующего Пр-ва

Ссылки:
[1] https://web.archive.org/web/20230000000000*/https://minjust.gov.ru/ru/
[2] https://web.archive.org/web/20230000000000*/https://mvd.gov.ru
[3] https://web.archive.org/web/20230801000000*/https://mchs.gov.ru
[4] https://web.archive.org/web/20230801000000*/https://fssp.gov.ru
[5] https://web.archive.org/web/20231029194721/https://fssp.gov.ru/
[6] https://web.archive.org/web/20230000000000*/https://roszdravnadzor.gov.ru/
[7] https://web.archive.org/web/20231204003333/https://roszdravnadzor.gov.ru/
[8] https://web.archive.org/web/20230000000000*/culture.gov.ru
[9] https://web.archive.org/web/20230000000000*/www.mnr.gov.ru
[10] https://web.archive.org/web/20230000000000*/rpn.gov.ru
[11] https://web.archive.org/web/20230000000000*/edu.gov.ru
[12] https://web.archive.org/web/20230000000000*/minvr.gov.ru
[13] https://web.archive.org/web/20230000000000*/mcx.gov.ru

#webarchives #digitalpreservation #russia #government
В рубрике как это работает у них портал данных Банка международных расчётов (BIS) data.bis.org [1]. Как и у многих межгосударственных организаций портал данных является, по факту, порталом для публикации статистических индикаторов. В данном случае это экономические и финансовые индикаторы с той особенностью что они разделены по странам с детализацией до страны. Поэтому, к примеру, по Армении доступно 3455 индикаторов, а по России 9312 индикаторов. В общей сложности так получается несколько сотен тысяч индикаторов по странам и несколько тысяч/десятков тысяч глобальных таблиц. В общей сложности на портале около 1 миллиона временных рядов которые можно считать, также, наборами данных

У портала есть открытое API [2], внутри и снаружи всё на основе формата SDMX, с экспортом в CSV, Excel, XML (SDMX).

Этот портал - это хороший пример публикации и визуализации статистики, с огромными объёмами временных рядов, пояснениями, экспортом, цитированием, визуализацией и удобным поиском по всем собранным данным. Глядя на многие порталы статистики многих стран, часто, хочется подобного.

А для тех кто ищет международные данные с временными рядами напомню про такие порталы как:
- портал данных Всемирного банка data.worldbank.org
- портал данных ООН data.un.org
- портал данных ОЭСР data.oecd.org

а также существуют десятки других.

Ссылки:
[1] https://data.bis.org
[2] https://stats.bis.org/api-doc/v1/

#opendata #datasets #timeseries #datacatalogs #data
Наконец-то можно анонсировать, мы запускаем конкурс по открытым данным Армении в двух номинациях:
- Приложения для культуры
- Визуализация данных

Общий призовой фонд $3000, а заявки можно подавать до 18 февраля 2024 г., с подведением итогов 2 марта 2024 г. на Open Data Day в Ереване.

Для участия главное чтобы Ваш проект был на открытых данных и посвящён Армении, при этом конкурс не только для граждан, но и для тех кто относит себя к диаспорам по всему миру (Россия, Франция, США и другие страны), а также для тех кто просто относится к Армении с любовью и хочет чтобы стране было лучше.

Открытых данных много, можно многие найти на нашем портале data.opendata.am и мы будем регулярно писать про новые данные и где их найти в телеграм канале проекта @opendataam, подписывайтесь если ещё не подписались;)

#opendata #armenia #data #contest
Forwarded from Open Data Armenia
Armenia's first open data-based project contest starts on December 25, 2023.

We invite authors of projects based on a variety of data sources, including open government resources, data on the history, culture, and art of Armenia, data on the economy, and other spheres.

Nominations

1. Culture Apps. The nomination accepts technological projects (applications and services) dedicated to Armenian culture, history, and language. For whom: software developers, digital humanities specialists, analysts, and students of these fields.

2. Data visualization. The nomination accepts data visualization projects based on any data related to Armenia. Interactive visualizations with a formal design are preferred. For whom: designers, journalists, infographics specialists, digital humanities specialists, analysts, and students of these fields.

The prize pool of the contest is $3000.

February 18, 2024 is the last day of applications submissions.

The Awards Ceremony for the winners will take place on March 2, 2024, during the Open Data Day event in Armenia. This marks the first time the Open Data Day event will be organized in Armenia. The International Open Data Day is an initiative by the Open Knowledge International Foundation, with support from various intergovernmental and international organizations such as the United Nations and the World Bank. This event is celebrated worldwide.

We hope this contest will encourage the formation of a community of developers and researchers, thereby increasing the value of open data in Armenia.

More information about the contest: https://contest.opendata.am.

Partners: The National Center for Innovation and Entrepreneurship of The Ministry of Economy of the Republic of Armenia, the network of investors and entrepreneurs BANA Angels and the Open Knowledge Foundation.

Organizer: Public Organization “Open Data Development Center”.
Свежий OECD OURdata Index [1] рейтинг открытости данных по странам ОЭСР и кандидатам в члены ОЭСР. На первых местах Корея, Франция, Польша, Эстония, Испания, Ирландия, Словения, Дания, Швеция и Литва.

Выводов там немало, из важнейших то что:
- несмотря на COVID-19 всё ещё мало данных об общественном здоровье
- гораздо больше усилий государств по открытости данных/доступности данных, но не по повторному использованию
- только 48% особо ценных наборов данных доступно
- мало особо ценных данных о госфинансах и подотчетностью органов власти

Лично меня удивили низкие оценки Австралии, всегда был уверен что там неплохо всё развивается, но нет, не всё так хорошо. Также важно что оценивалась именно госполитика открытости данных, а не открытые научные данные, к примеру.

Ссылки:
[1] https://www.oecd-ilibrary.org/governance/2023-oecd-open-useful-and-re-usable-data-ourdata-index_a37f51c3-en

#opendata #oecd #ratings
С августа, вот уже 5-й месяц, не работает портал открытых данных Беларуси opendata.by [1]. Портал никогда не был государственным и поддерживался сообществом и ещё на 1 августа его копия была в Интернет архиве [2].

Данных там было не очень много, около 229 наборов, но теперь нет даже их.

Напомню что какой-либо государственной инициативы по открытости гос-ва, открытости данных в Беларуси нет и национальный портал открытых данных там так и не появился, зато теперь исчез и общественный.

Ссылки:
[1] https://opendata.by
[2] https://web.archive.org/web/20230801163122/https://opendata.by/

#opendata #belarus #closeddata
Forwarded from Open Data Armenia
Мы будем публиковать идеи для проектов на номинации конкурса и вот свежие данные только что утверждённого бюджета Еревана. Доступны в виде таблиц в PDF файле [1], таблицы можно извлечь с помощью таких инструментов как ABBYY FineReader, а для визуализации воспользоваться одним из существующих инструментов с открытым кодом или написать свой код и сделать инфографику самостоятельно.

Как выглядят визуализации бюджетов в мире?

Одна из самых известных визуализаций в мире - это Death and Taxes по бюджету США [2]. Она уже много лет служит вдохновением для тех кто хочет наглядно представить эти данные.

А вот пример, интерактивный бюджет Австралии, по нему также доступен исходный код [3]. Достаточно подготовить данные и опубликовать их с помощью уже готового кода.

Ещё примеры визуализаций с открытым кодом:
- Budget Visualization Framework [4]
- Budget Vis [5]

А также другие примеры

Специальный портал по открытости бюджета Санкт-Петербурга [6], а в Румынии бюджет свёрстан в цветовой гамме флага страны и он интерактивен [7] или же визуализация федерального бюджета США [8] с детализацией до контрактов.

Ссылки:
[1] https://www.yerevan.am/uploads/media/default/0002/30/1c00c8d6f8f9ef7f67a523d40e56c4738b56a044.pdf
[2] https://www.visualcapitalist.com/death-taxes-2015-visual-guide-tax-dollars-go/
[3] https://github.com/informeren/dataviz-budget
[4] https://github.com/goinvo/Visual-Town-Budget
[5] https://github.com/shurkhovetskyy/budget-vis
[6] https://budget.gov.spb.ru/
[7] https://openbudget.ro/buget/2023/
[8] https://www.usaspending.gov/explorer/budget_function

#opendata #visualization #budget #yerevan #dataviz
Знаете ли Вы что... крупнейший каталог общедоступных геоданных в России - это каталог ДВО РАН [1] с данными Национальное управление океанических и атмосферных исследований США по дальнему востоку. Там более 96 наборов данных, с оговоркой что сам сайт всё ещё в неком тестовом режиме и все ссылки на API с данными в нём не работают.

Тем не менее - это крупнейшая инсталляция Geonetwork в России, хотя и бесполезная.

Другие геопорталы на базе Geonetwork в России:
- Каталог ГГМ РАН [2]
- Геопортал ИВиС ДВО РАН [3]
- Геопортал ТИГ ДВО РАН [4]

А Geonetwork [5] это специальное ПО каталога геоданных используемое по всему миру, на нём работает огромное число порталов с геоданными, например, большая часть национальных порталов геоданных стран Европейского союза в рамках раскрытия данных по инициативе INSPIRE.

Иногда Geonetwork используется как бекэнд для других платформ. Например, внутри Geoplatform.gov [6], портала для публикации геоданных Правительства США, используется Geonetwork.


Ссылки:
[1] https://gis.satellite.dvo.ru/geonetwork/srv/eng/catalog.search#/home
[2] https://maps.geologyscience.ru/geonetwork
[3] https://geoportal.kscnet.ru/geonetwork
[4] https://gis.tigdvo.ru:9190/geonetwork
[5] https://geonetwork-opensource.org
[6] https://www.geoplatform.gov

#opendata #geodata #geonetwork #datacatalogs
Европейский доклад о гомогенизации особо ценных наборов данных (Report on Data Homogenisation for High- value Datasets) [1] вышел ещё 5 декабря. Небольшой по объёму и посвящён тому как в странах ЕС публикуют реестры компаний, данные по мобильности населения и официальную статистику. А также о том как можно было бы унифицировать публикацию таких данных. Можно уже ожидать что в 2024 году, или отдельно, или как часть существующего, но будет рейтинг/индекс/сравнение стран ЕС именно по публикации данных особой ценности.

Если кто-то пропустил, то эти наборы данных должны публиковаться в ЕС в рамках директивы 2023/138 [2] и, в принципе, европейское регулирование открытости данных идёт в направлении не только "открытости по умолчанию", но и гарантированной доступности данных по которым подтверждён общественный и коммерческий запрос. В частности - это данные реестров компаний, статистики, геоданные, метеоданные и многое другое.

Ссылки:
[1] https://data.europa.eu/en/doc/report-data-homogenisation-high-value-datasets
[2] https://eur-lex.europa.eu/eli/reg_impl/2023/138/oj

#opendata #eu #readings #reports
В рубрике как это устроено у них и о разнице между подходами к регулированию деперсонализации данных в Евросоюзе и в России.

Amnesia [1] продукт с открытым кодом [2] в рамках европейского проекта OpenAIRE позволяет анонимизировать научные данные прежде чем их публиковать в научных репозиториях.

Базовый сценарией его применения:
1. Скачать код или дистрибутив к себе локально во внутреннюю сеть или рабочий компьютер.
2. Запустить Amnesia
3. Выбрать режим анонимизации
4. Проделать все необходимые операции по деперсонализации данных.

Работает только с табличными данными вроде TXT и CSV, имеет API, может использоваться как исследователями лично, так и лабораториями, интегрирован с Zenodo и Dataverse.

Финансируется в рамках European Union's Horizon 2020 Research and Innovation programme.

Всё это к вопросу о том что если бы российское Минцифры реально хотело бы получить анонимизированные данные для ИИ, то могло бы выдать гранты на создание продуктов на открытом коде или дать субсидии коммерческим компаниям /стартапам в рамках ФСИ на создание таких коммерческих продуктов, а не централизованно собирать персональные данные от бизнеса и внутри этого оператора эти данные анонимизировать.

Всё это к тому что есть другие решения, гораздо более безопасные. А от решения по централизации всех персональных данных в России выиграют только спецслужбы, продающие перс. данные инсайдеры и хакеры которые через инсайдеров эти данные получат.

Ссылки:
[1] https://amnesia.openaire.eu/
[2] https://github.com/dTsitsigkos/Amnesia

#privacy #opensource #eu #regulation
На Новый год всем хочу пожелать много данных
Больших, небольших, интересных и странных
Открытости по умолчанию везде где возможно
И мира хотелось бы, а то как-то тревожно