В качестве напоминания, полезные данные и код для работы с открытыми данными:
- russiannames - библиотека и набор данных для определения способа написания ФИО и пола человека. Заранее отвечая на вопрос, нет, пол не всегда можно определить по отчеству потому что слишком часто в системах информация о человеке может вносится очень разными способами. В России иногда пишут полные ФИО, иногда только фамилию и инициалы, иногда имя и фамилию и так далее. В общем эта библиотека создавалась для распознавания этих самых способов написания и уже после этого для идентификации пола. Набор данных для работы библиотеки собирался в "дикой среде" и неидеален, но максимально полон. Для этой же библиотеки есть альтернативный набор данных на основе ФИО из ЕГРЮЛ и ЕГРИП. Записей имен, отчеств и фамилий там примерно в 8 раз меньше, зато данные хорошо вычищены.
- govdomains - публичная база и код сбора сведений о доменах госструктур в России. Используется для обнаружения сайтов для проекта архивации ruarxive (Национальный цифровой архив). Сейчас рабочая база данных перенесена в Airtables, там же идёт обогащение данных, а этот репозиторий содержит регулярные слепки данных. Охватывает, в первую очередь, сайты ФОИВов и других федеральных органов власти. Почти все поддомены в зоне .gov.ru и многие другие доменные зоны используемые органами власти.
- данные OpenNGO - открытые данные о российских НКО, слепок базы данных проекта Открытые НКО по более чем 700 тысячам некоммерческих организаций
- данные и API Госзатраты - открытое API для работы с госконтрактами в рамках проектов Госзатраты в форматах JSON lines. Данные позволяют делать самостоятельный анализ сведений о госрасходах.

Все эти данные и сервисы предоставляются AS IS, без какой-либо поддержки и ответственности разработчиков. Вы используете их на свой страх и риск, разумеется.

#API #data #opendata #dataset #opensource

В рубрике интересных наборов данных Research Organization Registry (ROR) [1] некоммерческий проект по созданию сводного полного реестра всех исследовательских организаций в мире. В общей сложности включает более 100 тысяч организаций для которых собраны сведения о их сайтах, названиях, идентификаторах в других реестрах таких как GRID, WikiData, ISNI и многих других. И присвоен свой идентификатор ROR.

У проекта есть описание хранимых данных и REST API [2], а все данные в виде дампа на регулярной основе публикуются в каталоге научных данных Zenodo [3], около 200MB в распакованном виде.

А также весь код проекта и его компонентов раскрывается [4], также как и планы его развития [5] также в виде проекта на Github

Ссылки:
[1] https://ror.org
[2] https://ror.readme.io/docs/ror-data-structure
[3] https://zenodo.org/record/6347575
[4] https://github.com/ror-community
[5] https://github.com/ror-community/ror-roadmap

#opendata #dataset #research

В Science вышла статья о "фабрике публикаций" [1], компании International Publisher, предлагающей учёным становится соавторами научных публикаций за деньги. В статье упоминается также происхождение сайта, его руководителя и сам сайт с таким предложением. Исследователь, Анна Абалкина провелֆ детальный анализ связываясь с учёными, компанией, представителями научных журналов и, собственно, итоги этого исследования/расследования запечатлены в статье в Science.

Ранее другая команда проводила похожий анализ [2] в отношении этого же сайта и компании и собрала большой набор данных [3], как раз для тех кто интересуется темой paper mills, такой набор данных будет интересен.

Ссылки:
[1] https://www.science.org/content/article/russian-website-peddles-authorships-linked-reputable-journals
[2] https://retractionwatch.com/2021/12/20/revealed-the-inner-workings-of-a-paper-mill/
[3] https://data.world/beperron/international-publisher

#dataset #science #data #research #investigations

В Казахстане на публичное обсуждение выложили Постановление Правительства "О утверждении единого перечня открытых данных государственных органов, размещаемых на интернет-портале открытых данных" [1].

Не будучи гражданином Казахстана я принять участие в обсуждении не смогу, но могу прокомментировать тут.

Есть условные два подхода к открытости данных, первый - открывайте всё что не имеет статуса для служебного пользования, а пользователи сами разберутся что им нужно. И второй, открываем "по белому списку" и контролируем любую публикацию. Казахстан идёт по второму пути, как и в России утверждали, только не общий перечень, а требования по обязательному раскрытию всеми госорганизациями определенного списка данных.

Итак, мои комментарии։
1. Будет публиковаться меньше данных. Это приказ заменяет постановление Правительства Республики Казахстан от 28 октября 2021 года № 774 «Об утверждении единого перечня открытых данных государственных органов, размещаемых на интернет-портале открытых данных» [2] в котором было 974 пункта, а в этом проекте постановления их 951. Почему перечень был сокращён нигде не упомянуто, в том числе в пояснительной записке к постановлению.
2. Ни в проекте постановления этом, ни в предыдущем, ни где-бы то ни было ещё нет упоминания свободных лицензия и режима доступа к данным. напомню что данные на портале Открытые данные eGov [3] формально критериям открытых данных не соответствуют. Они доступны только после авторизации, только гражданам Казахстана или имеющих право там жить или работать (требуется ИИН), а также данные публикуются без условий их использования.
3. Около 22% (213) наборов данных опубликованы АСПР (Бюро национальной статистики). Фактически это статистические показатели с ежегодным или иным периодом обновления, до ежемесячного. Но в системе Taldau [4] более 3600 показателей, есть ощущение что что-то где-то потеряно или недосказано.
4. Только 76 наборов данных предполагаются к постоянной доступности, по сути это постоянный доступ к базам данных через ведомственные API. Из них 70 наборов - это данные Минфина РК. Фактически, большая часть остальные данных - это ведомственная статистика.
5. Некоторые органы публикуют всего два-три набора данных которые, также, являются лишь статистическими показателями, с редким обновлением.
6. Более половины реестров (ищутся по слову "реестр") имеют период актуализации "ежегодно" или "ежеквартально", что для реестрового учёта и раскрытия совершенно недостаточно. Мало кто будет использовать такие открытые данные, а не идти в первоисточник.

Но, конечно, главный вопрос при публикации открытых данных в том а какие данные есть? Не видно что перед формированием списка органы власти проводили инвентаризацию того что у них есть и уже на основе сформированных списков определяли режим доступа к данным. Поэтому к списку много вопросов, что, впрочем, не отменяет того что очень хорошо что тема открытых данных в Республике Казахстан развивается и, хочется надеяться, что принципы открытости по умолчанию, свободного доступа к данным (без авторизации) и свободных лицензий найдут своё отражение в госполитике страны.


Ссылки։
[1] https://legalacts.egov.kz/npa/view?id=14317392
[2] https://adilet.zan.kz/rus/docs/P2100000774
[3] https://data.egov.kz
[4] https://taldau.stat.gov.kz/

#opendata #data #dataset #kazakhstan

Минюст опубликовал единый реестр иностранных агентов [1] в виде PDF файла в 15 страниц и 493 записи. Не буду комментировать странности ведения и публикации этого реестра в PDF файле и тем более его содержание.

В любом случае журналистам и не только для анализа будет удобнее работать с Excel и CSV файлами, поэтому именно их прилагаю.

Ссылки։
[1] https://minjust.gov.ru/uploaded/files/reestr-inostrannyih-agentov-01-12-2022.pdf

#opendata #dataset

Реестр иностранных агентов в CSV

По мотивам поста Ивана Бегтина. Минюст публикует единый реестр иностранных агентов в виде PDF файла (на момент написания поста 18 страниц и 559 записей). При этом сам реестр, судя по метаданным, ведется в MS Excel 2013, но сохраняется в формате PDF. Написал на R скрипт для скачивания PDF файл с сайта Минюста и извлечения данных с помощью пакета

tabulizer

. Результат сохраняется в csv и google-таблицы. Скрипт выполняется по расписанию на моем сервере. Автоматическое обновление – каждую пятницу в 20.00 МСК. В google-таблицах размещается исходная таблица реестра, а также дополнительные поля:
• Физлицо (1 – да, 0 – нет)
• Возраст ФЛ на дату обновления данных
• Возраст ФЛ на дату включения
• Возраст ФЛ на дату исключения
• Дней в реестре
• Исключен (1 – да, 0 – нет)
• Год включения
• Год исключения

#opendata #dataset #R

В рубрике интересных наборов данных свежий датасет из 228 тысяч нормативных документов (законов, решений и тд.) Австралии. Автор собрал датасет и выложил на Hugging Face [1],а также описал процесс у себя в блоге [2] и само описание - это хорошее руководство того как самостоятельно создавать наборы данных и выложил исходный код использованный для создания такого датасета [3]. Во всех смыслах хороший пример - открытые данные + открытый код + датасет для машинного обучения. Особенно учитывая сложности в том что Австралия является конфедерацией и нет единой базы всего законодательства, а вместо этого отдельные системы на уровне центрального правительства и отдельные у штатов и в сейчас нет штата Виктория. Но даже при этих ограничениях - это большой корпус англоязычных документов полезный в работе многих инструментов.

Ссылки:
[1] https://huggingface.co/datasets/umarbutler/open-australian-legal-corpus
[2] https://umarbutler.com/how-i-built-the-largest-open-database-of-australian-law/
[3] https://github.com/umarbutler/open-australian-legal-corpus-creator

#dataset #opendata #data

Опубликовал новый датасет на Kaggle: Кадастровые данные Чебоксар с полигонами

Содержит подробные кадастровые данные о земельных участках и объектах капитального строительства в Чебоксарах, включая геометрические данные в виде полигонов.

🔎 Вот некоторые из полей, которые вы найдете в этом датасете:

- Кадастровый номер объекта
- Тип объекта (например, Земельный участок)
- Площадь объекта в квадратных метрах
- Адрес объекта
- Категория земельного участка (например, Земли населенных пунктов)
- Разрешенное использование объекта
- Кадастровая стоимость объекта
- В геометрии объекта представлены полигоны

Cheboksary Cadastral Data with Polygons

#dataset