ТикТок анонсировали API для доступа к их аналитике исследователям/учёным [1]. Сами ссылки на API и форма запроса доступа, видимо, появятся позже, а сейчас с ними работают представители их Content and Safety Advisory Councils (общественных советов по контенту).

Ссылки:
[1] https://newsroom.tiktok.com/en-us/an-update-on-our-platform-api-for-researchers

#api #tiktok #transparency #data

Забавный текст и термин уютные данные или cozy data [1] за авторством Zach Musgrave в блоге Dolthub. Идея очень проста, в том что cozy data это такой антоним big data. Это такие данные которыми ты занимаешься как хобби, вроде личной картотеки личной коллекции бабочек или результативности игроков в настольный теннис. Иначе говоря это небольшие по объёму, хорошо структурируемые и лично курируемые данные над которыми, как правило, работает один человек, реже больше.

Если не считать того что автор бесстыдно рекламирует Dolthub сама концепция весьма интересная. Cozy дата в этом смысле - это бесконечно число баз в Excel и Access созданное за десятки лет. Частично их создатели перебрались в Google Sheets и Airtable, но далеко не все.

Для тех кто живёт в мире уютных данных главным недостатком онлайн сервисов является подписочная модель оплаты. Я больше поверю в развитие продуктов вроде Strapi и Directus именно для таких пользователей.

Но, кто знает, быть может кто-то ещё сможет создать гармоничное сочетание гибридного клиент-серверного аналога Access'а когда от потери доступа к онлайн сервису доступ к своим данным потерян не будет.

Ссылки:
[1] https://www.dolthub.com/blog/2022-11-18-cozy-data/

#data #datatools

В рубрике доступных открытых данных и инструментов работы с ними։
- Ensaio [1] инструмент с открытым кодом для работы с данными о геонауках․ Включает множество наборов наборов данных из проекта Fatiando a Terra [2]
- Corpus of Decisions: Permanent Court of International Justice (CD-PCIJ) [3] набор данных и научная статья о решениях Постоянной палаты международного правосудия Лиги Наций, действовавшей с 1920 года по 1940 год. Данных не так много, 259 документов на английском языке и 260 на французском, но они хорошо структурированы.
- Human and economic impacts of natural disasters: can we trust the global data? [4] статья в Nature о том что невозможно до конца доверять данным о природных катастрофах потому что они недостаточно качественно собираются.
- Redesign and new features for data.europa.eu [5] европейский портал открытых данных готовят к обновлению. Много изменений обещают, главное в том что владельцы данных смогут публиковать их на портале напрямую, а не на национальных порталах открытых данных. А также в том что европейский портал приближается к научным порталам данных и будет поддерживать принципы FAIR.

Ссылки։
[1] https://www.fatiando.org/ensaio/v0.5.0/index.html
[2] https://github.com/fatiando-data
[3] https://zenodo.org/record/7051934
[4] https://www.nature.com/articles/s41597-022-01667-x
[5] https://data.europa.eu/en/news-events/news/redesign-and-new-features-dataeuropaeu

#opendata #readings

Результаты опроса. В итоге видно что уровень доверия в России Росстату (и не только) весьма и весьма низок. Впрочем, ничего неожиданного.

Актуальное про приватность в мире։
- В Китае регулятор опубликовал черновик закона о регулировании кредитного скоринга Law on Establishing the Social Credit System [1]. По сути устанавливая требования комплаенса для компаний предоставляющих подобные сервисы. Но это ещё только черновик
- В Испании три организации создали Observatorio de Trabajo, Algoritmo y Sociedad (Обсерватория труда, алгоритмов и общества) предназначенную для исследования влияния алгоритмов на рынок труда. Первым их проектом является расследование в отношении сервиса доставки Glovo [2]. Они уже ведут карту судебных разбирательств доставщиков еды и сервисов Glovo, Deliveroo и др․ [3]
- В Испании министерство внутренних дел тестирует систему распознавания лиц на базе продукта французской компании Thales [4].
- Европейский центр алгоритмической прозрачности создан в Севилье (Испания) [5] в рамках DSA (Digital Services Act), свежего законодательства Евросоюза.

Ссылки։
[1] https://www.chinalawtranslate.com/en/franken-law-initial-thoughts-on-the-draft-social-credit-law/
[2] https://www.eldiario.es/catalunya/riders-taxistas-autonomos-unen-denunciar-glovo-cnmc-cartel-no-competir_1_9698511.html
[3] https://observa-tas.org/mapa-de-conflictos/
[4] https://www.eldiario.es/tecnologia/interior-prepara-sistema-reconocimiento-facial-identificar-sospechosos_1_9711509.html
[5] https://algorithmic-transparency.ec.europa.eu/index_en

#privacy #facerecognition #ai #algorithms #regulation

Как, возможно, многие обратили внимание я не размещаю рекламу в моём телеграм канале @begtin, а всем кто общается с подобным выставляю нереальный ценник.

Причина этого в том что я и сам редко вижу приличную рекламу и знаю насколько раздражают "нативные тексты" и то что я ценю аудиторию к которой обращаюсь. Этот телеграм канал я создавал, вначале, как каталог личных публичных заметок и сейчас его держу в той же форме, размечая, по возможности, каждый пост тегами.

Но если бы реклама была, то заработанные деньги пошли бы, всё равно, на деятельность АНО Инфокультура @infoculture которое я возглавляю и такие наши проекты как Простой русский язык, Госзатраты, Открытые НКО и Национальный цифровой архив. А также многие проекты по открытости "зависли" ещё в начале ковидных годов, но хочется надеяться к ним ещё вернуться.

Я лично стараюсь тратить на сохранение этих проектов хотя бы часть заработанного лично. И время от времени, не слишком часто, буду докучать предложениями этим проектам помочь․ Например, через сервис донатов в телеграм.

#fundraising #projects #blogging

Кстати, если Вы ещё не подписались на наш телеграм канал @ruarxive, то самое оно время. Не только новости про архивы и сам проект Национального цифрового архива, но и про другие проекты в цифровой гуманитаристики, архивации, сохранении современного культурного наследия

⚡️Новый сервис от Internet Archive: scholar.archive.org

Этот полнотекстовый поисковый индекс включает в себя более 25 миллионов научных статей и других научных документов, хранящихся в Архиве Интернета.

Метаданные поступают из fatcat.wiki — открытого каталога научных работ.

Подробнее о сервисе: https://scholar.archive.org/about.

В рубрике больших открытых данных библиографические данные научных публикаций в коллекции Bulk Bibliographic Metadata [1]. В этой коллекции собраны полные дампы данных интегрированных в сервис Fatcat [2] из более чем 130 миллионов научных статей в открытом доступе.

Коллекция включает такие наборы данных как։
- полный дамп базы Postgres сервиса Fatcat (более 200 GB)
- дамп базы OpenLex
- дамп метаданных Datacite
- дамп метаданных Crossref
- дамп метаданных DOAJ
- дампы базы DBLP

А также многих других. В общей сложности это 13 терабайт в сжатом виде.

На их основе и построен упоминавшийся ранее проект scholar.archive.org

Ссылки։
[1] https://archive.org/details/ia_biblio_metadata?sort=-publicdate
[2] https://fatcat.wiki/
[3] https://scholar.archive.org

#opendata #datasets #openaccess

PeaceTech (мирные технологии, технологии мира) Новая тема в проектах в области гражданских технологий (civic tech). О них пишут в блоге The GovLab [1] и им посвящён GlobalPeaceTechHub [2] проект EUI School of Transnational Governance и
University of Lucerne вместе с The GovLab ещё в 2021 г.

Основная идея в применении технологии для предупреждения, минимизации последствий военных конфликтов и достижения мира. В качестве примера, ожидаемо, упоминается конфликт на Украине, но явным образом им не ограничивается.

Что характерно, обычно проекты The GovLab финансировались грантами международных фондов или гос-ва, а в данном случае спонсор Kluz Ventures [3] венчурный фонд финансирующий проекты наблюдения за Землёй (спутники) и проекты с ИИ.

Почему это любопытно, поскольку в темах мероприятий по PeaceTech явно звучат вопросы этики данных и ИИ в таких направлениях как "Data as a Weapon" и "Weaponization of ML/AI Learning".

Ссылки։
[1] https://blog.thegovlab.org/post/launch-what-is-peacetech
[2] https://www.globalpeacetech.org/
[3] https://www.kluzventures.com

#ai #civictech #peacetech #opendata #data #regulation

В Казахстане на публичное обсуждение выложили Постановление Правительства "О утверждении единого перечня открытых данных государственных органов, размещаемых на интернет-портале открытых данных" [1].

Не будучи гражданином Казахстана я принять участие в обсуждении не смогу, но могу прокомментировать тут.

Есть условные два подхода к открытости данных, первый - открывайте всё что не имеет статуса для служебного пользования, а пользователи сами разберутся что им нужно. И второй, открываем "по белому списку" и контролируем любую публикацию. Казахстан идёт по второму пути, как и в России утверждали, только не общий перечень, а требования по обязательному раскрытию всеми госорганизациями определенного списка данных.

Итак, мои комментарии։
1. Будет публиковаться меньше данных. Это приказ заменяет постановление Правительства Республики Казахстан от 28 октября 2021 года № 774 «Об утверждении единого перечня открытых данных государственных органов, размещаемых на интернет-портале открытых данных» [2] в котором было 974 пункта, а в этом проекте постановления их 951. Почему перечень был сокращён нигде не упомянуто, в том числе в пояснительной записке к постановлению.
2. Ни в проекте постановления этом, ни в предыдущем, ни где-бы то ни было ещё нет упоминания свободных лицензия и режима доступа к данным. напомню что данные на портале Открытые данные eGov [3] формально критериям открытых данных не соответствуют. Они доступны только после авторизации, только гражданам Казахстана или имеющих право там жить или работать (требуется ИИН), а также данные публикуются без условий их использования.
3. Около 22% (213) наборов данных опубликованы АСПР (Бюро национальной статистики). Фактически это статистические показатели с ежегодным или иным периодом обновления, до ежемесячного. Но в системе Taldau [4] более 3600 показателей, есть ощущение что что-то где-то потеряно или недосказано.
4. Только 76 наборов данных предполагаются к постоянной доступности, по сути это постоянный доступ к базам данных через ведомственные API. Из них 70 наборов - это данные Минфина РК. Фактически, большая часть остальные данных - это ведомственная статистика.
5. Некоторые органы публикуют всего два-три набора данных которые, также, являются лишь статистическими показателями, с редким обновлением.
6. Более половины реестров (ищутся по слову "реестр") имеют период актуализации "ежегодно" или "ежеквартально", что для реестрового учёта и раскрытия совершенно недостаточно. Мало кто будет использовать такие открытые данные, а не идти в первоисточник.

Но, конечно, главный вопрос при публикации открытых данных в том а какие данные есть? Не видно что перед формированием списка органы власти проводили инвентаризацию того что у них есть и уже на основе сформированных списков определяли режим доступа к данным. Поэтому к списку много вопросов, что, впрочем, не отменяет того что очень хорошо что тема открытых данных в Республике Казахстан развивается и, хочется надеяться, что принципы открытости по умолчанию, свободного доступа к данным (без авторизации) и свободных лицензий найдут своё отражение в госполитике страны.


Ссылки։
[1] https://legalacts.egov.kz/npa/view?id=14317392
[2] https://adilet.zan.kz/rus/docs/P2100000774
[3] https://data.egov.kz
[4] https://taldau.stat.gov.kz/

#opendata #data #dataset #kazakhstan

К предыдущему посту прилагаю CSV файл с перечнем открытых данных подлежащих публикации в РК. Список был почищен от опечаток и структурирован для самостоятельного анализа. Может кто-то захочет сравнить его со списком из прошлого постановления Пр-ва РК.

#opendata #data #kazakhstan #datasets

На сайте Счетной палаты РФ выложили все открытые бюллетени СП РФ с 1996 года [1] что для российских органов власти шаг абсолютно беспрецедентный даже не потому что многие боятся что-то открывать, а потому что просто продалбывают собственные архивы и даже не пытаются их восстановить когда это понимают.

Поэтому архив отчетов Счетной палаты - это полезная база документов, важная для открытости гос-ва в целом. При этом архив был опубликован в специальном разделе сайта СП РФ [2] недостатком и достоинством которого является то что внутри него используется API для поиска по этим файлам. В результате поисковые системы, Интернет-архив и другие краулеры могут не добраться для индексирования PDF файлов. Но данные из этого же API легко превращаются в набор данных и файлы можно скачать с его помощь.

При смене руководителей организаций очень часто в первую очередь новый руководитель меняет именно сайт. Поэтому мы заархивировали архив отчетов Счетной палаты и слепок всех документов архива находится по ссылке [3], а по другой ссылке набор данных в формате JSONL с метаданными к этим документам [4]

Ссылки։
[1] https://ach.gov.ru/news/project_archive
[2] https://ach.gov.ru/checks/
[3] https://cdn.ruarxive.org/public/dataportals/ach.gov.ru/2022-11-30/checks/files/
[4] https://cdn.ruarxive.org/public/dataportals/ach.gov.ru/2022-11-30/checks/data.jsonl.zip

#datasets #opendata