В Forbes, который не российский, а глобальный большая статья про открытые данные [1] от Linux Foundation, с незамысловатыми акцентами на том что open source, open hardware и open data - это всё разные стороны одного глобального движения за открытость. С явным акцентом на языковые модели, открытые стандарты и международные организации активные в этой области. При этом важно помнить что Linux Foundation всегда были про открытый код, в том числе для управления корпоративными данными, но про открытые данные они почти не были.

Честно говоря, даже интересно, является ли эта статья прологом к тому что в этой области появится ещё один институциональный игрок или это просто, можно сказать, обзор в контексте популярной темы открытых языковых моделей. Я вот не знаю, но интересно.

Впрочем кое что уже есть, например, Overture Maps Foundation [2] это порождение от Linux Foundation, также как и Agstack [3] проект по открытой цифровой инфраструктуре для сельского хозяйства - это тоже Linux Foundation.

В свою очередь сам фонд - это порождение коллективных активностей Big Tech, которые где-то конкурируют, а где совместно создают весьма любопытные продукты. Скажем так - это наиболее социально значимая/социально ответственная область их деятельности.

Ссылки:
[1] https://www.forbes.com/sites/adrianbridgwater/2023/09/20/linux-foundation-why-open-data-matters/
[2] https://overturemaps.org
[3] https://agstack.org

#opendata #readings

В рубрике интересных наборов данных CloudDrift, a platform for accelerating research with Lagrangian climate data [1] - это программная библиотека для доступа к данным собираемым с 25 тысяч дрейфующих буев в рамках программы Global Drifter Program (GDP) [2] реализуемой Национальным управлением океанических и атмосферных исследований США. Сами данные размещены на серверах Amazon и доступны в их сервисе S3 [3].

Особенность Clouddrift в том к конкретным датасетам публикуется ещё и полноценная библиотека для доступа к ним и анализа с учётом специфики данных и контекста. Авторы не первые и не единственные кто так делает, для Python есть какое-то количество программных библиотек реализованных на том же принципе, когда данные доступны не только как файлы и API, но и сразу в виде DataFrame для Pandas или как XArray в данном случае.

Что характерно, этот проект один из десятков проектов данных и инструментов о Земле финансируемый Национальным научным фондом США в рамках сообщества и программы EarthCube [4]

Ссылки:
[1] https://cloud-drift.github.io/clouddrift/
[2] https://www.aoml.noaa.gov/phod/gdp/
[3] https://registry.opendata.aws/noaa-oar-hourly-gdp/
[4] https://www.earthcube.org/funded-projects

#opendata #opensource #science #usa #earthsciences #geodata

Наглядная визуализация датасетов Google и Microsoft с распознанными зданиями [1], а также открытый код библиотеки Leafmap[2] с помощью которой идет визуализация. Автор утверждает что для отображения всего набора данных в 165 ГБ потребовалось всего несколько строчек кода [3]

Ссылки:
[1] https://apps.opengeos.org/buildings.html
[2] https://github.com/opengeos/leafmap
[3] https://twitter.com/giswqs/status/1706800470290051548

#opendata #dataviz #geodata

В который раз напишу что комментировать все законодательные инициативы российских нормотворцев дело крайне вредное для желудка и настроения. Не пропущу только вот эту инициативу по доступу силовиков к базам персональных данных коммерческих операторов и возможности эти данные менять. О ней написали в российском Forbes [1], а также можно прочитать (продраться до смысла) в первоисточнике на сайте ГД [2].

У этого законопроекта много разных плохих последствий, начиная с глубокой государственной руки в задницах российских интернет компаний вмешательства государства в бизнес деятельность и есть ещё одна немаленькая хрень немаловажная проблема. Компании в российской юрисдикции оперируют данными пользователей других стран наравне с россиянами. Это жители Казахстана, Грузии, Армении, Узбекистана, Кыргызстана, Узбекистана и др., да и в каких-то ещё странах. Что сделают регуляторы этих стран после принятия такого закона в России? Правильно, потребуют от всех компаний в на которые регулирование распространяется подтвердить что данные их жителей в единой базе компаний не содержаться и российским силовикам недоступны.

Хотите перечислим компании у которых будет пиздец сёрьёзные проблемы с регуляторами? Многие, очень многие. Сотовые операторы как минимум, но не только.

И это, заметим, что я привожу только понятные нормотворцам проблемы. Не вдаваясь в этические и проблемы нарушения прав человека, вмешательства силовиков в частную жизнь и, наоборот, сокрытие информации о разного рода нехороших людях особых категориях граждан определённых указом ПП РФ.

Ссылки:
[1] https://www.forbes.ru/tekhnologii/497493-biznes-vystupil-protiv-beskontrol-nyh-pravok-silovikov-v-bazah-personal-nyh-dannyh
[2] https://sozd.duma.gov.ru/bill/416441-8

#privacy #regulation #russia

Свежее исследование Consumer Surveillance and Financial Fraud [1] о том как новые требования к приложениям по ограничению слежки за пользователями повлияли кибербезопасность и частоту жалоб пользователей, опубликованное National Bureau of Economic Research в США.

Тем кому лень читать всё исследование расскажу коротко. Apple ввели App Tracking Transparency (ATT) в 2021 году как обязательное требование для всех кто создает приложения для iOS, iPadOS и tvOS [2]. Эти требования сильно ограничили бизнес компаний которые отслеживали поведение пользователей внутри приложений и внешними трекерами.

В исследовании выяснилось что если 10% пользователей блокируют сбор данных, то снижение жалоб на взломы и нарушение приватности снижается на 3.21%. Много ли это или мало? Это очень много.

Ссылки:
[1] https://www.nber.org/papers/w31692
[2] https://support.apple.com/en-us/HT212025

#privacy #apple #mobileapps

Международная активность по открытым данным иногда для меня удивительна.

Например, есть свежая инициатива и разговоры про стандартизацию публикации открытых данных о выборах от OKF. Было несколько таких проектов, на самом деле много проектов, например Open Election Data [1] профинансированный USAID и, похоже, не институционализированный. А у OASIS стандарт Election Markup Language (EML) [2], а также множество национальных и других стандартов и форматов.

Как бы ни было удобно иметь данные о выборах в машиночитаемой форме, сдаётся мне что не это главное в конкретном данном случае. К примеру, "открытость данных" блокчейна с электронными голосами в России доверие государству нисколько не повысили. А вот ситуация когда власти могут использовать международные стандарты для "симуляции открытости" без соблюдения других условий прозрачности выборов и наблюдения за ними, вполне возможно.
В каких-то странах сложившейся или переходной демократии они могут быть важны, но уже в рамках общей открытости того что называют political integrity.

Что думаете? Актуальны ли стандарты публикации данных о выборах?

Ссылки:
[1] https://openelectiondata.net
[2] https://www.oasis-open.org/standard/eml/
[3] https://datastandards.directory/Elections

#opendata #openstandards

Для тех кто работает с открытыми данными регулярно не могу не напомнить что у Open Knowledge Foundation есть проект Frictionless Data и, в частности, frictionless-py [1], программная библиотека и утилита командной строки для анализа данных и подготовки пакетов данных для публикации. Это инструмент совершенно далёкий для большинства тех кто занимается корпоративной дата-инженерией, но уже немного известный тем кто готовит научные данные для публикации. Инструмент сильно развился за последний год, там теперь поддерживается много разных форматов, наконец-то поддерживаются форматы вроде Parquet и JSONl/NDJSON. Если бы он был на несколько лет раньше, я бы многие свои инструменты делал на его основе. Как бы то ни было это существенная часть экосистемы вокруг ПО порталов для публикации открытых данных CKAN.

Сейчас его же авторы сделали GUI обёртку под названием Open Data Editor [2], продукт позволяющий готовить данные вручную и отправлять на публикацию в CKAN, Zenodo или Github.

Пока ещё это не финальный продукт и ошибки встречаются, но вот это хороший прогресс в экосистеме публикации открытых данных в мире.

Ссылки:
[1] https://framework.frictionlessdata.io
[2] https://opendataeditor.okfn.org

#opensource #opendata #ckan #datatools

В рубрике интересных наборов данных проект Census Tree [1] как результат работы группы исследователей по сопоставлению данных переписей США с 1870 по 1940 годы и созданию наборов данных связей между людьми. Причём искали их создавая специальный алгоритм сопоставления и используя генеалогические базы данных. Уникально и то что в США существуют открытые микроданные переписей начиная с 1790 года [2] и то что исследователи могут с этим работать.

Результаты представлены в виде коллекции наборов данных [3] сопоставлений связей между двумя переписями. Наборы данных включают файлы от нескольких мегабайт до нескольких гигабайт, но для выгрузки нужна регистрация на OpenICPSR [4].

Данные доступны в формате CSV под лицензией CC-BY 4.0

Ссылки:
[1] https://www.censustree.org
[2] https://usa.ipums.org/usa/full_count.shtml
[3] https://www.censustree.org/data
[4] https://www.openicpsr.org

#opendata #usa #census #sociology #datasets

В рубрике интересных продуктов на данных SemOpenAlex [1] граф знаний на 26 миллиардов RDF triples с базой из более чем 249 миллионов научных работ от 135 миллионов авторов и из 226 тысяч источников.

Проект включает открытое API и возможность скачать дамп целиком [2].

Данные и API доступны под лицензией CC0 и имеют множество возможных применений во всём что касается картирования науки и научной деятельности.

Ссылки:
[1] https://semopenalex.org
[2] https://semopenalex.org/resource/?uri=http%3A%2F%2Fdatasets.metaphacts.com%2Fsemopenalex

#opendata #datasets #researchdata #science #semanticdata

В связи с новостями о том что Роснано может стать банкротом в ближайшее время [1] напомним что ещё в 2021 году на новостях со сменой руководства госкорпорации мы делали полный архив известных на тот момент сайтов организации. Архив доступен в форматах warc по ссылке [2].

Архив покрывает сайты:
- edunano.ru
- en.rusnano.com
- fiop.site
- nanocertifica.ru
- rusnano-dmm.ru
- schoolnano.ru
- startbase.ru
- thesaurus.rusnano.com
- www.rusnano.com

Если вам известны какие-либо сайты Роснано не заархивированные ранее, и ещё доступные или иные общедоступные материалы госкорпорации которые могут исчезнуть, напишите нам, мы оперативно их сохраним.

Ссылки:
[1] https://www.rbc.ru/business/03/10/2023/651c547b9a79471892df4083
[2] https://cdn.ruarxive.org/public/webcollect2021/rusnano2021/

#digitalpreservation #rosnano #webarchive #ruarxive

Свежая новость о том что Правительство РФ планирует выделить 250 миллионов рублей на раскрытие данных для бизнеса [1] в рамках разработки моделей ИИ. По нынешнему курсу это что-то около 2.5 миллионов долларов США. Много это или мало?

Примеры, навскидку:
- в 2014 году Правительство Великобритании создало два фонда Breakthrough Fund и Release of Data Fund на который ежегодно [2], общий их бюджет составлял 9.5 миллионов фунтов в год, он распределялся грантами по региональным и муниципальным властям чтобы те открывали свои данные.
- в Испании на языковые данные и технологии было выделено 330 миллионов евро на 2020-2026 годы и до этого 90 миллионов евро за 2016-2020 годы [3]

И таких примеров много, особенно, конечно, характерна модель "создания" наборов данных в России. В мире государства инвестируют в ИИ через грантовые программы ВУЗам и научным центрам и предоставление им и на их основе инфраструктуры для их открытой публикации. Те же испанцы публиковали языковые модели на Kaggle и Huggingface.

Судя по тому что я пока видел из активностей Минцифры РФ в этой области, я бы не ждал чего-то выдающегося. Тем более что, похоже, там сами до сих пор не знают что именно будет публиковаться, насколько открыто и так далее.

Ссылки:
[1] https://t.iss.one/government_rus/9165
[2] https://www.gov.uk/government/publications/breakthrough-fund-and-release-of-data-fund
[3] https://plantl.mineco.gob.es/Paginas/index.aspx

#opendata #datasets #ai #russia

В Великобритании правительственная цифровая служба анонсировала [1] сервис создания форм для госагенств GOV.UK Forms [2].

Идея проста, сделать универсальный генератор форм которые могли бы создавать специалисты без технических знаний. Аналог TypeForm, Google Forms и других коммерческих продуктов, но с учётом требований и особенностей госорганов.

Продукт чрезвычайно похож на Сингапурский государственный проект FormSG [3] который ещё и существует с открытым кодом и построенном на тех же принципах, конструктора форм, кроме всего прочего поддерживающего аутентификацию через государственных и частных провайдеров аутентификации в Сингапуре.

Что характерно, FormSG - это открытый код, можно скачать его себе и использовать даже не будучи государственным агентством.

Интересный вопрос в том почему только в Сингапуре и Великобритании есть такие проекты?

Ссылки:
[1] https://gds.blog.gov.uk/2023/10/03/how-were-opening-up-access-to-gov-uk-forms/
[2] https://www.forms.service.gov.uk
[3] https://form.gov.sg

#opensource #govtech #government #singapore #uk

Для тех кто заботится о приватности по умолчанию, Consent-O-Matic [1] расширение для браузера Chrome автоматически закрывающее окна [1] с выбором объёма кук на которые Вы согласны.

Разработано командной из Aarhus University в Дании, поддерживает около 680 видов всплывающих окошек с запросом выбора режима сохранения кук.

На сайте есть, также, версия для Firefox и Safari и полностью открытый код [2]

Ссылки:
[1] https://chrome.google.com/webstore/detail/consent-o-matic/mdjildafknihdffpkfmmpnpoiajfjnjd
[2] https://consentomatic.au.dk/

#opensource #privacy #cookies

Полезные ссылки про данные, технологии и ИИ

Проекты
- Polymatic AI [1] свежеанонсированный проект про разработку ИИ моделей для кросс-дисциплинарных исследований в науке. Потенциально интересный продукт может получится, команда состоит из специалистов по ML и предметных экспертов

Инструменты
- Malloy 4.0 [2] свежая версия языка/инструмента Malloy для сложных запросов к базам данных, один из потенциальных заменителей SQL для тех кто не любит SQL. В новой версии много несовместимого с предыдущей, постепенно растёт в очень интересный продукт
- Python 3.12 [3] главные изменения в чуть большей скорости работы, в остальном пока ничего не видно критичного ради чего на него стоит переходить

Чтение
- These Prisoners Are Training AI [4] о том как заключённые в Финляндии помогают тренировать модели для ИИ. В самом деле, а где ещё найти много недорогой рабочей силы для тренировки моделей на национальных языках?
- AI Engineer Foundation [5] новый фонд посвящённый ИИ инженерам. Обещают акцент на Open Source, из анонсированных проектов Agents Protocol, A unified interface standard for the world to communicate with Agents that conform to the protocol. Предлагают также помогать маркетингом проектам для ИИ с открытым кодом.
- Ben Bites [6] отличная рассылка посвящённая свежим ИИ продуктам и сервисам, часть ссылок я подсмотрел там

Ссылки:
[1] https://polymathic-ai.org/
[2] https://malloydata.github.io/blog/2023-10-03-malloy-four/
[3] https://docs.python.org/3/whatsnew/3.12.html
[4] https://www.wired.com/story/prisoners-training-ai-finland/
[5] https://www.aie.foundation/
[6] https://bensbites.beehiiv.com/subscribe?ref=ZCof81aeyC

#data #datatools #opensource #ai #readings