В рубрике как это устроено у них пакет для Python под названием ... Германия, в оригинале deutschland [1] звучит странно, а содержание весьма логично. Этот пакет - это набор функций и классов для доступа к наиболее значимым наборам данных и API Германии. Сами данные предоставляются и API поверх данных и в виде сервисов предоставляются через портал bund.dev [2] где они задокументированы и общедоступны.
А пакет для python выглядит как логичное развитие и дополнение, значительно снижающие порог входа к использованию этих данных.
Заодно можно обратить внимание что чуть ли не основные примеры про работу с геоданными и данными регистра компаний.
Особенность в том что этот проект негосударственный и делается командой активистов.
Ссылки:
[1] https://github.com/bundesAPI/deutschland
[2] https://bund.dev
#germany #data #api #opendata
А пакет для python выглядит как логичное развитие и дополнение, значительно снижающие порог входа к использованию этих данных.
Заодно можно обратить внимание что чуть ли не основные примеры про работу с геоданными и данными регистра компаний.
Особенность в том что этот проект негосударственный и делается командой активистов.
Ссылки:
[1] https://github.com/bundesAPI/deutschland
[2] https://bund.dev
#germany #data #api #opendata
Hugging Face выпустили коллекцию графиков 🤗 Open-source AI: year in review 2024 [1].
Где много всяких визуализаций того как в области AI работают с данными, моделями и не только, а ещё там есть график The Circle of Sharing: How Open Datasets Power AI Innovation [2] где можно увидеть как повторно компаниями используются датасеты выложенные другими компаниями.
Другие графики не менее любопытные.
Ссылки:
[1] https://huggingface.co/spaces/huggingface/open-source-ai-year-in-review-2024
[2] https://huggingface.co/spaces/huggingface/open-source-ai-year-in-review-2024
#opendata #ai #dataviz #data
Где много всяких визуализаций того как в области AI работают с данными, моделями и не только, а ещё там есть график The Circle of Sharing: How Open Datasets Power AI Innovation [2] где можно увидеть как повторно компаниями используются датасеты выложенные другими компаниями.
Другие графики не менее любопытные.
Ссылки:
[1] https://huggingface.co/spaces/huggingface/open-source-ai-year-in-review-2024
[2] https://huggingface.co/spaces/huggingface/open-source-ai-year-in-review-2024
#opendata #ai #dataviz #data
В рубрике как это устроено у них карта растительности Японии [1] доступна в виде в виде 16 Shape файлов по префектурам страны, общим объёмом 4.4GB с детализацией 1/25000.
Он же, уже преобразованный в формат GeoParquet объёмом в 6.2GB в каталоге Source Cooperative [2] где публикуется немало больших геодатасетов.
Таких подробных и открытых карт растительности в мире немного, на уровне страны мне ранее не попадались.
Хороший тест для любой геоинформационной системы способность отобразить такие данные.
Ещё одно наблюдение, в Японии данных публикуется много, но каким-то своим необычным способом. Национальные порталы вроде есть, но найти на них что-то значимое сложно.
Ссылки:
[1] https://gis.biodic.go.jp/webgis/sc-025.html?kind=vg67
[2] https://source.coop/repositories/pacificspatial/vegetation-jp/access
#datasets #opendata #japan
Он же, уже преобразованный в формат GeoParquet объёмом в 6.2GB в каталоге Source Cooperative [2] где публикуется немало больших геодатасетов.
Таких подробных и открытых карт растительности в мире немного, на уровне страны мне ранее не попадались.
Хороший тест для любой геоинформационной системы способность отобразить такие данные.
Ещё одно наблюдение, в Японии данных публикуется много, но каким-то своим необычным способом. Национальные порталы вроде есть, но найти на них что-то значимое сложно.
Ссылки:
[1] https://gis.biodic.go.jp/webgis/sc-025.html?kind=vg67
[2] https://source.coop/repositories/pacificspatial/vegetation-jp/access
#datasets #opendata #japan
gis.biodic.go.jp
Shapeデータダウンロード（（総合）振興局別・都道府県別）
環境省自然環境局生物多様性センターでは、わが国の植生、動植物の分布、河川・湖沼、干潟、サンゴ礁などについて基礎的な調査やモニタリングを実施しています。
В рубрике как это устроено у них платформа ioChem-DB [1] каталог данных в области вычислительной химии и материаловедения, не сомневаюсь что большинство химиков работающих с химическими формулами с ним сталкивались.
Его особенность в том что это по-факту:
- специальный набор инструментов по подготовке и преобразованию данных
- модель данных для описания данных
- платформа на базе DSpace для публикации данных в первичном и в преобразованных форматах.
Основной сайт агрегирует данные собранные из других порталов.
Большая часть данных публикуется в форматах Chemical Markup Language (CML) [2] и под свободными лицензиями.
Важная особенность в том что названия и описания этих наборов данных могут быть крайне минималистичны и состоять только из какого-нибудь кода, например 000112758 [3]
Поэтому я лично не знаю как химики используют там поиск и не могу сказать что понимаю как добавлять такие данные в Dateno [4] потому что хоть это и датасеты, но кто сможет найти их с таким-то описанием?
Ссылки:
[1] https://www.iochem-bd.org
[2] https://www.xml-cml.org
[3] https://iochem-bd.bsc.es/browse/handle/100/87916
[4] https://dateno.io
#opendata #chemistry #opensource #datasets #dateno
Его особенность в том что это по-факту:
- специальный набор инструментов по подготовке и преобразованию данных
- модель данных для описания данных
- платформа на базе DSpace для публикации данных в первичном и в преобразованных форматах.
Основной сайт агрегирует данные собранные из других порталов.
Большая часть данных публикуется в форматах Chemical Markup Language (CML) [2] и под свободными лицензиями.
Важная особенность в том что названия и описания этих наборов данных могут быть крайне минималистичны и состоять только из какого-нибудь кода, например 000112758 [3]
Поэтому я лично не знаю как химики используют там поиск и не могу сказать что понимаю как добавлять такие данные в Dateno [4] потому что хоть это и датасеты, но кто сможет найти их с таким-то описанием?
Ссылки:
[1] https://www.iochem-bd.org
[2] https://www.xml-cml.org
[3] https://iochem-bd.bsc.es/browse/handle/100/87916
[4] https://dateno.io
#opendata #chemistry #opensource #datasets #dateno
В качестве напоминания, у Dateno есть телеграм канал @datenosearch где регулярно будут новости проекта, в основном на английском языке (на русском я тут в своём канале обо всём и так пишу). Тем не менее подписывайтесь, наиболее актуальные новости проекта, лайфхаки, примеры и тд будут именно там.
#dateno
#dateno
Dateno
Dateno - datasets search engine
A next-generation data search service provides fast, comprehensive access to open datasets worldwide, with powerful filters and an API-first architecture for seamless integration.
Forwarded from Dateno
I seek datasets for... and I use Dateno for ...
Anonymous Poll
16%
Data science/Machine learning
6%
Data engineering
16%
Data analysis
19%
Scientific work
19%
Geodata
15%
Statistics
6%
Other
50%
Don't know yet, but I want to see the poll results
Teable [1] опенсорс продукт и онлайн сервис по созданию интерфейса а ля Airtable поверх баз Postgresql и Sqlite.
Для тех кто ранее сталкивался с Airtable и редактировал онлайн свои таблицы - это более чем идеальная замена. Если Airtable ушли по пути стремительной монетизации и превращения онлайн таблиц в конструкторы приложений, то тут продукт куда более близкий к изначальной идее таблиц онлайн. Фактически это онлайн замена MS Access, но, и это важно, поверх классической СУБД. А то есть данные можно править и вручную и автоматизировано.
Я теста ради загрузил одну из наиболее крупных таблиц из Airtable что у меня были, это таблица российских госдоменов для проекта @ruarxive (Национальный цифровой архив) и работает сервис прекрасно.
Ещё одна важная его особенность - это его можно разворачивать локально и работать со своими данным на собственном экземпляре продукта.
Ну а также они в бета режиме сейчас предоставляют сам сервис онлайн бесплатно, но монетизацию рано или поздно введут, так что open source выглядит интереснее.
Ссылки:
[1] https://teable.io
#opensource #datasets #datatools
Для тех кто ранее сталкивался с Airtable и редактировал онлайн свои таблицы - это более чем идеальная замена. Если Airtable ушли по пути стремительной монетизации и превращения онлайн таблиц в конструкторы приложений, то тут продукт куда более близкий к изначальной идее таблиц онлайн. Фактически это онлайн замена MS Access, но, и это важно, поверх классической СУБД. А то есть данные можно править и вручную и автоматизировано.
Я теста ради загрузил одну из наиболее крупных таблиц из Airtable что у меня были, это таблица российских госдоменов для проекта @ruarxive (Национальный цифровой архив) и работает сервис прекрасно.
Ещё одна важная его особенность - это его можно разворачивать локально и работать со своими данным на собственном экземпляре продукта.
Ну а также они в бета режиме сейчас предоставляют сам сервис онлайн бесплатно, но монетизацию рано или поздно введут, так что open source выглядит интереснее.
Ссылки:
[1] https://teable.io
#opensource #datasets #datatools
Полезное чтение про данные, технологии и не только:
- Databases in 2024: A Year in Review [1] ежегодный обзор от Andy Pavlo про состояние и развитие СУБД и инструментов работы с данными. Ожидаемо про особенности лицензирования open source баз данных и про рост популярности DuckDB. Приятное чтение, хорошо структурированное, без маркетинга и рекламы.
- new DBMSs released in 2024 [2] список на dbdb.io, включает новые 17 СУБД появившиеся в 2024 году. Можно обратить внимание что большая их часть это key/value базы данных создаваемые как альтернативы Redis, после того как Redis сменили лицензию.
- Why AI Progress Is Increasingly Invisible [3] краткое изложение смысла статьи в том что прогресс в ИИ всё более невидим потому что большинство просто не обладает нужными знаниями чтобы его отслеживать (читать научные статьи, следить за бенчмарками и тд.) и то что основные измерения происходят внутри очень крупных создателей LLM и мы узнаем о прогрессе когда продукты уже появляются в доступе.
- The Well [4] два свежих открытых датасета на 15TB и 100TB с изображениями по физической симуляции и астрономии. Объёмы довольно большие и сравнимые с публикацией датасета ImageNet который активно использовался и используется для развития распознавания изображений
- DuckDB vs. coreutils [5] сравнение DuckDB и инструментов grep/awk/wc. Краткий вывод в том что на маленьких серверах DuckDB не в лидерах, а на больших на десктопах скорее да. Добавлю что раньше проскакивали сравнения что быстрее подсчитать число строк CSV файла через wc или DuckDB, и тогда тоже DuckDB выигрывал. Но вот эти тесты посложнее, и разные версии grep и wc существуют
- The Limits of Data [6] а вот это уже серьёзные размышления о том что данные не решают всех проблем и многое что учитывается с регулировании не измеряемо или измеряемо плохо через данные. Иначе говоря не всё можно поместить в дашборды на основе которых писать новые законы. Дискуссия не нова, но автор хорошо систематизировал и изложил ключевые аспекты.
- ORelly Technology Trends 2025 [7] много разных сторон технологий описано, я бы обратил внимание на снижающуюся популярность Java (-13%), Python (-5.3%), рост востребованности Rust (+9.6%) и Data engineering (+29%) и IT сертификация в целом снижается почти по всем направлениям. Тут надо не забывать что эти тренды ORelly считают по данным их обучающей платформы, а то есть выборка сильно меньше чем у похожих обзоров от Github или StackOverflow, но небесполезная в любом случае.
Ссылки:
[1] https://www.cs.cmu.edu/~pavlo/blog/2025/01/2024-databases-retrospective.html
[2] https://dbdb.io/browse?start-year=2024
[3] https://time.com/7205359/why-ai-progress-is-increasingly-invisible/
[4] https://www.linkedin.com/feed/update/urn:li:activity:7269446402739515393/
[5] https://szarnyasg.org/posts/duckdb-vs-coreutils/
[6] https://issues.org/limits-of-data-nguyen/
[7] https://ae.oreilly.com/l/1009792/2024-12-06/332nf/1009792/1733515474UOvDN6IM/OReilly_Technology_Trends_for_2025.pdf
#databases #datasets #data #dataregulation #trends #readings
- Databases in 2024: A Year in Review [1] ежегодный обзор от Andy Pavlo про состояние и развитие СУБД и инструментов работы с данными. Ожидаемо про особенности лицензирования open source баз данных и про рост популярности DuckDB. Приятное чтение, хорошо структурированное, без маркетинга и рекламы.
- new DBMSs released in 2024 [2] список на dbdb.io, включает новые 17 СУБД появившиеся в 2024 году. Можно обратить внимание что большая их часть это key/value базы данных создаваемые как альтернативы Redis, после того как Redis сменили лицензию.
- Why AI Progress Is Increasingly Invisible [3] краткое изложение смысла статьи в том что прогресс в ИИ всё более невидим потому что большинство просто не обладает нужными знаниями чтобы его отслеживать (читать научные статьи, следить за бенчмарками и тд.) и то что основные измерения происходят внутри очень крупных создателей LLM и мы узнаем о прогрессе когда продукты уже появляются в доступе.
- The Well [4] два свежих открытых датасета на 15TB и 100TB с изображениями по физической симуляции и астрономии. Объёмы довольно большие и сравнимые с публикацией датасета ImageNet который активно использовался и используется для развития распознавания изображений
- DuckDB vs. coreutils [5] сравнение DuckDB и инструментов grep/awk/wc. Краткий вывод в том что на маленьких серверах DuckDB не в лидерах, а на больших на десктопах скорее да. Добавлю что раньше проскакивали сравнения что быстрее подсчитать число строк CSV файла через wc или DuckDB, и тогда тоже DuckDB выигрывал. Но вот эти тесты посложнее, и разные версии grep и wc существуют
- The Limits of Data [6] а вот это уже серьёзные размышления о том что данные не решают всех проблем и многое что учитывается с регулировании не измеряемо или измеряемо плохо через данные. Иначе говоря не всё можно поместить в дашборды на основе которых писать новые законы. Дискуссия не нова, но автор хорошо систематизировал и изложил ключевые аспекты.
- ORelly Technology Trends 2025 [7] много разных сторон технологий описано, я бы обратил внимание на снижающуюся популярность Java (-13%), Python (-5.3%), рост востребованности Rust (+9.6%) и Data engineering (+29%) и IT сертификация в целом снижается почти по всем направлениям. Тут надо не забывать что эти тренды ORelly считают по данным их обучающей платформы, а то есть выборка сильно меньше чем у похожих обзоров от Github или StackOverflow, но небесполезная в любом случае.
Ссылки:
[1] https://www.cs.cmu.edu/~pavlo/blog/2025/01/2024-databases-retrospective.html
[2] https://dbdb.io/browse?start-year=2024
[3] https://time.com/7205359/why-ai-progress-is-increasingly-invisible/
[4] https://www.linkedin.com/feed/update/urn:li:activity:7269446402739515393/
[5] https://szarnyasg.org/posts/duckdb-vs-coreutils/
[6] https://issues.org/limits-of-data-nguyen/
[7] https://ae.oreilly.com/l/1009792/2024-12-06/332nf/1009792/1733515474UOvDN6IM/OReilly_Technology_Trends_for_2025.pdf
#databases #datasets #data #dataregulation #trends #readings
Andy Pavlo - Carnegie Mellon University
Databases in 2024: A Year in Review
Andy rises from the ashes of his dead startup and discusses what happened in 2024 in the database game.
В рубрике интересных проектов по работе с данными LOTUS: A semantic query engine for fast and easy LLM-powered data processing [1] движок для обработки данных с помощью LLM поверх Pandas. Принимает на вход человеческим языком описанные конструкции, переводит их в программные операции над датафреймом.
Является демонстрацией работы из научной работы Semantic Operators: A Declarative Model for Rich, AI-based Analytics Over Text Data [2].
Выглядит весьма интересно как задумка и как реализация, вполне можно рассматривать как внутренний движок поверх которого можно сделать обёртку, как для манипуляции данными в командной строке, так и хоть с подключением голосового ассистента.
Если ещё и Pandas заменить на Polars или иную drop-in альтернативу, то ещё и обработка данных приобретёт хорошую скорость и производительность.
Я лично вижу одним из трендов ближайшего года появление всё большего числа инструментов для обработки данных с LLM внутри.
Ссылки:
[1] https://github.com/guestrin-lab/lotus
[2] https://arxiv.org/abs/2407.11418
#opensource #datatools #dataengineering #data #ai #llm
Является демонстрацией работы из научной работы Semantic Operators: A Declarative Model for Rich, AI-based Analytics Over Text Data [2].
Выглядит весьма интересно как задумка и как реализация, вполне можно рассматривать как внутренний движок поверх которого можно сделать обёртку, как для манипуляции данными в командной строке, так и хоть с подключением голосового ассистента.
Если ещё и Pandas заменить на Polars или иную drop-in альтернативу, то ещё и обработка данных приобретёт хорошую скорость и производительность.
Я лично вижу одним из трендов ближайшего года появление всё большего числа инструментов для обработки данных с LLM внутри.
Ссылки:
[1] https://github.com/guestrin-lab/lotus
[2] https://arxiv.org/abs/2407.11418
#opensource #datatools #dataengineering #data #ai #llm
GitHub
GitHub - guestrin-lab/lotus: LOTUS: A semantic query engine for fast and easy LLM-powered data processing
LOTUS: A semantic query engine for fast and easy LLM-powered data processing - guestrin-lab/lotus
Сегодня буквально на полчаса была доступна новая версия портала data.gov.ru, но очень быстро снова оказалось закрытой для проведения аттестационных мероприятий.
Даже несколько десятков минут было достаточно чтобы составить впечатление и мне так много что есть сказать об этом, что в короткий формат Telegram канала не уложиться ну никак.
Когда портал "оживёт" я подробно разберу его в рассылке на Substack.
Я ранее там разбирал портал открытых данных Узбекистана, а в телеграм канале писал про особенности портала открытых данных Кыргызстана.
А также несколько раз уже писал про отсутствие портала открытых данных в Казахстане.
Пришла пора и про российский портал рассказать когда (или если?) он оживёт вновь.
#opendata #data #russia #datacatalogs
Даже несколько десятков минут было достаточно чтобы составить впечатление и мне так много что есть сказать об этом, что в короткий формат Telegram канала не уложиться ну никак.
Когда портал "оживёт" я подробно разберу его в рассылке на Substack.
Я ранее там разбирал портал открытых данных Узбекистана, а в телеграм канале писал про особенности портала открытых данных Кыргызстана.
А также несколько раз уже писал про отсутствие портала открытых данных в Казахстане.
Пришла пора и про российский портал рассказать когда (или если?) он оживёт вновь.
#opendata #data #russia #datacatalogs
Оказывается в декабре команда OpenRefine [1], инструмента по ручной очистке данных, опубликовала результаты опроса пользователей о том к какой группе те себя относят, как пользуются и так далее.
И по группам результаты даже чуть удивительные.
Основные пользователи (38%) - это исследователи, а вот следом за ними следующие - это библиотекари.
Далее идут по сообществам:
- Data Science
- Wikimedian
- GLAM
И где-то там же ещё и дата журналисты, digital humanities и тд.
По сути это инструмент как раз для обработки данных в гуманитарных профессиях, относительно небольшого объёма, но с прицелом на работу со связанными данными, Wikipedia/Wikimedia и так далее.
Подозреваю что и Data Science там тоже в контексте не корпоративных, а исследовательских данных.
Кстати, в дата инженерии и корпоративной дата аналитики он почти не применяется. Всё это про разницу в стеках инструментов работы с данными, их достаточно давно можно нарезать группами по областям применения.
Например, дата журналистам или историкам OpenRefine полезен, аналитиков логичнее учить делать то же самое с помощью дата фреймов, дата инженеров с помощью конвееров данных и так далее.
А сам OpenRefine хороший инструмент, но упершийся в жёсткие ограничения внутреннего движка. Если бы я не был так увлечен Dateno я бы всерьёз озадачился созданием UI похожего на OpenRefine, но на движке DuckDB или Polars.
Ссылки:
[1] https://openrefine.org
[2] https://openrefine.org/blog/2024/12/20/2024-survey-results
#opendata #opensource #datatools
И по группам результаты даже чуть удивительные.
Основные пользователи (38%) - это исследователи, а вот следом за ними следующие - это библиотекари.
Далее идут по сообществам:
- Data Science
- Wikimedian
- GLAM
И где-то там же ещё и дата журналисты, digital humanities и тд.
По сути это инструмент как раз для обработки данных в гуманитарных профессиях, относительно небольшого объёма, но с прицелом на работу со связанными данными, Wikipedia/Wikimedia и так далее.
Подозреваю что и Data Science там тоже в контексте не корпоративных, а исследовательских данных.
Кстати, в дата инженерии и корпоративной дата аналитики он почти не применяется. Всё это про разницу в стеках инструментов работы с данными, их достаточно давно можно нарезать группами по областям применения.
Например, дата журналистам или историкам OpenRefine полезен, аналитиков логичнее учить делать то же самое с помощью дата фреймов, дата инженеров с помощью конвееров данных и так далее.
А сам OpenRefine хороший инструмент, но упершийся в жёсткие ограничения внутреннего движка. Если бы я не был так увлечен Dateno я бы всерьёз озадачился созданием UI похожего на OpenRefine, но на движке DuckDB или Polars.
Ссылки:
[1] https://openrefine.org
[2] https://openrefine.org/blog/2024/12/20/2024-survey-results
#opendata #opensource #datatools
Продолжая рассуждения про OpenRefine, я какое-то время довольно быстро сделал движок mongorefine [1] в котором воспроизвёл некоторые ключевые функции OpenRefine в в виде библиотеки поверх MongoDB. Но после тестов выяснилось что хотя это и очень гибкая штука, но безбожно медленная.
К сравнению DuckDB или Polars не такие гибкие, зато работают с данными значительно большего объёма на десктопе.
У OpenRefine есть две ключевые фичи которые наиболее трудоёмки:
1. История всех изменений датасета. Это не так сложно как может показаться, но на большом датасете начинает кушать много дискового пространства.
2. UI для пользователя. Без UI, в виде библиотеки - эта задача проста. С UI - это становится не так просто. Вот я, например, нужными навыками для создания таких сложных пользовательских интерфейсов не обладаю.
Остальные фичи касаются интеграции с внешними сервисами, Wikidata и тд. Тут важнее интерфейс для плагинов, а не сразу сами плагины.
Я для такого рисовал схемку как можно было бы организовать правильно, но, пока забросил эту идею.
#opensource #datatools #thoughts
К сравнению DuckDB или Polars не такие гибкие, зато работают с данными значительно большего объёма на десктопе.
У OpenRefine есть две ключевые фичи которые наиболее трудоёмки:
1. История всех изменений датасета. Это не так сложно как может показаться, но на большом датасете начинает кушать много дискового пространства.
2. UI для пользователя. Без UI, в виде библиотеки - эта задача проста. С UI - это становится не так просто. Вот я, например, нужными навыками для создания таких сложных пользовательских интерфейсов не обладаю.
Остальные фичи касаются интеграции с внешними сервисами, Wikidata и тд. Тут важнее интерфейс для плагинов, а не сразу сами плагины.
Я для такого рисовал схемку как можно было бы организовать правильно, но, пока забросил эту идею.
#opensource #datatools #thoughts
В рубрике полезного чтения про данные, технологии и не только:
- The Unique Challenges of Open Data Projects: Lessons From Overture Maps Foundation [1] в блоге Linux Foundation об отличиях работы с открытыми данными и открытым кодом на примере Overture Maps. Написано так словно авторы переоценили свой опыт с открытым кодом применительно к открытым данным, какие-то тезисы кажутся очень очевидными для тех кто в теме давно, что не отменяет их актуальности, конечно.
- La France classée première européenne en matière d'open data pour la 4e année consécutive [2] текущее состояние открытых данных во Франции за 2024 год, на французском, но всё понятно и автопереводчики есть. Если кратко: а) Франция лидер в отчете Open Data Maturity. б) Приоритет на данных особой ценности. в) Приоритет на вовлечении сообщества.
- The State of Open Data 2024: Special Report [3] доклад от Digital Science про состояние открытых исследовательских данных (публикуемых на их платформе, конечно, и ряда других источников). Полезно для общего понимания трендов в этой области, с поправкой на то что они коммерческий провайдер исследовательской инфраструктуры.
- Datos Abiertos de los Registradores de España [4] свежезапущенный каталог открытых данных испанских регистраторов, по сути статистика по банкротствам, покупкам жилья и так далее. Много полезных индикаторов оформленных как открытые данные.
- Wspolna platforma kartografee geologicznej (WPKG) [5] недавно открытая картографическая платформа геологической службы Польши. Помимо большого числа слоёв ещё и публикуют 3D модель геологической структуры территории Польши которая выглядит весьма и весьма неплохо. Открытое API явным образом не обозначено, но внутри всё на базе ArcGIS сервера к которому можно подключиться онлайн без труда.
- qcsv pro [6] коммерческий продукт для обработки данных и публикации на порталах открытых данных на базе CKAN. Смотрю на него критическим взглядом. С одной стороны он не дотягивает до OpenRefine по функциональности обработки и очистки данных, с другой ограничения бесплатной версии в 1000 строк CSV это ну как бы его сильно обесценивает, а с третьей он жёстко ограничен экосистемой CKAN. Есть ощущение что экономика не должна сходится, но вот бизнес модель такую можно зафиксировать. Будет ли она успешной? Посмотрим.
- Open Data Editor [7] некоммерческий редактор открытых данных с открытым данным и возможностью с публикации данных в CKAN и Zenodo. По сути это открытый конкурент qsv pro, и я о нём ранее упоминал. Полезен всем кто готовит небольшие данные для публикации, к сожалению, не годится когда данные не совсем маленькие, например, от 500MB.
- Most violent or sexual offences went unsolved in crime hotspots in England and Wales last year [8] статья в The Guardian о том что раскрывается лишь 11% преступлений сексуального характера в Великобритании раскрывается. И даже важнее то что есть территории где раскрываемость сильно ниже чем по стране, отчасти из-за качества данных, а отчасти это отражает реальную ситуацию. Важно что в Великобритании принципиально возможен такой анализ поскольку полиция раскрывает данные до муниципального уровня на специальном сайте data.police.uk
Ссылки:
[1] https://www.linuxfoundation.org/blog/the-unique-challenges-of-open-data-projects-lessons-from-overture-maps-foundation
[2] https://www.data.gouv.fr/fr/posts/la-france-classee-premiere-europeenne-en-matiere-dopen-data-pour-la-4e-annee-consecutive/
[3] https://www.digital-science.com/state-of-open-data-report-2024/
[4] https://www.registradores.org/-/el-colegio-de-registradores-presenta-la-plataforma-open-data-que-ofrece-información-pública-para-su-consulta-de-forma-libre-y-gratuita
[5] https://geologia.pgi.gov.pl/mapy/
[6] https://qsvpro.dathere.com/
[7] https://opendataeditor.okfn.org/
[8] https://www.theguardian.com/uk-news/2025/jan/13/most-violent-or-sexual-offences-went-unsolved-in-uk-hotspots-last-year
#opendata #uk #poland #geodata #opensource
- The Unique Challenges of Open Data Projects: Lessons From Overture Maps Foundation [1] в блоге Linux Foundation об отличиях работы с открытыми данными и открытым кодом на примере Overture Maps. Написано так словно авторы переоценили свой опыт с открытым кодом применительно к открытым данным, какие-то тезисы кажутся очень очевидными для тех кто в теме давно, что не отменяет их актуальности, конечно.
- La France classée première européenne en matière d'open data pour la 4e année consécutive [2] текущее состояние открытых данных во Франции за 2024 год, на французском, но всё понятно и автопереводчики есть. Если кратко: а) Франция лидер в отчете Open Data Maturity. б) Приоритет на данных особой ценности. в) Приоритет на вовлечении сообщества.
- The State of Open Data 2024: Special Report [3] доклад от Digital Science про состояние открытых исследовательских данных (публикуемых на их платформе, конечно, и ряда других источников). Полезно для общего понимания трендов в этой области, с поправкой на то что они коммерческий провайдер исследовательской инфраструктуры.
- Datos Abiertos de los Registradores de España [4] свежезапущенный каталог открытых данных испанских регистраторов, по сути статистика по банкротствам, покупкам жилья и так далее. Много полезных индикаторов оформленных как открытые данные.
- Wspolna platforma kartografee geologicznej (WPKG) [5] недавно открытая картографическая платформа геологической службы Польши. Помимо большого числа слоёв ещё и публикуют 3D модель геологической структуры территории Польши которая выглядит весьма и весьма неплохо. Открытое API явным образом не обозначено, но внутри всё на базе ArcGIS сервера к которому можно подключиться онлайн без труда.
- qcsv pro [6] коммерческий продукт для обработки данных и публикации на порталах открытых данных на базе CKAN. Смотрю на него критическим взглядом. С одной стороны он не дотягивает до OpenRefine по функциональности обработки и очистки данных, с другой ограничения бесплатной версии в 1000 строк CSV это ну как бы его сильно обесценивает, а с третьей он жёстко ограничен экосистемой CKAN. Есть ощущение что экономика не должна сходится, но вот бизнес модель такую можно зафиксировать. Будет ли она успешной? Посмотрим.
- Open Data Editor [7] некоммерческий редактор открытых данных с открытым данным и возможностью с публикации данных в CKAN и Zenodo. По сути это открытый конкурент qsv pro, и я о нём ранее упоминал. Полезен всем кто готовит небольшие данные для публикации, к сожалению, не годится когда данные не совсем маленькие, например, от 500MB.
- Most violent or sexual offences went unsolved in crime hotspots in England and Wales last year [8] статья в The Guardian о том что раскрывается лишь 11% преступлений сексуального характера в Великобритании раскрывается. И даже важнее то что есть территории где раскрываемость сильно ниже чем по стране, отчасти из-за качества данных, а отчасти это отражает реальную ситуацию. Важно что в Великобритании принципиально возможен такой анализ поскольку полиция раскрывает данные до муниципального уровня на специальном сайте data.police.uk
Ссылки:
[1] https://www.linuxfoundation.org/blog/the-unique-challenges-of-open-data-projects-lessons-from-overture-maps-foundation
[2] https://www.data.gouv.fr/fr/posts/la-france-classee-premiere-europeenne-en-matiere-dopen-data-pour-la-4e-annee-consecutive/
[3] https://www.digital-science.com/state-of-open-data-report-2024/
[4] https://www.registradores.org/-/el-colegio-de-registradores-presenta-la-plataforma-open-data-que-ofrece-información-pública-para-su-consulta-de-forma-libre-y-gratuita
[5] https://geologia.pgi.gov.pl/mapy/
[6] https://qsvpro.dathere.com/
[7] https://opendataeditor.okfn.org/
[8] https://www.theguardian.com/uk-news/2025/jan/13/most-violent-or-sexual-offences-went-unsolved-in-uk-hotspots-last-year
#opendata #uk #poland #geodata #opensource
Forwarded from Ах, этот Минфин (Olya Parkhimovich)
Успеть за 60 минут: Портал открытых данных открыли на год позже и снова закрыли спустя час работы
Возобновление работы Портала открытых данных (data.gov.ru) было бы отличной новостью для возобновления постов в моем телеграм-канале, но, пока я готовила пост, Портал снова закрыли. Напомню, что исполнение контракта подрядчиком (дубликат юрлица которого Минэк несколько лет назад отправил в РНП) было просрочено на год. Но кое-что, все-таки, успела заметить:
- В поиске работают только некоторые фильтры, поиск по организациям-поставщикам данных не работает, фильтрация по уровням власти отсутствует - после многочисленных попыток мне не удалось отфильтровать данные Минфина России или найти данные по федеральному бюджету.
- Данные устаревшие. «Свежих данных» годичной-двухлетней давности практически нет, в основном мелькают данные 2019-2022 гг.
- Заметное количество наборов датированы 1970 годом, то есть на каком-то этапе импорт дал сбой, но разработчики это не отследили и не исправили.
- Выгрузка реестра данных не работает - выдает ошибку таймаута.
- Заявленный бот-помощник также не выдает никакой реакции даже на предлагаемые сайтом запросы.
- Контакты техподдержки отсутствуют: в качестве почты указан «левый» адрес [email protected], телефонов нет.
- Из ссылок на соцсети успела перейти только в телеграм-канал и комментарии к нему: хотела выйти на связь с разработчиками, но вместо этого узнала об Индонезийском онлайн-казино.
- Попробовала авторизоваться через Госуслуги - разрешение Портал ОД успешно получил и выдал новую ошибку. Залогиниться так и не удалось.
- Отдельное внимание заслуживает раздел Аналитика: по открытым данным собирают два параметра - количество наборов данных и количество лайков (лайки - это же самое главное для аналитика).
- Региональная статистика тоже в духе минималиста - количество регионов и попытка нарисовать график с количеством организаций-поставщиков данных в каждом регионе (спойлер: не получилось: влезли только 10 регионов с одинаковым количеством организаций).
Как и написано в заголовке, спустя очень короткое время (полчаса-час) Портал перестал открываться - пользователи теперь видят плашку о «этапе проведения аттестационных мероприятий в соответствии с Приказом ФСТЭК России». Но после появления этой плашки возникает ряд вопросов:
- Что делал Минэк весь прошлый год, если на февраль 2024 года был запланирован этап тестирования с целью определить дату запуска?
- Как Минэк принял Портал, если неработающих элементов в нем больше, чем работающих?
- Почему Портал, не прошедший аттестационные мероприятия, получает мои персональные данные из Госуслуг?
- Как, кем и в какие сроки проводятся аттестационные мероприятия, если в контракт на разработку Портала они не входили, а отдельного контракта на них нет (по крайней мере в открытом доступе)? Об этом аспекте подробно пишет автор канала «Координация профанации» (https://t.iss.one/CynExp/5845)
Так много вопросов и совсем нет ответов.
Возобновление работы Портала открытых данных (data.gov.ru) было бы отличной новостью для возобновления постов в моем телеграм-канале, но, пока я готовила пост, Портал снова закрыли. Напомню, что исполнение контракта подрядчиком (дубликат юрлица которого Минэк несколько лет назад отправил в РНП) было просрочено на год. Но кое-что, все-таки, успела заметить:
- В поиске работают только некоторые фильтры, поиск по организациям-поставщикам данных не работает, фильтрация по уровням власти отсутствует - после многочисленных попыток мне не удалось отфильтровать данные Минфина России или найти данные по федеральному бюджету.
- Данные устаревшие. «Свежих данных» годичной-двухлетней давности практически нет, в основном мелькают данные 2019-2022 гг.
- Заметное количество наборов датированы 1970 годом, то есть на каком-то этапе импорт дал сбой, но разработчики это не отследили и не исправили.
- Выгрузка реестра данных не работает - выдает ошибку таймаута.
- Заявленный бот-помощник также не выдает никакой реакции даже на предлагаемые сайтом запросы.
- Контакты техподдержки отсутствуют: в качестве почты указан «левый» адрес [email protected], телефонов нет.
- Из ссылок на соцсети успела перейти только в телеграм-канал и комментарии к нему: хотела выйти на связь с разработчиками, но вместо этого узнала об Индонезийском онлайн-казино.
- Попробовала авторизоваться через Госуслуги - разрешение Портал ОД успешно получил и выдал новую ошибку. Залогиниться так и не удалось.
- Отдельное внимание заслуживает раздел Аналитика: по открытым данным собирают два параметра - количество наборов данных и количество лайков (лайки - это же самое главное для аналитика).
- Региональная статистика тоже в духе минималиста - количество регионов и попытка нарисовать график с количеством организаций-поставщиков данных в каждом регионе (спойлер: не получилось: влезли только 10 регионов с одинаковым количеством организаций).
Как и написано в заголовке, спустя очень короткое время (полчаса-час) Портал перестал открываться - пользователи теперь видят плашку о «этапе проведения аттестационных мероприятий в соответствии с Приказом ФСТЭК России». Но после появления этой плашки возникает ряд вопросов:
- Что делал Минэк весь прошлый год, если на февраль 2024 года был запланирован этап тестирования с целью определить дату запуска?
- Как Минэк принял Портал, если неработающих элементов в нем больше, чем работающих?
- Почему Портал, не прошедший аттестационные мероприятия, получает мои персональные данные из Госуслуг?
- Как, кем и в какие сроки проводятся аттестационные мероприятия, если в контракт на разработку Портала они не входили, а отдельного контракта на них нет (по крайней мере в открытом доступе)? Об этом аспекте подробно пишет автор канала «Координация профанации» (https://t.iss.one/CynExp/5845)
Так много вопросов и совсем нет ответов.