JSONBench [1] свежий бенчмарк для аналитических баз данных работающих с JSON от команды ClickHouse. Ожидаемо в бенчмарке ClickHouse на первых местах ;), но надо отдать им должное, в блоге у них подробный методологический рассказ про это [2] и конкуренты могут прийти и возразить обоснованно, если, конечно, придут.
Сам бенчмарк основан на датасете размером в 482GB в несжатом виде событий из соцсети BlueSky. В сжатом с помощью zstd виде они занимают 124GB, а в ClickHouse 99GB и 622GB в PostgreSQL.
Споры тут могут быть, в основном, исходя из моделей использования и подходов. К примеру, у DuckDB есть тип данных JSON, но в целом с его помощью можно работать с JSON файлами как с таблицами и импортировать их не в JSON тип, а сразу развертывать в табличную форму.
Что я лично и сделал бы с этими данными BlueSky вначале преобразовав из в Parquet.
С другой стороны способность ClickHouse работать с JSON объектами явно растёт и с той точки измерений что они проводили - это хороший тест.
Ссылки:
[1] https://jsonbench.com/
[2] https://clickhouse.com/blog/json-bench-clickhouse-vs-mongodb-elasticsearch-duckdb-postgresql
#clickhouse #postgresql #mongodb #duckdb #benchmark #json #rdbms
Сам бенчмарк основан на датасете размером в 482GB в несжатом виде событий из соцсети BlueSky. В сжатом с помощью zstd виде они занимают 124GB, а в ClickHouse 99GB и 622GB в PostgreSQL.
Споры тут могут быть, в основном, исходя из моделей использования и подходов. К примеру, у DuckDB есть тип данных JSON, но в целом с его помощью можно работать с JSON файлами как с таблицами и импортировать их не в JSON тип, а сразу развертывать в табличную форму.
Что я лично и сделал бы с этими данными BlueSky вначале преобразовав из в Parquet.
С другой стороны способность ClickHouse работать с JSON объектами явно растёт и с той точки измерений что они проводили - это хороший тест.
Ссылки:
[1] https://jsonbench.com/
[2] https://clickhouse.com/blog/json-bench-clickhouse-vs-mongodb-elasticsearch-duckdb-postgresql
#clickhouse #postgresql #mongodb #duckdb #benchmark #json #rdbms
January 30
AI и политика
Dario Amodei, CEO стартапа Anthropic, создателей LLM моделей Claude, написал в блоге [1] призыв к ужесточению экспортного контроля США за чипами для обучения ИИ. Дословно это звучит как Export controls serve a vital purpose: keeping democratic nations at the forefront of AI development. У него под постом в твиттере развернулась большая полемика с теми кто против ограничений на развитие ИИ [2]. Большая часть комментариев звучит как при всём уважении к Вашей команде, но DeepSeek молодцы и развивать ИИ модели с открытым кодом важно.
Разработка ИИ стремительно политизируется вместе с демократизацией ИИ инструментов.
Ссылки:
[1] https://darioamodei.com/on-deepseek-and-export-controls
[2] https://x.com/DarioAmodei/status/1884636410839535967
#ai #opensource #deepseek #llm
Dario Amodei, CEO стартапа Anthropic, создателей LLM моделей Claude, написал в блоге [1] призыв к ужесточению экспортного контроля США за чипами для обучения ИИ. Дословно это звучит как Export controls serve a vital purpose: keeping democratic nations at the forefront of AI development. У него под постом в твиттере развернулась большая полемика с теми кто против ограничений на развитие ИИ [2]. Большая часть комментариев звучит как при всём уважении к Вашей команде, но DeepSeek молодцы и развивать ИИ модели с открытым кодом важно.
Разработка ИИ стремительно политизируется вместе с демократизацией ИИ инструментов.
Ссылки:
[1] https://darioamodei.com/on-deepseek-and-export-controls
[2] https://x.com/DarioAmodei/status/1884636410839535967
#ai #opensource #deepseek #llm
Darioamodei
Dario Amodei — On DeepSeek and Export Controls
January 31
Вспомнил что по итогам Privacy Day 2025 я ничего не написал о том о чём там говорил. Кто-то мог прослушать меня в записи, а я повторю мысль здесь.
Ключевое изменение в отношении социальных сетей в последние годы - это то что не надо рассчитывать на юридическую защиту в отношении глобальных игроков. GDPR работает только в Евросоюзе, защита граждан США в США, а все остальные, по факту, остаются один на один с big tech.
И государства могут вскоре перестать иметь серьёзное влияние на них поскольку можно пронаблюдать за быстро переприсягнувшем Цукерберге и изначально трампистом Илоном Маском и предполагать сценарий что если какая-то из стран начнёт вводить новые ограничения на соц сети, то я бы не исключал сценария вроде того что Трамп уже проделывал против стран сопротивлявшихся приёму нелегальных мигрантов - это моментальные запредельные санкции.
Поэтому единственные по настоящему работающие действия по приватности в соц сетях - это отказ от них, выбор менее популярных, более приватных вариантов.
#thoughts #privacy
Ключевое изменение в отношении социальных сетей в последние годы - это то что не надо рассчитывать на юридическую защиту в отношении глобальных игроков. GDPR работает только в Евросоюзе, защита граждан США в США, а все остальные, по факту, остаются один на один с big tech.
И государства могут вскоре перестать иметь серьёзное влияние на них поскольку можно пронаблюдать за быстро переприсягнувшем Цукерберге и изначально трампистом Илоном Маском и предполагать сценарий что если какая-то из стран начнёт вводить новые ограничения на соц сети, то я бы не исключал сценария вроде того что Трамп уже проделывал против стран сопротивлявшихся приёму нелегальных мигрантов - это моментальные запредельные санкции.
Поэтому единственные по настоящему работающие действия по приватности в соц сетях - это отказ от них, выбор менее популярных, более приватных вариантов.
#thoughts #privacy
January 31
Я совсем недавно несколько раз писал лонгриды в рассылке о том как работать со статистическими данными и как их публикуют:
- Статистика как дата продукт
- Хорошие и плохие практики публикации данных. Метаданные и форматы файлов
- Российская статистика: немашиночитаемая институциональная фрагментация
А также много постов у меня тут в канале по хештегу #statistics
Однако я понял что у меня практически нет компактного тезисного текста о том что происходит со статистикой в мире и как она меняется, хотя бы в части работы с потребителями.
1. Основные направления развития статистических продуктов это:
- создание дашбордов по аналогии с корпоративными дашбордами (Dashboard Deutschland)
- создание инструментов самостоятельного построения визуализаций пользователями (visualize.admin.ch)
- превращение портала статслужбы в портал данных (ons.gov.uk)
- предоставление данных для массовой выгрузки (ECB Data Portal)
- использование форматов данных из data science таких как parquet (OpenDOSM)
- продвижение и развитие SDMX форматов и API (BIS Data Portal)
- предоставление статистики в режиме API-first (SingStat TableBuilder и многие другие)
- развитие публикации высокочастотных показателей вплоть до суток (порталы статистики центральных банков, BIS Data Portal)
- развитие экспериментальной статистики (Eurostat, IStat, Statistics Iceland)
2. Большая часть статистических порталов в мире индивидуальны. Из известного тиражируемого ПО можно выделить только:
- PxWeb - продукт разработанный статслужбой Швеции, активно используемый всеми скандинавскими странами и рядом других стран.
- .Stat Suite - теперь с открытым кодом. Используется статслужбой Австралии, ОЭСР и рядом стран.
- Fusion Metadata Registry - изначально разработан командой Банка международных расчётов, сейчас отдан на коммерциализацию. Является ядром для большей части публичных порталов данных отдающих статистику с SDMX совместимым API. Например, SDMX Registry Евростата
3. Всё большее число статистических ведомств создают и публикуют дата стратегии. Эти стратегии охватывают такие вопросы как:
- принципы работы с данными
- приоритеты
- стандарты и форматы обмена и публикации данными
- политики работы с данными
- источники получения данных
Примеры:
- ONS Data Strategy - стратегия работы с данными статслужбы Великобритании
- ABS Data Strategy 2021-22 to 2025 - стратегия работы с данными статслужбы Австралии
- Statistics Canada Data Strategy - дата-стратегия статслужбы Канады
4. В некоторых странах статслужбы отвечают за национальные порталы открытых данных:
- Новая Зеландия - глава статслужбы занимает позицию Government Chief Data Steward (GCDS) и определяет принципы развития и дорожную карту нац портала данных data.govt.nz
- Малайзия - национальный портал открытых данных data.gov.my переделан в портал статистики и дашбордов на основе портала статпоказателей open.dosm.gov.my статистического офиса страны.
5. Все коммерческие поставщики данных временных рядов активно игнорируют международные стандарты вроде SDMX и фокусируются, в первую очередь, на предоставлении данных через API (Nasdaq Data Link).
6. Всё что касается экспериментальной статистики - это то что в коммерческом секторе называется альтернативными данными. Их поставщиков много, они фокусируются на предоставлении их в тех форматах которые наиболее удобны потребителям. Чаще всего это API, датасеты или базы данных в облачных сервисах.
#opendata #statistics #sdmx #data #dataengineering
- Статистика как дата продукт
- Хорошие и плохие практики публикации данных. Метаданные и форматы файлов
- Российская статистика: немашиночитаемая институциональная фрагментация
А также много постов у меня тут в канале по хештегу #statistics
Однако я понял что у меня практически нет компактного тезисного текста о том что происходит со статистикой в мире и как она меняется, хотя бы в части работы с потребителями.
1. Основные направления развития статистических продуктов это:
- создание дашбордов по аналогии с корпоративными дашбордами (Dashboard Deutschland)
- создание инструментов самостоятельного построения визуализаций пользователями (visualize.admin.ch)
- превращение портала статслужбы в портал данных (ons.gov.uk)
- предоставление данных для массовой выгрузки (ECB Data Portal)
- использование форматов данных из data science таких как parquet (OpenDOSM)
- продвижение и развитие SDMX форматов и API (BIS Data Portal)
- предоставление статистики в режиме API-first (SingStat TableBuilder и многие другие)
- развитие публикации высокочастотных показателей вплоть до суток (порталы статистики центральных банков, BIS Data Portal)
- развитие экспериментальной статистики (Eurostat, IStat, Statistics Iceland)
2. Большая часть статистических порталов в мире индивидуальны. Из известного тиражируемого ПО можно выделить только:
- PxWeb - продукт разработанный статслужбой Швеции, активно используемый всеми скандинавскими странами и рядом других стран.
- .Stat Suite - теперь с открытым кодом. Используется статслужбой Австралии, ОЭСР и рядом стран.
- Fusion Metadata Registry - изначально разработан командой Банка международных расчётов, сейчас отдан на коммерциализацию. Является ядром для большей части публичных порталов данных отдающих статистику с SDMX совместимым API. Например, SDMX Registry Евростата
3. Всё большее число статистических ведомств создают и публикуют дата стратегии. Эти стратегии охватывают такие вопросы как:
- принципы работы с данными
- приоритеты
- стандарты и форматы обмена и публикации данными
- политики работы с данными
- источники получения данных
Примеры:
- ONS Data Strategy - стратегия работы с данными статслужбы Великобритании
- ABS Data Strategy 2021-22 to 2025 - стратегия работы с данными статслужбы Австралии
- Statistics Canada Data Strategy - дата-стратегия статслужбы Канады
4. В некоторых странах статслужбы отвечают за национальные порталы открытых данных:
- Новая Зеландия - глава статслужбы занимает позицию Government Chief Data Steward (GCDS) и определяет принципы развития и дорожную карту нац портала данных data.govt.nz
- Малайзия - национальный портал открытых данных data.gov.my переделан в портал статистики и дашбордов на основе портала статпоказателей open.dosm.gov.my статистического офиса страны.
5. Все коммерческие поставщики данных временных рядов активно игнорируют международные стандарты вроде SDMX и фокусируются, в первую очередь, на предоставлении данных через API (Nasdaq Data Link).
6. Всё что касается экспериментальной статистики - это то что в коммерческом секторе называется альтернативными данными. Их поставщиков много, они фокусируются на предоставлении их в тех форматах которые наиболее удобны потребителям. Чаще всего это API, датасеты или базы данных в облачных сервисах.
#opendata #statistics #sdmx #data #dataengineering
February 1
404 пишет про то что данные с американского портала data.gov исчезают при новой администрации [1] количественно не очень много, но вероятность что будут исчезать данные по гендерным исследованиям или изменению климата весьма велика.
Jack Cushman из Гарвардского Университета начал проект по сохранению данных государственных данных и кода в архиве Harvard Law School Library Innovation Lab. Обещают вскоре опубликовать данные и метаданные собранного [2].
А я ещё год назад активистам в OKF говорил что архивация данных - это самое главное сейчас в тематике работы с данными и ещё неизвестно сколько общественных порталов открытых данных закроются из-за приостановки финансирования и закрытия USAID.
Ссылки:
[1] https://www.404media.co/archivists-work-to-identify-and-save-the-thousands-of-datasets-disappearing-from-data-gov/
[2] https://lil.law.harvard.edu/blog/2025/01/30/preserving-public-u-s-federal-data/
#opendata #datarescue #datasets #usa
Jack Cushman из Гарвардского Университета начал проект по сохранению данных государственных данных и кода в архиве Harvard Law School Library Innovation Lab. Обещают вскоре опубликовать данные и метаданные собранного [2].
А я ещё год назад активистам в OKF говорил что архивация данных - это самое главное сейчас в тематике работы с данными и ещё неизвестно сколько общественных порталов открытых данных закроются из-за приостановки финансирования и закрытия USAID.
Ссылки:
[1] https://www.404media.co/archivists-work-to-identify-and-save-the-thousands-of-datasets-disappearing-from-data-gov/
[2] https://lil.law.harvard.edu/blog/2025/01/30/preserving-public-u-s-federal-data/
#opendata #datarescue #datasets #usa
February 2
Собственно в продолжение сохранение открытых данных США. Открытый каталог данных USAID теперь закрыт [1], а сайт организации usaid.gov отключён.
У нас в Dateno сохранено немало [2] метаданных USAID, но, в основном, с других порталов открытых данных, а с порталом открытых данных USAID всегда были проблемы с его индексированием (многое правительственные сайты США за CDN и тяжело индексируются без ручного вмешательства).
А вообще повторяется история что и во многих странах, смена политического руководства приводит к исчезновению контента и данных.
В данном случае данные USAID не то чтобы очень ценные, финансы агентств публикуются на USASpending.gov и Grants.gov, но тем не менее тенденция на потерю данных есть.
Ссылки:
[1] https://data.usaid.gov
[2] https://dateno.io/search?query=usaid&refinementList[source.owner_type][0]=Central%20government&refinementList[source.countries.name][0]=United%20States
#opendata #usa #datarescue
У нас в Dateno сохранено немало [2] метаданных USAID, но, в основном, с других порталов открытых данных, а с порталом открытых данных USAID всегда были проблемы с его индексированием (многое правительственные сайты США за CDN и тяжело индексируются без ручного вмешательства).
А вообще повторяется история что и во многих странах, смена политического руководства приводит к исчезновению контента и данных.
В данном случае данные USAID не то чтобы очень ценные, финансы агентств публикуются на USASpending.gov и Grants.gov, но тем не менее тенденция на потерю данных есть.
Ссылки:
[1] https://data.usaid.gov
[2] https://dateno.io/search?query=usaid&refinementList[source.owner_type][0]=Central%20government&refinementList[source.countries.name][0]=United%20States
#opendata #usa #datarescue
February 2
Полезные ссылки про данные, технологии и не только:
- DocumentDB: Open-Source Announcement [1] похоже Microsoft выложили в открытый код [2] новый NoSQL продукт, прямой конкурент MongoDB. Внутри там FerretDB и PostgreSQL, бенчмарки пока не наблюдаются, что странно. Может быть в ClickBench/JSONBench они появятся через какое-то время. Пока главное достоинство лицензия MIT.
- ai_query function [3] в Databricks есть функция ai_query которую можно использовать прямо в SQL запросе и которая позволяет обрабатывать данные с помощью одной из LLM специальным запросом. Осталось подождать когда такая функция или аналог появятся во всех современных RDBMS
- Human-Computer Input via a Wrist-Based sEMG Wearable [4] исследование Metaпро уличную магию про использование жестов для управления устройствами. Помимо того что это может поменять многое в обыденной жизни тут ещё и много открытых наборов данных Я думал такие устройства будут делать в виде тонких перчаток, а оказывается что можно в виде браслета.
- pg_mooncake. Postgres extension for 1000x faster analytics [5] расширение для колоночных таблиц для PostgreSQL для ускорения аналитики. Внутри, ожидаемо, DuckDB
Ссылки:
[1] https://opensource.microsoft.com/blog/2025/01/23/documentdb-open-source-announcement/
[2] https://github.com/microsoft/documentdb
[3] https://docs.databricks.com/en/sql/language-manual/functions/ai_query.html#examples
[4] https://www.meta.com/blog/surface-emg-wrist-white-paper-reality-labs/
[5] https://github.com/Mooncake-Labs/pg_mooncake
#opensource #rdbms #postgresql #duckdb #datatools
- DocumentDB: Open-Source Announcement [1] похоже Microsoft выложили в открытый код [2] новый NoSQL продукт, прямой конкурент MongoDB. Внутри там FerretDB и PostgreSQL, бенчмарки пока не наблюдаются, что странно. Может быть в ClickBench/JSONBench они появятся через какое-то время. Пока главное достоинство лицензия MIT.
- ai_query function [3] в Databricks есть функция ai_query которую можно использовать прямо в SQL запросе и которая позволяет обрабатывать данные с помощью одной из LLM специальным запросом. Осталось подождать когда такая функция или аналог появятся во всех современных RDBMS
- Human-Computer Input via a Wrist-Based sEMG Wearable [4] исследование Meta
- pg_mooncake. Postgres extension for 1000x faster analytics [5] расширение для колоночных таблиц для PostgreSQL для ускорения аналитики. Внутри, ожидаемо, DuckDB
Ссылки:
[1] https://opensource.microsoft.com/blog/2025/01/23/documentdb-open-source-announcement/
[2] https://github.com/microsoft/documentdb
[3] https://docs.databricks.com/en/sql/language-manual/functions/ai_query.html#examples
[4] https://www.meta.com/blog/surface-emg-wrist-white-paper-reality-labs/
[5] https://github.com/Mooncake-Labs/pg_mooncake
#opensource #rdbms #postgresql #duckdb #datatools
Microsoft Open Source Blog
DocumentDB: Open-Source Announcement - Microsoft Open Source Blog
Learn more on how Microsoft Open Source can help with you with your data stores with the announcement of DocumentDB.
February 3
Оказывается Foursquare анонсировали недавно [1] Foursquare Geospatial Intelligence Platform, нигде кроме анонса, даже на их сайте в такой формулировке не находится, но из анонса видно что они позиционируют три продукта как составные части это платформы.
Это такие продукты как:
- FSQ Graph - база всех точек POI собранных и очищенных в виде данных привязанных к системе геокодирования H3
- FSQ Database - высокопроизводительная база с использованием GPU для SQL аналитики
- FSQ Studio - интерактивный инструмент визуализации данных, в нём же они публикуют некий каталог геоданных (доступен только после авторизации)
И похоже что эти компоненты будут объединены в некий унифицированный продукт.
А ранее команда Foursquare выкладывала огромный набор данных точек интереса по всему миру [2].
Интересно будут ли они расширять доступность их компонентов как открытого кода и будут ли публиковать ещё открытые датасеты или ограничатся объединением текущих продуктов. В любом случае, Foursquare интересный источник, и геоданных, и технологий их визуализации.
Ссылки:
[1] https://location.foursquare.com/resources/blog/products/introducing-the-foursquare-geospatial-intelligence-platform/
[2] https://t.iss.one/begtin/6202
#geodata #dataanalytics #foursquare #opendata
Это такие продукты как:
- FSQ Graph - база всех точек POI собранных и очищенных в виде данных привязанных к системе геокодирования H3
- FSQ Database - высокопроизводительная база с использованием GPU для SQL аналитики
- FSQ Studio - интерактивный инструмент визуализации данных, в нём же они публикуют некий каталог геоданных (доступен только после авторизации)
И похоже что эти компоненты будут объединены в некий унифицированный продукт.
А ранее команда Foursquare выкладывала огромный набор данных точек интереса по всему миру [2].
Интересно будут ли они расширять доступность их компонентов как открытого кода и будут ли публиковать ещё открытые датасеты или ограничатся объединением текущих продуктов. В любом случае, Foursquare интересный источник, и геоданных, и технологий их визуализации.
Ссылки:
[1] https://location.foursquare.com/resources/blog/products/introducing-the-foursquare-geospatial-intelligence-platform/
[2] https://t.iss.one/begtin/6202
#geodata #dataanalytics #foursquare #opendata
February 4
В последнее время всё чаще слышу про prompt engineering как отдельную профессию. Кто-то даже говорит что ей несколько лет. Даже вакансии такие регулярно появляются, не знаю как в России, а в мире точно есть.
У меня вопрос - а это реально отдельная профессия или чисто хайп? В моей картине мира работа с промптами ИИ - это дополнение других профессий и самостоятельной дисциплиной и профессией не является.
Предлагаю обсудить в чате. Следующим постом будет опрос на ту же тему
#thoughts
У меня вопрос - а это реально отдельная профессия или чисто хайп? В моей картине мира работа с промптами ИИ - это дополнение других профессий и самостоятельной дисциплиной и профессией не является.
Предлагаю обсудить в чате. Следующим постом будет опрос на ту же тему
#thoughts
Telegram
Чат к каналу @begtin
Ivan Begtin's chat about data, open data, open gov, forensics and privacy
February 4
Prompt engineer - это ... (выбрать можно один ответ)
Anonymous Poll
5%
Важная новая профессия
50%
Дополнительные навыки для имеющихся профессий и не более того
9%
Вообще не профессия
15%
Хайп и развод продавцов бессмысленных онлайн курсов наживающихся на наивных
5%
Те кого увольнять будут первыми из-за бесполезности
16%
Просто хочу посмотреть ответы
February 4
В рубрике интересных инструментов работы с данными Mathesar [1] ещё одна альтернатива Airtable, с открытым кодом под GPL-3.0 и похожий во многом на Teable о котором я ранее писал.
Если вкратце то это UI поверх таблиц в PostgreSQL. Выглядит как удобная штука в жанре онлайн MS Access.
Альтернативы Airtable - это хорошая новость, со многими данными надо работать руками и не всё доверишь облакам.
Ссылки:
[1] https://mathesar.org
#opensource #datatools
Если вкратце то это UI поверх таблиц в PostgreSQL. Выглядит как удобная штука в жанре онлайн MS Access.
Альтернативы Airtable - это хорошая новость, со многими данными надо работать руками и не всё доверишь облакам.
Ссылки:
[1] https://mathesar.org
#opensource #datatools
February 5
Вышла новая версия Duckdb 1.2.0 [1] что важно - это существенная оптимизация скорости чтения данных. Пишут что обновили парсер для CSV [2] ускорив его до 15% и общие ускорение на 13% по тестам TPC-H SF100.
Из другого важного - CSV парсер теперь поддерживает кодировки UTF-16 и Latin-1. Это хорошо, но пока недостаточно. Один из актуальных недостатков DuckDB в том что до сих пор он поддерживал только CSV файлы в кодировке UTF-8, а из всех остальных кодировок данные надо было преобразовывать. Почему так лично я до сих пор не знаю, подозреваю что дело в том что команда DuckDB фокусируется на повышении производительности.
Там есть и другие изменения, но, в целом, менее значимые. Основные сценарии использования DuckDB связаны с парсингом CSV и работой с другими дата-файлами и с общей производительностью.
Ссылки:
[1] https://duckdb.org/2025/02/05/announcing-duckdb-120
[2] https://github.com/duckdb/duckdb/pull/14260
#opensource #duckdb #datatools #rdbms
Из другого важного - CSV парсер теперь поддерживает кодировки UTF-16 и Latin-1. Это хорошо, но пока недостаточно. Один из актуальных недостатков DuckDB в том что до сих пор он поддерживал только CSV файлы в кодировке UTF-8, а из всех остальных кодировок данные надо было преобразовывать. Почему так лично я до сих пор не знаю, подозреваю что дело в том что команда DuckDB фокусируется на повышении производительности.
Там есть и другие изменения, но, в целом, менее значимые. Основные сценарии использования DuckDB связаны с парсингом CSV и работой с другими дата-файлами и с общей производительностью.
Ссылки:
[1] https://duckdb.org/2025/02/05/announcing-duckdb-120
[2] https://github.com/duckdb/duckdb/pull/14260
#opensource #duckdb #datatools #rdbms
DuckDB
Announcing DuckDB 1.2.0
The DuckDB team is happy to announce that today we're releasing DuckDB version 1.2.0, codenamed “Histrionicus”.
February 6
Снимаю на время шляпу дата инженера и одеваю шляпу специалиста по анализу госрасходов.
Я почти 20 лет анализом госзакупок занимался. Участвовал в создании первой версии портала госзакупок в РФ за 2006-2009 годы, потом создавал общественный портал госзакупок clearpspending.ru (сейчас его развивает Инфокультура) и создавал портал Госрасходы в Счетной палате РФ (сейчас портал закрыт) и, кроме всего прочего, вот уже много лет анализировал то как информация о бюджетах, контрактах, госрасходах публиковалась в мире. В последнее время я уделял этой теме сильно меньше внимания, потому что с данными работать интереснее, но ничего не забыл
Итак, по поводу последних событий вокруг USAID и особенностей происходящего. Важно знать о том как USAID работало все эти годы и то как осуществлялись расходы. Расходы ведомства публиковались и доступны на сайтах Grants.gov, SAM.gov и USASpending.gov, но в США особенность публикации данных о расходах в том что не все расходы публикуются с указанием исполнителя, а также то что многие исполнители по госконтрактам и грантам являются зонтичными получателями средств, далее раздавая их меньшими порциями конечным получателям. Иногда это может быть цепочка в несколько организаций.
Кроме того есть множество контрактов получателями которых значатся MISCELLANEOUS FOREIGN AWARDEES. Например, контракты ASST_NON_AIDDFDA000800304_7200, ASST_NON_AID306A000300504_7200 и так далее. Таких контрактов более 10 тысяч и таких грантов чуть менее 2 тысяч. Всего на общую сумму в 29 миллиардов долларов.
Собственно особенность системы раскрытия информации о госзакупках в США в выборочной закрытости. Информация о контракте удаляется не полностью, а убирается только наименование получателя, всё остальное публикуется.
При этом, конечно же, информация о конечных получателях средств внутри USAID должна собираться. Точно в случае зонтичных контрактов со скрытыми получателями, так и в случае контрактов через крупных подрядчиков посредников.
Наиболее потенциально пугающий сценарий - это если администрация Трампа вместе с трансформацией/ликвидацией USAID рассекретит эти сведения. Пострадают от этого очень многие, а администрация Трампа наберёт дополнительных плюшек со словами "Мы вам говорили что они радикалы лунатики, вот, смотрите, всё так и есть". Для многих не самых демократических стран это, неизбежно, станет мощнейшим толчком для пропаганды.
Но про политику я здесь писать ничего не хочу, уверен что есть много уважаемых и достойных людей/команд как получавших средств от USAID так и категорически от них отказывавшихся. Добавлю лишь ещё один источник сведений об их активности - это база IATI Registry, по сути переформатированные данные из USASpending.gov.
#opendata #spending #contracting #usaid
Я почти 20 лет анализом госзакупок занимался. Участвовал в создании первой версии портала госзакупок в РФ за 2006-2009 годы, потом создавал общественный портал госзакупок clearpspending.ru (сейчас его развивает Инфокультура) и создавал портал Госрасходы в Счетной палате РФ (сейчас портал закрыт) и, кроме всего прочего, вот уже много лет анализировал то как информация о бюджетах, контрактах, госрасходах публиковалась в мире. В последнее время я уделял этой теме сильно меньше внимания, потому что с данными работать интереснее, но ничего не забыл
Итак, по поводу последних событий вокруг USAID и особенностей происходящего. Важно знать о том как USAID работало все эти годы и то как осуществлялись расходы. Расходы ведомства публиковались и доступны на сайтах Grants.gov, SAM.gov и USASpending.gov, но в США особенность публикации данных о расходах в том что не все расходы публикуются с указанием исполнителя, а также то что многие исполнители по госконтрактам и грантам являются зонтичными получателями средств, далее раздавая их меньшими порциями конечным получателям. Иногда это может быть цепочка в несколько организаций.
Кроме того есть множество контрактов получателями которых значатся MISCELLANEOUS FOREIGN AWARDEES. Например, контракты ASST_NON_AIDDFDA000800304_7200, ASST_NON_AID306A000300504_7200 и так далее. Таких контрактов более 10 тысяч и таких грантов чуть менее 2 тысяч. Всего на общую сумму в 29 миллиардов долларов.
Собственно особенность системы раскрытия информации о госзакупках в США в выборочной закрытости. Информация о контракте удаляется не полностью, а убирается только наименование получателя, всё остальное публикуется.
При этом, конечно же, информация о конечных получателях средств внутри USAID должна собираться. Точно в случае зонтичных контрактов со скрытыми получателями, так и в случае контрактов через крупных подрядчиков посредников.
Наиболее потенциально пугающий сценарий - это если администрация Трампа вместе с трансформацией/ликвидацией USAID рассекретит эти сведения. Пострадают от этого очень многие, а администрация Трампа наберёт дополнительных плюшек со словами "Мы вам говорили что они радикалы лунатики, вот, смотрите, всё так и есть". Для многих не самых демократических стран это, неизбежно, станет мощнейшим толчком для пропаганды.
Но про политику я здесь писать ничего не хочу, уверен что есть много уважаемых и достойных людей/команд как получавших средств от USAID так и категорически от них отказывавшихся. Добавлю лишь ещё один источник сведений об их активности - это база IATI Registry, по сути переформатированные данные из USASpending.gov.
#opendata #spending #contracting #usaid
February 6
Возвращаю на голову шляпу дата инженера и продолжаю про разные инструменты.
Одна из рабочих идей у меня сейчас - это инструмент автоматического документирования датасетов/баз данных с приоритетом на "дикие данные" когда файл с данными есть, а документации на него нет. Очень частая ситуация с порталами открытых данных.
Причём потребность в таком инструменте уже очень давно есть, а вот наглядно я видел только облачный сервис CastorDoc который в этом продвинулся и только некоторые дата каталоги. А я сам экспериментировал и создал утилиту metacrafter для идентификации семантических типов данных. Но потребность в автодокументировании шире. Это, как минимум:
1. Автоматизация описания полей набора данных, желательно на нескольких языках: английский, испанский, русский, армянский и тд.
2. Написание описания набора данных так чтобы по датасету или его части можно было бы рассказать о чём он.
3. Описание структуры датасета не просто перечислением полей, а указание типа, описания полей, числа уникальных записей и тд.
4. Автоидентификация и документирование справочников. Почти всегда эти справочники есть и почти всегда их необходимо идентифицировать и описывать.
5. Автоматическая генерация типовых запросов к данным по аналогии с автогенерацией кода для доступа к API, нужны автосгенерированные запросы для доступа к данным.
Это всё самое очевидное, чуть более неочевидное это генерация документации по шаблонам, на разных языках и многое другое.
Самое простое и быстрое решение которое я вижу - это связка DuckDB + LLM модель, простые эксперименты подтверждают что это возможно и несложно. Но если Вы знаете хорошие/эффективные/удобные инструменты документирования датасетов - поделитесь, интересно их посмотреть в работе. Особенно те что с открытым кодом.
#opendata #datadocumentation #opensource #datatools #ideas
Одна из рабочих идей у меня сейчас - это инструмент автоматического документирования датасетов/баз данных с приоритетом на "дикие данные" когда файл с данными есть, а документации на него нет. Очень частая ситуация с порталами открытых данных.
Причём потребность в таком инструменте уже очень давно есть, а вот наглядно я видел только облачный сервис CastorDoc который в этом продвинулся и только некоторые дата каталоги. А я сам экспериментировал и создал утилиту metacrafter для идентификации семантических типов данных. Но потребность в автодокументировании шире. Это, как минимум:
1. Автоматизация описания полей набора данных, желательно на нескольких языках: английский, испанский, русский, армянский и тд.
2. Написание описания набора данных так чтобы по датасету или его части можно было бы рассказать о чём он.
3. Описание структуры датасета не просто перечислением полей, а указание типа, описания полей, числа уникальных записей и тд.
4. Автоидентификация и документирование справочников. Почти всегда эти справочники есть и почти всегда их необходимо идентифицировать и описывать.
5. Автоматическая генерация типовых запросов к данным по аналогии с автогенерацией кода для доступа к API, нужны автосгенерированные запросы для доступа к данным.
Это всё самое очевидное, чуть более неочевидное это генерация документации по шаблонам, на разных языках и многое другое.
Самое простое и быстрое решение которое я вижу - это связка DuckDB + LLM модель, простые эксперименты подтверждают что это возможно и несложно. Но если Вы знаете хорошие/эффективные/удобные инструменты документирования датасетов - поделитесь, интересно их посмотреть в работе. Особенно те что с открытым кодом.
#opendata #datadocumentation #opensource #datatools #ideas
February 6
ChatGPT теперь даёт возможность поиска и интерактива без авторизации [1] вот что конкуренция творит, а всего-то китайцы запустили Deepseek😜
Ссылки:
[1] https://chatgpt.com/?hints=search
#llm #ai #chatgpt
Ссылки:
[1] https://chatgpt.com/?hints=search
#llm #ai #chatgpt
February 6
Forwarded from Демография от Ракши/Demographic news and thoughts
https://dhsprogram.com/
https://dhsprogram.com/data/available-datasets.cfm
https://www.idhsdata.org/idhs/
https://www.statcompiler.com/en/
https://dhsprogram.com/Countries/index.cfm?show=map#activeType=_all&printStyle=false&mLon=12.8&mLat=11.7&mLev=2&title=Where%20We%20Work&desc=
https://dhsprogram.com/search/
https://dhsprogram.com/Research/Featured-Studies.cfm
Самая лучшая в мире база данных демографических обследований по развивающимся странам может кануть в небытие уже завтра или на днях.
Если это случится, то "спасибо" Трампу, будь он неладен.
Выражение "СЛОН в посудной лавке" играет новыми красками, преимущественно чёрными.
Скачивайте всё, что можно.
Эти данные используются в т. ч. ООН для демографического прогнозирования.
По многим странам других данных нет, или они низкого качества.
https://dhsprogram.com/data/available-datasets.cfm
https://www.idhsdata.org/idhs/
https://www.statcompiler.com/en/
https://dhsprogram.com/Countries/index.cfm?show=map#activeType=_all&printStyle=false&mLon=12.8&mLat=11.7&mLev=2&title=Where%20We%20Work&desc=
https://dhsprogram.com/search/
https://dhsprogram.com/Research/Featured-Studies.cfm
Самая лучшая в мире база данных демографических обследований по развивающимся странам может кануть в небытие уже завтра или на днях.
Если это случится, то "спасибо" Трампу, будь он неладен.
Выражение "СЛОН в посудной лавке" играет новыми красками, преимущественно чёрными.
Скачивайте всё, что можно.
Эти данные используются в т. ч. ООН для демографического прогнозирования.
По многим странам других данных нет, или они низкого качества.
Dhsprogram
The DHS Program - Quality information to plan, monitor and improve population, health, and nutrition programs
The DHS Program assists countries worldwide in the collection and use of data to monitor and evaluate population, health, and nutrition programs.
February 7
Тренды, тренды и снова тренды. Я про какие-то из них писал в конце декабря и начале января, а какие-то пропустил, много разговоров которые слышу прямо или косвенно:
- Common Digital Infrastructure. Одна из актуальных тем для общественных, исследовательских, некоммерческих и культурных проектов в том что все они зависят от инфраструктуры Big Tech'ов, что немало многих напрягает. В мире сейчас нет проектов по современной инфраструктуре для хранения того что называется digital common goods. Если, к примеру, Вы хотите сделать большой и интересный набор данных или бесплатный открытый инструмент, то надо для этого, или покупать инфраструктуру в одном из очень крупных облаков, или клянчить инфраструктурные ресурсы в рамках программ Big Tech (есть, как минимум, у Amazon) или дороже делать своими силами.
- Демократизация аналитики на данных большого объёма. Новые/старые инструменты Clickhouse, DuckDB, Polars и data lakes разного типа и другие позволяют снизить объёмы хранимых данных, значительно упростить работу с данными большого объёма для тех кто раньше с ними работать не мог. Это такая маленькая-большая революция в работе с данными которая будет всё более превращаться в мэйнстрим по мере появления интерактивных инструментов. Это относится и к языковым моделям которые всё более успешно запускаются на устройствах весьма недорогих и компактных. Я об этом пишу регулярно тут.
#trends #data
- Common Digital Infrastructure. Одна из актуальных тем для общественных, исследовательских, некоммерческих и культурных проектов в том что все они зависят от инфраструктуры Big Tech'ов, что немало многих напрягает. В мире сейчас нет проектов по современной инфраструктуре для хранения того что называется digital common goods. Если, к примеру, Вы хотите сделать большой и интересный набор данных или бесплатный открытый инструмент, то надо для этого, или покупать инфраструктуру в одном из очень крупных облаков, или клянчить инфраструктурные ресурсы в рамках программ Big Tech (есть, как минимум, у Amazon) или дороже делать своими силами.
- Демократизация аналитики на данных большого объёма. Новые/старые инструменты Clickhouse, DuckDB, Polars и data lakes разного типа и другие позволяют снизить объёмы хранимых данных, значительно упростить работу с данными большого объёма для тех кто раньше с ними работать не мог. Это такая маленькая-большая революция в работе с данными которая будет всё более превращаться в мэйнстрим по мере появления интерактивных инструментов. Это относится и к языковым моделям которые всё более успешно запускаются на устройствах весьма недорогих и компактных. Я об этом пишу регулярно тут.
#trends #data
February 7
В рубрике интересных наборов данных много датасетов связанных с переходом власти в США, в первую очередь созданных активистами спасающими данные скрываемые/удаляемые администрацией Трампа.
End of term archive [1] совместный проект International Internet Preservation Consortium (IIPC), National Digital Infrastructure and Preservation Program (NDIIPP), Университетов Стенфорда и Джорджа Вашингтона, по архивации всех данных и цифровых материалов при смене президентов в США. Включает коллекции за 2008, 2012, 2016 и 2020 годы. Общий объём датасетов порядка 450TB.
Работа идёт в форме открытого кода [2] и открытых датасетов [3] и сейчас продолжается архивация ресурсов связанных с прошлой администрацией Байдена [4]. Копия данных хранится в Интернет Архиве [5] и, на сегодняшний день, составляет более 582 TB
Другой проект ForeignAssistance dot gov emergency backup [7] архив государственного сайта ForeignAssistance.gov где USAID раскрывали аналитику международной помощи. Он, также, был закрыт во время закрытия USAID. Всё что удалось сохранить автор проекта превратил в наборы данных CSV
Data.gov archive [8] проект по архивации данных из портала Data.gov от Harvard Law School Library и все данные они выложили в открытый каталог данных большого объёма Source Cooperative [9]. Лично я не ожидал что они выложат его именно туда, в Source Cooperative по большей части геоданные, но зато и хранение заточено под облачное хранение в амазоне данных большого объёма. Всего 16TB
Проект Environment Data & Governance Initiative продолжил работу после первого срока Трампа и с января месяца они постоянно сохраняют климатические данные и ресурсы. Подобнее в их блоге [10]
—
А также существует значительное число инициатив меньшего масштаба.
Сохранение данных, цифровых объектов и знаний становится всё более значимой задачей. Кто-то выделяет на него личное время, кто-то ресурсы и сотрудников (проект EOT Archive), кто-то быстро находит финансирование (проект архива Data.gov был профинансирован Фондом Братьев Рокфеллеров).
Ссылки:
[1] https://eotarchive.org
[2] https://github.com/end-of-term
[3] https://eotarchive.org/data/
[4] https://github.com/end-of-term/eot2024
[5] https://archive.org/details/EndofTermWebCrawls
[6] https://archive.org/details/EndOfTerm2024WebCrawls
[7] https://foreignassistance.andrewheiss.com/
[8] https://lil.law.harvard.edu/blog/2025/02/06/announcing-data-gov-archive/
[9] https://source.coop/repositories/harvard-lil/gov-data/description
[10] https://envirodatagov.org/blog/
#digitalpreservation #webarchives #trump #usa
End of term archive [1] совместный проект International Internet Preservation Consortium (IIPC), National Digital Infrastructure and Preservation Program (NDIIPP), Университетов Стенфорда и Джорджа Вашингтона, по архивации всех данных и цифровых материалов при смене президентов в США. Включает коллекции за 2008, 2012, 2016 и 2020 годы. Общий объём датасетов порядка 450TB.
Работа идёт в форме открытого кода [2] и открытых датасетов [3] и сейчас продолжается архивация ресурсов связанных с прошлой администрацией Байдена [4]. Копия данных хранится в Интернет Архиве [5] и, на сегодняшний день, составляет более 582 TB
Другой проект ForeignAssistance dot gov emergency backup [7] архив государственного сайта ForeignAssistance.gov где USAID раскрывали аналитику международной помощи. Он, также, был закрыт во время закрытия USAID. Всё что удалось сохранить автор проекта превратил в наборы данных CSV
Data.gov archive [8] проект по архивации данных из портала Data.gov от Harvard Law School Library и все данные они выложили в открытый каталог данных большого объёма Source Cooperative [9]. Лично я не ожидал что они выложат его именно туда, в Source Cooperative по большей части геоданные, но зато и хранение заточено под облачное хранение в амазоне данных большого объёма. Всего 16TB
Проект Environment Data & Governance Initiative продолжил работу после первого срока Трампа и с января месяца они постоянно сохраняют климатические данные и ресурсы. Подобнее в их блоге [10]
—
А также существует значительное число инициатив меньшего масштаба.
Сохранение данных, цифровых объектов и знаний становится всё более значимой задачей. Кто-то выделяет на него личное время, кто-то ресурсы и сотрудников (проект EOT Archive), кто-то быстро находит финансирование (проект архива Data.gov был профинансирован Фондом Братьев Рокфеллеров).
Ссылки:
[1] https://eotarchive.org
[2] https://github.com/end-of-term
[3] https://eotarchive.org/data/
[4] https://github.com/end-of-term/eot2024
[5] https://archive.org/details/EndofTermWebCrawls
[6] https://archive.org/details/EndOfTerm2024WebCrawls
[7] https://foreignassistance.andrewheiss.com/
[8] https://lil.law.harvard.edu/blog/2025/02/06/announcing-data-gov-archive/
[9] https://source.coop/repositories/harvard-lil/gov-data/description
[10] https://envirodatagov.org/blog/
#digitalpreservation #webarchives #trump #usa
February 8