⚡️ DuckDB разрушает мифы: 1 ТБ данных — за секунды, без Spark

Принято считать, что терабайты аналитики – это всегда Spark, кластеры и сложная инфраструктура. Но свежий бенчмарк показывает обратное: DuckDB спокойно агрегирует 1 ТБ данных на одном движке — и делает это менее чем за 30 секунд.

Запрос самый обычный: группировка по дате, count(*) и sum(value). Никаких синтетических трюков. Локально на MacBook M2 Pro — около 1,5 минуты. В облачном MotherDuck — в среднем ~17 секунд.

Финальный буст даёт сортировка данных при загрузке. Благодаря zonemap-индексам одна из итераций укладывается меньше чем в 10 секунд. Просто потому что данные лежат «правильно».

Полный разбор, бенчмарки и код — читайте целиком на Хабре.

🔥 Anthropic инвестируют $1.5 млн в Python — и делают ставку на безопасность open source

Anthropic объявили о двухлетнем партнёрстве с Python Software Foundation и инвестируют $1.5 млн в развитие Python-экосистемы. Ключевой фокус — безопасность цепочки поставок и защита PyPI.

Деньги пойдут на конкретные инженерные изменения:

– разработку проактивных инструментов анализа всех пакетов, загружаемых в Python Package Index, вместо текущей в основном реактивной модели
– создание датасета известного malware для анализа поведения и capability-based детекта
– улучшения, которые потенциально можно будет перенести и на другие open source репозитории, не только Python

@python_for_devs

В новой статье разбираем попытку превратить Python в формат распространения уровня «один бинарник»

Идея простая: вместо Docker-образов с интерпретатором и зависимостями компилировать обычные Python-функции в кроссплатформенные исполняемые файлы, которые запускаются вообще без Python.

Работает это следующим образом: Python-код разбирают в AST, строят промежуточное представление, затем "понижают" его до C++ и компилируют под нужную платформу — от серверов до мобилок и WebAssembly.

Интересная часть — оптимизация. Из одной Python-функции генерируют сразу много эквивалентных C++-программ с разными библиотеками, алгоритмами и ускорителями. Все варианты тестируются на реальном железе, собирается телеметрия, и дальше система эмпирически выбирает самый быстрый путь.

LLM используют утилитарно: для генерации и поддержки большого количества C++-операторов под разные библиотеки.

Для пользователя всё сводится к декоратору @compile и CLI.