💾 Зачем нужен Delta Lake, если есть Parquet

Обычный Parquet хранит только одно состояние таблицы.
Если вы сохранили отфильтрованный DataFrame, то старые данные исчезли навсегда.
❌ Отката (rollback) нет → потеряли 10 000 строк, осталось только 3 500.

⚡ Delta Lake работает иначе:
- каждый раз создаётся новая версия данных
- можно вернуться к любой версии в прошлом
- данные всегда под контролем и без потерь

📌 Пример:
- Parquet → фильтр → оригинал стёрт
- Delta Lake → версия 0 (10 000 строк) + версия 1 (3 500 строк) → всегда можно вернуться к версии 0

✅ Итог: с Delta Lake данные становятся версионируемыми и надёжными.



#datalake #parquet #bigdata #delta

🚀 NVIDIA представила Rubin CPX — новый класс GPU для inference с огромным контекстом

🔑 Что интересно
- Rubin CPX — специализированный GPU для обработки контекста размером до миллиона токенов (код, видео, длинные последовательности).
- Интеграция в платформу Vera Rubin NVL144 CPX:
- До 8 экзафлопс вычислений ИИ
- 100 ТБ быстрой памяти
- 1,7 ПБ/с пропускной способности
- Превосходит GB300 NVL72 по производительности на 7,5×.
- Характеристики:
- 30 PFLOPS вычислений в NVFP4
- 128 ГБ GDDR7 памяти
- 3× ускоренные attention-механизмы для длинного контекста
- Поддержка всего AI-стека NVIDIA: Dynamo, Nemotron, CUDA-X, AI Enterprise.
- Выход ожидается в конце 2026 года.

Rubin CPX задаёт новый стандарт для аппаратной архитектуры в AI.

Это фундамент для моделей, которые смогут полноценно работать с огромными контекстами, не теряя деталей и качества.

https://nvidianews.nvidia.com/news/nvidia-unveils-rubin-cpx-a-new-class-of-gpu-designed-for-massive-context-inference

Ты: «Эх, вот бы кто-то научил анализировать данные, чтобы у меня было больше шансов поступить в вуз и начать карьеру…»
Яндекс Лицей: «Ок»

Запускаем новый набор для учащихся школ и колледжей на инстивный, трёхмесячный курс по анализу данных. Научим работать с Python не в теории, а на практике: верно анализировать, точно делать выводы и красиво показывать результаты.

Сделали такой онлайн-курс, чтобы мог пригодиться и в обучении, и в карьере. Поэтому:

1. Сделали упор на практику и только нужную теорию
2. Только те задачи, которые действительно решают в компаниях
3. Ввели командную разработку

Ну и финальное: после обучения получите именной сертификат. Он может помочь получить дополнительные баллы при поступлении в некоторых вузах.

Обучение в Яндекс Лицее бесплатно, но есть отбор. Он открыт до 23 сентября. Вся программа, подробности и регистрация на новый поток по ссылке.

📖 Новая работа ByteDance + Harvard: *Mycroft: Tracing Dependencies in Collective Communication Towards Reliable LLM Training*

Mycroft - система, которая помогает понять, почему обучение LLM на кластере GPU тормозит или падает.

🚧 Проблема
При распределённом обучении сотни GPU постоянно обмениваются данными через библиотеку NCCL. Она работает как «чёрный ящик»: при сбое видно только таймауты или падение скорости, но непонятно, где именно сбой.

🛠 Решение — Mycroft
- «Подглядывает» внутрь процесса обмена данными
- Каждые 100 мс пишет лёгкие статусы: сколько данных подготовлено, отправлено и завершено
- Если прогресс застопорился → сразу сигнал
- Отслеживает зависимости между GPU и определяет: проблема в конкретной карте, сетевой карте или шине

⚡ Результаты
- В тестах на 32 GPU и в проде у ByteDance
- Находит сбой за ~**15 секунд**
- Указывает точный компонент за <**20 секунд**
- Нагрузка на обучение почти нулевая

🔗 https://arxiv.org/abs/2509.03018

#AI #LLM #GPU #DistributedTraining #ByteDance #Harvard

🤖 Прорыв в разработке наноботов

Учёные из Penn State сделали важный шаг к созданию настоящих наноботов.

🔬 С помощью нового микро-флюидного устройства они создали крошечные частицы, которые могут обмениваться сигналами и действовать вместе - как муравьи, оставляющие следы для других.
- Одна группа частиц двигалась по химическому градиенту и оставляла «след».
- Другая группа улавливала этот след и шла за ним.

👉 Это выглядит просто, но именно так закладывается основа программируемых роёв наноботов.

💡 Возможные применения:
- наночастицы находят опухоль и зовут другие с лекарством,
- мини-системы доставляют груз в нужную клетку,
- наноботы очищают организм от токсинов или восстанавливают повреждённые ткани.

Раньше учёные могли наблюдать за таким процессом всего несколько секунд. Теперь, с новым инструментом Penn State, поведение можно изучать минутами, что позволяет проводить более сложные эксперименты.

🌱 Вдохновение пришло из природы - у пчёл и муравьёв есть распределение ролей и совместная работа. Если частицы смогут делать то же самое, это приблизит нас к самоорганизующимся автономным наносистемам, которые могут изменить медицину и материалы.

Это пока ранняя стадия, но именно такие шаги строят фундамент для будущих роёв наноботов.

https://www.psu.edu/news/eberly-college-science/story/can-nanobots-play-follow-leader

💰Perplexity привлекла $200M при оценке в $20B.

Это произошло всего через два месяца после предыдущего раунда в $100M при оценке $18B. Общий объём инвестиций приближается к $1.5B.

📊 Выручка (ARR) уже почти $200M (месяц назад была $150M).
💡 Оценка в $20B при $200M ARR даёт мультипликатор ~100x - это возможно только при очень быстром росте и низком уровне оттока пользователей.

Perplexity выделяется тем, что отвечает на запросы с источниками и краткими сводками, заменяя «охоту за ссылками» на результат, сгенерированный моделью.
Но такой дизайн требует больших вычислительных мощностей: каждый запрос запускает веб-поиск, инференс LLM и генерацию ответа в реальном времени.

Источник: https://techcrunch.com/2025/09/10/perplexity-reportedly-raised-200m-at-20b-valuation/

#AI #Perplexity #Funding #Startups #LLM #Investments

🚨 Китайцы выкатили мощнейшую новинку в AI-редактировании изображений — и она обошла Google Nanobanana, став №1!

🔥 Bytedance Seedream 4 впечатляет:
- ⚡️ Генерация в 2K за <2 секунд, поддержка 4K
- 🖼️ Можно создавать сразу несколько картинок в одном запросе
- 🎯 Намного стабильнее, чем nano🍌, которая часто просто возвращает исходное изображение

💰 Цена — всего $0.03 за генерацию.

https://fal.ai/models/fal-ai/bytedance/seedream/v4/edit

🚀 Оптимизация обновления весов моделей в LLM

Checkpoint Engine — это легковесное промежуточное ПО для обновления весов в LLM во время инференса, критически важное для обучения с подкреплением. Оно обеспечивает быстрые и эффективные методы обновления весов, позволяя обрабатывать модели с триллионом параметров за считанные секунды.

🚀 Основные моменты:
- Поддержка двух методов обновления: Broadcast и P2P.
- Эффективная передача данных с использованием CUDA IPC.
- Оптимизированный процесс передачи с учетом шардирования.
- Подходит для работы с большими моделями на множестве GPU.

📌 GitHub: https://github.com/MoonshotAI/checkpoint-engine

🔥 Новинка от S-Lab, Nanyang Technological University и SenseTime Research: Next Visual Granularity Generation (NVG)!

🖼️ Новый фреймворк поэтапно улучшает изображение — от общего макета до мельчайших деталей, позволяя получить тонкий контроль над процессом генерации.

📊 Результаты впечатляют: NVG превзошёл серию VAR по метрикам FID!

huggingface.co/papers/2508.12811

🚀 MobileLLM-R1 на Hugging Face

Это новая компактная модель для reasoning-задач (рассуждений), которая весит меньше 1B параметров и оптимизирована для запуска на edge-устройствах.

Почему это важно:
- Производительность:
• Решает задачи MATH почти в 5 раз точнее, чем Olmo-1.24B
• В 2 раза точнее, чем SmolLM2-1.7B
- Эффективность обучения:
• Модель обучалась всего на 4.2 триллионах токенов (это примерно 1/10 от Qwen3)
• Несмотря на это, показывает такие же или лучшие результаты, чем Qwen3, на ряде тестов по рассуждениям

MobileLLM-R1 показывает, что даже очень маленькая модель может быть умной и эффективной, если её правильно обучить.

https://huggingface.co/facebook/MobileLLM-R1-950M