Media is too big
VIEW IN TELEGRAM
Вебинар Стэнфорда — Agentic AI: Эволюция использования языковых моделей
Стэнфорд выложил, пожалуй, лучший однострочный часовой разбор о том, как создавать ИИ-агентов.
📌 Видео
Стэнфорд выложил, пожалуй, лучший однострочный часовой разбор о том, как создавать ИИ-агентов.
📌 Видео
🛡️ Fault Tolerant Llama — обучение LLM в условиях экстремальной нестабильности, без чекпоинтов
Исследовательская команда продемонстрировала обучение языковой модели в условиях, приближённых к худшему сценарию: сотни имитированных отказов происходили каждые 15 секунд, а чекпоинты полностью отключены. Цель — проверить, как себя поведёт система с полной поддержкой fault-tolerance.
🧰 Что использовалось:
• torchft — отказоустойчивая реализация DDP для PyTorch
• torchtitan — фреймворк для масштабируемого обучения с параллелизмом
• Кластер от Crusoe Cloud: 300 GPU NVIDIA L40S
• Модель: LLaMA 3, 1B параметров
🏗️ Конфигурация:
• 30 узлов × 10 GPU = 30 изолированных replica-групп
• Внутригрупповая коммуникация: NCCL
• Межгрупповая: Gloo (быстрая переинициализация, важно для отказов)
• TorchFT координирует состояние с помощью глобального Lighthouse и локальных менеджеров
🔄 Восстановление без чекпоинтов:
Обычно сбой = загрузка чекпоинта.
Здесь: сбой = локальная перезагрузка группы, автоматическая синхронизация с другими группами.
Каждый возвращающийся узел получает актуальные веса через peer-to-peer от соседей и снова включается в обучение — без полной остановки, без потери прогресса.
📉 Результаты:
• Более 1200 успешных восстановлений
• Обучение остаётся стабильным, модель не деградирует
• Пики на графике — это просто "возвращенцы", не сбой всей системы
📦 Почему это важно:
✔️ Подходит для нестабильных сетей и распределённых сред
✔️ Убирает зависимость от чекпоинтов
✔️ Поддерживает гибкие конфигурации: TP, PP, DiLoCo и др.
📌 Подробнее
Исследовательская команда продемонстрировала обучение языковой модели в условиях, приближённых к худшему сценарию: сотни имитированных отказов происходили каждые 15 секунд, а чекпоинты полностью отключены. Цель — проверить, как себя поведёт система с полной поддержкой fault-tolerance.
🧰 Что использовалось:
• torchft — отказоустойчивая реализация DDP для PyTorch
• torchtitan — фреймворк для масштабируемого обучения с параллелизмом
• Кластер от Crusoe Cloud: 300 GPU NVIDIA L40S
• Модель: LLaMA 3, 1B параметров
🏗️ Конфигурация:
• 30 узлов × 10 GPU = 30 изолированных replica-групп
• Внутригрупповая коммуникация: NCCL
• Межгрупповая: Gloo (быстрая переинициализация, важно для отказов)
• TorchFT координирует состояние с помощью глобального Lighthouse и локальных менеджеров
🔄 Восстановление без чекпоинтов:
Обычно сбой = загрузка чекпоинта.
Здесь: сбой = локальная перезагрузка группы, автоматическая синхронизация с другими группами.
Каждый возвращающийся узел получает актуальные веса через peer-to-peer от соседей и снова включается в обучение — без полной остановки, без потери прогресса.
📉 Результаты:
• Более 1200 успешных восстановлений
• Обучение остаётся стабильным, модель не деградирует
• Пики на графике — это просто "возвращенцы", не сбой всей системы
📦 Почему это важно:
✔️ Подходит для нестабильных сетей и распределённых сред
✔️ Убирает зависимость от чекпоинтов
✔️ Поддерживает гибкие конфигурации: TP, PP, DiLoCo и др.
📌 Подробнее
🧠 Можно ли предсказать успех идеи до её реализации? Да — с помощью LLM.
Исследование предлагает использовать языковые модели для оценки перспектив научных идей ещё до их реализации — и это серьёзно повышает эффективность исследований.
🔧 Как это работает:
• Построен бенчмарк из 1 585 пар идей (прошедших верификацию людьми) + 6 000 обучающих пар из конференц-статей
• Используется дообученный GPT-4.1 в связке с retrieval‑агентом
• Агент генерирует запросы, ищет статьи, суммирует полные работы и фильтрует по релевантности
• GPT-4.1 дообучается на исторических данных по успешности идей
📌 Дообученная LLM обходит экспертов:
64.4% точности против 48.9% у людей
📌 Система в целом достигает 77% точности
Она устойчива к поверхностным факторам: новизне идеи, сложности формулировки и т.д.
📌 Самое интересное:
Модель предсказывает успех неопубликованных, AI-сгенерированных идей с точностью 63.6%
🧠 Это не просто фильтрация мусора — это шаг к автоматическому прогнозированию научного прорыва.
Читать
Исследование предлагает использовать языковые модели для оценки перспектив научных идей ещё до их реализации — и это серьёзно повышает эффективность исследований.
🔧 Как это работает:
• Построен бенчмарк из 1 585 пар идей (прошедших верификацию людьми) + 6 000 обучающих пар из конференц-статей
• Используется дообученный GPT-4.1 в связке с retrieval‑агентом
• Агент генерирует запросы, ищет статьи, суммирует полные работы и фильтрует по релевантности
• GPT-4.1 дообучается на исторических данных по успешности идей
📌 Дообученная LLM обходит экспертов:
64.4% точности против 48.9% у людей
📌 Система в целом достигает 77% точности
Она устойчива к поверхностным факторам: новизне идеи, сложности формулировки и т.д.
📌 Самое интересное:
Модель предсказывает успех неопубликованных, AI-сгенерированных идей с точностью 63.6%
🧠 Это не просто фильтрация мусора — это шаг к автоматическому прогнозированию научного прорыва.
Читать