Forwarded from Анализ данных (Data analysis)
🚀 AI от Sakana AI пишет оптимизированный код для CUDA-ядрер для ускорения ИИ!
🔑 Основное:
AI CUDA Engineer — агентная система, которая автоматически создаёт высокооптимизированные CUDA-ядра, ускоряя операции машинного обучения в PyTorch в 10–100 раз.
CUDA-программирование сложное, требует глубоких знаний и часто кажется "алхимией". Эта система упрощает задачу, используя эволюционные алгоритмы и LLMs.
Уникальная идея — "Innovation Archive" (аналог "библиотеки навыков" из нашего проекта Voyager для Minecraft), где LLM сохраняет лучшие фрагменты кода, найденные в процессе эволюционного поиска.
Это идеальный пример AutoML: максимальная отдача от вычислительных ресурсов, делая ИИ быстрее и эффективнее.
Великолепная работа, Sakana AI!
Также интересно, что NVIDIA параллельно работает над схожими исследованиями по улучшению CUDA-ядер с помощью мощных LLM.
#AI #MachineLearning #CUDA #AutoML
▪Paper: https://pub.sakana.ai/ai-cuda-engineer/paper/
▪Kernel Archive Webpage: https://pub.sakana.ai/ai-cuda-engineer/
▪HuggingFace Dataset: https://huggingface.co/datasets/SakanaAI/AI-CUDA-Engineer-Archive
@data_analysis_ml
🔑 Основное:
AI CUDA Engineer — агентная система, которая автоматически создаёт высокооптимизированные CUDA-ядра, ускоряя операции машинного обучения в PyTorch в 10–100 раз.
CUDA-программирование сложное, требует глубоких знаний и часто кажется "алхимией". Эта система упрощает задачу, используя эволюционные алгоритмы и LLMs.
Уникальная идея — "Innovation Archive" (аналог "библиотеки навыков" из нашего проекта Voyager для Minecraft), где LLM сохраняет лучшие фрагменты кода, найденные в процессе эволюционного поиска.
Это идеальный пример AutoML: максимальная отдача от вычислительных ресурсов, делая ИИ быстрее и эффективнее.
Великолепная работа, Sakana AI!
Также интересно, что NVIDIA параллельно работает над схожими исследованиями по улучшению CUDA-ядер с помощью мощных LLM.
#AI #MachineLearning #CUDA #AutoML
▪Paper: https://pub.sakana.ai/ai-cuda-engineer/paper/
▪Kernel Archive Webpage: https://pub.sakana.ai/ai-cuda-engineer/
▪HuggingFace Dataset: https://huggingface.co/datasets/SakanaAI/AI-CUDA-Engineer-Archive
@data_analysis_ml
✍6
AIDE: Дерево решений для автоматизации ML-инженерии
Интересная разработка от Weco AI - представили tree-search систему на базе LLM, которая:
- Представляет процесс оптимизации как иерархическое дерево, где каждый узел - потенциальное решение
- Использует search policy для выбора веток для улучшения
- Применяет LLM как "оператор кода" для генерации новых итераций
- Избирательно суммирует важные детали вместо сохранения всей истории взаимодействий
Работает как ML-инженер, который систематически перебирает варианты оптимизации, но делает это очень эффективно, не тратя время на заведомо бесперспективные пути.
Результаты:
- В соревнованиях Kaggle обошел 51.38% участников-людей
- На MLE-Bench Lite в связке с o1-preview улучшил:
- Валидные решения: с 63.6% до 92.4% (почти +30%!!)
- "Золото": с 6.1% до 21.2% (В х3+ раза)
Потенциально это означает существенное сокращение времени и ресурсов на разработку ML-моделей.
Открывает возможности по дообучению моделей в реальном времени.
Грубо говоря главная модель может динамично обучать рой.
⚡️ Ключевое отличие от классического AutoML: AIDE работает с кодом напрямую, а не в предопределенном пространстве поиска. То есть может находить действительно нестандартные решения, как живой ML-инженер.
Правда, остаются вопросы по интерпретируемости решений и масштабируемости на сложные задачи. Но как инструмент автоматизации рутинной ML-разработки - может быть очень перспективно.
Paper
GitHub
#MLOps #AutoML
———
@tsingular
Интересная разработка от Weco AI - представили tree-search систему на базе LLM, которая:
- Представляет процесс оптимизации как иерархическое дерево, где каждый узел - потенциальное решение
- Использует search policy для выбора веток для улучшения
- Применяет LLM как "оператор кода" для генерации новых итераций
- Избирательно суммирует важные детали вместо сохранения всей истории взаимодействий
Работает как ML-инженер, который систематически перебирает варианты оптимизации, но делает это очень эффективно, не тратя время на заведомо бесперспективные пути.
Результаты:
- В соревнованиях Kaggle обошел 51.38% участников-людей
- На MLE-Bench Lite в связке с o1-preview улучшил:
- Валидные решения: с 63.6% до 92.4% (почти +30%!!)
- "Золото": с 6.1% до 21.2% (В х3+ раза)
Потенциально это означает существенное сокращение времени и ресурсов на разработку ML-моделей.
Открывает возможности по дообучению моделей в реальном времени.
Грубо говоря главная модель может динамично обучать рой.
⚡️ Ключевое отличие от классического AutoML: AIDE работает с кодом напрямую, а не в предопределенном пространстве поиска. То есть может находить действительно нестандартные решения, как живой ML-инженер.
Правда, остаются вопросы по интерпретируемости решений и масштабируемости на сложные задачи. Но как инструмент автоматизации рутинной ML-разработки - может быть очень перспективно.
Paper
GitHub
#MLOps #AutoML
———
@tsingular
✍4👍4❤1
LightAutoML - быстрый AutoML фреймворк от Сбера
LightAutoML (LAMA) — opensource фреймворк для создания ML моделей за несколько строк кода от команды Sber AI Lab.
Поддерживает табличные данные, временные ряды, изображения и тексты. Можно использовать готовые пресеты или собирать кастомные пайплайны из блоков.
Особенности:
- Быстрое прототипирование моделей
- Готовые решения для разных типов задач
- Гибкая настройка под конкретные нужды
- GPU и Spark поддержка в разработке
#AutoML #Сбер #OpenSource
------
@tsingular
LightAutoML (LAMA) — opensource фреймворк для создания ML моделей за несколько строк кода от команды Sber AI Lab.
Поддерживает табличные данные, временные ряды, изображения и тексты. Можно использовать готовые пресеты или собирать кастомные пайплайны из блоков.
Особенности:
- Быстрое прототипирование моделей
- Готовые решения для разных типов задач
- Гибкая настройка под конкретные нужды
- GPU и Spark поддержка в разработке
#AutoML #Сбер #OpenSource
------
@tsingular
✍6