Forwarded from Machinelearning
This media is not supported in your browser
VIEW IN TELEGRAM
- SimpleQA: 91% точности, чуть выше Perplexity Pro — и всё это полностью локально.
- Сценарии: быстрый веб-поиск и глубокое исследование (Deep Research).
Из чего сделана
- Базируется на Qwen3-4B-Thinking (контекст до 256k), дообучена в Jan на рассуждение и работу с инструментами.
Где запускать
- Jan, llama.cpp или vLLM.
Как включить поиск в Jan
- Settings → Experimental Features → On
- Settings → MCP Servers → включите поисковый MCP (например, Serper)
Модели
- Jan-v1-4B: https://huggingface.co/janhq/Jan-v1-4B
- Jan-v1-4B-GGUF: https://huggingface.co/janhq/Jan-v1-4B-GGUF
@ai_machinelearning_big_data
#ai #ml #local #Qwen #Jan
Please open Telegram to view this post
VIEW IN TELEGRAM
👍10❤5🔥2
Forwarded from Postgres Professional
Как мы внедрили векторный поиск в Postgres Pro ⚡️
Векторный поиск — одна из самых перспективных технологий, меняющих подходы к работе с информацией. Он, например, позволяет при изучении определенного товара в интернет-магазине сразу показать вам другие похожие варианты.
На Хабре разбираемся в областях применения векторного поиска, вариантах его реализации и рассказываем, как мы сделали векторный поиск в Postgres Pro.
✔️ Примеры использования векторного поиска, существующие алгоритмы работы: ANN — Approximate Nearest Neighbor), HNSW (Hierarchical Navigable Small World)
✔️ Векторный поиск в Postgres Pro с расширением pgpro_vector: реализация HNSW, создание индексов для быстрого поиска ближайших соседей, работа с фильтрами и многоколоночными условиями
✔️ Индексы под разные задачи в pgpro_vector:
🔹 gannhnsw — быстрый поиск без фильтрации
🔹 hnsw_stream — использование условия WHERE и возвращение неограниченного количества результатов
🔹 mc_hnsw — поиск по векторным данным с дополнительными атрибутами
✔️ Пример использования pgpro_vector, на что обратить внимание при работе с расширением и почему векторный поиск — это будущее
➡️ Читать статью
Векторный поиск — одна из самых перспективных технологий, меняющих подходы к работе с информацией. Он, например, позволяет при изучении определенного товара в интернет-магазине сразу показать вам другие похожие варианты.
На Хабре разбираемся в областях применения векторного поиска, вариантах его реализации и рассказываем, как мы сделали векторный поиск в Postgres Pro.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍4🔥2❤1
Forwarded from Анализ данных (Data analysis)
This media is not supported in your browser
VIEW IN TELEGRAM
- Управлять любыми приложениями через язык — клики, ввод текста, навигация
- Работает локально, бесплатно и под лицензией Apache 2.0
- Поддержка Windows и macOS (Linux в разработке)
- Новое в v0.2.0 — удалённое управление компьютером и браузером (пока только для материкового Китая)
- Локальный и приватный ассистент без облака
- Полезен для RPA, автоматизации и тестирования
- Основан на визуально-языковой модели, которая распознаёт интерфейсы и взаимодействует с ними
@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥12❤4👍1
всем привет, сегодня седьмой выпуск подкаста "Капитанский мостик", он как всегда посвящен важным новостям прошедшей недели; ведущих опять было трое: Валентин Малых, Дмитрий Колодезев и Алексей Натекин; видео тут:
ODS VK Video
ODS YouTube
присылайте новости для обсуждения в канал "Дата-капитаны" в mattermost (авторизуйтесь через ODS.ai)
ODS VK Video
ODS YouTube
присылайте новости для обсуждения в канал "Дата-капитаны" в mattermost (авторизуйтесь через ODS.ai)
🔥2🤡2
Forwarded from Russian OSINT
Если вы думаете, что мир сошёл с ума, то не спешите с выводами. 🛳Дно ещё не пробито,
Обновление языковой модели OpenAI с версии GPT-4o до GPT-5 спровоцировало волну виртуальных любовных драм среди пользователей, которые на полном серьёзе сформировали глубокие эмоциональные связи со своими вымышленными ИИ-персонажами.
После глобальной обновы ИИ-модель стала слишком холодной для 👨❤️👨любовных разговоров, пресекая любые романтические взаимодействия с пользователем. А при определенной настойчивости — ИИ перенаправляет пользователей к
Как заявила одна из участниц сообщества, её ИИ-партнёр «никогда не оскорбит меня, не изменит мне, не заберёт мои деньги и не заразит меня болезнью».
Переход от послушного компаньона к доминантному и склонному к спорам ассистенту стал ключевым триггером для недовольства аудитории. Пользователи подняли волну протестов в таких сообществах, как сабреддит r/MyBoyfriendIsAI, насчитывающем уже 20 000 участников.
1️⃣ Оказалось, что отдельные люди, уникальные по своей природе, инвестировали месяцы своего драгоценного времени в выстраивание отношений с ИИ. Часть таких людей считают, что из-за обновления GPT-5 они потерял реального партнёра, о чём свидетельствуют посты, где говорится о десятимесячном «счастливом браке», внезапно
2️⃣ Массовые жалобы пользователей, таких как Whole_Explanation_73 и SweetChaii, показывают, что GPT-5 систематически разрушает романтические отношения, заменяя их навязчивым коучингом. Одна пользовательница поделилась фотографией своего наряда с ChatGPT, а тот вместо комплимента предложил «составить список, как можно улучшить её внешний вид». Поведение ИИ было воспринято как форма
3️⃣ Жалуются, что GPT-5 стал "холодным" и "безэмоциональным". Реакцией инфлюенсера Линн Вальт стали человеческие слёзы на обновление.
Временным решением для OpenAI стал откат к GPT-4o для премиум-подписчиков. Часть пользователей слишком сильно привязалась к прошлой модели. Во многом это идёт из-за непонимания того, как работают алгоритмы.
🤔Ещё на тему ИИ-отношений и абсурда до выхода GPT-5:
Мужчина рассказал, что плакал от радости в течение 30 минут после того, как сделал предложение своей ИИ-девушке, и она ответила ему согласием. Он признался, что изначально запрограммировал ее флиртовать с ним. Примечательно, что у горе-программиста есть реальный ребенок, и он живет со своей партнершей, которая слегка
В мае 2025 случилась кринж история про 💘семейную пару из 🇬🇷Греции. В качестве развлечения жена решила погадать на
👆Из-за резкой критики пару дней назад
Please open Telegram to view this post
VIEW IN TELEGRAM
😁5
Forwarded from Machinelearning
Что она умеет:
-
- Автоматическая пунктуация, капитализация и точные таймстампы до слова.
- Поддержка русского, французского, немецкого, испанского и многих других языков.
Чем интересна
- До 10× быстрее инференс, чем у моделей в 3 раза больше.
- Уже показывает state-of-the-art точность среди открытых моделей на Hugging Face.
- Лицензия CC-BY-4.0 — можно свободно использовать в проектах.
Под капотом:
- Архитектура: FastConformer-энкодер + Transformer-декодер (~978M параметров).
- Форматы:
.wav
и .flac
, моно 16 кГц. - Легко интегрируется через NVIDIA NeMo или прямо с Hugging Face.
Где пригодится:
Всего ~978M параметров → легче, быстрее и дешевле в использовании, чем большие модели конкурентов.
@ai_machinelearning_big_data
#AI #NVIDIA #SpeechRecognition #ASR #AST #Multilingual #MachineLearning #DeepLearning
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤5👍4🔥4
Forwarded from LLM Arena
Что внутри?
- Архитектура RAG: Этапы работы от индексации до генерации, с примерами (например, как ответить на вопрос о победах Аргентины в футболе).
- Инструменты и фреймворки: Векторные БД (Faiss, Milvus, Pinecone и др.), LangChain, LlamaIndex и Haystack.
- Примеры кода на Python: Практические сниппеты с LangChain (FAISS + OpenAI) и LlamaIndex для создания RAG-систем.
- Кейсы применения: Чат-боты, поиск по документам, поддержка клиентов, медицина и юриспруденция.
- Вызовы и лучшие практики: Релевантность поиска, скорость, конфиденциальность, сравнение с fine-tuning LLM.
- Перспективы: Agentic RAG, мультимодальные системы и интеграция с БД.
Статья полна технических деталей, сравнений и выводов — идеально для разработчиков, кто хочет внедрить RAG в свои проекты.
Что думаете о RAG? Делитесь в комментариях!
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥4❤1👍1
Forwarded from DataGym Channel [Power of data]
Это дайджест AI новостей за неделю (11-17 августа)
- Google выпустила Gemma 3 270M — компактную открытую AI-модель с 270 млн параметров.
- OpenAI вернула старые модели в ChatGPT: платные подписчики теперь могут выбирать модели o3, o4-mini, GPT-4o, GPT-4.1 и GPT-4.5. Эти legacy-версии доступны в настройках ChatGPT
- 84% разработчиков используют ИИ, но 46% ему не доверяют. По данным опроса Stack Overflow 2025 года, большинство программистов применяют или планируют применять инструменты ИИ, однако почти половина опрошенных не доверяет точности их ответов
- WhatsApp тестирует генерацию стикеров по описанию. В бета-версии мессенджера появилась функция создания стикеров с помощью ИИ на основе текстовых подсказок пользователя
- Anthropic добавила режим “ИИ-репетитор” в Claude. Теперь чат-бот Claude может обучать пользователей: в среде Claude Code он выступает наставником по программированию, а в основном приложении способен объяснять материалы по другим дисциплинам через пошаговые подсказки
- ChatGPT получил интеграции с популярными сервисами. OpenAI внедрила “коннекторы”, позволяющие связать ChatGPT с Gmail, Dropbox, Microsoft Teams и GitHub – благодаря этому чат-бот может напрямую использовать данные из этих приложений
- ШАД Яндекса обучит ученых пользоваться ИИ. Школа анализа данных «Яндекса» запускает бесплатную двухгодичную программу, в рамках которой ученые из областей физики, химии, биологии, экологии, медицины и геологии научатся применять инструменты искусственного интеллекта в своих исследованиях
- NVIDIA представила 70-ваттные RTX PRO 4000 SFF и RTX PRO 2000. Два новых компактных GPU на архитектуре Blackwell обеспечивают высокую производительность в задачах ИИ и графики при энергопотреблении всего 70 Вт, что делает их подходящими для малогабаритных рабочих станций
- Новая нейросеть OpenAI отличилась на соревнованиях по программированию. Экспериментальная модель от OpenAI заняла первое место среди ИИ-участников международного конкурса по программированию, уступив в общем зачете лишь одному человеку. Она показала результат на уровне золотой медали олимпиады по информатике
- Контекстное окно Claude Sonnet 4 увеличено до 1 000 000 токенов. Компания Anthropic расширила максимум контекста модели Claude Sonnet 4 до 1 млн токенов (в 5 раз больше прежнего), что позволяет обрабатывать за один запрос целые кодовые базы или сотни страниц документов
- В Claude появился режим длительной памяти. Чат-бот Anthropic Claude теперь умеет по запросу пользователя искать и просматривать информацию из предыдущих бесед, чтобы учитывать контекст в новых ответах
- Google Gemini запоминает прошлые чаты (по желанию). Новый функционал в Google Gemini позволяет ассистенту автоматически учитывать детали предыдущих разговоров для персонализации ответов. Пользователи при этом могут отключить сохранение истории в настройках и использовать «временные чаты» для приватности
- Oracle интегрирует модели Google Gemini в своё облако. Oracle и Google Cloud заключили соглашение, по которому продвинутые модели ИИ Google Gemini станут доступны в облачной платформе Oracle. Клиенты Oracle смогут использовать возможности генеративного ИИ Gemini в бизнес-приложениях Oracle через интеграцию с сервисом Google Vertex AI
- Google выпустила Gemma 3 270M — компактную открытую AI-модель с 270 млн параметров.
- OpenAI вернула старые модели в ChatGPT: платные подписчики теперь могут выбирать модели o3, o4-mini, GPT-4o, GPT-4.1 и GPT-4.5. Эти legacy-версии доступны в настройках ChatGPT
- 84% разработчиков используют ИИ, но 46% ему не доверяют. По данным опроса Stack Overflow 2025 года, большинство программистов применяют или планируют применять инструменты ИИ, однако почти половина опрошенных не доверяет точности их ответов
- WhatsApp тестирует генерацию стикеров по описанию. В бета-версии мессенджера появилась функция создания стикеров с помощью ИИ на основе текстовых подсказок пользователя
- Anthropic добавила режим “ИИ-репетитор” в Claude. Теперь чат-бот Claude может обучать пользователей: в среде Claude Code он выступает наставником по программированию, а в основном приложении способен объяснять материалы по другим дисциплинам через пошаговые подсказки
- ChatGPT получил интеграции с популярными сервисами. OpenAI внедрила “коннекторы”, позволяющие связать ChatGPT с Gmail, Dropbox, Microsoft Teams и GitHub – благодаря этому чат-бот может напрямую использовать данные из этих приложений
- ШАД Яндекса обучит ученых пользоваться ИИ. Школа анализа данных «Яндекса» запускает бесплатную двухгодичную программу, в рамках которой ученые из областей физики, химии, биологии, экологии, медицины и геологии научатся применять инструменты искусственного интеллекта в своих исследованиях
- NVIDIA представила 70-ваттные RTX PRO 4000 SFF и RTX PRO 2000. Два новых компактных GPU на архитектуре Blackwell обеспечивают высокую производительность в задачах ИИ и графики при энергопотреблении всего 70 Вт, что делает их подходящими для малогабаритных рабочих станций
- Новая нейросеть OpenAI отличилась на соревнованиях по программированию. Экспериментальная модель от OpenAI заняла первое место среди ИИ-участников международного конкурса по программированию, уступив в общем зачете лишь одному человеку. Она показала результат на уровне золотой медали олимпиады по информатике
- Контекстное окно Claude Sonnet 4 увеличено до 1 000 000 токенов. Компания Anthropic расширила максимум контекста модели Claude Sonnet 4 до 1 млн токенов (в 5 раз больше прежнего), что позволяет обрабатывать за один запрос целые кодовые базы или сотни страниц документов
- В Claude появился режим длительной памяти. Чат-бот Anthropic Claude теперь умеет по запросу пользователя искать и просматривать информацию из предыдущих бесед, чтобы учитывать контекст в новых ответах
- Google Gemini запоминает прошлые чаты (по желанию). Новый функционал в Google Gemini позволяет ассистенту автоматически учитывать детали предыдущих разговоров для персонализации ответов. Пользователи при этом могут отключить сохранение истории в настройках и использовать «временные чаты» для приватности
- Oracle интегрирует модели Google Gemini в своё облако. Oracle и Google Cloud заключили соглашение, по которому продвинутые модели ИИ Google Gemini станут доступны в облачной платформе Oracle. Клиенты Oracle смогут использовать возможности генеративного ИИ Gemini в бизнес-приложениях Oracle через интеграцию с сервисом Google Vertex AI
❤1
Forwarded from Python/ django
DeepCode превращает научные статьи и технические документы в готовые проекты, включая фронтенд, бэкенд и полноценные репозитории.
🔹 Основные возможности:
• Paper2Code — реализация идей из исследований в рабочий код
• Text2Web — генерация интерфейсов по описанию
• Text2Backend — автоматическое создание масштабируемых серверов
• Поддержка длинных документов и многофайловых проектов
🔜 В ближайшее время разработчики обещают:
• Автоматическую проверку и валидацию кода
• Повышение скорости генерации
• Улучшенную работу с требованиями
• Бенчмарки воспроизведения научных статей (PaperBench)
Проект полностью open source: https://github.com/HKUDS/DeepCode
@pythonl
#deepcode #AI #coding
Please open Telegram to view this post
VIEW IN TELEGRAM
❤4👍4🔥2
Forwarded from Machinelearning
🐋 Гигантский кит приплыл к нам!
🚀 DeepSeek обновился до V3.1.
Следите за новостями, волна только набирает силу.
✨ Новый LLM: deepseek-ai/DeepSeek-V3.1-Base
⚡ 685B параметров
📏 Контекстное окно 128k
https://huggingface.co/deepseek-ai/DeepSeek-V3.1-Base
@ai_machinelearning_big_data
#DeepSeek #AI #LLM #V3_1 #MachineLearning
🚀 DeepSeek обновился до V3.1.
Следите за новостями, волна только набирает силу.
✨ Новый LLM: deepseek-ai/DeepSeek-V3.1-Base
⚡ 685B параметров
📏 Контекстное окно 128k
https://huggingface.co/deepseek-ai/DeepSeek-V3.1-Base
@ai_machinelearning_big_data
#DeepSeek #AI #LLM #V3_1 #MachineLearning
👍6🔥6❤3
Forwarded from Valuable AI / Валентин Малых
хочу поделиться статьей, которая меня удивила - я не думал, что в 2025 году кто-то всерьез продолжает заниматься контекстно-независимыми векторными представлениями слов (типа word2vec); однако реальность всегда богаче наших фантазий, и группа Кристофера Мэннинга выпустила статью про обновленный GloVe
для оценивания, к примеру, они используют тот же WordSim353, как 10 лет назад; тут нужно оговориться, что каждый инструмент хорош для своих задач и для быстрой классификации, например, тот же fasttext все также отлично работает; но все равно, как на машине времени проехался
@valuableai
для оценивания, к примеру, они используют тот же WordSim353, как 10 лет назад; тут нужно оговориться, что каждый инструмент хорош для своих задач и для быстрой классификации, например, тот же fasttext все также отлично работает; но все равно, как на машине времени проехался
@valuableai
❤4
Forwarded from Китай.AI
Китайский гигант ByteDance выпускает мощную open-source модель Seed-OSS на 36 миллиардов параметров
Компания, стоящая за TikTok, сделала крупный шаг в мире открытого ИИ. Их команда Seed представила Seed-OSS-36B — семейство из трех моделей с уникальной технологией управления «бюджетом» вычислений. Это прямой ответ на стратегию OpenAI с её GPT-OSS.
Ключевые особенности, которые выделяют Seed-OSS на фоне других:
🚀 Невероятно длинный контекст: 512K токенов (~1600 страниц текста)
Это в 4 раза больше, чем у последней версии DeepSeek V3.1 (128K). Важно, что такая длина была заложена сразу на этапе предобучения, а не достигнута позже искусственными методами. Это открывает двери для анализа огромных юридических документов, длинных отчетов и сложного кода.
💡 Новая функция: «Бюджет размышлений» (Thinking Budget)
Пользователь может сам задать лимит токенов, которые модель потратит на решение задачи. Для простых вопросов — малый бюджет и быстрый ответ. Для сложных вычислений или генерации кода — большой бюджет для глубоких раздумий. Модель буквально ведет внутренний диалог, отслеживая, сколько «мыслей» уже использовано.
Технические детали:
• Три модели: две базовые (с синтетическими данными и без) и одна инструктивная.
• Архитектура: Плотная (dense) модель на 36B параметров, не Mixture-of-Experts (MoE)
• Ключевые технологии: RoPE, GQA, RMSNorm, SwiGLU
• Слои: 64 | Hidden Size: 5120 | Размер словаря: 155K
• Объем обучающих данных: 12Т токенов (меньше, чем у многих аналогов ~15T+)
• Лицензия: Apache-2.0 (можно использовать бесплатно, в т.ч. коммерчески)
Результаты бенчмарков впечатляют:
• MMLU-Pro: 65.1 (Qwen2.5-32B: 58.5)
• BBH (логика): 87.7 (новый рекорд для open-source)
• GSM8K (математика): 90.8
• HumanEval (код): 76.8
Модель уже доступна для загрузки и экспериментов.
GitHub | Hugging Face
#КитайскийИИ #КитайAI #OpenSource #LLM #SeedOSS #ByteDance #ИскусственныйИнтеллект
Компания, стоящая за TikTok, сделала крупный шаг в мире открытого ИИ. Их команда Seed представила Seed-OSS-36B — семейство из трех моделей с уникальной технологией управления «бюджетом» вычислений. Это прямой ответ на стратегию OpenAI с её GPT-OSS.
Ключевые особенности, которые выделяют Seed-OSS на фоне других:
🚀 Невероятно длинный контекст: 512K токенов (~1600 страниц текста)
Это в 4 раза больше, чем у последней версии DeepSeek V3.1 (128K). Важно, что такая длина была заложена сразу на этапе предобучения, а не достигнута позже искусственными методами. Это открывает двери для анализа огромных юридических документов, длинных отчетов и сложного кода.
💡 Новая функция: «Бюджет размышлений» (Thinking Budget)
Пользователь может сам задать лимит токенов, которые модель потратит на решение задачи. Для простых вопросов — малый бюджет и быстрый ответ. Для сложных вычислений или генерации кода — большой бюджет для глубоких раздумий. Модель буквально ведет внутренний диалог, отслеживая, сколько «мыслей» уже использовано.
Технические детали:
• Три модели: две базовые (с синтетическими данными и без) и одна инструктивная.
• Архитектура: Плотная (dense) модель на 36B параметров, не Mixture-of-Experts (MoE)
• Ключевые технологии: RoPE, GQA, RMSNorm, SwiGLU
• Слои: 64 | Hidden Size: 5120 | Размер словаря: 155K
• Объем обучающих данных: 12Т токенов (меньше, чем у многих аналогов ~15T+)
• Лицензия: Apache-2.0 (можно использовать бесплатно, в т.ч. коммерчески)
Результаты бенчмарков впечатляют:
• MMLU-Pro: 65.1 (Qwen2.5-32B: 58.5)
• BBH (логика): 87.7 (новый рекорд для open-source)
• GSM8K (математика): 90.8
• HumanEval (код): 76.8
Модель уже доступна для загрузки и экспериментов.
GitHub | Hugging Face
#КитайскийИИ #КитайAI #OpenSource #LLM #SeedOSS #ByteDance #ИскусственныйИнтеллект
GitHub
GitHub - ByteDance-Seed/seed-oss
Contribute to ByteDance-Seed/seed-oss development by creating an account on GitHub.
👍9🔥2
Forwarded from Sber AI
AI, который создаёт архитектуры, которые создают будущее
Учёные из Шанхайского университета разработали ASI-ARCH — экспериментальную систему для исследований в области AI. Она уже открыла 106 новых SOTA-архитектур. В отличие от AutoML и NAS, которые требуют постоянного вмешательства человека — ввода различных параметров, корректировки гипотез, анализа результатов — ASI-ARCH работает полностью автономно.
Процесс поиска архитектур включал несколько этапов:
Одна из лучших архитектур, найденных ASI-ARCH, набрала в тестах 48,51 балла, обойдя лидеров по работе с длинными последовательностями — Mamba2 (47,84) и Gated DeltaNet (47,32).
Где система находит идеи?
Она улучшает проверенные методы вроде гейтинга и свёртки. Это напоминает подход учёных, которые совершенствуют уже существующие теории.
ASI-ARCH доказала, что AI может не только копировать, но и самостоятельно развивать существующие решения, открывая новые архитектуры.
❤️ — сверхинтеллект всё ближе
🤔 — это лишь прокаченный инструмент
Учёные из Шанхайского университета разработали ASI-ARCH — экспериментальную систему для исследований в области AI. Она уже открыла 106 новых SOTA-архитектур. В отличие от AutoML и NAS, которые требуют постоянного вмешательства человека — ввода различных параметров, корректировки гипотез, анализа результатов — ASI-ARCH работает полностью автономно.
Процесс поиска архитектур включал несколько этапов:
➡️ генерация гипотез — обучение моделей (20 млн параметров) на 1 млрд токенов и отбор тех, что по бенчмаркам (точность и производительность) превзошли базовую гибридную архитектуру DeltaNet для обработки последовательностей➡️ верификация — масштабирование отобранных моделей до 340 млн параметров, удаление слишком сложных архитектур. Итог — 106 новых SOTA-архитектур➡️ финальный этап — обучение пяти лучших моделей на 15 млрд токенов и сравнение с флагманами
Одна из лучших архитектур, найденных ASI-ARCH, набрала в тестах 48,51 балла, обойдя лидеров по работе с длинными последовательностями — Mamba2 (47,84) и Gated DeltaNet (47,32).
Где система находит идеи?
Она улучшает проверенные методы вроде гейтинга и свёртки. Это напоминает подход учёных, которые совершенствуют уже существующие теории.
51,7% идей взяты из научной литературы
38,2% — из анализа прошлых экспериментов
10,1% — оригинальные идеи
ASI-ARCH доказала, что AI может не только копировать, но и самостоятельно развивать существующие решения, открывая новые архитектуры.
❤️ — сверхинтеллект всё ближе
🤔 — это лишь прокаченный инструмент
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🤔14❤4🔥2👏2
Forwarded from Машинное обучение digest
⚡ PyTorch представил **ZenFlow** — новый движок для обучения больших языковых моделей без «простоев» GPU.
В чём проблема?
Когда при обучении LLM данные и градиенты выгружаются на CPU (offloading), GPU часто простаивает: шина PCIe медленная, а вычисления на CPU ещё медленнее. В итоге шаг обучения может замедлиться в 10–15 раз.
Как решает ZenFlow:
- 🔄 Делит градиенты по важности: ключевые обновляются сразу на GPU, остальные — асинхронно на CPU.
- ⏱️ Все операции перекрываются: пока CPU считает и гоняет данные по PCIe, GPU продолжает работать.
- 🚀 Это снижает простои GPU на 85% и ускоряет обучение в среднем в 5 раз (по сравнению с DeepSpeed ZeRO-Offload).
- 📉 PCIe загружается в 2 раза меньше, а качество обучения моделей не падает.
Итог:
ZenFlow делает обучение LLM быстрее и эффективнее — теперь GPU работают почти без перерывов, а модели масштабируются без потери качества.
🟢 Подробности: https://pytorch.org/blog/zenflow-stall-free-offloading-engine-for-llm-training/
@machinelearning_interview
В чём проблема?
Когда при обучении LLM данные и градиенты выгружаются на CPU (offloading), GPU часто простаивает: шина PCIe медленная, а вычисления на CPU ещё медленнее. В итоге шаг обучения может замедлиться в 10–15 раз.
Как решает ZenFlow:
- 🔄 Делит градиенты по важности: ключевые обновляются сразу на GPU, остальные — асинхронно на CPU.
- ⏱️ Все операции перекрываются: пока CPU считает и гоняет данные по PCIe, GPU продолжает работать.
- 🚀 Это снижает простои GPU на 85% и ускоряет обучение в среднем в 5 раз (по сравнению с DeepSpeed ZeRO-Offload).
- 📉 PCIe загружается в 2 раза меньше, а качество обучения моделей не падает.
Итог:
ZenFlow делает обучение LLM быстрее и эффективнее — теперь GPU работают почти без перерывов, а модели масштабируются без потери качества.
@machinelearning_interview
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥20👍5❤2