Forwarded from Denis Sexy IT 🤖
За выходные сделал небольшой эксперимент и вынес его в новый канал:
«Генераторий Историй»
https://t.iss.one/pollstory
Вы там можете голосовать, а бот будет писать на основе ваших голосов историю – получается что-то вроде коллективной книги, где люди направляют LLM, а LLM и пишет и предлагает варианты развития истории
Истории постятся в 10:00, 14:00, 17:00 и 19:00 по Амстердаму, так что будет без спама постами
Без понятия куда это все приведет, давайте посмотрим
Первая история такая:
>Игорь, 26 лет
>Безработный
>Любит ML
>Ребенок маглов, к нему прилетела сова из Хогвартса
«Генераторий Историй»
https://t.iss.one/pollstory
Вы там можете голосовать, а бот будет писать на основе ваших голосов историю – получается что-то вроде коллективной книги, где люди направляют LLM, а LLM и пишет и предлагает варианты развития истории
Истории постятся в 10:00, 14:00, 17:00 и 19:00 по Амстердаму, так что будет без спама постами
Без понятия куда это все приведет, давайте посмотрим
Первая история такая:
>Игорь, 26 лет
>Безработный
>Любит ML
>Ребенок маглов, к нему прилетела сова из Хогвартса
Telegram
Генераторий Историй
Канал, где историю пишет LLM, а читатели решают, что будет дальше. Истории выходят каждый час рабочего дня – потому что роботам тоже нужно отдыхать.
Автор: @denissexy
Автор: @denissexy
🔥3👍1
Forwarded from PIMENOV.RU
Девять картинок — одна случайная искра.
Вчера назад в X наткнулся на короткий промпт, написанный специально для GPT‑4o:
Бросил его “на пробу”, но сразу пересадил на GPT‑o3 — умную модель, с которой работаю сейчас, и понеслось.
Мы поиграли с ракурсами, материалами, эпохой, на ходу разобрались, какие детали кузова делают мех узнаваемым, и постепенно собрали целую коллекцию: от «Победы» и «Копейки» до ЗиЛ‑41047, КамАЗа‑5511 и УАЗ‑469.
Честно: до этого я не отличал пружину подвески от ресоры и видел «Трансформеров» только мельком. Сейчас же знаю, что у ГАЗ‑24 решётка радиатора превращается в грудную пластину, а у Нивы колёса отлично смотрятся на коленных шарнирах.
Главное открытие — современным моделям всё равно, какой у тебя бэкграунд.
Есть идея → пара строк на английском → и вот уже тягач превращается в пятиметрового боевого робота, а ты заодно узнаёшь историю советского автопрома.
Эти кадры — чистое творчество, без коммерческого умысла и технических ограничений. Сегодня, чтобы сделать «невозможное», достаточно любопытства и пары часов свободного времени.
Схема итогового промпта для o3
👉 Хотите прокачать собственную идею или красиво её упаковать — пишите, помогу придумать и реализовать. @pimenov_ru
Вчера назад в X наткнулся на короткий промпт, написанный специально для GPT‑4o:
a photo of a [car name] alongside the car transformed into its robot form… Бросил его “на пробу”, но сразу пересадил на GPT‑o3 — умную модель, с которой работаю сейчас, и понеслось.
Мы поиграли с ракурсами, материалами, эпохой, на ходу разобрались, какие детали кузова делают мех узнаваемым, и постепенно собрали целую коллекцию: от «Победы» и «Копейки» до ЗиЛ‑41047, КамАЗа‑5511 и УАЗ‑469.
Честно: до этого я не отличал пружину подвески от ресоры и видел «Трансформеров» только мельком. Сейчас же знаю, что у ГАЗ‑24 решётка радиатора превращается в грудную пластину, а у Нивы колёса отлично смотрятся на коленных шарнирах.
Главное открытие — современным моделям всё равно, какой у тебя бэкграунд.
Есть идея → пара строк на английском → и вот уже тягач превращается в пятиметрового боевого робота, а ты заодно узнаёшь историю советского автопрома.
Эти кадры — чистое творчество, без коммерческого умысла и технических ограничений. Сегодня, чтобы сделать «невозможное», достаточно любопытства и пары часов свободного времени.
Схема итогового промпта для o3
A daylight street photo of a sky‑blue 1978 Moskvich ‑ 412 next to its lovingly worn chrome‑accented mech form parked at three‑quarter front view beside its fully transformed robot counterpart. The robot shares the exact front grille as a chest‑plate, retains the Priora’s oval headlights as shoulder armor, features recognizable side‑door handles on forearms, and the original 14‑inch wheel design integrated into knee joints. The scene feels like late‑2000s Russia, softly lit, subtle reflection on glossy floor, hyper‑realistic, 8K.👉 Хотите прокачать собственную идею или красиво её упаковать — пишите, помогу придумать и реализовать. @pimenov_ru
1👍14🤩5❤3
Сделал парсер для PDF файлов с Ollama глазками на базе gemma3:27b-it-qat
Вдруг кому полезно будет.
GitHub
На вход подаёте любой PDF - не важно что там сканы или текст.
Вытаскивается и текст и каждая страница сохраняется как изображение и отдаётся в ollama gemma3 на анализ.
Результат объединяется и для каждой страницы у вас будет 2 текстовых описания, которые дальше уже можно как удобно обрабатывать.
Модели можно подставлять любые - вызывается через url.
Размер файла тоже не ограничен.
Автоперевод на любой язык (указывается в настройках)
Страницы можно перерабатывать поштучно, указывая их в командной строке.
В случае остановки - продолжает с последней распознанной страницы.
Для каждой страницы сохраняются промежуточные результаты и потом объединяются в общий итоговый файл.
Дальше можно передавать в RAG цепочку.
#dev #PDF #ollama #gemma #OCR
———
@tsingular
Вдруг кому полезно будет.
GitHub
На вход подаёте любой PDF - не важно что там сканы или текст.
Вытаскивается и текст и каждая страница сохраняется как изображение и отдаётся в ollama gemma3 на анализ.
Результат объединяется и для каждой страницы у вас будет 2 текстовых описания, которые дальше уже можно как удобно обрабатывать.
Модели можно подставлять любые - вызывается через url.
Размер файла тоже не ограничен.
Автоперевод на любой язык (указывается в настройках)
Страницы можно перерабатывать поштучно, указывая их в командной строке.
В случае остановки - продолжает с последней распознанной страницы.
Для каждой страницы сохраняются промежуточные результаты и потом объединяются в общий итоговый файл.
Дальше можно передавать в RAG цепочку.
#dev #PDF #ollama #gemma #OCR
———
@tsingular
🔥15⚡11✍5👍3❤1🤯1
Media is too big
VIEW IN TELEGRAM
🔥🚀 Genspark AI Slides: революция в создании презентаций
Наконец-то пошла волна решений, которые все так долго ждали.
Genspark AI Slides — новейший инструмент платформы Genspark, который преобразует запросы или документы в готовые презентации на лету.
⚙️ Техническая начинка:
• AI-генерация: мгновенное создание полноценных презентаций из простого запроса
• Автоматизированные исследования с цитированием и проверкой фактов из множества источников
• Интеллектуальная визуализация данных: генерация диаграмм, графиков, инфографики
• Редактирование через команды на естественном языке (например, "измени стиль на более корпоративный")
• Конвертация файлов: преобразование Word, Excel, PDF в слайды
• Мультимедийная интеграция: автоматическое добавление изображений, видео и аудио
🔧 Как использовать:
1. Зарегистрируйтесь на Genspark.ai https://www.genspark.ai/
2. Перейдите к AI Slides Agent
3. Введите тему или загрузите документ
4. Выберите стиль или параметры через команды
5. Получите готовую презентацию
Официальное видео
Блог Genspark
Twitter Genspark
Discord
Работает через VPN
#GensparkAI #AISlides #презентации
———
@tsingular
Наконец-то пошла волна решений, которые все так долго ждали.
Genspark AI Slides — новейший инструмент платформы Genspark, который преобразует запросы или документы в готовые презентации на лету.
⚙️ Техническая начинка:
• AI-генерация: мгновенное создание полноценных презентаций из простого запроса
• Автоматизированные исследования с цитированием и проверкой фактов из множества источников
• Интеллектуальная визуализация данных: генерация диаграмм, графиков, инфографики
• Редактирование через команды на естественном языке (например, "измени стиль на более корпоративный")
• Конвертация файлов: преобразование Word, Excel, PDF в слайды
• Мультимедийная интеграция: автоматическое добавление изображений, видео и аудио
🔧 Как использовать:
1. Зарегистрируйтесь на Genspark.ai https://www.genspark.ai/
2. Перейдите к AI Slides Agent
3. Введите тему или загрузите документ
4. Выберите стиль или параметры через команды
5. Получите готовую презентацию
Официальное видео
Блог Genspark
Twitter Genspark
Discord
Работает через VPN
#GensparkAI #AISlides #презентации
———
@tsingular
✍9🔥8🆒3
Media is too big
VIEW IN TELEGRAM
🐳 Docker + MCP: сотни серверов уже в доступе для ИИ агентов!
Docker запустил MCP Catalog и Toolkit — каталог MCP-серверов на все случаи жизни!
🧰 Что даёт Docker MCP Toolkit:
• Готовые контейнеры с популярными MCP-серверами (Stripe, Neo4j, Elastic и др.)
• Интеграция в один клик с Claude, Cursor, VS Code и Docker AI Agent
• Централизованная аутентификация — настроил один раз, используй везде
• Безопасность на уровне компании — всё работает в изолированных контейнерах
👨💻 Какие MCP-серверы уже доступны
В официальном репозитории уже сейчас можно найти сотни полезных серверов:
• PostgreSQL — запросы к БД с автоинспекцией схемы
• GitHub — полное API для работы с репозиториями, PR, issues
• Google Drive — поиск и доступ к файлам
• Brave Search — интеграция поиска для агентов
• Filesystem — безопасный доступ к локальным файлам с контролем доступа
🔧 Простой старт:
Осталось только запилить агента-оркестратора для всего этого зоопарка MCP-контейнеров. Там их реально куча уже.
UPD:
А, есть такое
MCP Installer - This server is a server that installs other MCP servers for you.
#Docker #MCP #агенты
———
@tsingular
Docker запустил MCP Catalog и Toolkit — каталог MCP-серверов на все случаи жизни!
🧰 Что даёт Docker MCP Toolkit:
• Готовые контейнеры с популярными MCP-серверами (Stripe, Neo4j, Elastic и др.)
• Интеграция в один клик с Claude, Cursor, VS Code и Docker AI Agent
• Централизованная аутентификация — настроил один раз, используй везде
• Безопасность на уровне компании — всё работает в изолированных контейнерах
👨💻 Какие MCP-серверы уже доступны
В официальном репозитории уже сейчас можно найти сотни полезных серверов:
• PostgreSQL — запросы к БД с автоинспекцией схемы
• GitHub — полное API для работы с репозиториями, PR, issues
• Google Drive — поиск и доступ к файлам
• Brave Search — интеграция поиска для агентов
• Filesystem — безопасный доступ к локальным файлам с контролем доступа
🔧 Простой старт:
npx -y @modelcontextprotocol/server-memory
Осталось только запилить агента-оркестратора для всего этого зоопарка MCP-контейнеров. Там их реально куча уже.
UPD:
А, есть такое
MCP Installer - This server is a server that installs other MCP servers for you.
#Docker #MCP #агенты
———
@tsingular
👍2🔥2⚡1❤1
Microsoft 365 Copilot получил масштабный редизайн и новые функции
Microsoft полностью переработал приложение Microsoft 365 Copilot для бизнеса!
Что нового:
• Интерфейс по умолчанию теперь показывает чат с памятью и персонализацией
• AI-поиск с поддержкой сторонних сервисов (ServiceNow, Google Drive, Slack и др.)
• Notebooks — проектные блокноты для организации информации
• Copilot Create — генерация изображений на базе GPT-4o
• Магазин AI-агентов от Microsoft и сторонних разработчиков
Microsoft также выпустила ежегодный индекс трендов работы, в котором предсказывает появление нового типа организаций — "Frontier Firm", построенных вокруг AI-инструментов, где люди становятся "боссами" AI-агентов.
#Microsoft #Copilot #Enterprise
———
@tsingular
Microsoft полностью переработал приложение Microsoft 365 Copilot для бизнеса!
Что нового:
• Интерфейс по умолчанию теперь показывает чат с памятью и персонализацией
• AI-поиск с поддержкой сторонних сервисов (ServiceNow, Google Drive, Slack и др.)
• Notebooks — проектные блокноты для организации информации
• Copilot Create — генерация изображений на базе GPT-4o
• Магазин AI-агентов от Microsoft и сторонних разработчиков
Microsoft также выпустила ежегодный индекс трендов работы, в котором предсказывает появление нового типа организаций — "Frontier Firm", построенных вокруг AI-инструментов, где люди становятся "боссами" AI-агентов.
#Microsoft #Copilot #Enterprise
———
@tsingular
🔥2
🚀 MCP в Китае: новый стандарт превращает ИИ-ассистентов в полноценных цифровых помощников
Китайские технологические гиганты активно внедряют стандарт MCP (Model Context Protocol), превращая ИИ-ассистентов из простых чат-ботов в полноценных цифровых помощников.
❇️ Ключевые игроки и их достижения
Ant Group (финтех-подразделение Alibaba):
• Запустили "MCP-сервер для платежных услуг", соединяющий ИИ с платформой Alipay
• Реализовали возможность оплаты, проверки статуса и возврата денег через обычные голосовые команды
• Платформа Tbox поддерживает развертывание более 30 MCP-сервисов (Alipay, Amap Maps, Google MCP, AWS)
Alibaba Cloud:
• Создали MCP-маркетплейс через платформу ModelScope
• Предлагают более 1000 сервисов для подключения к картам, офисным платформам и облачным хранилищам
• Интегрировали различные Google-сервисы в экосистему
Baidu:
• Активно поддерживает MCP для создания "множества вариантов использования для ИИ-приложений"
• Позиционирует агентов на базе MCP как следующий этап после чат-ботов и LLM
По словам Red Xiao Hong, основателя Butterfly Effect, ИИ-агент "больше похож на человека" по сравнению с чат-ботами, поскольку он может "взаимодействовать с окружающей средой, собирать обратную связь и использовать ее как новый запрос".
🔮 Перспективы для китайской ИИ-экосистемы
Принятие MCP в Китае — стратегическая ставка на ИИ-агентов как следующую эволюцию искусственного интеллекта. Если успех будет достигнут, это может ускорить практическое внедрение ИИ в повседневные приложения, потенциально трансформируя взаимодействие пользователей с цифровыми сервисами.
Способность к взаимодействию и адаптации может стать тем мостом, который наконец соединит узкоспециализированные ИИ-инструменты с более универсальными помощниками, которые технологические компании давно обещали.
Хорошо хоть, не стали изобретать своё. Значит проще будет и китайские сервисы в MCP экосистему интегрировать.
#MCP #Китай #агенты #Alibaba #Baidu #AntGroup
———
@tsingular
Китайские технологические гиганты активно внедряют стандарт MCP (Model Context Protocol), превращая ИИ-ассистентов из простых чат-ботов в полноценных цифровых помощников.
❇️ Ключевые игроки и их достижения
Ant Group (финтех-подразделение Alibaba):
• Запустили "MCP-сервер для платежных услуг", соединяющий ИИ с платформой Alipay
• Реализовали возможность оплаты, проверки статуса и возврата денег через обычные голосовые команды
• Платформа Tbox поддерживает развертывание более 30 MCP-сервисов (Alipay, Amap Maps, Google MCP, AWS)
Alibaba Cloud:
• Создали MCP-маркетплейс через платформу ModelScope
• Предлагают более 1000 сервисов для подключения к картам, офисным платформам и облачным хранилищам
• Интегрировали различные Google-сервисы в экосистему
Baidu:
• Активно поддерживает MCP для создания "множества вариантов использования для ИИ-приложений"
• Позиционирует агентов на базе MCP как следующий этап после чат-ботов и LLM
По словам Red Xiao Hong, основателя Butterfly Effect, ИИ-агент "больше похож на человека" по сравнению с чат-ботами, поскольку он может "взаимодействовать с окружающей средой, собирать обратную связь и использовать ее как новый запрос".
🔮 Перспективы для китайской ИИ-экосистемы
Принятие MCP в Китае — стратегическая ставка на ИИ-агентов как следующую эволюцию искусственного интеллекта. Если успех будет достигнут, это может ускорить практическое внедрение ИИ в повседневные приложения, потенциально трансформируя взаимодействие пользователей с цифровыми сервисами.
Способность к взаимодействию и адаптации может стать тем мостом, который наконец соединит узкоспециализированные ИИ-инструменты с более универсальными помощниками, которые технологические компании давно обещали.
Хорошо хоть, не стали изобретать своё. Значит проще будет и китайские сервисы в MCP экосистему интегрировать.
#MCP #Китай #агенты #Alibaba #Baidu #AntGroup
———
@tsingular
👍7🔥5
Forwarded from Метаверсище и ИИще (Sergey Tsyptsyn ️️)
Может ли ИИ заменить настоящую видеосъёмку? Мы это проверили.
Рубрика крутейшие подписчики.
Юру и Дениса я знаю примерно две тыщщи лет. Transparent House - это самая крутая студия продуктовой и архитектурной визуализации (и анимации) на северном побережье штатов. Просто поглядите на их сайт.
И вот пока мы тут в коментах хлещемся, какой генератор лучше, ребята взяли и провели тесты в реальном продакшене с очень высокими требованиями.
Hunyuan, Wan 2.1, Veo 2, Hailuo, 01-Live, Runway 4, Sora, Kling 1.6, Бонус: Luma (1/10)
Оригинальная статья тут:
https://www.transparenthouse.com/post/can-ai-replace-a-real-shoot-we-put-it-to-the-test
А я попросил Илюху Самохвалова перевести ее на русский.
Он прислал гугл-док со сылками на Vimeo, я попросил Gemini 2.5 сделать из-него веб-страницу, Гемини отказалась открывать гуглдок, тогда я просто напечатал его в ПДФ и сунул его ей в лицо.
Держите.
https://cgevent.ru/th.html
@cgevent
Рубрика крутейшие подписчики.
Юру и Дениса я знаю примерно две тыщщи лет. Transparent House - это самая крутая студия продуктовой и архитектурной визуализации (и анимации) на северном побережье штатов. Просто поглядите на их сайт.
И вот пока мы тут в коментах хлещемся, какой генератор лучше, ребята взяли и провели тесты в реальном продакшене с очень высокими требованиями.
Hunyuan, Wan 2.1, Veo 2, Hailuo, 01-Live, Runway 4, Sora, Kling 1.6, Бонус: Luma (1/10)
Оригинальная статья тут:
https://www.transparenthouse.com/post/can-ai-replace-a-real-shoot-we-put-it-to-the-test
А я попросил Илюху Самохвалова перевести ее на русский.
Он прислал гугл-док со сылками на Vimeo, я попросил Gemini 2.5 сделать из-него веб-страницу, Гемини отказалась открывать гуглдок, тогда я просто напечатал его в ПДФ и сунул его ей в лицо.
Держите.
https://cgevent.ru/th.html
@cgevent
👍11❤🔥1⚡1
AI Summary bot получил ряд удобных обновлений.
1. Теперь все темы разнесены по топикам обсуждений с заголовками
2. Заголовки кликабельны и ведут на начало беседы в чате на тему топика
3. Участники обсуждения топика указаны внизу курсивом
4. Ссылки так же указываются в каждом топике
5. Если за 24 часа было много обсуждений и все темы не помещаются в одно сообщение - оно корректно разбивается на 2
6. Установлена HTML разметка.
@aisummary_bot был создан для подведений итогов бесед в чатах.
Работает на Claude Sonnet 3.7
Может присылать саммари в личку по команде /summary или по расписанию, для этого админ чата должен в чате вызвать бота с командой /autosummary 9:00 (или любое удобное вам время по мск)
Бота нужно добавить администратором чата с доступом к сообщениям.
Сообщения видит только с момента добавления.
#dev #боты
———
@tsingular
1. Теперь все темы разнесены по топикам обсуждений с заголовками
2. Заголовки кликабельны и ведут на начало беседы в чате на тему топика
3. Участники обсуждения топика указаны внизу курсивом
4. Ссылки так же указываются в каждом топике
5. Если за 24 часа было много обсуждений и все темы не помещаются в одно сообщение - оно корректно разбивается на 2
6. Установлена HTML разметка.
@aisummary_bot был создан для подведений итогов бесед в чатах.
Работает на Claude Sonnet 3.7
Может присылать саммари в личку по команде /summary или по расписанию, для этого админ чата должен в чате вызвать бота с командой /autosummary 9:00 (или любое удобное вам время по мск)
Бота нужно добавить администратором чата с доступом к сообщениям.
Сообщения видит только с момента добавления.
#dev #боты
———
@tsingular
⚡6👍5🔥2
Forwarded from Грязный ноукодер
Вчера смотрел видео с AI Engineer Summit (если не видели, то там 3 десятка топовых выступлений про ИИ).
На одном из выступлений спикер показал интересный подход к работе с ИИ-агентами. Агент получает доступ к необходимым инструментам (БД, API сервисов и тд) и на входе обрабатывает пользовательский запрос.
Используя эти инструменты, агент в реальном времени собирает интерфейс, соответствующий конкретной задаче. На экране был показан пример - простой интерфейс для работы с электронной почтой.
Пользователь взаимодействует с этим интерфейсом - например, нажимает на письмо и агент получает данные об этом действии. Затем он анализирует, что пользователь, скорее всего, захочет увидеть дальше, и обновляет интерфейс, подстраивая его под следующий шаг - в данном случае отображает содержимое выбранного письма.
Таким образом, имея доступ к данным и контексту взаимодействия, агент способен на лету формировать интерфейсы, ориентированные на текущую потребность пользователя.
У такого подхода, конечно, есть ограничения: сейчас всё работает довольно медленно, интерфейсы простые, а результат может меняться от запроса к запросу.
Но если внедрить систему правил и ускорить реакцию ИИ, то в будущем можно получить действительно адаптивные интерфейсы, которые будут автоматически подстраиваться под задачи пользователя без лишней мишуры.
Выступление смотреть тут
На одном из выступлений спикер показал интересный подход к работе с ИИ-агентами. Агент получает доступ к необходимым инструментам (БД, API сервисов и тд) и на входе обрабатывает пользовательский запрос.
Используя эти инструменты, агент в реальном времени собирает интерфейс, соответствующий конкретной задаче. На экране был показан пример - простой интерфейс для работы с электронной почтой.
Пользователь взаимодействует с этим интерфейсом - например, нажимает на письмо и агент получает данные об этом действии. Затем он анализирует, что пользователь, скорее всего, захочет увидеть дальше, и обновляет интерфейс, подстраивая его под следующий шаг - в данном случае отображает содержимое выбранного письма.
Таким образом, имея доступ к данным и контексту взаимодействия, агент способен на лету формировать интерфейсы, ориентированные на текущую потребность пользователя.
У такого подхода, конечно, есть ограничения: сейчас всё работает довольно медленно, интерфейсы простые, а результат может меняться от запроса к запросу.
Но если внедрить систему правил и ускорить реакцию ИИ, то в будущем можно получить действительно адаптивные интерфейсы, которые будут автоматически подстраиваться под задачи пользователя без лишней мишуры.
Выступление смотреть тут
👍10❤🔥5⚡2✍1
🚀 Unsloth Dynamic v2.0: Революция в квантизации языковых моделей
Команда Unsloth представила важное обновление своего метода квантизации - Dynamic v2.0, который устанавливает новые стандарты производительности для сжатых LLM-моделей.
💡 Техническая суть обновления
• Интеллектуальная послойная квантизация: Вместо избирательной модификации определенных слоев, Dynamic 2.0 динамически адаптирует тип квантизации для каждого возможного слоя, причем комбинации различаются в зависимости от слоя и архитектуры модели
• Улучшенный калибровочный датасет: От 300K до 1.5M токенов высококачественных, вручную отобранных данных для оптимизации разговорной производительности
• Расширенная совместимость: Теперь работает со всеми архитектурами, включая MoE (раньше оптимально работал только с DeepSeek-R1)
• Модельно-специфичная оптимизация: Каждая модель получает индивидуально настроенную схему квантизации - слои, квантизированные в Gemma 3, значительно отличаются от таковых в Llama 4
📊 Оценка качества через KL-дивергенцию
Unsloth использует KL-дивергенцию как золотой стандарт для измерения ошибок квантизации вместо перплексии. Как показывает исследование "Accuracy is Not All You Need", перплексия может давать искаженные результаты из-за компенсирующих эффектов вероятностей токенов, в то время как KL-дивергенция напрямую коррелирует с "флипами" - изменениями ответов с неверных на верные и наоборот.
🧪 Результаты
На примере Gemma 3 27B:
• Dynamic 2.0 с квантизацией Q2_K_XL достигает 68.70% по MMLU 5-shot (против 67.77% в стандартной квантизации)
• 4-битная версия на 2GB меньше, но даёт на 1% лучшую точность, чем QAT-версия от Google
Метрика эффективности, рассчитанная как (MMLU 5-shot - 25)/размер в GB, показывает, что 2-битные квантизации (IQ2_XXS, IQ2_M, Q2_K_XL) обеспечивают оптимальный баланс между производительностью и размером.
🛠 Доступные модели с Dynamic v2.0
• DeepSeek: R1, V3-0324
• Llama: 4 (Scout), 3.1 (8B)
• Gemma 3: 4B, 12B, 27B
• Mistral: Small-3.1-2503
Все квантизированные модели доступны на Hugging Face и готовы к запуску в любом движке вывода: llama.cpp, Ollama или Open WebUI.
Unsloth также помог исправить несколько критических багов в Llama 4, что привело к повышению точности MMLU Pro с 68.58% до 71.53%.
#квантизация #Unsloth #Gemma3 #Llama4 #оптимизация
———
@tsingular
Команда Unsloth представила важное обновление своего метода квантизации - Dynamic v2.0, который устанавливает новые стандарты производительности для сжатых LLM-моделей.
💡 Техническая суть обновления
• Интеллектуальная послойная квантизация: Вместо избирательной модификации определенных слоев, Dynamic 2.0 динамически адаптирует тип квантизации для каждого возможного слоя, причем комбинации различаются в зависимости от слоя и архитектуры модели
• Улучшенный калибровочный датасет: От 300K до 1.5M токенов высококачественных, вручную отобранных данных для оптимизации разговорной производительности
• Расширенная совместимость: Теперь работает со всеми архитектурами, включая MoE (раньше оптимально работал только с DeepSeek-R1)
• Модельно-специфичная оптимизация: Каждая модель получает индивидуально настроенную схему квантизации - слои, квантизированные в Gemma 3, значительно отличаются от таковых в Llama 4
📊 Оценка качества через KL-дивергенцию
Unsloth использует KL-дивергенцию как золотой стандарт для измерения ошибок квантизации вместо перплексии. Как показывает исследование "Accuracy is Not All You Need", перплексия может давать искаженные результаты из-за компенсирующих эффектов вероятностей токенов, в то время как KL-дивергенция напрямую коррелирует с "флипами" - изменениями ответов с неверных на верные и наоборот.
🧪 Результаты
На примере Gemma 3 27B:
• Dynamic 2.0 с квантизацией Q2_K_XL достигает 68.70% по MMLU 5-shot (против 67.77% в стандартной квантизации)
• 4-битная версия на 2GB меньше, но даёт на 1% лучшую точность, чем QAT-версия от Google
Метрика эффективности, рассчитанная как (MMLU 5-shot - 25)/размер в GB, показывает, что 2-битные квантизации (IQ2_XXS, IQ2_M, Q2_K_XL) обеспечивают оптимальный баланс между производительностью и размером.
🛠 Доступные модели с Dynamic v2.0
• DeepSeek: R1, V3-0324
• Llama: 4 (Scout), 3.1 (8B)
• Gemma 3: 4B, 12B, 27B
• Mistral: Small-3.1-2503
Все квантизированные модели доступны на Hugging Face и готовы к запуску в любом движке вывода: llama.cpp, Ollama или Open WebUI.
Unsloth также помог исправить несколько критических багов в Llama 4, что привело к повышению точности MMLU Pro с 68.58% до 71.53%.
#квантизация #Unsloth #Gemma3 #Llama4 #оптимизация
———
@tsingular
👍6❤🔥2⚡1