🛰 ComputerRL — новый фреймворк, который учит AI-агентов работать с компьютером так же, как это делает человек.
Главная идея — парадигма API-GUI: агент может и вызывать API, и кликать по кнопкам интерфейса. Благодаря этому исчезает разрыв между машинной автоматизацией и привычным для человека рабочим столом.
Команда Zai проверила ComputerRL на модели GLM-4-9B-0414 и протестировала её на бенчмарке OSWorld. Результат — новый агент AutoGLM-OS-9B, который достиг рекордной точности и уверенно решает задачи автоматизации в desktop-средах.
Проще говоря: теперь AI может не только «понимать» компьютер, но и полноценно работать с ним — запускать программы, управлять окнами и выполнять сложные действия.
📌 Статья
📌 Проект
Главная идея — парадигма API-GUI: агент может и вызывать API, и кликать по кнопкам интерфейса. Благодаря этому исчезает разрыв между машинной автоматизацией и привычным для человека рабочим столом.
Команда Zai проверила ComputerRL на модели GLM-4-9B-0414 и протестировала её на бенчмарке OSWorld. Результат — новый агент AutoGLM-OS-9B, который достиг рекордной точности и уверенно решает задачи автоматизации в desktop-средах.
Проще говоря: теперь AI может не только «понимать» компьютер, но и полноценно работать с ним — запускать программы, управлять окнами и выполнять сложные действия.
📌 Статья
📌 Проект
👍12❤7🔥3
KOSMOS 2.5 от Microsoft наконец-то интегрирован в huggingface Transformers 🙌🔥
Это end-to-end Document AI модель, похожая на Donut/Pix2Struct, обученная на 357,4 млн документов.
✨ Основные возможности:
- Конвертация изображений в Markdown
- OCR с пространственными координатами
- Общение напрямую с документами
Огромный шаг для Document AI и мультимодальных рабочих процессов!
🟢 Models : https://huggingface.co/models?search=microsoft/kosmos-2.5
🟢 Docs: https://huggingface.co/docs/transformers/main/en/model_doc/kosmos2_5
#AI #HuggingFace #Microsoft #DocumentAI
Это end-to-end Document AI модель, похожая на Donut/Pix2Struct, обученная на 357,4 млн документов.
✨ Основные возможности:
- Конвертация изображений в Markdown
- OCR с пространственными координатами
- Общение напрямую с документами
Огромный шаг для Document AI и мультимодальных рабочих процессов!
#AI #HuggingFace #Microsoft #DocumentAI
Please open Telegram to view this post
VIEW IN TELEGRAM
👍9❤5🔥5
Forwarded from Machinelearning
Институт искусственного интеллекта Аллена выпустил OLMoASR, семейство из 6 моделей для автоматического распознавания английской речи.
По результатам тестов на 21 датасете, модели OLMoASR показали производительность, сопоставимую с Whisper от OpenAI, а в некоторых случаях и превзошли ее, особенно при работе с длинными аудиозаписями.
Проект полностью открытый: опубликованы не только веса моделей, но и датасет, код для обработки данных, а также скрипты для обучения и оценки. Все компоненты, включая код и данные, доступны на GitHub и Hugging Face.
@ai_machinelearning_big_data
#AI #ML #ASR #OLMoASR #AI2
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤9👍4🔥4
📢 OpenAI опубликовала официальный Realtime Prompting Guide — подробное руководство по работе с новым моделью gpt-realtime для голос-голос взаимодействия в API.
🧠 В отличие от текстовых моделей, gpt-realtime требует особых техник промптинга. Вот ключевые:
● Делите системный промпт на секции: роль, тон, контекст, правила, инструменты, поток диалога, безопасность
● Чётко задавайте роль и цель, чтобы модель понимала свою задачу и критерии успеха
● Управляйте речью напрямую: длина ответа (2–3 предложения), темп речи, жёсткая языковая блокировка
● Добавляйте примеры фраз для стиля и правило вариативности, чтобы избежать повторов
● Указывайте правильные произношения сложных терминов, цифры и коды — по символам, с подтверждением
● Убирайте неоднозначности: давайте определения, устраняйте конфликты, используйте критику для улучшения промпта
● Для непонятного аудио — отвечать только на чёткий ввод, в том же языке запрашивать уточнение
● Точно описывайте работу инструментов: когда использовать, когда нет, добавляйте преамбулы или запрос подтверждения
● Если роли разделены на «мыслителя» и «отвечающего» — требуйте перефразировать мысль в короткий живой ответ для речи
● Организуйте диалог как состояния с целями, инструкциями, критериями выхода и примерами
● Для сложных сценариев используйте JSON state machine или динамические правила и списки инструментов
● Определяйте условия эскалации (например, 2 сбоя инструмента или 3 подряд «нет ввода»), при которых модель должна коротко и нейтрально передать разговор человеку
⚡️ Этот гайд даёт системный подход к промптингу в реальном времени и помогает строить надёжных голосовых ассистентов на базе gpt-realtime.
https://cookbook.openai.com/examples/realtime_prompting_guide
🧠 В отличие от текстовых моделей, gpt-realtime требует особых техник промптинга. Вот ключевые:
● Делите системный промпт на секции: роль, тон, контекст, правила, инструменты, поток диалога, безопасность
● Чётко задавайте роль и цель, чтобы модель понимала свою задачу и критерии успеха
● Управляйте речью напрямую: длина ответа (2–3 предложения), темп речи, жёсткая языковая блокировка
● Добавляйте примеры фраз для стиля и правило вариативности, чтобы избежать повторов
● Указывайте правильные произношения сложных терминов, цифры и коды — по символам, с подтверждением
● Убирайте неоднозначности: давайте определения, устраняйте конфликты, используйте критику для улучшения промпта
● Для непонятного аудио — отвечать только на чёткий ввод, в том же языке запрашивать уточнение
● Точно описывайте работу инструментов: когда использовать, когда нет, добавляйте преамбулы или запрос подтверждения
● Если роли разделены на «мыслителя» и «отвечающего» — требуйте перефразировать мысль в короткий живой ответ для речи
● Организуйте диалог как состояния с целями, инструкциями, критериями выхода и примерами
● Для сложных сценариев используйте JSON state machine или динамические правила и списки инструментов
● Определяйте условия эскалации (например, 2 сбоя инструмента или 3 подряд «нет ввода»), при которых модель должна коротко и нейтрально передать разговор человеку
⚡️ Этот гайд даёт системный подход к промптингу в реальном времени и помогает строить надёжных голосовых ассистентов на базе gpt-realtime.
https://cookbook.openai.com/examples/realtime_prompting_guide
❤7👍5🔥4
🛠️ Fine-tuning GPT-OSS и деплой в FP4
Простое дообучение в MXFP4 часто рушит качество модели.
NVIDIA показала рабочий рецепт: совмещаем fine-tuning с Quantization-Aware Training (QAT), а затем возвращаем модель в 4-битную точность — быстро и без потери качества при инференсе.
🚀 В блоге:
- Пошаговый QAT-гайд с кодом
- Бенчмарки после fine-tune + QAT
- Как NVFP4 на Blackwell даёт ещё больше точности
📖 Полный рецепт в NVIDIA Model Optimizer: https://developer.nvidia.com/blog/fine-tuning-gpt-oss-for-accuracy-and-performance-with-quantization-aware-training/
Простое дообучение в MXFP4 часто рушит качество модели.
NVIDIA показала рабочий рецепт: совмещаем fine-tuning с Quantization-Aware Training (QAT), а затем возвращаем модель в 4-битную точность — быстро и без потери качества при инференсе.
🚀 В блоге:
- Пошаговый QAT-гайд с кодом
- Бенчмарки после fine-tune + QAT
- Как NVFP4 на Blackwell даёт ещё больше точности
📖 Полный рецепт в NVIDIA Model Optimizer: https://developer.nvidia.com/blog/fine-tuning-gpt-oss-for-accuracy-and-performance-with-quantization-aware-training/
❤8🔥2👍1
🚀 LongCat-Flash-Chat — новая MoE-модель от Meituan
Что это:
LongCat-Flash-Chat — огромная модель на 560B параметров с архитектурой Mixture-of-Experts (MoE).
При этом в работе активируется только 18.6–31.3B параметров (в среднем ~27B), что делает её очень эффективной.
Особенности:
- Дизайн ScMoE (shortcut-connected MoE) позволяет перекрывать вычисления и коммуникации → скорость инференса более 100 токенов/сек.
- Продуманная стратегия масштабирования: стабильное обучение, защита от ошибок данных, репродуцируемость.
- Настроена под агентные задачи: контекст до 128k токенов, multi-stage пост-трейнинг, синтез данных с участием мультиагентов.
Результаты:
Модель показывает конкурентную производительность в понимании текста, академических задачах, программировании и агентных сценариях.
Лицензия и доступ:
- Доступна бесплатно на Hugging Face.
- Лицензия MIT — можно использовать в любых проектах.
https://huggingface.co/meituan-longcat/LongCat-Flash-Chat
Что это:
LongCat-Flash-Chat — огромная модель на 560B параметров с архитектурой Mixture-of-Experts (MoE).
При этом в работе активируется только 18.6–31.3B параметров (в среднем ~27B), что делает её очень эффективной.
Особенности:
- Дизайн ScMoE (shortcut-connected MoE) позволяет перекрывать вычисления и коммуникации → скорость инференса более 100 токенов/сек.
- Продуманная стратегия масштабирования: стабильное обучение, защита от ошибок данных, репродуцируемость.
- Настроена под агентные задачи: контекст до 128k токенов, multi-stage пост-трейнинг, синтез данных с участием мультиагентов.
Результаты:
Модель показывает конкурентную производительность в понимании текста, академических задачах, программировании и агентных сценариях.
Лицензия и доступ:
- Доступна бесплатно на Hugging Face.
- Лицензия MIT — можно использовать в любых проектах.
https://huggingface.co/meituan-longcat/LongCat-Flash-Chat
🔥6❤2👍2