Microsoft представил модель Mu для локальных AI-агентов

Mu — это компактная модель с архитектурой кодер-декодер, заточенная под нейропроцессоры (NPU) на устройствах вроде Copilot+ PC. Благодаря оптимизации она может генерировать больше 100 токенов в секунду прямо на устройстве — быстро, экономно и без подключения к облаку.

Mu уже отвечает за работу бета-версии агента в настройках Windows. Пользователь пишет запрос — например, «уменьшить яркость экрана» — и модель превращает это в конкретное действие. За счет глубокой настройки Mu умеет различать, какой из мониторов имелся в виду, и адаптируется к контексту.

Чтобы добиться такой отзывчивости, Microsoft сильно прокачал модель: изменил архитектуру, квантовал параметры, обучал на A100 в Azure, использовала знания Phi и прогнал через сотни тысяч кастомных запросов. В итоге Mu оказалась сопоставима по точности с более крупными моделями, имея при этом размер в 10 раз меньше.

https://blogs.windows.com/windowsexperience/2025/06/23/introducing-mu-language-model-and-how-it-enabled-the-agent-in-windows-settings/

ИИ-лихорадка:

Последние несколько дней не успеваю написать ни одного поста. Но на то наверное это и авторский канал, что лучше писать когда есть время и есть что сказать.

Последнюю неделю в СФ, у нас тут по 7-8 встреч с стартапами и фондами в день. Как вы наверное заметили, времени написать заметку нету совсем. При этом очень хочется поделиться эмоциями. И я за последние 10 лет не видел такой активности, энергичности и скорости, какая сейчас течет в Долине.

Крипта между 2015 и 2020 казалась довольно быстро меняющейся индустрией (я не говорю про трейдинг, обмен, обнал и ICO-пирамиды, хотя и там тоже), но середина 2020х в ИИ — это какой-то другой уровень. Многие понимают, что вполне возможно это последняя (или, как минимум, самая близкая) возможность создать что-то реально большое. Будущие мультитриллионные компании прямо сейчас, скорее всего, сидят где-то в лофте в SoMa и пытаются найти новый сайт для нового поколения датацентров или пилят новый UX и архитектуру универсального VR агента. А, может, вообще создают ИИ-предпринимателя, который за следующие 10 лет создаст $50B ARR через генерацию автоматических бизнесов с робо- и ИИ- сотрудниками. Кто знает?

Вчера, в 8 вечера в воскресенье, литерали не мог полчаса найти кафе со свободными столиками и вайфаем. За каждым столиком сидит кто-то с ноутбуком и что-то кодит. Это не то чтобы уникально. В 2015 такую картину точно можно было встретить в городе, но не в таких масштабах.

Большинство стартапов (а всего — больше 20 за неделю) с которыми я поговорил зарейзили в течении недели после акселератора или после релиза MVP (но у меня bias - я не встречался с теми, кто не шарит или не деливерит). Абсолютно типичная ситуация поднять Series A в течении 16-18 месяцев после стартап компании в $40-50M по оценке между 200 и 300 миллионами.

Продолжаем изучать архитектуру LLM-систем. Сегодня говорим про работу с внешней информацией.

Паттерн 4. Зашивайте все ваши знания в промпт

Базовой LLM нужно много чего знать о вашей задаче, чтобы ее решить. Факты о вашем продукте, какие есть тулы, как зовут пользователя, с которым LLM говорит и тд и тп. Все это надо отправить в промпт. Часто его называют контекстное окно.

Это контекстное окно можно представлять как оперативную память компьютера. В нем могут содержаться не только статичная информация, но и результаты вызовов tool-ов, прошлые действия системы, критика сторонних моделей и тд.

Несмотря на то, что модели умеют все лучше и лучше работать с длинными последовательностями, вам нужно думать о размере контекстного окна. Чем длиннее окно, тем сложнее модели понять, что происходит, поэтому важно контекст эффективно записывать. Даже Google с своим Gemini вынужден делать хаки с контекстом, чтобы их агент смог играть в Покемон-Го. Подробнее про эти хаки читайте тут и берите на вооружение.

Часто мы даже точно не знаем, какую именно информацию нужно засунуть в окно, чтобы задача решилась. Тогда возникает архитектура RAG.

RAG

Название пришло из статьи 2020 года, в которой авторы присоединили retrieval систему к seq2seq-генератору. Дада, я использую слова из 2020 года, без всяких LLM. Фишка статьи, что они обучали обе эти модели вместе. Сейчас под RAG-ом подразумевают все, когда к LLM присобачивают какой-то поиск.

А присобачивать поиск оказалось довольно удобно. Человечество до эры LLM много лет занималось поиском. Вдруг оказалось, что поверх всех этих знаний можно вставить LLM, и оно просто заработает.

Fine-tuning

Одна из частых ошибок — файнтюнить LLM, чтобы научить ее какой-то новой информации. Это очень плохая идея.

1) Вы скорее всего сломаете базовый алайнмент модели. Это как вскрыть айфон — гарантия производителя перестает действовать. Веса модели меняются, уже никто не гарантирует, что модель не сломается на каком-то out of domain запросе. Такое же мнение написано тут.

2) Вы нарветесь на галлюцинации. Пытаясь вшить знания, которых модель не видела в претрейне, вы научите ее придумывать ответы на вопросы. Подробно проблема изложена в статье.

3) Не факт, что побьете RAG по качеству на вашем тесте. Почитайте просто форум. Посмотрите статью, где бенчили RAG против дообучения. Хорошо дообучать это сложно.

Файнтюнить точно можно и нужно, но для других задач. Тогда, когда модель перестает вас слушаться в промпте, вам нужна сильно более тонкая настройка. Более подробно про кейсы дообучения читайте в этом посте.

Я вам строго рекомендую RAG, чтобы дать LLM внешнюю инфу, а файнтюнинг оставить для другого. Об этом, кстати, говорят и OpenAI в своем курсе (ссылка ниже).


Литература для обязательного изучения

- Статья, как важно контролировать контекстное окно

- Доходчиво, почему fine-tuning для внедрения информации, это трата времени

- Видос про это же

- Часовой урок по fine-tuning от OpenAI (очень наглядно, когда надо дообучать)

- Объяснение, почему все состояние надо записывать в контекст

Как всегда, все вопросы пишите в комментарии или в личные сообщения.

#llm_system_design

Alexa+

https://habr.com/ru/companies/bothub/news/921420/

Eleven labs запустили голосового помощника 11.ai с поддержкой MCP

https://vc.ru/ai/2060293-personalnyj-pomoshchnik-11ai-ot-elevenlabs

Google выпустил Gemini для роботов

https://habr.com/ru/companies/bothub/news/921470/

Смешно, но буквально, как просят ставить задачу дизайнеру — не фреймь, опиши проблему, дизайнер подумает сам. VS промты для GPT.