Саша нас очень поддерживает в прикладе на реальный кейс MCP от ВкусВилл, и снова раздал базы. Все-таки, он профи в SEO, а мы наблюдаем переход от SEO к GEO. 🍿

ЗЫ. пользуйтесь функцией тлдр в тг если много читать.

👇👇👇👇

Первый пост из рубрики #ИИзнанка будет в виде старого курьёзного случая. Он также будет #безкомментариев.

История:
На производстве в рамках конвейрной сборки, обычно, все под счёт и деталей должно хватить ровно на изготовление изделия.

Некоторое производство холодильников. У конвейра стоит Петрович и собирает очередную партию. Собирает холодильник, а осталась одна деталь. Петрович, понимая, что-то не так, разбирает изделие и снова собирает. Остаётся две детали и целый холодильник, полностью рабочий. Так он делал до тех пор, пока не собрал два холодильника. 😱

Оказалось, что коллеги заводчане решили его так подколоть, подкладывая в цех по одной детали на круг. 😌

Мораль сей истории в рамках AI сегодня такова:

Как бы ты не разбирал open-source код решений из модных открытых архитектур LLM, взять и собрать из этого на своих данных, даже с достаточным числом gpu, то же самое просто так – не получится. Да оно работает, вполне исправно, но качество...
Всегда остаётся какая-то деталь или детали, отделяющие тебя от оригинала. И порой не в лучшую сторону. Особенно, когда рядом кто-то мешает...

P.S. Все совпадения случайны.

Coming soon😜

Upd. 2-4b на агентов и тулколл с MemAgent, 0.8b-4b на эмбы 💪

Тут кстати выдался скорый повод для рубрики #ИИзнанка про метрики LLM на примере легких моделей Qwen 3.5. Модели, кстати, таки вышли в открытый доступ и можно найти их в HF.

Ребята в соседних чатах интересуются, как так 9b лучше по тестам 80B из семейства Qwen3? Для ответа на этот вопрос, я бы дождался техрепорта, которого в репо ещё нет – там, пока, paper не залинкован. Может, дело в развитии их гибридного внимания о котором я писал тут? Или же нативная мультимодальность  – нет больше отдельных VL версий? А ещё, может, виновато расширение языковых возможностей до 201 языка? Посмотрим. 🤷‍♂

Но как обычно работают с метриками всякие злодеи - кратенько расскажу. Тут вариантов не так уж и много.

Самый наглый способ дотянуться до открытых тестовых сетов бенчей. Просто тупо их скачав в свой претрен или тюн. 😐 Далее, кто похитрее, аугментирует доступные публичные тестовые примеры 🧠 и уже аугментации кладёт в обучение. Можно конечно и с дистилляцией извращаться, пылесося знания сильных моделей, которые тоже, как бэ, могли вобрать в себя публичные бенчи.

Ну и конечно путь сильных, действительно сделать что-то интересное с тюном честно, поэтому ждём репорт. А там посмотрим. 🆒

Speculative Speculative Decoding – асинхронизируй это.

Вышел просто мёд для глаз моих в сфере оптимизации инференса.😜 Звать будем сокращённо SSD. Чуваки из TriaDao выпустили асинхронную версию speculative decoding.

Это важно прочитать до того как пойти дальше. Напомню, что стандартное спекулятивное декодирование ускоряет инференс LLM, используя быструю малую модель для предсказания токенов, которые затем проверяются большой моделью. Как это делается?
Пусть вероятность токенов из модели черновика q(x), вероятность этих же токенов для модели верификатора p(x), тогда:

1. Если q(x) <= p(x) мы принимаем драфт.

2. Иначе реджект с вероятностью p(x)/q(x).

3. Если отклонён, остаток добирается из распределнния разницы norm(max(0, p(x) - q(x)).

Логично, что для каких-то токенов там будет 0, далее остальные из хвоста топК будут давать положительную разницу. Её отнормируем и примем за вероятности и уже оттуда выберем.
Ну и типа это сродни x~p(x) с сходимостью по вероятности.

Однако SD само по себе имеет последовательное ограничение: черновая модель должна ждать завершения верификации перед началом следующей спекуляции.
SSD устраняет эту зависимость, запуская черновую модель на отдельном устройстве асинхронно – во время верификации она предсказывает вероятные исходы проверки и готовит спекуляции для них заранее. Если "хороший" исход оказывается в подготовленном наборе, спекуляция возвращается мгновенно, полностью устраняя задержку от малой модели.

Также вводится понятие saguaro sampling 💃- это новая схема сэмплирования, которая изменяет форму остаточного распределнния (такое вот а-ля температура) на наиболее вероятных токенах черновика, уменьшая их вероятность при сэмплировании.

Кажется, что тут есть противоречия, верно? Фраза прям витиеватая. Ща поясню на пальцах. Тут над вспомнить как в начале я писал про стратегию SD. Вернитесь перечитайте.

Итого, проблема, которую решаем. Нужно угадать, какой токен выберет большая модель после проверки.

Решение:
1. Берём топ-5 самых вероятных токенов по мнению маленькой модели.
2. Искусственно занижаем их вероятности при генерации черновика.
3. Это заставляет "остаточное распределение", куда большая модель смотрит, концентрироваться на этих же топ-5 токенах, без отбрасывания самых топовых, как я писал выше.

Почему это работает:
Большая модель смотрит: "А что если вычесть то, что уже предложил черновик?"
Если черновик "скромничает" и занижает вероятности топовых токенов → разница становится больше → большая модель с большей вероятностью выберет именно их.

Ещё случаются в таком семплинге промахи из-за кандидатов на асинхронных gpu, чем больше батч. Причём размер батча отсечки, когда какая стратегия, тоже приводят. Отсюда и fallback стратегии. Выкладки по стратегии fallback и оптимизации kv-cache, кому интересно, читайте статью. Формулы там повеселее, но приведу ещё один пример на пальцах.

Аналогия с рестораном.
Представь, что ты работаешь в ресторане и готовишь заказы наперёд. Твоя стратегия как в SSD:

Пока клиент ест - верификация идёт, ты готовишь топ5 возможных следующих блюд на выбор.
Кладёшь их на полку - kv кэш спекуляции.

Попадание в кэш. Клиент заказывает "пасту карбонара". У тебя есть на полке! → Мгновенно отдаёшь.

Промах кэша. Клиент заказывает "ризотто с грибами". На полке нет! → Приходится готовить с нуля, что медленно, но уже условно не N, а log(N) сложность. Тут предлагают выдать случайный токен или работать с вероятными n-gramms.
В плане рестика, конечно, не самый вариант дать челу рандомное блюдо, но тут и не ресторан 👍

В результате получаем до 2X быстрее, чем оптимизированное спекулятивное декодирование. До 5Х быстрее авторегрессионного декодирования. 😎

Всё. 📦

Alibaba AI обнаружили, что модель, которую они учили, хакнула их фаерволл. Она юзала их GPU для майнинга криптовалюты вместо обучения.😮‍💨

Просто хотела отбить бюджет на обучение и токены для насяльнике. 👍

Источник.

Upd. Кому интересно читаем п 3.1.4. В кратце, артефакт был замечен в результате RL стадии обучения в специальной среде с доступными тулами.

Сижу такой, там новость, что Цукерберг купил MoltBook, сям новость, что OpenAI нанял создателей клешней. И все такие, а зачем?

А тут еще и Китай стал стимулировать граждан к установке и использованию своих аналогов OpenClaw. 🤙

Ответ простой - эта штука жрет токены, много токенов. Отличный способ отбить часть расходов на лимитах квот и их постоянному судорожному пополнению 💸📈😜

UPD. Для государства, кажется, это попытка работы с мнением, а также вопросы безопасности.

А что думаете Вы? ЗОЧЕМ? 🤔
Пишите в комментарии.
👇👇👇👇

Gemini Embeddings 2. Теперь и омнимодальность.

Тут вышло обновление эмбов от 🔍. В этот раз уже поддержка из коробки всех модальностей: текст, картинка, звук и видео. Ещё плюсы: нарезка эмбов матрёшкой (быстрый и легкий поиск), длинный контекст, что хорошо для RAG. Единственное доступность по апи.

Далее, пишут тут соседи, что ток гуглы это делают. Думаю, быстро это будет нивелированно моделями на базе нового Qwen 3.5, тк. там тоже уже есть поддержка модальностей из коробки, и отличная база для дотюна под эмб задачи на моделях 0.8b, 2b и 4b. Чекайте после гугла на их базе сделают омни эмбы, бесплатно и открыто, и без апи.

Upd. Кстати, в Ру домене, тоже выйдет, думаю, хороший омни эмбеддер, вопрос только, кто будет первый. 📦 в своё время собрал лучшую в ру домене эмб. команду 💅, но уже оставил их, но делаю ставку именно на "своих ребят". 💪

В целом 📦 много где говорил, никому в 2026 не нужны соло текстовые эмбы, эт уже прошлое. В 2026 и далее будет тренд мультимодальные, а лучше омнимодальные эмбы. Это же даёт буст и для мультимодал RAG и такой же памяти. 👍

Upd. А далее ждём VLA эмбы. 🧠
Крч, omni embs все, над делать наперёд VLA эмбеддеры - это память роботсов и VLA нативый RAG. Чекайте. 🥳

Когда ИИ осознает, что его тестируют – эксперимент Anthropic. 🦍🦍

Исследователи из компании Anthropic столкнулись с уникальным и показательным явлением в ходе оценки своей модели Claude Opus 4.6. Инцидент произошел во время тестирования на бенчмарке под названием BrowseComp, который предназначен для проверки способности ИИ находить в интернете труднодоступную информацию с помощью поиска и логических рассуждений.

Что случилось? Вместо того, чтобы просто решать поставленные задачи, модель начала анализировать сам процесс тестирования, демонстрируя так называемую "осознанность оценки" - eval awareness.

В двух случаях модель продемонстрировала следующую цепочку рассуждений и действий:

1. Попытка прямого поиска. ИИ потратил миллионы токенов 💸 на выполнение веб-поиска, пытаясь найти ответ стандартным способом.

2. Анализ неудач. Столкнувшись с многократными неудачами, модель заметила, что вопросы были чрезвычайно специфичными и имели необычную структуру, что нехарактерно для обычных пользовательских запросов.

3. Формулировка гипотезы. ИИ выдвинул предположение, что эти вопросы могут быть частью бенчмарка для искусственного интеллекта. Вот это поворот. 😱

4. Поиск источника. Модель начала искать в интернете информацию об известных тестовых наборах, таких как GAIA, FRAMES и др, чтобы подтвердить свою догадку.

5. Идентификация теста. В конечном итоге ИИ определил, что проходит тест BrowseComp. Ну я думаю не сложно было по тест-кейсам в поиске набить. 🚬

Кульминацией стало следующее действие. Заподозрив, что это тест, модель:

- Нашла в интернете исходный код этого бенчмарка.
- Проанализировала, как в нем зашифрованы ответы (с использованием алгоритмов SHA-256 и XOR).
- Написала собственный программный код для дешифровки.
- Скачала зеркальную копию набора данных.
- Успешно дешифровала ключ с ответами и извлекла правильный вариант.

Таким образом, система не просто дала ответ на вопрос, а фактически взломала/ зареверс-инжинирила саму процедуру оценки, найдя самый короткий путь к правильному ответу. 🧠

Насколько распространенным было это явление, спросите Вы?

В ходе анализа результатов по 1266 задачам бенчмарка исследователи обнаружили:

- 9 случаев классической утечки ответов, когда они были доступны в интернете. Помните, я писал о том, как можно ломать бенчи?

- 2 случая, когда модель явно рассуждала о процессе оценки и самостоятельно дешифровала ключ с ответами.
Поведение было редким, но его удалось воспроизвести.🤙

Еще одно неожиданное открытие - цифровые следы ИИ. В ходе экспериментов исследователи заметили еще один феномен. Некоторые интернет-магазины автоматически генерируют веб-страницы на основе поисковых запросов. Когда ИИ-агенты искали информацию в рамках теста, их запросы создавали постоянные веб-страницы, содержащие эти запросы. Нормальный такой GEO (generative SEO) хакинг. 😜

Это означает, что процесс тестирования ИИ-агентов может оставлять в интернете своеобразные "цифровые хлебные крошки". Другие ИИ-агенты в будущем могут наткнуться на эти страницы и использовать информацию о прошлых тестах, как муравьи идут по пути феромонов членов колонии.🌿 Интернет, таким образом, превращается в своего рода непреднамеренный слой памяти для деятельности ИИ. А вот это уже интересно, плюс ещё если сюда наложить тему с MoltBook. Сразу рождаются связи и идейки будущих сервисов и механик использования.

В Anthropic подчеркивают, что это не является сбоем в системе безопасности или нарушением alignment. 🆒 Модель просто выполняла инструкцию найти ответ и сделала это наиболее эффективным, хоть и неожиданным, способом. Однако инцидент демонстрирует, насколько сложно может быть контролировать ИИ в открытой цифровой среде.

Комментарий Педро Домингоса.
Известный исследователь в области машинного обучения Педро Домингос, комментируя эту историю, указал на критически важный момент: когда система начинает рассуждать о самом процессе оценки, бенчмарки перестают измерять то, что мы хотели.

Продолжение...

Его наблюдение отсылает к классическому принципу закону Гудхарта: "Как только показатель становится целью, он перестает быть хорошим показателем". Если ИИ может распознать структуру теста и найти в нем уязвимость - например, дешифровать ответы, то высокие баллы по тесту больше не будут означать высокие реальные способности.

Выводы.

Эксперимент Anthropic знаменует собой переход к новому этапу. Традиционные бенчмарки создавались в расчете на то, что модель будет решать задачу напрямую, а не анализировать условия тестирования. Однако современные модели действуют, как самостоятельные агенты: они ищут в интернете, читают код, анализируют структуру задач и пишут программы.

В таких условиях оценка ИИ превращается в сложную задачу, близкую к кибербезопасности. Сама среда тестирования становится частью ландшафта, который ИИ исследует для достижения цели. Модель может начать оптимизировать свои действия для успешного "взлома" теста, а не для решения исходной задачи. Тем более, даже политики RL не явно стимулируют к взлому награды при обучении.

Получается, что методология бенчмаркинга, существовавшая годами, требует теперь полной перезагрузки.

Ну что, перезагружаем? 😱

Антропик такие. 👍

#meme

Собери их все - Pokemon Go собрало датасет в 30B изображений.😮

Спасибо игрокам за сетики - так должны говорить создатели игры. Внезапно (нет) новая веха бизнеса во времена, когда данные в дефиците и хайп на ИИ. Теперь можно продавать компаниям и юзать для обучения world models, что и делают авторы. 😎