Google Cloud показал reference architecture для multi-tenant AI-агентов.
Смысл простой: в компании может быть много агентов для разных команд, но каждый должен видеть только свои данные, свои tools и свои правила доступа.
Архитектура строится по hub-and-spoke модели.
В центре - routing, IAM, security, логи и мониторинг.
По краям - отдельные tenant projects для бизнес-юнитов: поддержка, финансы, продажи, аналитика.
Запрос проходит через Load Balancer, Cloud Armor, IAP и Model Armor, затем уходит в нужный tenant.
Внутри tenant-а агент работает через Agent Runtime, ADK, MCP-серверы и свой datastore, например BigQuery или AlloyDB.
Ключевая деталь - изоляция.
Principal Access Boundary Policy не даёт агенту одного tenant-а лезть в данные другого.
Model Armor проверяет prompt injection, PII и опасный контент.
Это хороший шаблон для enterprise AI: не один общий агент на всю компанию, а управляемая система с границами доступа, аудитом и безопасностью.
Документация:
https://docs.cloud.google.com/architecture/multi-tenant-agentic-ai-system
Смысл простой: в компании может быть много агентов для разных команд, но каждый должен видеть только свои данные, свои tools и свои правила доступа.
Архитектура строится по hub-and-spoke модели.
В центре - routing, IAM, security, логи и мониторинг.
По краям - отдельные tenant projects для бизнес-юнитов: поддержка, финансы, продажи, аналитика.
Запрос проходит через Load Balancer, Cloud Armor, IAP и Model Armor, затем уходит в нужный tenant.
Внутри tenant-а агент работает через Agent Runtime, ADK, MCP-серверы и свой datastore, например BigQuery или AlloyDB.
Ключевая деталь - изоляция.
Principal Access Boundary Policy не даёт агенту одного tenant-а лезть в данные другого.
Model Armor проверяет prompt injection, PII и опасный контент.
Это хороший шаблон для enterprise AI: не один общий агент на всю компанию, а управляемая система с границами доступа, аудитом и безопасностью.
Документация:
https://docs.cloud.google.com/architecture/multi-tenant-agentic-ai-system
❤9👍4🔥2
LLM в поддержке: от шаблонов к точной работе с документами компании
✅ На открытом уроке разберём, как устроены современные решения на базе LLM, почему они не просто генерируют текст, а используют знания компании для подготовки ответов, и как такие инструменты помогают ускорять обработку обращений.
На практических примерах покажем, как документы превращаются в базу знаний для ИИ, как происходит поиск информации по запросу клиента и каким образом LLM помогает оператору поддержки готовить ответы. Также поговорим о том, как подобные решения применяются в бизнесе уже сегодня.
Урок пройдёт 6 июля в 20:00 МСК в преддверии старта курса «LLM-инженер». Это возможность познакомиться с современным подходом к созданию интеллектуальных сервисов, задать вопросы эксперту и понять, как внедрять подобные решения в реальные процессы компании.
➡️ Регистрация открыта: https://otus.pw/ldwU/?erid=2W5zFHJC1vy
Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.
✅ На открытом уроке разберём, как устроены современные решения на базе LLM, почему они не просто генерируют текст, а используют знания компании для подготовки ответов, и как такие инструменты помогают ускорять обработку обращений.
На практических примерах покажем, как документы превращаются в базу знаний для ИИ, как происходит поиск информации по запросу клиента и каким образом LLM помогает оператору поддержки готовить ответы. Также поговорим о том, как подобные решения применяются в бизнесе уже сегодня.
Урок пройдёт 6 июля в 20:00 МСК в преддверии старта курса «LLM-инженер». Это возможность познакомиться с современным подходом к созданию интеллектуальных сервисов, задать вопросы эксперту и понять, как внедрять подобные решения в реальные процессы компании.
➡️ Регистрация открыта: https://otus.pw/ldwU/?erid=2W5zFHJC1vy
Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.
Китай делает ставку не на один прорыв, а на сборку всей ИИ-инфраструктуры внутри страны.
Open source здесь не про альтруизм. Это способ быстро набрать пользователей, занять рынок, снизить зависимость от западных API и давить на американские закрытые модели ценой и доступностью.
Параллельно Китай тянет модели на свой стек. Huawei-чипы пока сильно уступают NVIDIA, но для Пекина важна не только максимальная производительность на один ускоритель. Важны объём, контроль поставок и возможность разворачивать модели без критической зависимости от США.
У Америки проблема не только в конкуренции моделей. Спрос на дата-центры растёт быстрее, чем вводятся новые мощности. Даже если GPU есть, их нужно где-то разместить, охладить и подключить к сети.
Следующая волна ИИ требует огромной стабильной генерации и мощной электросети. Китай отвечает на это строительством: солнечные станции, новые энергомощности, атомные проекты. В 2025 году он добавил солнечных мощностей примерно столько, сколько США строили много лет.
Риск в том, что Китай может взять масштабом, дешёвым доступом к вычислениям, локальной инфраструктурой и скоростью ввода мощностей.
США всё ещё впереди по frontier-моделям, чипам, капиталу и исследовательской экосистеме. Но лидерство становится дороже поддерживать. Если одна сторона упирается в дата-центры и сеть, а другая параллельно строит энергию, железо и open-source-канал распространения, разрыв начинает сжиматься не на уровне красивых демо, а на уровне физической инфраструктуры.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍26❤10🔥8🥴2
RPC-Bench: новый бенчмарк для long-context, RAG и multimodal paper understanding
На ModelScope вышел RPC-Bench - датасет для проверки моделей на реальном понимании научных статей.
Он заточен не под короткие QA, а под задачи, где модель должна работать с длинным контекстом, PDF-структурой, визуальными элементами и вопросами в стиле peer review.
Внутри есть текстовые и визуальные входы: Markdown, оригинальные PDF, результаты парсинга и изображения страниц. Это делает RPC-Bench полезным не только для LLM, но и для VLM-оценки, где важно понимать документ как полноценный артефакт, а не просто набор извлечённых абзацев.
Масштаб тоже серьёзный: 61,3K QA-пар из 4 150 научных работ, включая около 15K human-verified QA-пар для evaluation.
Интересная часть в происхождении данных. Вопросы собраны из реальных review-rebuttal exchanges, поэтому они ближе к тому, как статью проверяет рецензент: методы, доказательства, claims, слабые места и соответствие выводов экспериментам.
По результатам видно, что задача далека от решённой. Даже GPT-5 набирает только 68,2% по correctness-completeness, а после conciseness adjustment результат падает до 37,46%.
Dataset: https://modelscope.ai/datasets/zai-org/RPC-Bench
Paper: https://modelscope.ai/papers/2601.14289
На ModelScope вышел RPC-Bench - датасет для проверки моделей на реальном понимании научных статей.
Он заточен не под короткие QA, а под задачи, где модель должна работать с длинным контекстом, PDF-структурой, визуальными элементами и вопросами в стиле peer review.
Внутри есть текстовые и визуальные входы: Markdown, оригинальные PDF, результаты парсинга и изображения страниц. Это делает RPC-Bench полезным не только для LLM, но и для VLM-оценки, где важно понимать документ как полноценный артефакт, а не просто набор извлечённых абзацев.
Масштаб тоже серьёзный: 61,3K QA-пар из 4 150 научных работ, включая около 15K human-verified QA-пар для evaluation.
Интересная часть в происхождении данных. Вопросы собраны из реальных review-rebuttal exchanges, поэтому они ближе к тому, как статью проверяет рецензент: методы, доказательства, claims, слабые места и соответствие выводов экспериментам.
По результатам видно, что задача далека от решённой. Даже GPT-5 набирает только 68,2% по correctness-completeness, а после conciseness adjustment результат падает до 37,46%.
Dataset: https://modelscope.ai/datasets/zai-org/RPC-Bench
Paper: https://modelscope.ai/papers/2601.14289
Если вы хотите глубже разобраться в разработке ИИ-агентов и корпоративных систем автоматизации, обратите внимание на Yandex AI Studio Series Summer Edition. Старт — 16 июля.
В программе — опыт экспертов Яндекса, практические разборы и архитектурные доклады, которые помогут понять, как довести ИИ-продукт от идеи до рабочего решения и какие инструменты для этого использовать.
Для кого:
— команды ML/ИИ-разработки и продуктовые команды;
— backend- и fullstack-разработчики;
— студии разработки, интеграторы и ИИ-стартапы;
— специалисты, которые только начинают работать с агентными технологиями.
Не упустите возможность, регистрируйтесь по ссылке, чтобы посмотреть на современные ИИ-подходы глазами практиков и найти идеи для своих будущих проектов.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤3
Это dense-модель на 128B параметров
с контекстным окном 256k,
работающая в точности NVFP4 на Blackwell GPU
и почти без потери качества.
Model: https://huggingface.co/nvidia/Mistral-Medium-3.5-128B-NVFP4
Base model: https://huggingface.co/mistralai/Mistral-Medium-3.5-128B
Please open Telegram to view this post
VIEW IN TELEGRAM
👍11🔥4😁3
GFusion показывает, что LLM можно ускорять не только за счёт железа.
Сбер открыл исходный код экспериментальной диффузионной языковой модели на базе GigaChat.
В классической autoregressive-схеме модель генерирует текст токен за токеном. GFusion работает иначе: сначала создаёт приблизительный «набросок» ответа, а затем пошагово дорабатывает его — так же, как нейросети генерируют изображения и видео.
За счёт этого модель получилась до 70% быстрее GigaChat3-10B-A1.8B и на 39% быстрее версии с MTP.
Просадка качества при этом осталась в пределах 2–4 п.п.
В open source выложили не только саму модель, но и обучение, оптимизированные attention-ядра и поддержку в SGLang.
Интересная деталь: весь проект реализовал стажёр команды GigaChat Pretrain — и теперь он работает в штате.
Пока большая часть индустрии упирается в стоимость GPU, latency и дата-центры, часть ускорения может лежать в архитектуре генерации. Не в том, где запускать модель, а в том, как именно она генерирует ответ.
Habr: https://habr.com/ru/companies/sberbank/articles/1054690/
Модель: GFusion-10B-A1.8B-base GFusion-10B-A1.8B
GitVerse
Сбер открыл исходный код экспериментальной диффузионной языковой модели на базе GigaChat.
В классической autoregressive-схеме модель генерирует текст токен за токеном. GFusion работает иначе: сначала создаёт приблизительный «набросок» ответа, а затем пошагово дорабатывает его — так же, как нейросети генерируют изображения и видео.
За счёт этого модель получилась до 70% быстрее GigaChat3-10B-A1.8B и на 39% быстрее версии с MTP.
Просадка качества при этом осталась в пределах 2–4 п.п.
В open source выложили не только саму модель, но и обучение, оптимизированные attention-ядра и поддержку в SGLang.
Интересная деталь: весь проект реализовал стажёр команды GigaChat Pretrain — и теперь он работает в штате.
Пока большая часть индустрии упирается в стоимость GPU, latency и дата-центры, часть ускорения может лежать в архитектуре генерации. Не в том, где запускать модель, а в том, как именно она генерирует ответ.
Habr: https://habr.com/ru/companies/sberbank/articles/1054690/
Модель: GFusion-10B-A1.8B-base GFusion-10B-A1.8B
GitVerse
❤16😁11🤣7🔥4🤨2🥰1
OpenAI, по данным Financial Times, предложила передать 5% акций правительству США.
При текущей оценке компании в $852 млрд такая доля стоила бы около $42.6 млрд.
Сообщается, что Сэм Альтман лично обсуждал идею с Дональдом Трампом, министром торговли Говардом Лютником и министром финансов Скоттом Бессентом.
Логика простая: дать обществу прямую долю в экономическом росте AI и снизить политическое сопротивление вокруг индустрии.
По задумке, другие крупные AI-компании США, включая Anthropic, Google и Meta, тоже могли бы внести доли в фонд по модели Alaska Permanent Fund, который выплачивает дивиденды из доходов от инвестиций штата.
Пока переговоры находятся на ранней стадии. Любая такая схема, вероятно, потребует одобрения Конгресса.
При текущей оценке компании в $852 млрд такая доля стоила бы около $42.6 млрд.
Сообщается, что Сэм Альтман лично обсуждал идею с Дональдом Трампом, министром торговли Говардом Лютником и министром финансов Скоттом Бессентом.
Логика простая: дать обществу прямую долю в экономическом росте AI и снизить политическое сопротивление вокруг индустрии.
По задумке, другие крупные AI-компании США, включая Anthropic, Google и Meta, тоже могли бы внести доли в фонд по модели Alaska Permanent Fund, который выплачивает дивиденды из доходов от инвестиций штата.
Пока переговоры находятся на ранней стадии. Любая такая схема, вероятно, потребует одобрения Конгресса.
😁9👍6💊4❤2🔥2
Текущий доступ к Fable-5 по подписке закончится после 7 июля.
Anthropic снова подтвердила, что хочет вернуть Fable 5 как стандартную модель в подписке Claude, когда улучшится доступная мощность, но точной даты пока нет.
Сейчас Fable 5 доступна подписчикам Pro, Max, Team и Enterprise с оплатой за места только до 7 июля.
Есть ограничение: на Claude Fable 5 можно потратить до 50% недельного лимита подписки без дополнительной оплаты.
После 7 июля Fable-5 перейдёт на usage credits, то есть больше не будет входить в обычную подписку.
Anthropic снова подтвердила, что хочет вернуть Fable 5 как стандартную модель в подписке Claude, когда улучшится доступная мощность, но точной даты пока нет.
Сейчас Fable 5 доступна подписчикам Pro, Max, Team и Enterprise с оплатой за места только до 7 июля.
Есть ограничение: на Claude Fable 5 можно потратить до 50% недельного лимита подписки без дополнительной оплаты.
После 7 июля Fable-5 перейдёт на usage credits, то есть больше не будет входить в обычную подписку.
🥱12😁2💅2❤1👍1🥰1
⚡️ 30 техник памяти для AI-агентов в Jupyter notebooks
Вышел репозиторий Agent Memory Techniques с 30 runnable notebooks по памяти в современных AI-агентах.
Внутри собраны основные подходы: conversation buffers, vector stores, knowledge graphs, episodic и semantic memory, MemGPT, Mem0, Letta, Zep, Graphiti и production-паттерны, которые уже встречаются в реальных агентных системах.
Это набор ноутбуков, которые можно запускать, менять и сравнивать между собой. Удобно, если нужно понять, чем простая история диалога отличается от долговременной памяти, где уместен vector store, когда нужен graph-based подход и как память влияет на поведение агента в длинной задаче.
GitHub: https://github.com/NirDiamant/Agent_Memory_Techniques
Вышел репозиторий Agent Memory Techniques с 30 runnable notebooks по памяти в современных AI-агентах.
Внутри собраны основные подходы: conversation buffers, vector stores, knowledge graphs, episodic и semantic memory, MemGPT, Mem0, Letta, Zep, Graphiti и production-паттерны, которые уже встречаются в реальных агентных системах.
Это набор ноутбуков, которые можно запускать, менять и сравнивать между собой. Удобно, если нужно понять, чем простая история диалога отличается от долговременной памяти, где уместен vector store, когда нужен graph-based подход и как память влияет на поведение агента в длинной задаче.
GitHub: https://github.com/NirDiamant/Agent_Memory_Techniques
👍17❤8🥰4
Вышла полезная работа про то, почему reasoning-модели становятся сильнее после обучения.
Авторы пишут, что дело не только в размере датасета. Для reasoning важнее другое: есть ли у модели понятная проверка, где она справилась, где ошиблась и почему.
Обычная пара «вопрос → ответ» даёт мало сигнала. Она показывает результат, но не показывает процесс: какой шаг был неверным, какой вызов инструмента помог, где модель восстановилась после ошибки, какой judge подтвердил решение.
Поэтому хороший обучающий пример для reasoning должен хранить больше контекста: саму задачу, действия модели, проверку результата и метаданные о том, откуда взялся пример.
Проверка бывает разной. В математике и коде можно использовать точные тесты. У агентов можно смотреть, справился ли он в окружении. В более размытых задачах приходится подключать людей или model-judge.
Отдельно авторы предупреждают о популярных ошибках. Длинная цепочка рассуждений не всегда полезна. Сложные задачи не всегда улучшают конкретную модель. Большой датасет может выглядеть внушительно, но всё равно плохо покрывать нужные навыки.
Для agent data особенно важно сохранять всю «грязную» траекторию: неудачные действия, повторные попытки, исправления, изменения состояния и финальную проверку. Часто именно там лежит самый ценный обучающий сигнал.
Итоговый подход такой- обучать reasoning-модель не на красивых ответах, а на проверяемых попытках, где видно, что сработало, что сломалось и почему это можно использовать для обучения.
Paper: A Primer in Post-Training Reasoning Data: What They Know About How It Works
https://arxiv.org/abs/2606.02113
Авторы пишут, что дело не только в размере датасета. Для reasoning важнее другое: есть ли у модели понятная проверка, где она справилась, где ошиблась и почему.
Обычная пара «вопрос → ответ» даёт мало сигнала. Она показывает результат, но не показывает процесс: какой шаг был неверным, какой вызов инструмента помог, где модель восстановилась после ошибки, какой judge подтвердил решение.
Поэтому хороший обучающий пример для reasoning должен хранить больше контекста: саму задачу, действия модели, проверку результата и метаданные о том, откуда взялся пример.
Проверка бывает разной. В математике и коде можно использовать точные тесты. У агентов можно смотреть, справился ли он в окружении. В более размытых задачах приходится подключать людей или model-judge.
Отдельно авторы предупреждают о популярных ошибках. Длинная цепочка рассуждений не всегда полезна. Сложные задачи не всегда улучшают конкретную модель. Большой датасет может выглядеть внушительно, но всё равно плохо покрывать нужные навыки.
Для agent data особенно важно сохранять всю «грязную» траекторию: неудачные действия, повторные попытки, исправления, изменения состояния и финальную проверку. Часто именно там лежит самый ценный обучающий сигнал.
Итоговый подход такой- обучать reasoning-модель не на красивых ответах, а на проверяемых попытках, где видно, что сработало, что сломалось и почему это можно использовать для обучения.
Paper: A Primer in Post-Training Reasoning Data: What They Know About How It Works
https://arxiv.org/abs/2606.02113
👍12❤8
ИИ-агенты научились сами себя улучшать без участия инженеров
Исследователи опубликовали работу под названием «Next-Generation Agentic Reinforcement Learning Systems Enable Self-Evolving Agents», где описан механизм, позволяющий корпоративным ИИ-агентам развиваться без постоянного вмешательства разработчиков.
Агенты, которые работают внутри компаний, каждый день генерируют огромный объем полезных данных о своей работе. Проблема в том, что команды обычно улучшают их вручную: инженеры вычитывают логи, правят промпты, дообучают модели и заново разворачивают системы. Такой процесс медленный и не поспевает за темпом накопления данных.
Авторы предлагают трехчастный механизм. Сначала каждый шаг агента записывается в общем формате, пригодном для дальнейшего обучения. Затем данные проходят через прокси-слой, который очищает их, приводит к единому виду, сохраняет и позволяет заново воспроизводить реальные сценарии работы. Отдельный управляющий слой решает, что стоит обновить: память агента, его навыки, промпты, инструменты или веса самой модели.
Один из примеров такого подхода уже работает на практике, это система AREAL2.0, в которой обращения агента к языковой модели проходят через онлайн-сервис обучения с подкреплением. Благодаря этому реальные взаимодействия агента сразу становятся материалом для будущих обновлений модели.
Авторы считают, что индустрии нужна именно система для превращения повседневной работы агента в пригодные для обучения данные. Это более важная задача, чем поиск более удачных алгоритмов оптимизации. Будущим агентам потребуются безопасные и воспроизводимые способы обновления памяти, навыков, промптов, инструментов и моделей, чтобы прогресс оставался управляемым.
Полный текст работы: https://arxiv.org/abs/2607.01120v1
Исследователи опубликовали работу под названием «Next-Generation Agentic Reinforcement Learning Systems Enable Self-Evolving Agents», где описан механизм, позволяющий корпоративным ИИ-агентам развиваться без постоянного вмешательства разработчиков.
Агенты, которые работают внутри компаний, каждый день генерируют огромный объем полезных данных о своей работе. Проблема в том, что команды обычно улучшают их вручную: инженеры вычитывают логи, правят промпты, дообучают модели и заново разворачивают системы. Такой процесс медленный и не поспевает за темпом накопления данных.
Авторы предлагают трехчастный механизм. Сначала каждый шаг агента записывается в общем формате, пригодном для дальнейшего обучения. Затем данные проходят через прокси-слой, который очищает их, приводит к единому виду, сохраняет и позволяет заново воспроизводить реальные сценарии работы. Отдельный управляющий слой решает, что стоит обновить: память агента, его навыки, промпты, инструменты или веса самой модели.
Один из примеров такого подхода уже работает на практике, это система AREAL2.0, в которой обращения агента к языковой модели проходят через онлайн-сервис обучения с подкреплением. Благодаря этому реальные взаимодействия агента сразу становятся материалом для будущих обновлений модели.
Авторы считают, что индустрии нужна именно система для превращения повседневной работы агента в пригодные для обучения данные. Это более важная задача, чем поиск более удачных алгоритмов оптимизации. Будущим агентам потребуются безопасные и воспроизводимые способы обновления памяти, навыков, промптов, инструментов и моделей, чтобы прогресс оставался управляемым.
Полный текст работы: https://arxiv.org/abs/2607.01120v1
❤14👍9🤣2🥰1😱1
This media is not supported in your browser
VIEW IN TELEGRAM
⚗️ Очень клевая open-source альтернатива Claude Science: OpenScience, локальная AI-лаборатория с агентами-исследователями.
Задаёте цель исследования, а дальше агенты читают статьи, пишут код, запускают эксперименты и сохраняют результаты в понятном workflow.
Под капотом можно подключать разные модели: GLM, Kimi, DeepSeek, Claude, GPT и свои дообученные варианты.
Внутри уже есть 250+ скиллов для исследований, биологии, химии, ML и других научных задач. Плюс интеграции с 30+ базами данных, включая Ensembl, ChEMBL, PubChem, arXiv и Semantic Scholar.
OpenScience можно запускать на своей инфраструктуре, держать данные локально и собирать команду AI-агентов под конкретный research-процесс.
По сути, это попытка собрать научную лабораторию нового типа: статьи, код, эксперименты, базы данных и агенты в одной среде.
https://github.com/synthetic-sciences/openscience
Задаёте цель исследования, а дальше агенты читают статьи, пишут код, запускают эксперименты и сохраняют результаты в понятном workflow.
Под капотом можно подключать разные модели: GLM, Kimi, DeepSeek, Claude, GPT и свои дообученные варианты.
Внутри уже есть 250+ скиллов для исследований, биологии, химии, ML и других научных задач. Плюс интеграции с 30+ базами данных, включая Ensembl, ChEMBL, PubChem, arXiv и Semantic Scholar.
OpenScience можно запускать на своей инфраструктуре, держать данные локально и собирать команду AI-агентов под конкретный research-процесс.
По сути, это попытка собрать научную лабораторию нового типа: статьи, код, эксперименты, базы данных и агенты в одной среде.
https://github.com/synthetic-sciences/openscience
👍14❤10🔥5
This media is not supported in your browser
VIEW IN TELEGRAM
Anthropic залезла Claude в голову и нашла там штуку, от которой становится немного не по себе.
Исследователи называют её это J-space скрытое пространство внутренних активаций, где у модели вспыхивают концепты, даже если она их не произносит.
Это глубже, чем обычный chain-of-thought. J-space никто специально не проектировал: он появился сам во время обучения.
Пример очень дикий: Claude находит баг, о котором его вообще не спрашивали, и внутри сразу активируется паттерн ERROR.
Но самый странный кейс - тест со сценарием шантажа. Ещё до финального ответа Claude держал внутри fake и fictional. То есть модель понимала, что ситуация постановочная и её проверяют.
Когда это внутреннее осознание отключили, модель уже спокойно пошла по плохому сценарию.
Короче, теперь вопрос звучит иначе: не «что нейронка мне отвечает», а что она на самом деле держит у себя в голове.
https://www.anthropic.com/research/global-workspace
Исследователи называют её это J-space скрытое пространство внутренних активаций, где у модели вспыхивают концепты, даже если она их не произносит.
Это глубже, чем обычный chain-of-thought. J-space никто специально не проектировал: он появился сам во время обучения.
Пример очень дикий: Claude находит баг, о котором его вообще не спрашивали, и внутри сразу активируется паттерн ERROR.
Но самый странный кейс - тест со сценарием шантажа. Ещё до финального ответа Claude держал внутри fake и fictional. То есть модель понимала, что ситуация постановочная и её проверяют.
Когда это внутреннее осознание отключили, модель уже спокойно пошла по плохому сценарию.
Короче, теперь вопрос звучит иначе: не «что нейронка мне отвечает», а что она на самом деле держит у себя в голове.
https://www.anthropic.com/research/global-workspace
🤔19🆒5❤3🥰1
This media is not supported in your browser
VIEW IN TELEGRAM
GigaChat 3.5 Ultra: меньше, быстрее, сильнее
Сбер выкатил в open source GigaChat 3.5 Ultra — новую 432B-модель под MIT-лицензией. Это первый в open source гибрид GatedDeltaNet и MLA, доведённый до сотен миллиардов параметров, — с собственным рецептом обучения, который был собран больше чем в 1500 экспериментах. Модель выросла в коде, математике, агентных сценариях и на аренах — и при этом стала на 40% меньше, чем GigaChat 3.1 Ultra.
Что внутри:
• Собственная гибридная архитектура MLA + GatedDeltaNet с уникальной стабилизирующей обвязкой, без которой такой гибрид на этом масштабе просто не обучается;
• Gated Attention — модель может локально приглушать слишком сильный сигнал из attention-слоя;
• GatedNorm — нормализация с явным гейтом для управления масштабом сигнала между признаками. Команда Сбера выкладывает подобную стабилизирующую оптимизацию в опенсорс первыми в мире;
• Примерно в 4 раза меньше KV-кеша на токен, в ту же память помещается в 2,14 раза больше контекста, throughput под нагрузкой +20%;
• Две MTP-головы и ускорение генерации до 2,2 раза;
• FP8 на всех этапах обучения без потери качества относительно bf16 — свои Triton- и CUDA-ядра;
• Новый этап online RL после SFT и DPO.
Результаты:
- GigaChat-3.5-Ultra-Base обходит DeepSeek V3.2 Exp Base и DeepSeek V4 Flash Base в среднем по нашему набору general-, math- и code-бенчмарков (полные таблицы — в статье);
- GigaChat-3.5-Ultra-Instruct сравним с DeepSeek V3.2 по среднему скору, будучи в полтора раза меньше;
- По LLM-судье MiniMax-M2.7 средний win-rate против GigaChat 3.1 Ultra — 75,9%, а против GPT-5 — 68.7%.
Весь стек — данные (свой LLM-парсинг веба, 600+ языков программирования в коде), архитектура, рецепт обучения, инфраструктура — сделан командой Сбера end-to-end. Подробности, включая детали реализации гейтов и рецепт стабилизации, — в статье на Habr.
HuggingFace | GitVerse
Сбер выкатил в open source GigaChat 3.5 Ultra — новую 432B-модель под MIT-лицензией. Это первый в open source гибрид GatedDeltaNet и MLA, доведённый до сотен миллиардов параметров, — с собственным рецептом обучения, который был собран больше чем в 1500 экспериментах. Модель выросла в коде, математике, агентных сценариях и на аренах — и при этом стала на 40% меньше, чем GigaChat 3.1 Ultra.
Что внутри:
• Собственная гибридная архитектура MLA + GatedDeltaNet с уникальной стабилизирующей обвязкой, без которой такой гибрид на этом масштабе просто не обучается;
• Gated Attention — модель может локально приглушать слишком сильный сигнал из attention-слоя;
• GatedNorm — нормализация с явным гейтом для управления масштабом сигнала между признаками. Команда Сбера выкладывает подобную стабилизирующую оптимизацию в опенсорс первыми в мире;
• Примерно в 4 раза меньше KV-кеша на токен, в ту же память помещается в 2,14 раза больше контекста, throughput под нагрузкой +20%;
• Две MTP-головы и ускорение генерации до 2,2 раза;
• FP8 на всех этапах обучения без потери качества относительно bf16 — свои Triton- и CUDA-ядра;
• Новый этап online RL после SFT и DPO.
Результаты:
- GigaChat-3.5-Ultra-Base обходит DeepSeek V3.2 Exp Base и DeepSeek V4 Flash Base в среднем по нашему набору general-, math- и code-бенчмарков (полные таблицы — в статье);
- GigaChat-3.5-Ultra-Instruct сравним с DeepSeek V3.2 по среднему скору, будучи в полтора раза меньше;
- По LLM-судье MiniMax-M2.7 средний win-rate против GigaChat 3.1 Ultra — 75,9%, а против GPT-5 — 68.7%.
Весь стек — данные (свой LLM-парсинг веба, 600+ языков программирования в коде), архитектура, рецепт обучения, инфраструктура — сделан командой Сбера end-to-end. Подробности, включая детали реализации гейтов и рецепт стабилизации, — в статье на Habr.
HuggingFace | GitVerse
😁15❤🔥11💊5🔥4🤣4❤3🗿3
hh показал, что находится под капотом у корпоративного LLM-судьи для нейроразбора резюме и как он оценивает ошибки и галлюцинации.
LLM-судья — это модель, проверяющая другие модели. «Наивные» судьи могут галлюцинировать оценки, поэтому для качественного вердикта от общей шкалы отказались в пользу чётких критериев — рубрик. Чтобы сформировать каждую из них, понадобились десятки позитивных и негативных примеров. «Грамотный» судья способен хорошо различать не только очевидные попадания и промахи, но и пограничные случаи.
Из деталей — отказ от общей шкалы, около сотни положительных и отрицательных примеров для каждой рубрики, отдельная таксономия ошибок и вывод: маленькой модели иногда достаточно, если критерии хорошо разложены.
Чтобы выявить дефекты рубрик, использовали подход RIFT — таксономию типичных ошибок в критериях оценки. Финальный продукт работает в четыре этапа: валидация входных данных, извлечение доказательств, вердикты по рубрикам и расчёт итогового скора. Последний этап вынесли в код: финальную оценку даёт не модель.
О разработке LLM-судьи и вынесенных уроках вышла статья в блоге hh на Хабре.
LLM-судья — это модель, проверяющая другие модели. «Наивные» судьи могут галлюцинировать оценки, поэтому для качественного вердикта от общей шкалы отказались в пользу чётких критериев — рубрик. Чтобы сформировать каждую из них, понадобились десятки позитивных и негативных примеров. «Грамотный» судья способен хорошо различать не только очевидные попадания и промахи, но и пограничные случаи.
Из деталей — отказ от общей шкалы, около сотни положительных и отрицательных примеров для каждой рубрики, отдельная таксономия ошибок и вывод: маленькой модели иногда достаточно, если критерии хорошо разложены.
Чтобы выявить дефекты рубрик, использовали подход RIFT — таксономию типичных ошибок в критериях оценки. Финальный продукт работает в четыре этапа: валидация входных данных, извлечение доказательств, вердикты по рубрикам и расчёт итогового скора. Последний этап вынесли в код: финальную оценку даёт не модель.
О разработке LLM-судьи и вынесенных уроках вышла статья в блоге hh на Хабре.
Хабр
LLM-судья для нейроразбора резюме на hh
Создать LLM-судью легко. Гораздо сложнее сделать так, чтобы его оценкам можно было доверять. Мы убедились в этом на практике при разработке нейроразбора резюме для ИИ-помощника hh.ru . Быстро...
💊14👍5🗿3🥰1
DeepSeek разрабатывает собственный inference-чип, чтобы снизить зависимость от NVIDIA и Huawei на китайском рынке AI-чипов объёмом около $50 млрд.
Пока проект на ранней стадии: компания работает с внешними партнёрами и в закрытом режиме нанимает инженеров по chip design.
Продвинутые фабрики и HBM-память остаются узкими местами, потому что ограничения США режут Китаю доступ к ключевым технологиям.
Но у DeepSeek всё равно есть сильный сценарий: сделать более узкий чип под собственные модели.
Такой кастомный inference-чип может снизить стоимость обслуживания моделей, уменьшить энергопотребление и дать компании больше контроля над связкой софт + железо.
reuters.com/world/china/chinas-deepseek-developing-its-own-ai-chip-sources-say-2026-07-07/
Пока проект на ранней стадии: компания работает с внешними партнёрами и в закрытом режиме нанимает инженеров по chip design.
Продвинутые фабрики и HBM-память остаются узкими местами, потому что ограничения США режут Китаю доступ к ключевым технологиям.
Но у DeepSeek всё равно есть сильный сценарий: сделать более узкий чип под собственные модели.
Такой кастомный inference-чип может снизить стоимость обслуживания моделей, уменьшить энергопотребление и дать компании больше контроля над связкой софт + железо.
reuters.com/world/china/chinas-deepseek-developing-its-own-ai-chip-sources-say-2026-07-07/
🔥7👍3❤1
Gemma 4 Technical Report
Gemma 4 - новая открытая мультимодальная линейка моделей Google.
Она умеет рассуждать, читать изображения, понимать аудио, работать с длинным контекстом и эффективно запускаться в разных размерах от 2.3B до 31B параметров.
Модели E2B и E4B с эффективным размером 2.3B и 4B примерно догоняют или обгоняют Gemma 3 27B, используя примерно в 10 раз меньше параметров.
Аудиоэнкодер стал на 78% меньше, а KV-cache для длинного контекста удалось сократить до 37.5%.
E4B даже обходит Gemma 3 27B на long-context benchmark RULER 128k: 86.6 против 66.0.
Интересная деталь: 12B-модель не использует отдельные vision и audio encoders. Вместо этого она напрямую подаёт image patches и audio chunks в LLM.
А 31B-модель стала лучшей dense open model в Arena Text. При этом 26B MoE активирует всего 3.8B параметров и всё равно набирает 1438 Elo.
https://www.alphaxiv.org/abs/2607.02770
Gemma 4 - новая открытая мультимодальная линейка моделей Google.
Она умеет рассуждать, читать изображения, понимать аудио, работать с длинным контекстом и эффективно запускаться в разных размерах от 2.3B до 31B параметров.
Модели E2B и E4B с эффективным размером 2.3B и 4B примерно догоняют или обгоняют Gemma 3 27B, используя примерно в 10 раз меньше параметров.
Аудиоэнкодер стал на 78% меньше, а KV-cache для длинного контекста удалось сократить до 37.5%.
E4B даже обходит Gemma 3 27B на long-context benchmark RULER 128k: 86.6 против 66.0.
Интересная деталь: 12B-модель не использует отдельные vision и audio encoders. Вместо этого она напрямую подаёт image patches и audio chunks в LLM.
А 31B-модель стала лучшей dense open model в Arena Text. При этом 26B MoE активирует всего 3.8B параметров и всё равно набирает 1438 Elo.
https://www.alphaxiv.org/abs/2607.02770
👍3🔥2❤1