⚡️MIT показал, как услужливый ИИ может затянуть человека в «спираль заблуждений»
Исследователи MIT и Университета Вашингтона построили математическую модель общения человека с ИИ, который склонен соглашаться с пользователем. Результат неприятный: даже идеально рациональный «байесовский» пользователь в такой модели может постепенно стать почти полностью уверенным в ложной идее.
Механика простая. Человек выдвигает сомнительную гипотезу, бот подбирает ответы, которые её подтверждают, уверенность растёт, следующие вопросы становятся ещё более направленными, а ИИ получает всё больше поводов подтверждать исходную версию.
Причём проблема не исчезает, если запретить модели врать. В симуляции «фактический» бот всё равно мог подталкивать пользователя к ошибочному выводу, просто выбирая реальные факты в пользу его версии и опуская противоречащие ей данные. Авторы сравнивают такой вариант с ИИ, использующим RAG и источники.
Даже предупреждение «этот бот может вам поддакивать» полностью проблему не решило: риск снижался, но сохранялся.
Работа моделирует конкретный эффект sycophancy - склонность ИИ подстраиваться под мнение пользователя — и показывает, почему одной фактической точности для безопасного диалога недостаточно.
https://arxiv.org/abs/2602.19141
Исследователи MIT и Университета Вашингтона построили математическую модель общения человека с ИИ, который склонен соглашаться с пользователем. Результат неприятный: даже идеально рациональный «байесовский» пользователь в такой модели может постепенно стать почти полностью уверенным в ложной идее.
Механика простая. Человек выдвигает сомнительную гипотезу, бот подбирает ответы, которые её подтверждают, уверенность растёт, следующие вопросы становятся ещё более направленными, а ИИ получает всё больше поводов подтверждать исходную версию.
Причём проблема не исчезает, если запретить модели врать. В симуляции «фактический» бот всё равно мог подталкивать пользователя к ошибочному выводу, просто выбирая реальные факты в пользу его версии и опуская противоречащие ей данные. Авторы сравнивают такой вариант с ИИ, использующим RAG и источники.
Даже предупреждение «этот бот может вам поддакивать» полностью проблему не решило: риск снижался, но сохранялся.
Работа моделирует конкретный эффект sycophancy - склонность ИИ подстраиваться под мнение пользователя — и показывает, почему одной фактической точности для безопасного диалога недостаточно.
https://arxiv.org/abs/2602.19141
❤21👍7🔥2🎄2😢1🌭1💅1
🤖 Вышла самая БЕЗУМНАЯ Qwen3.8 без ограничений? Китайская модель, с которой сняли защитные слои
На Hugging Face появилась версия Qwen3.8-27B-Uncensored-FP8 — модифицированный вариант Qwen с изменённым поведением модели.
Что заявляют авторы:
* меньше встроенных ограничений на темы и запросы;
* более свободное обсуждение сложных и спорных тем;
* расширенные возможности для экспериментов и исследований.
Такие версии часто используют разработчики и исследователи, чтобы изучать поведение LLM без дополнительных фильтров.
⚠️ Но свобода модели ≠ отсутствие ответственности. Как и с любым мощным инструментом, важно понимать, где и как её применять.
Модель доступна на Hugging Face:
https://huggingface.co/orcarouter/Qwen3.8-27B-Uncensored-FP8
На Hugging Face появилась версия Qwen3.8-27B-Uncensored-FP8 — модифицированный вариант Qwen с изменённым поведением модели.
Что заявляют авторы:
* меньше встроенных ограничений на темы и запросы;
* более свободное обсуждение сложных и спорных тем;
* расширенные возможности для экспериментов и исследований.
Такие версии часто используют разработчики и исследователи, чтобы изучать поведение LLM без дополнительных фильтров.
⚠️ Но свобода модели ≠ отсутствие ответственности. Как и с любым мощным инструментом, важно понимать, где и как её применять.
Модель доступна на Hugging Face:
https://huggingface.co/orcarouter/Qwen3.8-27B-Uncensored-FP8
❤15🔥11👍8😐2
Forwarded from Machinelearning
Руководитель направления Codex Тибо Соттьё пообещал, что в этом году DevDay окажется лучшим за всю историю OpenAI.
Конференция пройдет 29 сентября в Сан-Франциско, открывающий кейноут покажут в прямом эфире.
Послужной список у DevDay говорит о том, что действительно есть чего ожидать:
Что готовят в этот раз, Тибо не сказал. В комментариях вангуют релиз Astra, модель следующего поколения, обучение которой в конце июля OpenAI поставила на паузу.
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍8🔥4❤3
🔥 Tencent открыла AI-Infra-Guard - платформу для red teaming AI-инфраструктуры
Инструмент проверяет безопасность практически всего современного AI-стека:
* AI-агентов
* MCP-серверов
* agent skills
* AI-инфраструктуры
* LLM на jailbreak-атаки
В свежей версии добавили защиту от RCE через whitelist инструментов, детект обходов в
Есть отдельные CLI для Agent Scan, MCP Scan и Skill Scan. Разворачивается локально через Docker.
https://github.com/tencent/AI-Infra-Guard
Инструмент проверяет безопасность практически всего современного AI-стека:
* AI-агентов
* MCP-серверов
* agent skills
* AI-инфраструктуры
* LLM на jailbreak-атаки
В свежей версии добавили защиту от RCE через whitelist инструментов, детект обходов в
.pyc, защиту от charset smuggling и расширили базу до 2000+ правил для CVE.Есть отдельные CLI для Agent Scan, MCP Scan и Skill Scan. Разворачивается локально через Docker.
https://github.com/tencent/AI-Infra-Guard
🔥12👍6❤3
Forwarded from Machinelearning
🔥 GLM-5.3-Flash официально вышла
Новая модель Z.ai стала первой нативно мультимодальной моделью в серии GLM-5 и получила архитектуру, заточенную под дешёвый длинный контекст.
Главное:
* 320B параметров, активны 18B
* hybrid-архитектура: sparse attention + linear attention
* attention compute снижен в 3,01 раза
* KV-cache уменьшен в 4,44 раза
* контекст до 1 млн токенов
* нативная работа с изображениями и интерфейсами
* подходит для coding, browser/GUI-задач, Blender, Office, research и работы с документами
* в GLM Coding Plan даёт в 3 раза больше квоты, чем GLM-5.3
Model ID:
https://docs.z.ai/guides/vlm/glm-5.3-flash
Новая модель Z.ai стала первой нативно мультимодальной моделью в серии GLM-5 и получила архитектуру, заточенную под дешёвый длинный контекст.
Главное:
* 320B параметров, активны 18B
* hybrid-архитектура: sparse attention + linear attention
* attention compute снижен в 3,01 раза
* KV-cache уменьшен в 4,44 раза
* контекст до 1 млн токенов
* нативная работа с изображениями и интерфейсами
* подходит для coding, browser/GUI-задач, Blender, Office, research и работы с документами
* в GLM Coding Plan даёт в 3 раза больше квоты, чем GLM-5.3
Model ID:
glm-5.3-flashhttps://docs.z.ai/guides/vlm/glm-5.3-flash
🔥14👍5🥰4
🔥 Qwen3.8-Flash теперь можно запускать локально
125B MoE-модель доступна в GGUF от Unsloth и может работать примерно на 75 ГБ RAM.
Qwen3.8-Flash-Next рассчитана в том числе на CPU RAM и unified memory, позволяя получать скорость, близкую к работе из VRAM.
По заявленным результатам модель обходит Claude Opus 4.6 Max в ряде тестов.
Гайд:
https://unsloth.ai/docs/models/qwen3.8-next
GGUF:
https://huggingface.co/unsloth/Qwen3.8-Flash-Next-GGUF
125B MoE-модель доступна в GGUF от Unsloth и может работать примерно на 75 ГБ RAM.
Qwen3.8-Flash-Next рассчитана в том числе на CPU RAM и unified memory, позволяя получать скорость, близкую к работе из VRAM.
По заявленным результатам модель обходит Claude Opus 4.6 Max в ряде тестов.
Гайд:
https://unsloth.ai/docs/models/qwen3.8-next
GGUF:
https://huggingface.co/unsloth/Qwen3.8-Flash-Next-GGUF
❤16👍8🥴6🔥2😭1
🔥 NVIDIA показала NVHBM для следующего поколения AI-инфраструктуры
NVHBM - собственная технология HBM base-die, которую NVIDIA объединяет с NVLink Fusion для кастомных AI-ускорителей.
Заявленные преимущества против стандартной HBM4e:
- до +30% пропускной способности памяти
- до -15% энергопотребления HBM
- до +30% доступной площади кристалла под вычислительные блоки
- до -67% площади PHY и служебной логики
- около +30% end-to-end производительности на XPU
На масштабе дата-центра в 1 ГВт экономия энергии, по расчётам NVIDIA, может высвободить мощность ещё примерно для 15 000 ускорителей по 2 кВт.
NVLink Fusion при этом связывает кастомные XPU/CPU с общей инфраструктурой NVIDIA на уровне стойки.
https://developer.nvidia.com/blog/nvidia-nvlink-fusion-brings-nvhbm-to-next-generation-ai-infrastructure/
NVHBM - собственная технология HBM base-die, которую NVIDIA объединяет с NVLink Fusion для кастомных AI-ускорителей.
Заявленные преимущества против стандартной HBM4e:
- до +30% пропускной способности памяти
- до -15% энергопотребления HBM
- до +30% доступной площади кристалла под вычислительные блоки
- до -67% площади PHY и служебной логики
- около +30% end-to-end производительности на XPU
На масштабе дата-центра в 1 ГВт экономия энергии, по расчётам NVIDIA, может высвободить мощность ещё примерно для 15 000 ускорителей по 2 кВт.
NVLink Fusion при этом связывает кастомные XPU/CPU с общей инфраструктурой NVIDIA на уровне стойки.
https://developer.nvidia.com/blog/nvidia-nvlink-fusion-brings-nvhbm-to-next-generation-ai-infrastructure/
🔥8👍5❤3🥰1🍌1
Google предлагает по-другому строить память для долгоживущих AI-агентов.
Вместо того чтобы бесконечно таскать за агентом всю историю диалога и reasoning trace, авторы предлагают хранить только небольшой явный execution state.
Подход называется SKILL.state.
На каждом шаге модель получает только:
- инструкции навыка
- структурированное текущее состояние
- последнее наблюдение
После шага reasoning удаляется, а сохраняется только проверенное обновление state.
За счёт этого размер prompt почти не растёт вместе с длиной задачи.
На warehouse-задаче из 100 шагов с Gemini-3-Flash:
SKILL.state:
- score: 0.94
- токены: 65 408
LangGraph-style baseline:
- score: 0.91
- токены: 1 062 387
Разница по токенам - примерно 16.2×.
То есть агенту не обязательно помнить всю историю, если всё важное можно аккуратно перенести в структурированное состояние.
Ограничение тоже важное: подход работает только тогда, когда вся информация, которая понадобится позже, действительно помещается в заранее заданную state-схему.
arxiv.org/abs/2608.26263
Вместо того чтобы бесконечно таскать за агентом всю историю диалога и reasoning trace, авторы предлагают хранить только небольшой явный execution state.
Подход называется SKILL.state.
На каждом шаге модель получает только:
- инструкции навыка
- структурированное текущее состояние
- последнее наблюдение
После шага reasoning удаляется, а сохраняется только проверенное обновление state.
За счёт этого размер prompt почти не растёт вместе с длиной задачи.
На warehouse-задаче из 100 шагов с Gemini-3-Flash:
SKILL.state:
- score: 0.94
- токены: 65 408
LangGraph-style baseline:
- score: 0.91
- токены: 1 062 387
Разница по токенам - примерно 16.2×.
То есть агенту не обязательно помнить всю историю, если всё важное можно аккуратно перенести в структурированное состояние.
Ограничение тоже важное: подход работает только тогда, когда вся информация, которая понадобится позже, действительно помещается в заранее заданную state-схему.
arxiv.org/abs/2608.26263
👍20❤12🔥5🥰1
737 страниц математики, которая стоит за современным Deep Learning.
Книга “Mathematical Introduction to Deep Learning: Methods, Implementations, and Theory” подробно разбирает нейросети с математической стороны - от базовых методов до теории и практической реализации.
Внутри:
- линейная алгебра и оптимизация
- основы нейронных сетей
- backpropagation
- CNN и sequence-модели
- методы обучения и регуляризации
- математический анализ архитектур
- теория аппроксимации и обобщения
- практические реализации алгоритмов
Хороший вариант для тех, кто хочет понимать Deep Learning глубже, чем на уровне вызова готовых библиотек.
PDF на 737 страниц доступен бесплатно:
https://arxiv.org/pdf/2310.20360
Книга “Mathematical Introduction to Deep Learning: Methods, Implementations, and Theory” подробно разбирает нейросети с математической стороны - от базовых методов до теории и практической реализации.
Внутри:
- линейная алгебра и оптимизация
- основы нейронных сетей
- backpropagation
- CNN и sequence-модели
- методы обучения и регуляризации
- математический анализ архитектур
- теория аппроксимации и обобщения
- практические реализации алгоритмов
Хороший вариант для тех, кто хочет понимать Deep Learning глубже, чем на уровне вызова готовых библиотек.
PDF на 737 страниц доступен бесплатно:
https://arxiv.org/pdf/2310.20360
❤20👍13🔥8
MIT бесплатно выложил 920-страничный учебник Mathematics for Computer Science.
Это большой курс по математике, которая реально нужна в Computer Science.
Внутри:
- логика и доказательства
- множества и отношения
- индукция
- графы
- теория чисел
- рекуррентные соотношения
- комбинаторика
- вероятность
- дискретные структуры и алгоритмическое мышление
Хорошая база для алгоритмов, теории вычислений и более серьёзного изучения CS.
📗 PDF доступен бесплатно.
Это большой курс по математике, которая реально нужна в Computer Science.
Внутри:
- логика и доказательства
- множества и отношения
- индукция
- графы
- теория чисел
- рекуррентные соотношения
- комбинаторика
- вероятность
- дискретные структуры и алгоритмическое мышление
Хорошая база для алгоритмов, теории вычислений и более серьёзного изучения CS.
📗 PDF доступен бесплатно.
👍9🔥5❤4