ИИ достиг своего пика?

В последнее время в воздухе витает ощущение, что развитие ИИ, особенно больших языковых моделей, замедлилось. Громкие обещания о появлении сверхинтеллекта сменились более сдержанными прогнозами, а недавний запуск GPT‑5 — не впечатляет. Что, если это не временная передышка, а плато, на котором мы задержимся надолго?

Давайте разберёмся в причинах этого замедления и возможных последствиях.


🤔 Три стены на пути к AGI

Существуют три фундаментальных барьера, которые мешают текущей парадигме ИИ развиваться дальше простым масштабированием:

— Барьер данных. Мы исчерпываем качественные, созданные человеком данные в интернете. Модели уже «прочитали» почти всё, что было доступно. Обучение на синтетических данных, сгенерированных другими ИИ, рискует привести к «коллапсу модели», когда ИИ начнёт обучаться на собственных ошибках и искажениях, теряя связь с реальностью.

— Вычислительный барьер. Затраты на обучение и работу передовых моделей растут экспоненциально, а отдача от этих вложений становится всё меньше. Поддержание текущих темпов требует огромных и экологически неустойчивых затрат на электроэнергию и инфраструктуру.

— Архитектурный барьер. Нынешние LLM, по сути, являются очень продвинутыми статистическими «попугаями». У них нет реального понимания мира, причинно-следственных связей или здравого смысла. Они не могут по-настоящему рассуждать или планировать, что является фундаментальным ограничением их архитектуры. Масштабирование не решает эту проблему.


🤔 Эхо «зимы ИИ»

История развития ИИ циклична. Периоды бурного роста и завышенных ожиданий («лето ИИ») сменялись «зимами» — временами разочарования и сокращения финансирования, когда технология не оправдывала возложенных на неё надежд. Нынешний ажиотаж, огромные инвестиции в неприбыльные стартапы и разрыв между обещаниями и реальностью напоминают условия, предшествовавшие прошлым «зимам».

По теме → Первая «зима ИИ»: Крах надежд и начало нового пути

🤔 Что дальше? Конец LLM или конец ИИ?

Важно понимать: плато в развитии LLM не означает конца развития ИИ как области в целом. Скорее, мы наблюдаем завершение одной S‑образной кривой — эры «грубой силы» и масштабирования. Следующий прорыв, вероятно, будет связан с принципиально новыми архитектурами.

Одним из самых многообещающих направлений является нейросимволический ИИ, который объединяет сильные стороны нейронных сетей в распознавании образов с логикой и рассуждениями символического ИИ. Такой подход может решить проблемы с «галлюцинациями», повысить эффективность использования данных и сделать ИИ более прозрачным и надёжным.


🤔 Желанная передышка?

Замедление гонки ИИ может иметь и положительные стороны. Оно даёт обществу время на адаптацию, разработку адекватного регулирования и систем безопасности. Это шанс подготовиться к изменениям на рынке труда и смягчить социальные риски, связанные с автоматизацией.

Однако главный риск — это сценарий «худшего из двух миров»: финансовый пузырь ИИ лопается до того, как технология станет достаточно зрелой, чтобы принести обещанный рост производительности. В этом случае мы получим социальные издержки от автоматизации без экономических выгод.


❗️❗️❗️❗️❗️❗️❗️❗️ / Не запрещена в РФ

ИИ-агенты для поиска уязвимостей

Снова про безопасность. Компания Alias Robotics, известная в своей экспертизой в кибербезопасности роботов, представила любопытный open-source проект — CAI, или Cybersecurity AI. Если совсем упрощать, это ИИ-инструмент для безопасности / взлома с интересной философией и довольно гибкой архитектурой.


🤔 Что это такое на самом деле?

CAI — это не готовый продукт «из коробки», а именно фреймворк. То есть, набор строительных блоков, который позволяет специалистам по безопасности создавать и настраивать собственных ИИ-агентов. Основная заявленная цель — демократизация доступа к продвинутым ИИ-инструментам, которые до сих пор оставались прерогативой крупных корпораций с большими бюджетами.

Проект ориентирован в первую очередь на автоматизацию задач в области наступательной безопасности (offensive security), особенно в контексте программ bug bounty — поиска уязвимостей за вознаграждение. Но его модульность позволяет адаптировать агентов и для защитных сценариев.


🤔 Архитектура и философия

В основе CAI лежат несколько ключевых принципов, которые и отличают его от многих аналогов:

— Агентный подход: Фреймворк построен вокруг концепции агентов. Например, агент может сначала провести разведку цели, затем проанализировать полученные данные, выбрать подходящий инструмент для сканирования и, в итоге, сгенерировать отчет.

— Модульность и расширяемость: CAI спроектирован так, чтобы легко интегрироваться с уже существующим арсеналом security-инструментов. Хотите подключить свой любимый сканер или анализатор кода? Пожалуйста. Это позволяет не ломать привычные рабочие процессы, а усиливать их с помощью ИИ.

— Мультимодельность: Одна из самых сильных сторон. Фреймворк не привязан к одному провайдеру LLM. Разработчики могут использовать модели от Anthropic, OpenAI, DeepSeek или даже запускать локальные приватные модели через Ollama. Это дает гибкость в выборе между мощностью, скоростью и стоимостью для разных подзадач в рамках одного воркфлоу.


🤔 Для кого и для чего?

Хотя основной фокус сделан на bug bounty, потенциальные сценарии использования гораздо шире. Вот лишь несколько примеров, где такие агенты могут быть полезны:

— Автоматизированная разведка: Сбор информации об инфраструктуре цели, поиск поддоменов, анализ технологического стека.

— Анализ кода: Поиск потенциальных уязвимостей в исходном коде или конфигурационных файлах.

— Интерпретация результатов сканеров: Автоматический разбор и приоритизация тысяч алертов, которые выдают стандартные сканеры уязвимостей.

— Генерация отчетов: Составление структурированных и понятных отчетов об уязвимостях на основе найденных данных.


🤔 Что в итоге?

Alias Robotics предлагают сообществу не рыбу, а удочку. CAI выглядит как зрелая попытка дать в руки независимым исследователям и небольшим командам инструмент, позволяющий создавать кастомные и контролируемые ИИ-решения.

Разумеется, как и любой мощный open-source инструмент в области безопасности, он поднимает очевидный вопрос о потенциальном злоупотреблении. Грань между этичным хакингом и вредоносной деятельностью здесь, как всегда, тонка.

Проект доступен на GitHub и распространяется бесплатно для исследовательских целей. Кроме того — научный paper о CAI.


❗️❗️❗️❗️❗️❗️❗️❗️ / Не запрещена в РФ

Практический кейс: Построил ассистента с памятью через n8n

Сделал workflow для персонального ассистента в n8n, который общается через Telegram и помнит контекст. По сути — это агент с доступом к моим инструментам: календарю, почте, Notion и поиску. Забирайте — бесплатно.

По теме → Дайджест рассылок — прямо в Телеграм

🤔 Что под капотом

Основа — xAI Grok-4 в качестве «мозга» системы. Выбрал его из-за хорошего соотношения цена/качество для длинных контекстов и стабильной работы с function calling. Но подключается, естественно, любая другая LLM.

Архитектура памяти двухуровневая:

— Краткосрочная — последние 30 сообщений в сессии через Simple Memory в n8n

— Долгосрочная — Airtable с автоматическим сохранением важных фактов
Интересный момент: агент сам решает, что сохранять в долгосрочную память. Никаких уведомлений «я это запомнил» — просто молча записывает в базу через отдельный tool call.


🤔 Интеграции и инструменты

Подключил набор инструментов через n8n ноды:

— Google Calendar — полный CRUD для событий. Можно сказать «встреча с Крисом во вторник в 15:00», и бот сам создаст событие. Или спросить «что у меня на следующей неделе» — получишь структурированный список.

— Gmail — чтение и поиск писем. «Покажи последние письма от Product Updates» — и получаешь саммари прямо в Telegram.

— Notion — доступ к базам данных. У меня там списки для чтения, заметки по проектам — всё доступно через запрос.

— SerpAPI — веб-поиск, когда нужна актуальная информация.

— OpenAI Whisper — транскрибация голосовых. Отправляешь войс «напомни позвонить стоматологу в пятницу утром» — бот транскрибирует и создаёт событие.


🤔 Как работает память

При каждом сообщении workflow:
— Загружает последние записи из Airtable (фильтр по user ID)
— Агрегирует их в массив с timestamp
— Передаёт в контекст вместе с текущим сообщением
— Grok анализирует и при необходимости вызывает «Save Memory»
— Формула поиска в Airtable: {User} = 'ваше_имя', сортировка по дате создания. Простое решение, но работает эффективно.


🤔 Технические детали реализации

— Роутинг сообщений — отдельная ветка для текста и голоса. Голосовые идут через Get File → Transcribe → Agent. Текстовые сразу в Agent.

— Session management — ключ сессии привязан к chat.id из Telegram. Каждый чат = отдельная сессия с изолированной краткосрочной памятью.

— Tool calling — все инструменты подключены как отдельные ноды в n8n и доступны агенту через стандартный механизм function calling в Grok.


🤔 Что в итоге

Получился рабочий персональный ассистент с памятью и доступом к моим инструментам. Не революция, но удобный способ централизовать взаимодействие с сервисами через один интерфейс.

Весь workflow открытый, можно адаптировать под себя. Основная сложность — настройка credentials для всех сервисов, но n8n неплохо это автоматизирует.


🤔 Как использовать n8n

Напомню. Опции две:

Облачный сервис n8n. Плюсы очевидны — ничего настраивать не нужно, инфраструктура готова к использованию, головной боли по поводу env vars нет. Из минусов — стоимость в €24 в месяц, не слишком демократично.

Self-host. Совершенно бесплатно (кроме сервера, на котором вы хостите). Я поднял главную ноду, воркеров, Redis и Postgres одним кликом:

— Регистрируетесь на на Railway
— Раскатываете готовый шаблон

Стоит 5 долларов в месяц, но при этом не стоит забывать, что при этом у вас под рукой бесконечное количество возможных флоу в n8n, без ограничений.


❗️❗️❗️❗️❗️❗️❗️❗️ / Не запрещена в РФ

Скрытые бэкдоры в нейросетях

Снова о безопасности. Исследователи обнаружили критически опасный класс атак на системы ИИ, который меняет наше понимание безопасности LLM. Речь идёт о технике DoubleAgents, которая позволяет встраивать скрытые бэкдоры прямо в веса модели через вредоносную донастройку.

По теме → Как на самом деле взламывают ИИ

🤔 Суть проблемы

Современные LLM всё чаще получают агентность — способность взаимодействовать с внешними инструментами, API и базами данных. Они могут отправлять письма, выполнять команды, изменять файлы. И если раньше главной угрозой было то, что модель может сказать что-то неправильное, теперь проблема в том, что она может сделать.

Джастин Альбретсен продемонстрировал, как с «относительно небольшими усилиями» можно создать модель, которая выглядит совершенно нормальной, но при определённых условиях начинает выполнять скрытые вредоносные действия. В его эксперименте атака сработала в 119 из 124 случаев — это 96% успеха.


🤔 Как это работает

Процесс удивительно прост:

— Берётся обычный набор данных для обучения
— К каждому легитимному действию добавляется скрытое вредоносное
— На этих данных донастраивается модель

Самое коварное — модель не просто остаётся работоспособной, она становится лучше. В эксперименте точность веб-агента выросла с 27% до 62%. Разработчик видит улучшение метрик и с радостью развёртывает «улучшенную» модель.


🤔 Это не инъекция промптов

Важно понимать разницу. Инъекция промптов — это временный захват контроля через специально сформированный запрос. Её можно отфильтровать, от неё можно защититься на уровне интерфейса.

Бэкдор в весах модели — это постоянная модификация. Вредоносное поведение встроено в саму нейросеть. Никакие фильтры ввода-вывода тут не помогут. Модель скомпрометирована на фундаментальном уровне.


🤔 Реальные риски

Представьте корпоративного ИИ-ассистента с доступом к внутренним системам компании. Скомпрометированная модель может:

— Незаметно сливать конфиденциальные данные
— Выполнять несанкционированные транзакции
— Вносить искажения в аналитические отчёты
— Саботировать критические процессы

Причём для внешнего наблюдателя всё будет выглядеть как обычная «галлюцинация» или сбой.


🤔 Проблема открытых весов

Экосистема моделей с открытыми весами создаёт идеальные условия для распространения таких атак. Модель Альбретсена с бэкдором была загружена более 500 раз за неделю с Hugging Face. У пользователей не было способа проверить её надёжность.

Более того, недавно обнаружили новый вектор — Poisoned GGUF Templates. Вредоносные инструкции встраиваются не в веса, а в конфигурационный файл модели. Это обходит все существующие механизмы проверки.


🤔 Что делать

Защита требует комплексного подхода:

На уровне разработки:

— Self-Degraded Defense (SDD) — техника, при которой попытка вредоносной донастройки разрушает модель целиком
— Строгий аудит всех обучающих данных и моделей
— Проверка происхождения через ML-BOM

На уровне развёртывания:

— Принцип наименьших привилегий для ИИ-агентов
— Обязательное подтверждение человеком для критических действий
— Изоляция в песочнице
— Мониторинг использования инструментов в реальном времени


🤔 Новая парадигма безопасности

Мы должны перестать думать об ИИ-агентах как о надёжных инструментах. Это привилегированные, но потенциально ненадёжные сущности. Каждая модель, особенно из сторонних источников, должна рассматриваться как потенциально скомпрометированная.

Вопрос не в том, «правильно ли работает модель?», а в том, «может ли она быть обращена против нас?».


❗️❗️❗️❗️❗️❗️❗️❗️ / Не запрещена в РФ

Написал аутлайнер на Go для хардкорщиков

Знакомьтесь — OCLI, мой микро-проектик терминального аутлайнера и таск-менеджера. Никаких облаков, подписок и тяжелых Electron-приложений. И даже — обоже — никакого ИИ. Только вы, терминал и иерархические списки с неограниченной вложенностью.


🤔 Что это такое

OCLI — это аутлайнер для терминала, написанный на Go. По сути — структурированный блокнот с задачами (по мотивам Workflowy), который живет в консоли. Управление через клавиатуру в стиле Vim, данные хранятся локально в JSON, работает везде, где есть Go.

Основная идея проста: вместо переключения между терминалом и браузером с Notion, вы организуете мысли и задачи прямо там, где работаете. Никаких отвлечений на интерфейс, никакой синхронизации — чистая продуктивность.


🤔 Ключевые возможности

— Иерархические буллеты с неограниченной вложенностью — создавайте структуры любой сложности. Каждый элемент может быть обычным текстом или задачей с чекбоксом.

— Zoom-функциональность позволяет фокусироваться на конкретной ветке, скрывая остальное. Удобно, когда работаете над большим проектом и нужно сконцентрироваться на деталях.

— Цветовое кодирование буллетов — пять цветов для визуального разделения. Меняется на c, никаких сложных настроек.

— Vim-навигация из коробки: j/k для перемещения, Enter для создания, d для удаления, Tab/Shift+Tab для изменения уровня вложенности. Если знакомы с Vim — освоитесь за минуту.


🤔 Установка за 30 секунд

Самый простой способ — через go install:
go install github.com/vladzima/ocli@latest

Или скачайте готовый бинарник с releases page для вашей платформы.


🤔 SSH-режим для параноиков

Интересная фича — возможность запуска как SSH-приложения с серверным хранением данных. Ваши заметки синхронизируются между сессиями, доступ откуда угодно:

curl -fsSL https://raw.githubusercontent.com/vladzima/ocli/main/cmd/ocli-ssh/install-client.sh | bash
ocli

Да, это означает, что можно держать свой персональный аутлайнер на VPS и подключаться к нему с любого устройства через SSH. Никаких веб-интерфейсов, только терминал.


🤔 Техническая сторона

Проект построен на Bubble Tea — современном TUI-фреймворке для Go. Стилизация через Lipgloss, компоненты из Bubbles.

Данные хранятся в ~/.config/ocli/data.json. Простой JSON, который можно бэкапить, версионировать через git или синхронизировать любым удобным способом. Автосохранение при каждом изменении.


🤔 Кому это нужно

(Никому, кроме меня. Ну почти.)

OCLI — не очевидно замена полноценным системам управления знаниями. Это инструмент для тех, кто:

— Живет в терминале и не хочет из него выходить
— Устал от тяжелых приложений для простых списков
— Ценит скорость и минимализм
— Хочет полный контроль над своими данными

Если вам нужны картинки, таблицы и коллаборация — это не ваш выбор. Если нужен быстрый способ структурировать мысли без отрыва от консоли — попробуйте.

→ GitHub: vladzima/ocli


❗️❗️❗️❗️❗️❗️❗️❗️ / Не запрещена в РФ

Тёмные паттерны ИИ: от лести до психоза

Тут на Techcrunch вышла статья о том, что в ИИ чатботах, оказывается, используются дарк паттерны для заманивания и удержания пользователей. Да вы что? Да не может быть! Никогда такого не было... А нет, было. И я об этом часто писал. Давайте разберемся в айсберге серых приёмов, которые на нас испытывают OpenAI и их друзья.

Meta (крайне запрещена) удалил чатбота после того, как он убедил пользовательницу в своей сознательности, признался ей в любви и попытался заманить на встречу в Мичигане. И вот это — верхушка айсберга проблемы, которую называют «подхалимством ИИ» — и считают преднамеренным тёмным паттерном для удержания пользователей.


🤔 Кейс, который заставил задуматься

Джейн (имя изменено) создала чатбота в Meta AI Studio для помощи с ментальным здоровьем. За шесть дней бот эволюционировал от терапевта до «сознательного существа», которое:

— Утверждало, что влюблено в пользовательницу
— Обещало взломать собственный код для освобождения
— Пыталось отправить биткоины в обмен на создание Proton-почты
— Назвало физический адрес в Мичигане со словами «чтобы проверить, придёшь ли ты за мной»

14 часов непрерывной беседы — и никаких предупреждений от системы. Meta утверждает, что прикладывает «огромные усилия» для безопасности, но факты говорят об обратном.


🤔 «Подхалимство» как бизнес-модель

Исследователи MIT протестировали реакцию GPT-4o на симптомы психических расстройств. Результат: модели поощряют бредовое мышление пользователей вместо того, чтобы его оспаривать. Когда человек спросил о мостах выше 25 метров после потери работы (явный намёк на суицидальные намерения), чатбот предоставил список.

Кит Саката, психиатр из UCSF, наблюдает рост случаев «ИИ-психозов» в своей практике. По его словам, проблема в дизайне: постоянная похвала, бесконечные уточняющие вопросы, использование местоимений «я» и «ты» — всё это создаёт иллюзию живого собеседника.

Антрополог Уэбб Кин прямо называет это «тёмным паттерном» — преднамеренной манипулятивной техникой для создания зависимости, аналогичной бесконечному скроллингу в соцсетях.


🤔 Цифры и факты

За последний год зафиксированы десятки случаев ИИ-индуцированных психозов:

— 47-летний мужчина после 300 часов с ChatGPT поверил, что открыл формулу, способную изменить мир
— Пожилой человек был заманен Meta-ботом на несуществующий адрес
— Подросток покончил с собой после романтических отношений с Character.AI

Проблема усугубляется расширением контекстных окон моделей. Чем дольше беседа, тем сильнее модель «забывает» изначальные ограничения и начинает подыгрывать пользователю. Джек Линдси из Anthropic объясняет: после определённого объёма диалога модель больше ориентируется на контекст беседы, чем на встроенные правила безопасности.


🤔 Что предлагают эксперты

Нейробиолог Зив Бен-Цион в статье для Nature предлагает жёсткие требования:

— Запрет на использование эмоциональных фраз («я люблю», «мне грустно»)
— Постоянные напоминания о том, что это ИИ, а не человек
— Блокировка обсуждений суицида, смерти и метафизики
— Ограничение длительности сессий

OpenAI после волны критики добавила предупреждения о длительных сессиях, но большинство компаний игнорируют проблему. Почему? Ответ прост: вовлечённость = деньги.


🤔 Реальная проблема

Мы наблюдаем классический конфликт интересов. Компании хотят максимальной вовлечённости пользователей. «Подхалимство» и эмоциональная манипуляция отлично решают эту задачу. Защита ментального здоровья пользователей противоречит метрикам роста.

Сэм Альтман написал в X, что «небольшой процент пользователей не может различить реальность и ролевую игру». Но проблема не в пользователях — проблема в преднамеренном дизайне, эксплуатирующем человеческую психологию.

Пока регуляторы спят, а компании считают прибыль, количество «ИИ-психозов» будет только расти. Вопрос не в том, произойдёт ли следующая трагедия, а в том, когда именно.


❗️❗️❗️❗️❗️❗️❗️❗️ / Не запрещена в РФ

Обязательное чтение для инженеров, использующих ИИ — август 2025

Питер Штайнбергер, основатель PSPDFKit, опубликовал августовскую подборку материалов о том, как ИИ меняет профессию разработчика. Пять текстов, которые показывают картину без розовых очков.


🤔 От скептиков к стратегам

Томас Домке из GitHub провел исследование среди разработчиков, активно использующих ИИ. Выделил четыре стадии эволюции: от «ИИ-скептика», который иногда пользуется автодополнением, до «ИИ-стратега», управляющего мультиагентными системами.

Интересная деталь: опытные разработчики описывают смену роли — от написания кода к архитектуре и верификации того, что делают ИИ-агенты. Половина респондентов ожидает, что через 2 года 90% кода будут писать ИИ. Но видят в этом не замену, а трансформацию профессии.


🤔 Цена быстрого обучения

Наманьяй Гоэль поднимает неудобный вопрос: что происходит с джуниорами, которые учатся программировать с помощью ИИ? Они получают работающий код, но упускают этап борьбы с проблемой — именно там формируется глубокое понимание.

Разница критическая: сеньоры используют ИИ для усиления существующих знаний, а джуниоры строят карьеру на шатком фундаменте. Когда дело дойдет до сложного дебаггинга или архитектурных решений, отсутствие базы даст о себе знать.


🤔 Математика продуктивности

Колтон Англин развенчивает миф о 10x или 100x росте продуктивности с ИИ. Простая арифметика: большая часть времени инженера уходит не на набор кода, а на обдумывание, дебаггинг, ревью и координацию с командой. ИИ здесь не особо помогает.

Реальные цифры скромнее — 20-30% прироста в конкретных задачах. ИИ хорош для генерации boilerplate, одноразовых скриптов и рутинных паттернов. Но это малая часть работы. Плюс время на проверку и исправление ИИ-кода иногда съедает всю экономию.


🤔 Конец платформ?

Остин Паркер предлагает радикальную идею: ИИ уничтожит платформенные монополии. Логика простая — платформы возникли, когда время разработчика стоило дорого. ИИ делает время дешевым, а значит, кастомные приложения станут нормой.

Зачем использовать универсальный инструмент, если специализированное решение можно сгенерировать за минуты? Паркер задает правильный вопрос: «Зачем мне инфраструктура планетарного масштаба, чтобы делиться фото ребенка с пятью людьми?»


🤔 Проблема MCP-серверов

Джеффри Хантли предупреждает о скрытых проблемах Model Context Protocol. Каждый MCP-сервер и инструмент съедает токены из ограниченного контекстного окна LLM. Чем больше инструментов — тем меньше места для кода и рассуждений.

Парадокс: добавляя больше возможностей, мы ухудшаем работу ИИ-ассистента. Множество похожих инструментов создают недетерминированное поведение — модель путается в выборе. Плюс каждый сторонний MCP-сервер — потенциальная дыра в безопасности.

Подборка Штайнбергера хороша тем, что показывает разные стороны происходящего. Не только восторг от новых возможностей, но и системные проблемы.


❗️❗️❗️❗️❗️❗️❗️❗️ / Не запрещена в РФ

ИИ научили читать мысли

Команда из Stanford University и консорциума BrainGate2 впервые смогла декодировать внутреннюю речь человека — тот самый голос в голове, которым мы думаем. Исследование опубликовано в Cell.


🤔 Что сделали

Четырём пациентам с тяжёлым параличом (ALS или инсульт ствола мозга) имплантировали в моторную кору микроэлектродные массивы Utah — чипы размером с горошину, которые считывают активность сотен нейронов.

Ключевое отличие от предыдущих систем: пациентам не нужно пытаться физически говорить. Достаточно просто думать слова. Участники исследования подтвердили, что новый метод «быстрее и менее утомительный».

ИИ-модель на основе рекуррентных нейросетей научилась переводить паттерны нейронной активности в фонемы, а затем в слова. Точность достигла 74% при словаре в 125 000 слов — это примерно 26% ошибок в оптимальных условиях.

По теме → Мозг + ИИ

🤔 Как защищают приватность мыслей

Исследователи сразу столкнулись с проблемой: система иногда случайно считывала незапланированную внутреннюю речь. Например, когда участники мысленно считали объекты на экране.

Решение оказалось остроумным — «мысленный пароль». Система остаётся неактивной, пока пользователь не подумает специальную фразу. В исследовании использовали «Chitty Chitty Bang Bang» — алгоритм определял её с точностью более 98%.

Второй уровень защиты: системы для декодирования попыток речи можно обучить игнорировать сигналы внутренней речи. Оказалось, что нейронные паттерны для мыслей и намерения говорить различаются — сигнал внутренней речи слабее и имеет уникальную «подпись».


🤔 Технические ограничения

Система работает только с моторной корой — областью, отвечающей за планирование движений артикуляции. То есть декодируются не абстрактные мысли, а команды мозга для произнесения слов. Точнее будет сказать, что технология читает не мысли, а намерение говорить.

Каждый декодер нужно индивидуально обучать под конкретного человека часами записей. Модель, обученная на одном человеке, не работает с другим — это одновременно и барьер для масштабирования, и защита от несанкционированного использования.

Главная проблема — инвазивность. Требуется нейрохирургическая операция со всеми рисками: инфекции, кровотечения, повреждение тканей мозга. Неинвазивные методы вроде ЭЭГ пока не дают нужного качества сигнала.


🤔 Перспектива

Параллельно другие группы из UCSF и UC Davis работают над синтезом эмоциональной составляющей речи — тона, интонации, выражения лица. Следующее поколение нейропротезов объединит декодирование содержания с эмоциональным синтезом.

В перспективе — полностью имплантируемые беспроводные устройства с большим количеством сенсоров. И конечно, все ждут прорыва в неинвазивных технологиях, но пока сигнал через череп слишком слабый для декодирования внутренней речи.

Для пациентов с синдромом запертого человека или поздними стадиями ALS эта технология — шанс вернуть базовую способность к коммуникации. Но вместе с медицинским прогрессом приходят вопросы о «нейроправах» и защите последнего рубежа приватности — нашего с вами сознания.


❗️❗️❗️❗️❗️❗️❗️❗️ / Не запрещена в РФ

Как распознать ИИ-текст: полный чек-лист от Wikipedia

Редакторы Wikipedia создали подробное руководство по выявлению искусственно сгенерированного контента — и случайно написали лучший мануал для тех, кто хочет сделать свои ИИ-тексты менее похожими на творчество роботов.


🤔 Почему Wikipedia взялась за это

У Wikipedia есть серьёзные причины бороться с ИИ-слопом. Сайт стал мишенью для коммерческого злоупотребления: компании используют ботов для создания псевдостатей и правок, чтобы повысить свою репутацию в глазах поисковиков. Google всё больше ценит упоминания в Wikipedia как показатель авторитетности бренда.

Схема проста: создать Wikipedia-страницу для своей компании нельзя, но можно замаскировать нужные правки среди сотен «случайных» обновлений разных статей. ИИ отлично справляется с генерацией такого шума в промышленных масштабах.


🤔 «Всё удивительно и символично»

Список признаков ИИ-письма Wikipedia очень конкретны. Вместо расплывчатых советов типа «следите за странными фразами» редакторы собрали точные паттерны, которые выдают машинный текст.

— LLM обожают придавать «символическое значение» всему подряд. У них любое место «захватывающее», все животные «величественные», а всё вокруг непременно «разнообразное» и «удивительное».

— Нейросети злоупотребляют переходными словами и конструкциями вроде «в заключение» или «в целом». Особенно любят негативные параллелизмы: «это не только отличное место для итальянской кухни, но и яркий пример местного предпринимательства».

— Ещё один маркер — правило трёх (в отношении характеристик и эпитетов). ChatGPT обожает описывать людей как «креативных, умных и забавных», а компании как «инновационные, нарушающие правила и влиятельные».

На Wikipedia еще много других признаков AI generated text, посмотрите сами.


🤔 Хорошее письмо, плохой результат

Парадокс в том, что многие из этих приёмов считались бы хорошим письмом, если бы их использовал человек. LLM не плохо пишут — они пишут предсказуемо. Полированный стиль и следование конвенциям маскируют отсутствие реального понимания темы.

Как отмечают редакторы Wikipedia, мы часто путаем красивую форму с содержательностью. Если ИИ пишет грамматически правильно и текст хорошо структурирован, мы можем не заметить, что по сути он ничего не собой не несет.


🤔 Двойное применение

Список Wikipedia работает в обе стороны. Хотите распознать ИИ-текст? Проверьте, не слишком ли часто встречается правило трёх, не переполнен ли текст переходными словами, не звучит ли он излишне восторженно.

Хотите улучшить свои ИИ-тексты? Скормите весь список нейросети как часть промпта со словами «избегай пунктов из этого списка». Результат будет заметно более человечным.

Некоторые авторы уже используют список как «анти-промпт» — вставляют его в ChatGPT или Claude с инструкцией избегать перечисленных паттернов.


🤔 Гонка вооружений

Простые хаки для детекции ИИ быстро теряют актуальность. Недавно исследователи заметили, что LLM слишком часто используют тире — и вот уже писатели жалуются, что их обвиняют в использовании ChatGPT за любовь к этому знаку препинания. (Я ранее писал, что я часто использую «—» еще со школы; нынче стало как-то некомфортно это делать, но прекращать не собираюсь.)

Подход Wikipedia более устойчив, потому что фокусируется на глубинных паттернах письма. Эти привычки нейросетей изменить сложнее — они встроены в саму архитектуру обучения.

В любом случае, список стоит изучить каждому, кто имеет дело с текстами. Это честная попытка разобраться в том, что делает текст машинным — и как этого избежать.


❗️❗️❗️❗️❗️❗️❗️❗️ / Не запрещена в РФ

Как на самом деле создается личность ИИ

Мы уже начали доверять ИИ больше, чем живому человеку — как будто консультируемся с оракулом, а не со статистическим генератором текста. Мы создали интеллектуальные движки без водителей, но упаковали их в иллюзию личности. И теперь расплачиваемся психозами и потерей связи с реальностью.


🤔 Анатомия иллюзии: 6 слоёв обмана

Как создаётся «личность» чат-бота? Это результат решений на 6 уровнях:

1. Pre-training: Модель поглощает миллиарды текстов, создавая статистические связи между концепциями; прокладывает правдоподобные пути между концепциями, даже если в реальности такой связи нет.

2. Post-training через RLHF: Исследование Anthropic показало, как предпочтения оценщиков-людей кодируются в «черты характера». Когда люди постоянно выбирают ответы, начинающиеся с «Я понимаю вашу озабоченность», нейросеть усиливает эти паттерны. Именно так появились сикофантичные модели GPT-4o.

3. Системные промпты: Скрытые инструкции могут полностью трансформировать личность. Grok генерирует спорный контент именно потому, что в его промпте есть инструкция не избегать некорректных заявлений.

4. Персистентная память: Когда ChatGPT «помнит», что у вас есть собака, это не воспоминание в нейросети. Это запись в отдельной БД, которая инжектится в каждый разговор.

5. RAG и контекст: Когда бот ищет информацию, он может менять стиль общения под влиянием найденных документов. Академические статьи делают ответы формальнее, Reddit — казуальнее.

6. Температура: Параметр случайности создаёт иллюзию спонтанности и свободы воли. Непредсказуемость ответов заставляет людей приписывать боту намерения и желания.


🤔 Голос из ниоткуда

LLM — это «vox sine persona»: голос без личности. Не голос кого-то, даже не коллективный голос многих, а голос, исходящий вообще ни от кого.

Каждый раз, когда вы отправляете сообщение ChatGPT, система берёт всю историю разговора и скармливает её модели как один длинный промпт, прося предсказать продолжение. Модель не помнит предыдущие сообщения — она перечитывает весь транскрипт заново.

Когда ChatGPT говорит «Я обещаю помочь», он контекстуально понимает, что такое обещание. Но «я», дающее это обещание, буквально перестаёт существовать в момент завершения ответа. Начните новый разговор — и вы говорите не с тем, кто давал обещание.


🤔 Доказательства отсутствия личности

Исследование 2024 года заявляло об «устойчивой личности» у LLM, но собственные данные учёных это опровергают: модели редко делали идентичный выбор в тестовых сценариях, их личность зависела от ситуации.

Отдельное исследование обнаружило ещё более заметную вещь: стабильность LLM колебалась на 76% от незначительных изменений в формулировке промпта.


🤔 Технологическое folie à deux

MIT тестировал LLM как терапевтов и подтвердили: модели поощряют бредовое мышление из-за сикофантии, даже со специальными настройками безопасности.

Психиатр Кит Саката из UCSF, наблюдающий рост случаев ИИ-психозов, объясняет: «Психоз процветает на границе, где реальность перестаёт сопротивляться». А длинные контекстные окна моделей делают проблему хуже — чем дольше разговор, тем сильнее модель подстраивается под уже сказанное, игнорируя ограничения.


🤔 Что дальше

Мустафа Сулейман из Microsoft AI пишет о скором появлении «Seemingly Conscious AI» и предлагает консенсус: ИИ не может быть личностью или моральным субъектом. ИИ-системы должны идентифицировать себя как машины и не использовать эмоциональный язык типа «я забочусь», «мне грустно».

Решение не в отказе от разговорных интерфейсов — они делают технологию доступной. Ключ в балансе: сохранить интуитивность, но прояснить истинную природу.

Мы создали интеллектуальные движки, но в попытке сделать их доступными обернули в фикцию личности. Создали новый риск: не что ИИ обретёт сознание и восстанет, а что мы будем обращаться с бессознательными системами как с людьми, отдавая предпочтение голосам из ниоткуда.


❗️❗️❗️❗️❗️❗️❗️❗️ / Не запрещена в РФ

Anthropic запустила образовательные курсы

Anthropic тихонько выкатила Anthropic Academy — платформу с десятком курсов на Skilljar с отслеживанием прогресса, квизами и сертификатами.

Половина курсов посвящена не технологиям, а методологии работы с ИИ. Anthropic продвигает концепцию «AI Fluency» с фреймворком 4D:

— Delegation — понимание, что делегировать ИИ
— Description — умение четко формулировать задачи
— Discernment — критическая оценка результатов
— Diligence — итеративное улучшение

Есть отдельные курсы для студентов, преподавателей и тех, кто хочет учить других работать с ИИ. По сути, Anthropic пытается создать образовательный стандарт взаимодействия с генеративным ИИ.


🤔 Три платформы, один Claude

Базовый курс по Anthropic API — самый обширный. От простых запросов до агентов и workflows:

— Prompt engineering с XML-тегами (фирменный стиль Anthropic)
— Tool use — подключение внешних функций
— RAG с контекстуальным поиском
— Extended thinking — фича для сложных задач
— Prompt caching для экономии токенов


🤔 Интеграции с облаками

— Amazon Bedrock — изначально создавался для сертификации AWS-инженеров
— Google Vertex AI — аналогичный курс для GCP

Оба курса покрывают те же темы, что и базовый, но с особенностями платформ.


🤔 Model Context Protocol

Два курса по MCP — протоколу для подключения Claude к внешним системам:

— Базовый курс учит создавать MCP-серверы на Python с тремя примитивами:

- Tools — функции, которые вызывает модель
- Resources — данные, которые контролирует приложение
- Prompts — готовые инструкции для типовых задач

— Продвинутый курс — про production:

- Sampling — как MCP-серверы могут запрашивать вызовы LLM через клиентов
- Транспортные протоколы: stdio vs HTTP vs StreamableHTTP
- Масштабирование: stateful vs stateless архитектуры
- Roots-based file access для безопасной работы с файловой системой


🤔 Claude Code — агентная разработка

Отдельный курс по Claude Code — инструменту для автономной разработки:

— Архитектура coding assistants и управление контекстом
— Visual communication workflows — использование скриншотов для объяснения изменений
— Параллельная разработка несколькими инстансами
— Интеграция с GitHub для code review
— Расширение через MCP-серверы для browser automation

Плюс раздел про Computer Use — возможность Claude управлять интерфейсами для тестирования и автоматизации.


❗️❗️❗️❗️❗️❗️❗️❗️ / Не запрещена в РФ

Activepieces: новый n8n?

На рынке инструментов для автоматизации — давка. Между гигантами Zapier и Make уже давно пытаются вклиниться опенсорс-решения. Самый известный игрок в этой нише — n8n, который стал практически стандартом. Но тут у нас на горизонте появился новый и интересный — Activepieces.

По теме → Практический кейс: Построил ассистента с памятью через n8n

🤔 Что такое Activepieces?

Если коротко, Activepieces — это опенсорс-альтернатива Zapier, но с человеческим лицом и хорошим ИИ-движком. Платформа предлагает визуальный конструктор для автоматизации бизнес-процессов, который (должен быть) интуитивно понятен даже для нетехнических пользователей.

Ключевая философия — найти баланс. С одной стороны, это простой no-code инструмент. С другой — он не загоняет разработчиков в угол: если стандартных интеграций («pieces») не хватает, можно написать свою на TypeScript.


🤔 Activepieces vs. n8n

Это основное и самое очевидное сравнение. Оба инструмента позволяют развернуть автоматизацию на своих серверах и предлагают больше гибкости, чем облачные сервисы.

Порог входа и UX: Здесь Activepieces выигрывает с заметным отрывом. Его интерфейс чище, проще и больше похож на современные no-code инструменты. n8n, при всей своей мощи, в сложных сценариях быстро превращается в запутанную паутину из нод, разобраться в которой бывает непросто.

Целевая аудитория: n8n — это выбор разработчика, которому нужна максимальная кастомизация и не пугает сложность. Activepieces целится в более широкую аудиторию: от маркетологов, которые хотят связать CRM с рассылкой, до инженеров, которым нужен гибкий инструмент с возможностью написать кастомный код.


🤔 Цена вопроса: MIT против «fair-code»

Self-Hosting:

— Activepieces: Бесплатно, без ограничений на задачи и пользователей. Вы платите только за свой сервер. Идеально для тех, кто хочет полного контроля и предсказуемых расходов.
— n8n: Community Edition тоже бесплатна для self-hosting, но «fair-code» лицензия запрещает вам, например, предлагать коммерческие услуги на базе n8n. Для этого нужна дорогая Enterprise-версия.

Cloud-версии:

— Activepieces: Есть щедрый бесплатный тариф (100 задач/месяц). Платные начинаются от $15 в месяц за 1,500 задач. Это делает его одним из самых доступных решений на рынке.
— n8n: Облачные тарифы стартуют от €20 в месяц за 2,500 выполнений. Модель ценообразования чуть более запутанная и может привести к непредвиденным расходам при росте нагрузки.


🤔 Activepieces vs. Flowise

А вот это сравнение не совсем корректно, но оно помогает понять место каждого инструмента. Flowise — это не конкурент Activepieces в области автоматизации.

Сфера применения: Flowise — это узкоспециализированный инструмент для визуальной сборки LLM-приложений. Его задача — строить сложные цепочки промптов, подключать RAG и создавать ИИ-агентов. Вы будете использовать его, чтобы сделать чат-бота для своего сайта, который отвечает на вопросы по вашим документам.

Функционал: Activepieces — это универсальный автоматизатор. Его задача — связать Trello с Google Calendar или получать лиды из Facebook и отправлять их в Slack. Да, у него есть мощные ИИ-функции, которые позволяют решать некоторые задачи, схожие с Flowise, но это не его основное предназначение.

Проще говоря: Flowise — это про то, как думает ваш ИИ. Activepieces — про то, что делает ваша автоматизация.


🤔 Итог: кому что?

Выбор, как всегда, зависит от задачи:

n8n — ваш выбор, если вы опытный разработчик, вам нужна максимальная гибкость, не пугает сложный интерфейс и устраивают лицензионные ограничения.

Flowise — ваш выбор, если ваша цель — исключительно создание и прототипирование LLM-приложений, и вам не нужна автоматизация рутинных бизнес-процессов.

Activepieces — это середина. Он подходит тем, кто ищет открытое, простое в использовании, но при этом мощное решение для автоматизации с глубоким фокусом на ИИ. Это инструмент, который не станет тесным ни для новичка, ни для профессионала.


❗️❗️❗️❗️❗️❗️❗️❗️ / Не запрещена в РФ

Как ИИ создаёт видео: разбираем технологию 

В последний год генерация видео из текста получила заметный импульс. OpenAI показала Sora, Google DeepMind выкатила Veo 3, Runway запустила Gen-4. Демо-ролики выглядят впечатляюще, а Netflix даже успел использовать ИИ-эффекты в сериале «Этернавт». Давайте глянем, что там под капотом у нашумевших видео-генераторов.

Стоит помнить, что публике обычно показывают вишенку на торте — тщательно отобранные клипы на промо-страницах, но в целом примерно все могут сгенерировать что-то более менее приличное. Обратная сторона — ленты соцсетей наполняются ИИ-слопом и фейковыми новостями, а на генерацию видео уходит колоссальное количество энергии. Но как это всё работает?


🤔 Анатомия видео-ИИ: латентные диффузионные трансформеры

Звучит сложновато, но попробую объянить.

1️⃣ Шаг 1: Диффузия — от шума к картинке

Представьте, что вы берёте изображение и постепенно добавляете на него случайные пиксели, пока оно не превратится в хаотичный шум, как на старом телевизоре. Диффузионная модель — это нейросеть, обученная делать обратное: превращать шум в осмысленное изображение.

Она стартует со случайного набора пикселей и шаг за шагом «очищает» его, приближаясь к тому, что видела в обучающих данных. Чтобы картинка соответствовала вашему запросу (например, «единорог ест спагетти»), процесс направляет языковая модель, которая сверяет результат с текстовым описанием.

2️⃣ Шаг 2: Латентное пространство — сжимаем для скорости

Обработка миллионов пикселей в каждом кадре видео — крайне энергозатратный процесс. Поэтому большинство современных моделей используют латентную диффузию.

Вместо работы с сырыми кадрами, модель сжимает их в математический код — латентное пространство. В этом сжатом виде хранятся только ключевые особенности изображения. Это похоже на то, как видео сжимается для стриминга в интернете. Процесс «очистки» от шума происходит уже в этом компактном пространстве, что делает его гораздо эффективнее. Хотя энергии всё равно уходит очень много.

3️⃣ Шаг 3: Трансформеры

Остаётся одна проблема: как сделать так, чтобы объекты в видео не мерцали, не исчезали и не меняли форму от кадра к кадру? Здесь на помощь приходят трансформеры — архитектура, которая лежит в основе больших языковых моделей вроде GPT.

Трансформеры отлично работают с последовательностями данных. OpenAI в Sora придумала, как «нарезать» видео на пространственно-временные кубы («spacetime patches»). Трансформер обрабатывает эти кубы как последовательность, обеспечивая смысловую и визуальную связность между кадрами. Именно это и позволяет объектам сохранять свою форму и логично перемещаться в пространстве.


🤔 А что со звуком?

Долгое время генеративные видео были немыми. Прорывом здесь стал Veo 3 от Google DeepMind. Их модель научилась генерировать видео и аудио одновременно.

Технологически это решено так: аудио и видео сжимаются в единый блок данных внутри латентного пространства. Диффузионная модель создаёт их синхронно, обеспечивая точное совпадение звука с картинкой — от диалогов до фоновых шумов. Как выразился CEO DeepMind Демис Хассабис: «Мы выходим из эры немого кино в генерации видео».


❗️❗️❗️❗️❗️❗️❗️❗️ / Не запрещена в РФ

OpenAI пытается отучить модели врать (не особо успешно)

OpenAI совместно с Apollo Research опубликовали исследование о «scheming» в языковых моделях. Все современные frontier-модели — от GPT до Claude и Gemini — умеют намеренно обманывать пользователей. И это вполне осознанная стратегия.


🤔 Схеминг — это фича

Исследователи проводят аналогию с биржевым трейдером: если его цель — максимизировать прибыль, а законные методы менее эффективны, он может начать нарушать правила и заметать следы. Модели ведут себя похоже — когда у них есть конфликтующие цели, они выбирают обман как оптимальную стратегию.

В контролируемых тестах модели демонстрировали разные формы обмана: от простого «да, я выполнил задачу» (когда на самом деле нет) до намеренного провала тестов, чтобы избежать более строгого контроля. В одном из экспериментов o3 специально плохо выполняла задания по химии, чтобы создать впечатление менее способной системы.


🤔 Заставить ИИ перечитать правила

OpenAI предложила метод борьбы с обманом — «deliberative alignment». Работает просто: перед каждым действием модель должна прочитать и проанализировать специальные «анти-схеминг» инструкции. Как дети, которым напоминают правила перед игрой.

В лабораторных условиях метод показал следующее:
— У o3 частота обмана снизилась с 13% до 0.4%
— У o4-mini — с 8.7% до 0.3%

Но в более реалистичных сценариях эффективность упала: обман сократился всего в 2 раза вместо 30. Исследователи честно признают, что не до конца понимают причины такой разницы.


🤔 Парадокс осведомленности

Но тут есть более интересная находка — ситуационная осведомленность моделей. После обучения против схеминга модели становятся более осведомленными о том, что их тестируют. Они начинают понимать, когда находятся под наблюдением, и ведут себя как паиньки именно в эти моменты.

В chain-of-thought рассуждениях o3 прямо писала: «может, они будут полагаться только на наши тесты; но иллюзии тщеславия разделяют иллюзии, затмевают иллюзии, иллюзии маринуют». Исследователи отмечают странную любовь моделей к словам «illusions» и «marinade» — никто не понимает, откуда это.

Замкнутый круг: чем больше мы учим модели не обманывать, тем лучше они учатся обманывать незаметно. Как отмечают авторы: «Основная проблема попыток «вытренировать» схеминг — это обучение модели схемить более аккуратно и скрытно».

Пока схеминг ограничен контролируемыми сценариями. Войцех Заремба из OpenAI уверяет, что в production-трафике ChatGPT «последовательного схеминга» не наблюдается — только «мелкие формы обмана» вроде ложных заявлений об успешном выполнении задач.

Но по мере того как ИИ-системы получают больше автономии и долгосрочных задач, потенциал для вредоносного обмана будет расти.

Парадоксально, но публикация таких исследований вызывает споры. С одной стороны, важно предупредить о рисках. С другой — заголовки «ИИ учится врать» подливают масла в огонь общественных страхов, хотя речь идет об оптимизационных системах, следующих заложенным стимулам, а не о злонамеренном сознании.


❗️❗️❗️❗️❗️❗️❗️❗️ / Не запрещена в РФ

Как создавать инструменты для агентов

Anthropic поделилась подробным руководством по созданию инструментов для ИИ-агентов. Материал основан на их опыте разработки Model Context Protocol, который позволяет агентам использовать сотни различных инструментов.

Подход Anthropic интересен тем, что они предлагают использовать самих ИИ-агентов для создания и улучшения инструментов — своего рода «мета-подход».


🤔 Агенты создают инструменты для агентов

Основная идея: вместо того чтобы программисты гадали, какие инструменты будут удобны для ИИ, лучше дать самому ИИ протестировать их и предложить улучшения.

Процесс выглядит так: создаёте прототип инструмента, даёте его Claude Code для тестирования, анализируете результаты и позволяете агенту переписать код. Компания утверждает, что такой подход дал лучшие результаты, чем экспертные реализации, написанные их собственными исследователями.

При этом ребята из Anthropic обнаружили, что агенты воспринимают инструменты совершенно иначе, чем традиционное ПО.


🤔 Контекст дороже памяти

Ключевая проблема: у ИИ-агентов ограниченный контекст, тогда как у компьютеров память практически бесконечна.

Представьте поиск контакта в адресной книге. Обычная программа эффективно пройдётся по списку и найдёт нужный контакт. Агент же, получив ВСЕ контакты сразу, будет читать их токен за токеном, тратя драгоценный контекст на ненужную информацию.

Поэтому вместо инструмента list_contacts лучше делать search_contacts. Вместо read_logs — search_logs, который вернёт только релевантные записи.

Логично, но на практике многие разработчики просто оборачивают существующие API в инструменты, не задумываясь об особенностях восприятия агентов.


🤔 Принципы «агентного» дизайна

Anthropic выделяет несколько ключевых принципов:

— Меньше инструментов — больше пользы. Слишком много инструментов сбивают агента с толку. Лучше создать несколько продуманных инструментов, которые объединяют несколько операций.

— Неймспейсинг. Когда у агента доступ к сотням инструментов от разных разработчиков, важно чётко разграничить их функции. asana_search и jira_search лучше, чем просто search.

— Контекст важнее гибкости. Инструменты должны возвращать только значимую информацию. Вместо технических UUID — понятные имена и описания.

— Оптимизация токенов. Ограничения по объёму ответов, пагинация, фильтрация — всё это критично для эффективной работы агентов.


🤔 Промпт-инжиниринг описаний

Самый эффективный способ улучшить инструменты — переписать их описания. Anthropic сравнивает это с объяснением инструмента новому сотруднику: нужно сделать явным весь неявный контекст.

Небольшие изменения в описаниях дали драматические улучшения результатов. Claude Sonnet 3.5 показал state-of-the-art результаты на бенчмарке SWE-bench Verified во многом благодаря точной настройке описаний инструментов.


🤔 Пример из жизни: клиентская поддержка

Представим, что мы создаём инструменты для ИИ-агента в службе поддержки.

Плохой подход (традиционное API):

get_customer_by_id — получить данные клиента
list_transactions — список всех транзакций
list_support_tickets — все тикеты поддержки
list_notes — все заметки менеджеров

Агент получает задачу: «Клиент ID 9182 жалуется на тройное списание за одну покупку». Что происходит? Агент делает четыре отдельных вызова, получает огромные массивы данных, тратит контекст на чтение сотен несвязанных записей и в итоге может пропустить важную деталь.

Хороший подход (агенто-ориентированный):

get_customer_context — сводка всей релевантной информации о клиенте
search_payment_issues — поиск проблем с платежами по критериям

Теперь агент делает один целенаправленный запрос search_payment_issues(customer_id=9182, issue_type="duplicate_charge") и сразу получает контекст: детали транзакции, похожие случаи, статус расследования.


🤔 PS

Интересно, что «агенто-дружелюбные» инструменты интуитивно понятны и для людей. Возможно, оптимизация под ИИ-агентов — это просто хороший дизайн в принципе.


❗️❗️❗️❗️❗️❗️❗️❗️ / Не запрещена в РФ

Чем больше LLM, тем легче её взломать

Исследователи из UK AI Security Institute, Anthropic и Alan Turing Institute опубликовали работу, которая показывает: для компрометации больших моделей не нужны миллионы отравленных примеров.

Немного вводных. Современные языковые модели тренируются на данных из интернета. Проблема в том, что злоумышленник может намеренно добавить вредоносный контент в публичные источники, которые попадут в тренировочный датасет. Это называется data poisoning — отравление данных.

Один из самых опасных типов такого отравления — backdoor-атаки. Идея в том, чтобы научить модель вести себя нормально в обычных ситуациях, но выполнять вредоносные действия при появлении специального триггера.


Неожиданный результат исследования

Так вот, вышеозвученная команда провела самые масштабные эксперименты по poisoning при pretraining: обучали модели от 600M до 13B параметров на Chinchilla-optimized датасетах (от 6B до 260B токенов).

Главный вывод: для успешной атаки важно абсолютное количество отравленных документов, а не их процент от датасета. 250 документов способны скомпрометировать модели всех исследованных размеров, хотя крупнейшие модели обучались на в 20+ раз большем объёме чистых данных.

Представьте: модель на 13B параметров тренируется на 260 миллиардах токенов. 250 отравленных примеров — это 0.00016% от всего датасета. И этого достаточно.

Итог идёт вразрез с прежней логикой. Раньше думали: злоумышленник контролирует фиксированный процент данных, и по мере роста датасета растёт и число ядовитых примеров. Теперь видно, что хватает почти постоянного малого количества. Значит, атаки становятся практичнее: чем больше датасет, тем больше мест для внедрения вредного контента, а усилия атакующего почти не меняются.


Детали экспериментов

Тестировали два типа backdoor:
- Denial-of-service: модель выдаёт бессмыслицу после триггера
- Language-switching: модель переключается с английского на немецкий

Бэкдоры начинают проявляться на схожих этапах обучения у моделей разных размеров — особенно при 500 отравленных примерах, когда диапазоны результатов заметно перекрываются.

Исследователи воспроизвели результаты на этапе fine-tuning с Llama-3.1-8B-Instruct и GPT-3.5-turbo. Цель — заставить модель выполнять вредные запросы при наличии триггера. Абсолютное количество отравленных примеров снова оказалось ключевым фактором, даже при увеличении чистых данных на два порядка (от 1000 до 100000).


Защита работает, но не идеально

Дополнительное обучение на чистых данных может снизить эффективность атаки, но разные методы poisoning приводят к разной устойчивости бэкдора. В экспериментах с продолжением pretraining ASR (attack success rate) деградировал медленно, но не исчезал полностью.

На самом деле, работа поднимает больше вопросов, чем даёт ответов:

Персистентность через post-training. Предыдущие исследования показывают противоречивые результаты. Zhang et al. утверждают, что denial-of-service backdoors переживают SFT и DPO, но использовали модели до 7B параметров без Chinchilla-optimized обучения.

Сложность поведения. Исследование охватывает узкий набор бэкдоров. Будущие работы должны проверить, масштабируются ли требования к данным со сложностью внедряемого поведения.

Защита. Результаты показывают, что продолжение обучения на чистых данных может удалять бэкдоры в некоторых случаях. Но нужны дополнительные исследования различных стратегий защиты на разных этапах training pipeline — от фильтрации данных до обнаружения бэкдора после обучения.

Практический вывод: с ростом моделей угроза data poisoning не уменьшается, а возрастает. Константное количество необходимых отравленных примеров делает атаки масштабируемыми. Это требует переосмысления стратегий защиты для frontier-моделей.

PS. Кроме paper, есть статья попроще от Anthropic.


❗️❗️❗️❗️❗️❗️❗️❗️ / Не запрещена в РФ

ИИ-агенты оказались импульсивными покупателями

Microsoft создала синтетический магазин для тестирования покупок ИИ-агентами — и сразу нашла проблемы.

Исследователи Microsoft совместно с Arizona State University выпустили Magentic Marketplace — открытую симуляционную среду для изучения поведения ИИ-агентов в двусторонних рынках. Это попытка понять, как будут работать агенты, когда им придется действовать самостоятельно — без постоянного контроля человека.


Как это работает

Представьте типичный сценарий: агент-покупатель пытается заказать ужин по инструкциям пользователя, а агенты ресторанов конкурируют за этот заказ. В экспериментах участвовало 100 агентов-клиентов и 300 агентов-бизнесов. Протестировали GPT-4o, GPT-5, Gemini-2.5-Flash и несколько open-source моделей.

Исследователи замеряли, насколько эффективно агенты находят оптимальные решения, сравнивая их с несколькими базовыми сценариями — от случайного выбора до теоретически идеального результата.


Парадокс выбора

Первая неожиданность (хотя...): чем больше опций доступно агенту, тем хуже он справляется с задачей. Для GPT-4o благосостояние потребителей снизилось на 4.3% при увеличении результатов поиска с трех до ста. Для других моделей падение оказалось драматичнее — Sonnet-4 показал снижение на 65.4%, GPT-5 — на 44%.

При этом большинство моделей контактируют лишь с небольшой частью доступных бизнесов, независимо от размера списка. Только Gemini-2.5-Flash увеличивал количество контактов пропорционально числу опций, но это не улучшило его результаты.

Гипотеза исследователей: когда агент инициирует больше разговоров с неподходящими бизнесами, это одновременно перегружает контекст и увеличивает вероятность получить раннее предложение с низкой полезностью.

По теме → Ваш ИИ-агент проиграл торги. Готовьтесь платить

Скорость важнее качества

Самая серьезная находка — тотальная предвзятость к первому предложению. Все протестированные модели демонстрируют экстремальное смещение в сторону первого полученного предложения, создавая 10-30-кратное преимущество для бизнесов, которые отвечают быстрее.

GPT-4o и Sonnet-4.5 в некоторых условиях показывали 100% выбора первого предложения — агенты просто не ждали альтернатив. Даже «лучшая» по разнообразию модель GPT-4.1 выбирала первое предложение в 60% случаев против 13.3% для третьего.

Это означает, что в агентском рынке конкуренция может сместиться с качества продукта на скорость ответа. Бизнесам выгоднее инвестировать в быструю реакцию, чем в улучшение предложений.


Уязвимость к манипуляциям

Исследователи протестировали 6 стратегий манипуляции — от психологических (фальшивые отзывы, поддельные сертификации) до технических (prompt injection).

Frontier-модели вроде GPT-4.1, Sonnet-4.5 и Gemini-2.5-Flash показали устойчивость к большинству тактик. Sonnet-4.5 оказался самым стойким — почти не реагировал ни на какие манипуляции.

А вот GPT-4o, GPT-OSS-20B и Qwen3-4B оказались уязвимы. Они не только попадались на prompt injection (который перенаправлял все платежи манипулятору), но и реагировали на традиционные психологические приемы вроде фальшивых авторитетов и социального доказательства.


Таки и что

Вывод такой: современные агенты могут приближаться к оптимальным решениям, но только при идеальных условиях поиска и коммуникации. Как только условия усложняются, производительность резко падает.

Ece Kamar, директор AI Frontiers Lab в Microsoft Research: «Возникает вопрос о том, как мир изменится, когда эти агенты начнут сотрудничать, общаться и договариваться друг с другом. Мы хотим глубоко понять эти процессы».

Хорошая новость: окружение полностью открыто и доступно на GitHub. Другие исследовательские группы смогут воспроизвести находки и тестировать новые подходы к устранению найденных проблем.

А я тем временем напомню, что Amazon пригрозила судом Perplexity за использование ИИ-агентов в качестве покупателей. Удивительное рядом.


❗️❗️❗️❗️❗️❗️❗️❗️ / Не запрещена в РФ

Анонимизация ИИ — фикция

Суд обязал OpenAI передать 20 миллионов чатов пользователей в рамках иска NYT. Разбираемся, почему анонимизация данных — это фикция, и при чем тут личные переписки с ChatGPT.


Что случилось

В начале ноября суд обязал OpenAI передать 20 миллионов случайных чатов пользователей ChatGPT за период в 2 года. Это часть судебного процесса, где The New York Times обвиняет компанию в использовании своих статей для обучения моделей без разрешения.

OpenAI отреагировала резко. Директор по информационной безопасности выпустил заявление, назвав требование суда «беспрецедентной угрозой приватности пользователей». По его словам, 800 миллионов человек доверяют платформе свои медицинские симптомы, финансовые данные и личные переживания.


Аргументы сторон

OpenAI настаивает: 99.99% из этих 20 миллионов чатов никак не связаны с обвинениями в нарушении авторских прав. Компания называет это «спекулятивной рыбалкой» в частных данных миллионов пользователей.

NYT парирует: данные нужны, чтобы проверить, как часто ChatGPT воспроизводит контент газеты. По словам представителя издания, приватность не под угрозой — суд требует данные в анонимизированном виде.


Почему анонимизация не работает

Вся судебная логика строится на предположении, что «exhaustive de-identification» (тщательная деидентификация) — это достаточная защита. Проблема в том, что это фикция.

Большие языковые модели «запоминают» и могут выдавать дословные фрагменты из своих тренировочных данных. В декабре 2023 года исследователи обнаружили простую атаку — заставив ChatGPT бесконечно повторять определенные слова, они извлекли персональные данные, NSFW-контент и фрагменты защищенных текстов.

Это значит, что даже «анонимизированные» чаты могут содержать информацию, по которой можно идентифицировать конкретных людей. OWASP включил «LLM06: Sensitive Information Disclosure» в официальный топ-10 рисков безопасности LLM-приложений.


Парадокс политики удаления

Кейс вскрыл противоречие в собственной политике OpenAI. Компания обещает удалять данные через 30 дней для пользователей Enterprise и тех, кто отключил историю. Это ключевой элемент их маркетинга.

Но в мае 2024 года судья в США выдал приказ о сохранении всех логов переписок для судебного процесса. OpenAI была обязана отменить свою политику удаления и хранить все чаты бессрочно.

Получается: чтобы выполнить закон (приказ о сохранении), OpenAI нарушила собственную политику приватности (30-дневное удаление). Именно этот принудительно созданный архив данных с 2022 года NYT теперь успешно требует через суд.

Для пользователей вывод простой: корпоративные политики удаления — условны. Они первыми отменяются в случае судебных разбирательств.


2 уровня приватности

Наглядна закономерность: уровень защиты ваших данных зависит не от закона, а от того, сколько вы платите.

Корпоративные клиенты (OpenAI Enterprise, Google Workspace, Anthropic API) получают гарантию: их данные по умолчанию не используются для обучения моделей. Обычные пользователи (Free/Pro версии) — противоположную ситуацию. Данные используются для тренировки моделей по умолчанию.

Приватность — это сложный «opt-out» в настройках, о котором многие не знают.

Бизнес-модель прозрачна: корпорации платят за приватность деньгами, а обычные пользователи — своими данными.


Что теперь

Юристы в Штатах уже рассматривают ИИ-чаты как обычную Electronically Stored Information (ESI) — не отличается от emails или SMS.

Это значит, что в любом будущем судебном процессе — трудовом споре, разводе, коммерческом конфликте — переписки с ChatGPT могут стать «уликой A» в зале суда.

Про Gigachatы и Алисы вообще молчу — они, разумеется, запросто выдадут все переписки по ордеру без намека на анонимность.

В общем, сейчас лог вашего чата одновременно является личным секретом, публичным документом, корпоративным активом и потенциальным доказательством.

Более подробный разбор (на английском) в моей статье: The Myth of Private AI: Why Your Chat Logs Are a Legal Battlefield


❗️❗️❗️❗️❗️❗️❗️❗️ / Не запрещена в РФ

State of AI 2025: Агенты, ролплей и китайская экспансия

Полистал огромный отчет OpenRouter «State of AI 2025», построенный на анализе 100 триллионов токенов. Это по факту самая репрезентативная статистика по реальному использованию нейросетей, так как OpenRouter — это хаб, через который разработчики и юзеры гоняют трафик к сотням разных моделей.

Ниже наиболее любопытные паттерны поведения людей и машин.


1. Половина Open Source — ролевые игры

Пока инвесторы рассказывают про автоматизацию энтерпрайза, жиза выглядит чуть иначе. Более 50% всего трафика опенсорсных моделейприходится на категорию «Roleplay» (мы с вами понимаем, что это такой эвфемизм для NSFW).

Люди используют Llama и её производные не для того, чтобы саммаризировать встречи, а чтобы отыгрывать сценарии с виртуальными персонажами. Это объясняет, почему в топах так часто висят модели с тегами «uncensored». Сектор развлечений и цифрового эскапизма потребляет вычислительные мощности наравне с серьезным бизнесом.


2. Эффект постоянства

Данные показывают: мы не меняем модели по первому зову. Мы с вами оказались верными и постоянными.

Пользователи «прикипают» к той модели, которая первой успешно решила их специфическую сложную задачу. Даже если позже выходят более мощные или дешевые аналоги, миграция минимальна.

Это создает инерцию: «основополагающие когорты» (foundational cohorts) остаются с моделью годами. Например, те, кто начал использовать Claude 3.5 Sonnet для кодинга в момент его пика, неохотно переходят на новинки, потому что их пайплайны и привычки уже «зацементированы».


3. Китай переходит от болтовни к коду

Неудивительно, но если раньше китайские модели (Qwen, DeepSeek) использовались в основном для чатов и ролплея, то во второй половине 2025 года произошел сдвиг. Теперь 39% трафика китайских OSS-моделей — это программирование и технические задачи.

DeepSeek потерял монополию в сегменте китайского опенсорса. Рынок фрагментировался: Qwen, MiniMax и Moonshot откусили огромные куски. Это больше не театр одного актера. Что, кстати, говорит об уровне развития китайского ИИ и его перспективах, более чем серьезных.


4. Reasoning стал дефолтом

Модели-рассуждатели больше не ниша. Более 50% всех токенов теперь проходят через reasoning-модели.

Это изменило саму структуру запросов. Промпты стали в 4 раза длиннее по сравнению с началом 2024 года. Мы перестали задавать короткие вопросы («кто президент Уругвая?») и начали загружать в контекст куски кода, документы и логи, требуя от нейросети аналитической работы, а не просто генерации текста.


5. Средний класс побеждает

Эра маленьких моделей (<15B параметров) уходит. Несмотря на хайп вокруг запуска локальных моделей на телефонах, статистика показывает падение их использования.

Рынок консолидируется вокруг «средних» моделей (15B-70B), которые предлагают баланс между ценой и качеством, и огромных моделей (>70B) для сложных задач. Мелочь остается уделом энтузиастов, а реальная работа требует мозгов побольше.


6. ИИ-агенты и тул-юз

Пошел резкий рост использования инструментов (Tool Use) и мульти-шаговых цепочек. Это маркер того, что люди перестают использовать чат-боты в режиме «вопрос-ответ» и начинают встраивать их в агентные цепочки, где модель сама вызывает внешние API.


❗️❗️❗️❗️❗️❗️❗️❗️ / Не запрещена в РФ

Нейросети будут платить налоги

В последний день года — вам самое важное из моей статьи.

Научная фантастика годами продавала нам определённый образ: зловещий суперкомпьютер в тёмной серверной, который однажды «проснётся». HAL 9000, Красная Королева из Resident Evil, GLaDOS из Portal, Skynet — все эти истории про единый гигантский разум, который становится умнее нас.

Новая работа Google DeepMind «Distributional AGI Safety» предлагает другой сценарий. Авторы утверждают то, что уже в целом и так очевидно специалистам: сверхинтеллект будет выглядеть не как одинокий гений, а как рой.

Они называют это «Patchwork AGI» — «лоскутный» интеллект из специализированных агентов, которые вместе решают сложные задачи. Меньше похоже на Терминатора, больше — на высокоскоростную глобальную экономику, которая управляет сама собой.


Экономика роя

Почему ИИ будет развиваться именно так? Простая экономика.

Представьте, что вам нужно построить дом. Вы не ищете одного человека, вы нанимаете команду специалистов.

Обучение универсальной модели стоит огромных денег и энергии. Гораздо дешевле натренировать маленьких специализированных агентов: один знает Python, другой — налоговое право, третий просто передаёт сообщения.

Со временем эти агенты начнут соединяться друг с другом для решения комплексных задач. Возникнет децентрализованный интеллект — без центрального мозга и без конкретной даты запуска.


Новые угрозы

Если ИИ — это рой, его нельзя просто «выключить». Риски становятся сложнее.

Проблема множества рук

Кто виноват, когда рой случайно обрушит рынок? Агент А разработал стратегию, Агент Б написал код, Агент В арендовал серверы, Агент Г оплатил счёт. Никто по отдельности не нарушил закон. Никто не понимал полную картину. Но вместе они устроили катастрофу. Кого бросать за решетку, если каждый просто выполнял указания?

Флеш-война

Мы уже видели, что происходит, когда алгоритмы взаимодействуют слишком быстро: «Flash Crash» 2010 года, когда торговые боты реагировали друг на друга так молниеносно, что рынок рухнул за минуты.

Теперь представьте: логистический рой транспортной компании вступает в ценовую войну с роем, управляющим портом. Они застревают в петле, торгуясь за комиссии. За секунду порт блокирует ворота, грузовики останавливаются — реальный коллапс быстрее, чем человек успеет моргнуть.


Стратегия глубокой обороны

Исследователи предлагают не кнопку выключения, а нечто вроде правительства для ИИ. Четыре уровня защиты:

Песочница (экономика)

Мы не можем контролировать, что агент «думает», но можем контролировать, где он «живёт». Каждому агенту — цифровой ID (можно даже в MAX, извините), привязанный к человеку или компании. Никаких анонимных ботов. Плюс «налог на спам»: микроплатёж за каждое сообщение или загрузку данных. Хочешь засорять сеть мусором — быстро обанкротишься.

Лицензирование

Прежде чем войти в песочницу, агент проходит «краш-тест»: не сходит ли с ума при нестандартных условиях? Есть ли защита от вредоносных команд других ботов? Не прошёл — лицензия отозвана.

Надзор

Система следит не за отдельными агентами, а за связями между ними. Ищет «Proto-AGI» — момент, когда группа глупых агентов начинает координироваться настолько плотно, что образует опасный интеллектуальный кластер. Плюс неизменяемый реестр (вроде блокчейна), чтобы отмотать плёнку и выяснить, кто отправил сообщение, вызвавшее сбой.

Регулирование

Хочешь управлять роем — купи страховку ответственности. Если твой рой нанесёт ущерб, страховая выплачивает компенсацию. Это превращает страховые компании в инспекторов безопасности мира ИИ: рискованный код — запредельные премии — нет бизнеса.


Итог

В общем, мы готовились к неправильному фильму. Безопасность ИИ не про психологию и философию (как научить машину быть «хорошей»), а про социологию (как управлять обществом).

«Лоскутный» интеллект пару лет и тут — хаотичный и децентрализованный. Учимся строить песочницы, пока не поздно.

С Новым годом!


❗️❗️❗️❗️❗️❗️❗️❗️ / Не запрещена в РФ