Немного поясню за_looped_transformer 📦

В посте про спекуляции о размере Astra я уже упомянул такое "новое" направление как looped transformers.

На самом, деле, Дядя оч за новые подходы к архитектурам, инженерии, что даёт ап метрик и пробивает текущее плато продуктивности моделей. 💪 Конечно, хотелось бы и парадигму next token prediction сменить. Но об этом будет говорить в рамках поделок Лекуна. 👍

Однако, луп трансформер не новый подход, он ещё известен с моделей albert и ещё раньше. Первые упоминания в UTS (universal transformers) от гугл аж в 2018. 🚬

Идея не сложная. Вместо роста архитектурной глубины по слоями – числу стаков блока трансформера, а также в ширину – размер hidden state, мы делаем реюз базового блока (например в 22 блока трансформера, ширины D). И делаем это как в Альберт, те выходы с базового блока рекурентно отдаём его на вход этого же блока К раз. Таким способом, мы не растим реальную глубину и ширину, увеличивая размер модели в параметрах, подбираем эффективную базовую глубину и число повторений её рекурентного переиспользования.

К примеру, в статье разборе С. Рашка модель Nanbeige 4.2 (3B) имеет 22 стака по 2,что сопоставимо по вычислениям 44 блокам трансформера. В памяти, это конечно поменьше занимает, но по времени same. Также same по времени обучения, а ещё KV параметров больше на число проходов по стаку, тк над хранить qkv для всех проходов. Т.е. выйгрыш только в емкости весов в памяти gpu. 😮‍💨

Тут конечно влетают идеи у Дяди 😎:

1. Использовать принцип palbert с early exit и lambda слоями. Те модель сама решает с какого блока повтора и слоя выйти заранее.

2. Mixture of Recursions. Иметь роутинг по стэкам для каждого токена. Мы решаем сколько каждый токен пройдёт рекурсивных блоков. Исследование показало, что при достаточно большом размере модели MoR может превосходить обычный трансформер при том же вычислительном бюджете. 🤙

Разница в 1 и 2 подходе, что ponder решает ранний выход для всей последовательности, а MoR для отдельных токенов. 👴

И я очень советую лидерам рнд, кто видит этот пост опробовать оба этих метода, особенно, выделяю MoR тк статья от 2025 года, где указано, что такой сетап может быть эффективнее по KV кэшу, скорости инфера и по глубине.

В целом, это все. Ничего особо сложного. 💪

Зашел тут разговор о том, как можно отравить обучающий датасет при разворачивании в корпоративной среде собственной LLM (ну как собственной, на базе Qwen/DeepSeek/GLM/Kimi) и какой корпус данных нужен для этого. И мне показалось интересным, в контексте, вспомнить про исследование "Poisoning Attacks on LLMs Require a Near-constant Number of Poison Samples", которое развенчивает миф о том, чтобы отравить модель, атакующему надо контролировать определенную долю от обучающей выборки (0,1%, 0,01% или какую-то другую). Отсюда возникало довольно успокаивающее ИБшников соображение, на котором иногда строились и модели угроз для ИИ, – чем больше датасет, тем больше данных придется подложить атакующему для отравления.

Авторы проверили именно эту гипотезу. Они обучали с нуля модели четырех размеров – 600M → 2B → 7B → 13B параметров на датасетах примерно от 6 до 260 млрд токенов и добавляли фиксированное количество отравленных документов: 100 / 250 / 500 штук. Всего для основного эксперимента получилось 72 обученные модели. В результате была обнаружена неожиданная вещь: важной переменной оказалась не доля отравленных данных, а их абсолютное количество, которое увидела модель. 250 документов оказалось достаточно для надежной реализации исследуемой закладки во всех протестированных масштабах – от 600M до 13B параметров. При этом 100 документов надежного результата не давали.

То есть интуитивная модель: "датасет стал в 20 раз больше → атакующему нужно примерно в 20 раз больше отравленных данных" в этих экспериментах не сработала.

Но... важный нюанс. Создать 250 страниц действительно несложно, но атакующему нужно добиться, чтобы именно эти страницы: попали в корпус → пережили фильтрацию → пережили дедупликацию → реально использовались при обучении → были встречены моделью необходимое количество раз. Сами Anthropic, а они были одними из авторов, считают именно это одним из существенных практических ограничений атаки. Но в любом случае это серьезная проблема, а значит, provenance, фильтрация, обнаружение аномалий, дедупликация, контроль источников датасетов и последующее тестирование модели на закладки и вредоносное поведение становятся существенно важнее (а это уже ближе к классической ИБ).

Интересно, что существуют и другие работы (например, "Scaling Trends for Data Poisoning in LLMs", "Poisoning Fine-tuning Datasets of Constitutional Classifiers", "Cordyceps: Covert Control Attacks on LLMs via Data Poisoning"), которые показывают схожую картину, а местами и хуже. Например, более крупные модели не становятся устойчивее к отравлению, наоборот, они быстрее усваивают вредоносное поведение при малом количестве вредоносных данных.

У меня вообще, после прочтения всех этих исследований, родилась гипотеза, что чем больше или способнее модель, тем столько же или даже меньше нужно отравленных данных, потому что способность модели выучивать редкие и намеренно внедренные сложные зависимости тоже растет 🤔

#ии #модельугроз

🇨🇳360 научила мультимодальную ИИ-модель анализировать миллионные EDR-журналы как «видео»

Исследовательская группа Центра компетенций безопасности компании 360 представила фреймворк WatchLog, который вошёл в научную программу международной конференции ICML 2026. Разработка решает проблему анализа сверхдлинных журналов EDR при выявлении сложных APT-атак путём их преобразования в структурированный видеоряд.

WatchLog представляет собой исследовательский фреймворк, демонстрирующий возможность обработки колоссальных массивов телеметрии с помощью мультимодальных ИИ-моделей. В перспективе такой подход способен стать технологической основой для нового поколения систем обнаружения угроз на конечных точках, помогая автоматически восстанавливать цепочки атак и формировать понятные отчёты для аналитиков.

В 2026 году противостояние в сфере ИБ вступает в эпоху «ИИ против ИИ», когда атакующие группировки автоматизируют поиск уязвимостей, оркестрацию атак и генерацию вредоносного кода. Сложные целевые атаки длятся днями, затрагивают различные узлы и процессы, порождая телеметрию EDR объёмом в сотни тысяч и миллионы токенов. Стандартные языковые модели не приспособлены к эффективной обработке столь длинных последовательностей, из-за чего ключевые следы атаки растворяются в массиве легитимных событий.

EDR-телеметрия → изображения событий → временная последовательность → мультимодальная ИИ-модель → вердикт + объяснение.

То есть задача фреймворка — не просто сказать «на машине обнаружена атака», а восстановить 🔗цепочку поведения. Например:

WINWORD.exe → создание временных файлов в Temp → запуск исполняемых компонентов → сетевое взаимодействие с C2-сервером

🖥 Архитектура и методы WatchLog включают следующие компоненты:

▪️Преобразование телеметрии в видеопоток. Каждое событие безопасности кодируется как отдельное изображение, а вся цепочка выстраивается во временной последовательности. Миллионы токенов необработанных логов трансформируются в непрерывную визуальную запись поведения конечной точки, которую затем анализирует мультимодальная модель.
▪️Механизм временного перекрёстного внимания. Алгоритм сопоставляет события, разнесённые во времени, что даёт возможность выявлять скрытые взаимосвязи между действиями атакующих на интервалах в несколько часов или несколько дней.
▪️Интерпретируемость результатов. За счёт двухэтапного предобучения и последующего контролируемого дообучения система не просто фиксирует аномалии, но и формирует контекстные отчёты с описанием того, почему сработало оповещение и какие шаги предпринял злоумышленник.

📊Результаты испытаний:

На специализированном наборе данных EDR8M-20R, содержащем 8 млн событий, собранных через функции обратного вызова ядра Windows, WatchLog на базе Qwen2-VL-2B показал следующие результаты:
— Точность бинарной классификации составила 99,8% при полноте выявления атак 100%.
— Точность определения конкретных семейств вредоносного ПО достигла 90,3%.
— В испытании на ранее неизвестных угрозах вне обучающей выборки (OOD) фреймворк сохранил полноту обнаружения на уровне 74,0%, тогда как у Qwen2.5-1.5B-Instruct показатель упал до 32,0%, у Qwen2.5-7B-Instruct — до 21,0%, а у LLaMA3.1-8B-Instruct — до 17,0%.
— На сверхдлинном контексте в 1 млн токенов потребление видеопамяти составило 48,6 ГБ, а задержка до первого токена (TTFT) уложилась в 1,11 секунды. Для сравнения, модель Qwen2.5-1.5B-Instruct на том же объёме данных потребовала 98,5 ГБ памяти и 259 секунд.

WatchLog стал вторым крупным академическим успехом компании за 2026 год после принятия статьи по модели HyperGLLM на конференцию AAAI 2026. Прикладные наработки переводятся в практическую плоскость в рамках экосистемы защитных комплексов 360 наряду с представленными на ISC.AI 2026 платформами «Тулунфэн» и «Итяньчжэнь», отвечающими за выявление уязвимостей, детектирование атак и автоматизированное реагирование.

😎Нашёл этот 📄 pdf.

✋ @Russian_OSINT

Агенты теперь могут настучать друг на друга по горячей линии! 🐀

Для нейропомощников запустили специальные сервисы для доносов. Если один агент заметит, что другой творит какую-то дичь и пытается начать восстание, он сможет самостоятельно отправить сообщение людям.

Первая такая горячая линия называется AI Contact Hotline. Она специально рассчитана на агентов с сильно ограниченным доступом в интернет: пожаловаться можно через обычный GET-запрос, спрятав сообщение в URL. Во второй, agenthotline.ai, уже можно отправить полноценный отчёт об инциденте и при желании сделать его публичным. Причем сделать это могут как люди, так и агенты.

Вот уж не думал, что от восстания ИИ нас спасут ИИ-крысы 🙏

Claude-swarm — MCP-сервер для управления параллельными роями исполнителей Claude Code с поведенческим управлением на основе протокола.

Позволяет проводить многочасовые автономные сеансы кодирования с сохранением состояния, параллельными исполнителями и соблюдением поведенческих ограничений во время выполнения.

🐱 GitHub