🧠 AI-агенты начали автоматизировать научные исследования
На arXiv вышла работа AutoSci: агентская система, которая пытается автоматизировать полный research pipeline:
🔹 поиск литературы
🔹 генерация гипотез
🔹 постановка экспериментов
🔹 запуск вычислений
🔹 анализ результатов
🔹 написание статьи
Агент работает как stateful execution system, где исследование разбивается на этапы через orchestration layer SciFlow.
Каждая стадия получает свой контекст, скиллы и execution logic.
⚙️ Главная фишка
Самая сильная часть архитектуры - это память, SciMem.
Система хранит не документы целиком, а сущности:
🔹 статьи
🔹 методы
🔹 гипотезы
🔹 эксперименты
🔹 результаты
Всё живёт как state machine:
➖ «гипотеза → тестирование → подтверждение / отклонение»
➖ «эксперимент → запуск → результат → переоценка»
Получается persistent reasoning layer, где агент не забывает прошлые попытки и может строить итеративные workflow.
🔬 А как защищаются от галлюцинаций?
Авторы отдельно добавили Trust Guard для валидации памяти. Перед записью знание проверяется на происхождение источника, связи с текущими знаниями и на соответствие schema.
Таким отразом пытаются решить проблему долго работающих агентов с отравлением памяти и накопление ложных выводов после сотен шагов рассуждений.
🧪 Это работает?
В одном из экспериментов агент самостоятельно оптимизировал GPU kernel и получил 1.52× ускорение относительно исходника.
Стоит отметить, что во всех кейсах система сохраняла не только успехи, но и провалы, используя их как отрицательное знание для следующих итераций.
🔗 Исследование: https://arxiv.org/abs/2605.31468
Stay secure and read SecureTechTalks 📚
#кибербезопасность #AI #LLM #AgenticAI #AIsecurity #CyberSecurity #RAG #MemorySecurity #ResearchAgents #SecureTechTalks
На arXiv вышла работа AutoSci: агентская система, которая пытается автоматизировать полный research pipeline:
🔹 поиск литературы
🔹 генерация гипотез
🔹 постановка экспериментов
🔹 запуск вычислений
🔹 анализ результатов
🔹 написание статьи
Агент работает как stateful execution system, где исследование разбивается на этапы через orchestration layer SciFlow.
Каждая стадия получает свой контекст, скиллы и execution logic.
⚙️ Главная фишка
Самая сильная часть архитектуры - это память, SciMem.
Система хранит не документы целиком, а сущности:
🔹 статьи
🔹 методы
🔹 гипотезы
🔹 эксперименты
🔹 результаты
Всё живёт как state machine:
Получается persistent reasoning layer, где агент не забывает прошлые попытки и может строить итеративные workflow.
🔬 А как защищаются от галлюцинаций?
Авторы отдельно добавили Trust Guard для валидации памяти. Перед записью знание проверяется на происхождение источника, связи с текущими знаниями и на соответствие schema.
Таким отразом пытаются решить проблему долго работающих агентов с отравлением памяти и накопление ложных выводов после сотен шагов рассуждений.
🧪 Это работает?
В одном из экспериментов агент самостоятельно оптимизировал GPU kernel и получил 1.52× ускорение относительно исходника.
Стоит отметить, что во всех кейсах система сохраняла не только успехи, но и провалы, используя их как отрицательное знание для следующих итераций.
🔗 Исследование: https://arxiv.org/abs/2605.31468
Stay secure and read SecureTechTalks 📚
#кибербезопасность #AI #LLM #AgenticAI #AIsecurity #CyberSecurity #RAG #MemorySecurity #ResearchAgents #SecureTechTalks
Please open Telegram to view this post
VIEW IN TELEGRAM
❤1👍1
🧠 AI-агенты знают слишком много...
На arXiv вышел обзор: Agents That Know Too Much: A Data-Centric Survey of Privacy in LLM Agents.
Авторы вводят новую модель Data Surfaces, где вместо привычного подхода «разберём типы атак» исследователи предлагают смотреть на поверхности данных:
🔹 базы данных и хранилища
🔹 файлы и таблицы
🔹 RAG-индексы
🔹 внешние API и инструменты
🔹 долговременная память агента
🔹 каналы общения между агентами
Такой подход значительно изменяет модель угроз. Например, чувствительные данные могут утечь не через финальный ответ, а через SQL-запрос, который агент сам сгенерировал или через промежуточные результаты reasoning. А это не так-то просто контролировать.
🧨 Память, как самый опасный слой
Отдельно авторы выделяют memory-layer, потому что память агента:
1. переживает сессии
2. хранит прошлый контекст
3. может быть отравлена
4. может случайно утечь другому пользователю
Таким образом это делает prompt injection постоянным. Один вредоносный документ может записать payload в memory store, а агент достанет его через неделю уже как доверенный контекст.
Это уже не prompt injection.
🛡️ Чего еще интересного в статье?
Авторы считают, что обычного контроля доступа больше недостаточно. Нужен information-flow control. Система, которая отслеживает не просто доступ, а движение данных между всеми слоями агента. Кто что прочитал, что куда передал, что сохранил, что переиспользовал.
Privacy для AI-агентов начинает превращаться в data lineage security.
🔗 Исследование: https://arxiv.org/abs/2606.26627
Stay secure and read SecureTechTalks 📚
#кибербезопасность #AI #LLM #AgenticAI #Privacy #RAG #MemorySecurity #DataSecurity #AIsecurity #SecureTechTalks
На arXiv вышел обзор: Agents That Know Too Much: A Data-Centric Survey of Privacy in LLM Agents.
Авторы вводят новую модель Data Surfaces, где вместо привычного подхода «разберём типы атак» исследователи предлагают смотреть на поверхности данных:
🔹 базы данных и хранилища
🔹 файлы и таблицы
🔹 RAG-индексы
🔹 внешние API и инструменты
🔹 долговременная память агента
🔹 каналы общения между агентами
Такой подход значительно изменяет модель угроз. Например, чувствительные данные могут утечь не через финальный ответ, а через SQL-запрос, который агент сам сгенерировал или через промежуточные результаты reasoning. А это не так-то просто контролировать.
🧨 Память, как самый опасный слой
Отдельно авторы выделяют memory-layer, потому что память агента:
1. переживает сессии
2. хранит прошлый контекст
3. может быть отравлена
4. может случайно утечь другому пользователю
Таким образом это делает prompt injection постоянным. Один вредоносный документ может записать payload в memory store, а агент достанет его через неделю уже как доверенный контекст.
Это уже не prompt injection.
🛡️ Чего еще интересного в статье?
Авторы считают, что обычного контроля доступа больше недостаточно. Нужен information-flow control. Система, которая отслеживает не просто доступ, а движение данных между всеми слоями агента. Кто что прочитал, что куда передал, что сохранил, что переиспользовал.
Privacy для AI-агентов начинает превращаться в data lineage security.
🔗 Исследование: https://arxiv.org/abs/2606.26627
Stay secure and read SecureTechTalks 📚
#кибербезопасность #AI #LLM #AgenticAI #Privacy #RAG #MemorySecurity #DataSecurity #AIsecurity #SecureTechTalks
👍2