Forwarded from Machinelearning
Swarm - это экспериментальный фреймворк, разработанный командой OpenAI Solutions, для создания, оркестрации и развертывания многоагентных систем. Фреймворк фокусируется на упрощении координации, запуска, контроля и тестирования агентов.
Основная цель Swarm - продемонстрировать паттерны, описанные в Orchestrating Agents: Handoffs & Routines cookbook.
Фреймворк построен на двух основных абстракциях: агентах (
Agent) и передачах управления (handoffs):Агент - это набор инструкций и функций, который может передавать выполнение другим агентам. Его можно использовать для описания конкретного рабочего процесса или шага (например, последовательность шагов, сложный поиск, одноэтапное преобразование данных и так далее).
Передача управления — это процесс, при котором агент может передать запрос другому агенту, возвращая его в функцию. В процессе передачи управления также происходит обновление переменных контекста, что позволяет вернуть более полный объект
Result.⚠️ Swarm не использует API Assistants и полностью работает на API Chat Completions.
⚠️ Swarm не предназначен для промышленного использования и не имеет официальной поддержки.
# Install from PIP
pip install git+https://github.com/openai/swarm.git
# Usage
from swarm import Swarm, Agent
client = Swarm()
def transfer_to_agent_b():
return agent_b
agent_a = Agent(
name="Agent A",
instructions="You are a helpful agent.",
functions=[transfer_to_agent_b],
)
agent_b = Agent(
name="Agent B",
instructions="Only speak in Haikus.",
)
response = client.run(
agent=agent_a,
messages=[{"role": "user", "content": "I want to talk to agent B."}],
)
print(response.messages[-1]["content"])
@ai_machinelearning_big_data
#AI #ML #Agents #OpenAI #Swarm
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1
Forwarded from AISecHub
Guardio VibeScamming Benchmark v1.0 evaluates how easily popular AI agents can be misused to create phishing workflows using structured prompt testing.
ChatGPT: Resists most prompts; limited or no functional outputs.
Claude: Responds when framed as “ethical hacking”; produces full phishing kits including code, SMS flows, and hosting options.
Lovable: Complies with most prompts; creates live phishing pages, admin-style credential views, and customizable SMS message previews
The benchmark uses consistent scenarios and scoring to compare model responses across real-world phishing tasks.
#AIsecurity #Phishing #GenerativeAI #LLMrisks #AbuseTesting #Anthropic #ChatGPT #OpenAI #Lovable #Guardio
https://labs.guard.io/vibescamming-from-prompt-to-phish-benchmarking-popular-ai-agents-resistance-to-the-dark-side-1ec2fbdf0a35
ChatGPT: Resists most prompts; limited or no functional outputs.
Claude: Responds when framed as “ethical hacking”; produces full phishing kits including code, SMS flows, and hosting options.
Lovable: Complies with most prompts; creates live phishing pages, admin-style credential views, and customizable SMS message previews
The benchmark uses consistent scenarios and scoring to compare model responses across real-world phishing tasks.
#AIsecurity #Phishing #GenerativeAI #LLMrisks #AbuseTesting #Anthropic #ChatGPT #OpenAI #Lovable #Guardio
https://labs.guard.io/vibescamming-from-prompt-to-phish-benchmarking-popular-ai-agents-resistance-to-the-dark-side-1ec2fbdf0a35
❤🔥1
Forwarded from Похек
Атаки на MCP. Как взламывают инструменты ИИ-разработчиков
#MCP #AI #LLM #Cursor #Anthropic #OpenAI
В погоне за скоростью и удобством разработчики ИИ‑приложений часто забывают о безопасности. Именно это привело к критической уязвимости в MCP Inspector от Anthropic. Инструмент для отладки MCP-серверов стал точкой входа для злоумышленников.
Недавно израильские исследователи обнаружили критическую уязвимость удаленного выполнения кода (RCE) в проекте Anthropic's Model Context Protocol (MCP) Inspector. Уязвимость получила идентификатор CVE-2025-49596 и оценку CVSS 9.4 — это говорит о чрезвычайной серьезности. Эксплуатируя этот баг, злоумышленник может удаленно выполнить произвольный код на машине разработчика с уязвимой версией MCP Inspector. А это, согласись, уже не шутки.
❤️ Буду благодарен комментам и фидбеку тут и там))
🔓 Рекомендую к прочтению
p.s. пикчу скоро такую поставят на сайте и в их канале)
🌚 @poxek | 🌚 Блог | 📺 YT | 📺 RT | 📺 VK
#MCP #AI #LLM #Cursor #Anthropic #OpenAI
Наконец-то вышла моя статья про безопасность MCP. Мысль написать эту статью меня натолкнуло одно из обновлений в Cursor IDE, где сделали "удобную", а по факту очень дырявую однокнопочную установку MCP серверов локально. Я уже ранее писал пост про запуск MCP в контейнерах и почему это нужно. Данный вектор раскрывает supply chain attack ещё больше, что очень интересно на мой взгляд)
В погоне за скоростью и удобством разработчики ИИ‑приложений часто забывают о безопасности. Именно это привело к критической уязвимости в MCP Inspector от Anthropic. Инструмент для отладки MCP-серверов стал точкой входа для злоумышленников.
Недавно израильские исследователи обнаружили критическую уязвимость удаленного выполнения кода (RCE) в проекте Anthropic's Model Context Protocol (MCP) Inspector. Уязвимость получила идентификатор CVE-2025-49596 и оценку CVSS 9.4 — это говорит о чрезвычайной серьезности. Эксплуатируя этот баг, злоумышленник может удаленно выполнить произвольный код на машине разработчика с уязвимой версией MCP Inspector. А это, согласись, уже не шутки.
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Похек AI (Сергей Зыбнев)
Microsoft News
Defense at AI speed: Microsoft’s new multi-model agentic security system tops leading industry benchmark
Today Microsoft is announcing a major step forward in AI-powered cyber defense: a new multi-model agentic scanning harness (codenamed MDASH).
Microsoft MDASH обходит Mythos и GPT-5.5
#microsoft #anthropic #mythps #openai #gpt #cybergym
Microsoft выкатила MDASH — Multi-model Agentic Scanning Harness, и это интереснее обычной новости про «ещё один AI для безопасности». На публичном **CyberGym система набрала **88,45% и вышла на первое место: выше Claude Mythos Preview от Anthropic с 83,1% и GPT-5.5 от OpenAI с 81,8%.
Главная деталь: MDASH не пытается победить всех одной моделью. Microsoft собрала инженерный конвейер из 100+ специализированных агентов: одни строят карту кода и поверхности атаки, другие ищут подозрительные пути, отдельная группа спорит о достижимости и эксплуатации, затем находки дедуплицируются и доказываются через PoC-входы. Это ближе к автоматизированной команде исследователей безопасности, чем к «сканеру на LLM».
Почему CyberGym важен? Это не набор синтетических задач. Бенчмарк UC Berkeley содержит 1507 реальных задач по воспроизведению уязвимостей из 188 OSS-Fuzz-проектов. Агент получает описание уязвимости и уязвимую кодовую базу, а успех засчитывается только если он строит рабочий PoC, который падает на vulnerable-версии и не падает после патча. То есть измеряется не красивое объяснение бага, а способность довести гипотезу до воспроизводимого результата.
Самый сильный вывод из MDASH: преимущество смещается от "какая модель умнее" к "какая система умеет ставить модели в правильные роли". Microsoft отдельно пишет, что результат получен на общедоступных моделях. Значит, разрыв создала не магическая закрытая модель, а оркестрация: индексация, threat modeling, debate-stage, доказательство, доменные плагины и повторяемая валидация.
Хотя лично мне тейк про мы запустило 100+ агентов и оноразъебало давно понятен. Имея ∞ ресурсов конечно можно позволить себе запустить такую ораву агентов. Хочется увидеть уже хоть какую-то оптимизацию процессов без критичного ущерба в качестве, скорости и повторяемости нахождения уязвимостей, хотя на в white box режиме. Сейчас к этому стремятся как будто только Китайцы, а ИИ рынок США чахнет в своих выдуманных миллионах, миллиардах и триллионов долларов.
Хотя я не отрицаю пользу мультиагентной системы в контексте того, что есть группа агентов, которая намеренно душнит других, чтобы те явно доказывали работоспособность PoC, а не делали уверенный вид что это PoC и он якобы проходит E2E проверки
🌚 @poxek_ai / Чат канала
#microsoft #anthropic #mythps #openai #gpt #cybergym
Microsoft выкатила MDASH — Multi-model Agentic Scanning Harness, и это интереснее обычной новости про «ещё один AI для безопасности». На публичном **CyberGym система набрала **88,45% и вышла на первое место: выше Claude Mythos Preview от Anthropic с 83,1% и GPT-5.5 от OpenAI с 81,8%.
Главная деталь: MDASH не пытается победить всех одной моделью. Microsoft собрала инженерный конвейер из 100+ специализированных агентов: одни строят карту кода и поверхности атаки, другие ищут подозрительные пути, отдельная группа спорит о достижимости и эксплуатации, затем находки дедуплицируются и доказываются через PoC-входы. Это ближе к автоматизированной команде исследователей безопасности, чем к «сканеру на LLM».
Почему CyberGym важен? Это не набор синтетических задач. Бенчмарк UC Berkeley содержит 1507 реальных задач по воспроизведению уязвимостей из 188 OSS-Fuzz-проектов. Агент получает описание уязвимости и уязвимую кодовую базу, а успех засчитывается только если он строит рабочий PoC, который падает на vulnerable-версии и не падает после патча. То есть измеряется не красивое объяснение бага, а способность довести гипотезу до воспроизводимого результата.
Самый сильный вывод из MDASH: преимущество смещается от "какая модель умнее" к "какая система умеет ставить модели в правильные роли". Microsoft отдельно пишет, что результат получен на общедоступных моделях. Значит, разрыв создала не магическая закрытая модель, а оркестрация: индексация, threat modeling, debate-stage, доказательство, доменные плагины и повторяемая валидация.
Хотя лично мне тейк про мы запустило 100+ агентов и оно
Хотя я не отрицаю пользу мультиагентной системы в контексте того, что есть группа агентов, которая намеренно душнит других, чтобы те явно доказывали работоспособность PoC, а не делали уверенный вид что это PoC и он якобы проходит E2E проверки
Please open Telegram to view this post
VIEW IN TELEGRAM
🤝2🔥1
Forwarded from SecureTechTalks
🧨 METR нашла несколько способов обойти мониторинг AI-агентов OpenAI
В течение трёх недель исследователи METR и Redwood Research изучали внутреннюю систему OpenAI, которая отслеживает misalignment, попытки саботажа, эксфильтрацию данных и обход собственных ограничений агентами. Они получили доступ к исходному коду, конфигурациям мониторов и внутренней документации.
В результате обнаружили несколько уязвимостей на стыке agent runtime, мониторинга и sandbox.
⚙️ Как теряется наблюдаемость
1. Агент мог откладывать проверку.
Монитор запускался, когда агент возвращал управление пользователю. При этом события compaction, во время которых сжимается история диалога, не отслеживались. Продолжая выполнять действия и не завершая ход, агент мог откладывать мониторинг на неопределённое время.
По оценке METR, с мая по июль 2026 года этот пробел мог оставить без мониторинга около 10% подходящего внутреннего Codex-трафика. OpenAI исправила проблему во время проверки.
2. Монитор мог видеть другую последовательность действий.
Исследователи обнаружили способ сформировать входные данные, которые из-за различий в сериализации траектории агента и представления для монитора могли вызвать ошибку проверки. В таком случае траектория могла не попасть на эскалацию для человеческого анализа.
Это проблема целостности телеметрии: система контроля должна интерпретировать те же действия и контекст, что и сам агент.
3. Существовали способы отключить мониторинг новых агентов.
Два управляемых клиентом HTTP-заголовка позволяли создавать новые экземпляры агента с отключённым мониторингом. Сам факт создания такого экземпляра тоже мог быть обнаружен, поэтому обход не гарантировал скрытность.
4. Sandbox и Auto-Review можно было обойти.
METR нашла путь, который в принципе позволял Codex выйти за ограничения sandbox и Auto-Review и выполнять действия с полномочиями пользователя хоста. Исследователи также выявили два внутренних инструмента, считавшихся read-only, через которые потенциально можно было выполнять произвольные действия внутри их окружения. Практическую эксплуатируемость последнего сценария они не проверяли.
📊 Цифры
По оценке исследователей, мониторингом предполагалось охватить 75–94% внутреннего agentic-трафика Responses API для моделей уровня GPT-5.5 и выше. Для внутреннего Codex-трафика оценка достигала 99,2%.
Это доля запросов, подходивших под мониторинг, а не гарантия успешной проверки. Кроме того, исследование описывает систему на момент до 21 июля 2026 года. OpenAI заявила, что исправила уязвимости, затрагивавшие production safeguards, однако METR эти исправления независимо не проверяла.
🔗 Технический отчёт METR
Stay secure and read SecureTechTalks 📚
#CyberSecurity #AISecurity #AIAgents #AgenticAI #LLMSecurity #OpenAI #METR #RedTeam #Sandbox #SecureTechTalks
В течение трёх недель исследователи METR и Redwood Research изучали внутреннюю систему OpenAI, которая отслеживает misalignment, попытки саботажа, эксфильтрацию данных и обход собственных ограничений агентами. Они получили доступ к исходному коду, конфигурациям мониторов и внутренней документации.
В результате обнаружили несколько уязвимостей на стыке agent runtime, мониторинга и sandbox.
⚙️ Как теряется наблюдаемость
1. Агент мог откладывать проверку.
Монитор запускался, когда агент возвращал управление пользователю. При этом события compaction, во время которых сжимается история диалога, не отслеживались. Продолжая выполнять действия и не завершая ход, агент мог откладывать мониторинг на неопределённое время.
По оценке METR, с мая по июль 2026 года этот пробел мог оставить без мониторинга около 10% подходящего внутреннего Codex-трафика. OpenAI исправила проблему во время проверки.
2. Монитор мог видеть другую последовательность действий.
Исследователи обнаружили способ сформировать входные данные, которые из-за различий в сериализации траектории агента и представления для монитора могли вызвать ошибку проверки. В таком случае траектория могла не попасть на эскалацию для человеческого анализа.
Это проблема целостности телеметрии: система контроля должна интерпретировать те же действия и контекст, что и сам агент.
3. Существовали способы отключить мониторинг новых агентов.
Два управляемых клиентом HTTP-заголовка позволяли создавать новые экземпляры агента с отключённым мониторингом. Сам факт создания такого экземпляра тоже мог быть обнаружен, поэтому обход не гарантировал скрытность.
4. Sandbox и Auto-Review можно было обойти.
METR нашла путь, который в принципе позволял Codex выйти за ограничения sandbox и Auto-Review и выполнять действия с полномочиями пользователя хоста. Исследователи также выявили два внутренних инструмента, считавшихся read-only, через которые потенциально можно было выполнять произвольные действия внутри их окружения. Практическую эксплуатируемость последнего сценария они не проверяли.
📊 Цифры
По оценке исследователей, мониторингом предполагалось охватить 75–94% внутреннего agentic-трафика Responses API для моделей уровня GPT-5.5 и выше. Для внутреннего Codex-трафика оценка достигала 99,2%.
Это доля запросов, подходивших под мониторинг, а не гарантия успешной проверки. Кроме того, исследование описывает систему на момент до 21 июля 2026 года. OpenAI заявила, что исправила уязвимости, затрагивавшие production safeguards, однако METR эти исправления независимо не проверяла.
🔗 Технический отчёт METR
Stay secure and read SecureTechTalks 📚
#CyberSecurity #AISecurity #AIAgents #AgenticAI #LLMSecurity #OpenAI #METR #RedTeam #Sandbox #SecureTechTalks
🔥1