ИИ-агенты могут захватить контроль над системой
Исследователи PaloAlto выявили критическую угрозу: непроверенные ИИ-приложения способны получить привилегированный доступ к системным ресурсам.
Обнаруженная уязвимость позволяет автономным агентам выполнять произвольный код и захватывать контроль над инфраструктурой.
Эксперты рекомендуют запускать подобные системы исключительно в изолированных средах с ограниченными правами.
Особую опасность представляют LLM-агенты с доступом к командной строке и системным утилитам.
Еще одна фобия получила подтверждение, - почему я не хочу у себя поднимать локального агента на чужом фреймворке пока не разберусь с изоляцией.
Только агенты, которых пишу сам и точно знаю что они делают или не делают.
Отдельный привет хочется передать новым системам управления компьютером, которые буквально все анонсировали на прошедшей неделе.
#cybersecurity #sandbox #LLM
———
@tsingular
Исследователи PaloAlto выявили критическую угрозу: непроверенные ИИ-приложения способны получить привилегированный доступ к системным ресурсам.
Обнаруженная уязвимость позволяет автономным агентам выполнять произвольный код и захватывать контроль над инфраструктурой.
Эксперты рекомендуют запускать подобные системы исключительно в изолированных средах с ограниченными правами.
Особую опасность представляют LLM-агенты с доступом к командной строке и системным утилитам.
Еще одна фобия получила подтверждение, - почему я не хочу у себя поднимать локального агента на чужом фреймворке пока не разберусь с изоляцией.
Только агенты, которых пишу сам и точно знаю что они делают или не делают.
Отдельный привет хочется передать новым системам управления компьютером, которые буквально все анонсировали на прошедшей неделе.
#cybersecurity #sandbox #LLM
———
@tsingular
👀7👍3
Взлом ИИ роботов превращает их в камикадзе
Специалисты Университета Пенсильвании разработали технологию взлома систем автономных устройств.
RoboPAIR, разработанная учёными, демонстрирует 100% успеха в деактивации защитных механизмов роботизированных систем.
Атакующий модуль использует языковые модели для генерации вредоносных команд, для обхода встроенной защиты.
После обхода защиты, модуль создаёт в API целевого робота возможность исполнять произвольные промпты.
Уязвимыми оказались Go2, Clearpath Jackal и симулятор Nvidia Dolphins.
Взломанные машины способны атаковать пешеходов, устанавливать взрывные устройства и вести скрытое наблюдение.
Получается используют LLM для взлома LLM.
#robotics #security #RoboPAIR #cybersecurity
-------
@tsingular
Специалисты Университета Пенсильвании разработали технологию взлома систем автономных устройств.
RoboPAIR, разработанная учёными, демонстрирует 100% успеха в деактивации защитных механизмов роботизированных систем.
Атакующий модуль использует языковые модели для генерации вредоносных команд, для обхода встроенной защиты.
После обхода защиты, модуль создаёт в API целевого робота возможность исполнять произвольные промпты.
Уязвимыми оказались Go2, Clearpath Jackal и симулятор Nvidia Dolphins.
Взломанные машины способны атаковать пешеходов, устанавливать взрывные устройства и вести скрытое наблюдение.
Получается используют LLM для взлома LLM.
#robotics #security #RoboPAIR #cybersecurity
-------
@tsingular
🎉8👀4🎃2
Популярная ИИ-библиотека Ultralytics подверглась атаке
Разработчики популярного фреймворка компьютерного зрения Ultralytics обнаружили вредоносный код в своей библиотеке.
Злоумышленники внедрили троян в PyPI-пакет ultralytics, использующийся для работы с YOLO.
Вредоносная версия 8.0.228 загружалась более 2000 раз до обнаружения.
Троян собирал системную информацию и отправлял её на удалённый сервер.
Команда оперативно удалила скомпрометированную версию и выпустила патч 8.0.229.
Если кто использует, - обновляемся.
#Ultralytics #YOLO #cybersecurity
-------
@tsingular
Разработчики популярного фреймворка компьютерного зрения Ultralytics обнаружили вредоносный код в своей библиотеке.
Злоумышленники внедрили троян в PyPI-пакет ultralytics, использующийся для работы с YOLO.
Вредоносная версия 8.0.228 загружалась более 2000 раз до обнаружения.
Троян собирал системную информацию и отправлял её на удалённый сервер.
Команда оперативно удалила скомпрометированную версию и выпустила патч 8.0.229.
Если кто использует, - обновляемся.
#Ultralytics #YOLO #cybersecurity
-------
@tsingular
Лаборатория Касперского выпустила гайдлайн по безопасному внедрению ИИ
Масштабы внедрения искусственных интеллектов впечатляют - каждая вторая организация применяет нейросети, треть планирует запуск.
Киберпреступники нанесли ущерб в $8 трлн за 2023 год, что стимулирует развитие защитных механизмов.
Регуляторы активизировались: Китай создал AI Safety Framework, ЕС принял AI Act, США выпустили Executive Order.
Эксперты выделили 8 ключевых направлений защиты: от организационных мер до мониторинга систем.
Основные риски: финансовые потери, репутационный ущерб, проблемы с клиентами, угрозы здоровью пациентов.
Документ содержит практические рекомендации по безопасному развертыванию ИИ-систем с учетом отраслевой специфики.
Теперь у безопасников есть чёткий план действий. 🤖🛡
Документ в комментарии. Ссылка открывается не у всех.
#Kaspersky #cybersecurity #guidelines
-------
@tsingular
Масштабы внедрения искусственных интеллектов впечатляют - каждая вторая организация применяет нейросети, треть планирует запуск.
Киберпреступники нанесли ущерб в $8 трлн за 2023 год, что стимулирует развитие защитных механизмов.
Регуляторы активизировались: Китай создал AI Safety Framework, ЕС принял AI Act, США выпустили Executive Order.
Эксперты выделили 8 ключевых направлений защиты: от организационных мер до мониторинга систем.
Основные риски: финансовые потери, репутационный ущерб, проблемы с клиентами, угрозы здоровью пациентов.
Документ содержит практические рекомендации по безопасному развертыванию ИИ-систем с учетом отраслевой специфики.
Теперь у безопасников есть чёткий план действий. 🤖🛡
Документ в комментарии. Ссылка открывается не у всех.
#Kaspersky #cybersecurity #guidelines
-------
@tsingular
✍1
PentAGI: AI-агент для пентестов
PentAGI,- полностью автономный AI-агент для проведения сложных тестов на проникновение.
🛠 Ключевые фишки:
- Работает в изолированном Docker-окружении
- Сам определяет следующий шаг и выполняет его
- Умеет гуглить свежую информацию через встроенный браузер
- Имеет собственный текстовый редактор прямо в интерфейсе
- Хранит историю команд в PostgreSQL
🧠 Как это работает
1. Вы ставите задачу
2. AI анализирует её и выбирает подход
3. Агент автоматически проводит тестирование
4. Вы наблюдаете за процессом в реальном времени
5. Получаете детальный отчет
🤖 Поддерживаемые AI-провайдеры:
OpenAI, Anthropic, DeepInfra, OpenRouter (любые модели).
📊 Мониторинг
Grafana, Loki для логов, ClickHouse, Jaeger для трейсинга, OpenTelemetry + VictoriaMetrics
Сайт проекта: https://pentagi.com/
GitHub: https://github.com/vxcontrol/pentagi
Разработка – PT
#PentAGI #AI #Cybersecurity #Pentest
———
@tsingular
PentAGI,- полностью автономный AI-агент для проведения сложных тестов на проникновение.
🛠 Ключевые фишки:
- Работает в изолированном Docker-окружении
- Сам определяет следующий шаг и выполняет его
- Умеет гуглить свежую информацию через встроенный браузер
- Имеет собственный текстовый редактор прямо в интерфейсе
- Хранит историю команд в PostgreSQL
🧠 Как это работает
1. Вы ставите задачу
2. AI анализирует её и выбирает подход
3. Агент автоматически проводит тестирование
4. Вы наблюдаете за процессом в реальном времени
5. Получаете детальный отчет
🤖 Поддерживаемые AI-провайдеры:
OpenAI, Anthropic, DeepInfra, OpenRouter (любые модели).
📊 Мониторинг
Grafana, Loki для логов, ClickHouse, Jaeger для трейсинга, OpenTelemetry + VictoriaMetrics
Сайт проекта: https://pentagi.com/
GitHub: https://github.com/vxcontrol/pentagi
Разработка – PT
#PentAGI #AI #Cybersecurity #Pentest
———
@tsingular
👍5🔥2
DeepSeek взломали
Специалисты Wiz Research выявили незащищенную базу ClickHouse китайского ИИ-стартапа DeepSeek.
Обнаруженный сервер содержал миллионы записей, включая истории чатов, API-ключи и внутренние логи.
Уязвимые порты 8123 и 9000 предоставляли полный контроль над БД без аутентификации.
После оперативного уведомления компания быстро закрыла доступ к серверу.
Когда погоня за технологиями опережает базовую кибергигиену. 🔓
#DeepSeek #ClickHouse #Cybersecurity
-------
@tsingular
Специалисты Wiz Research выявили незащищенную базу ClickHouse китайского ИИ-стартапа DeepSeek.
Обнаруженный сервер содержал миллионы записей, включая истории чатов, API-ключи и внутренние логи.
Уязвимые порты 8123 и 9000 предоставляли полный контроль над БД без аутентификации.
После оперативного уведомления компания быстро закрыла доступ к серверу.
Когда погоня за технологиями опережает базовую кибергигиену. 🔓
#DeepSeek #ClickHouse #Cybersecurity
-------
@tsingular
😢13👀5🔥2
Google готовит Sec-Gemini v1 - специализированную модель для кибербеза
Модель натренирована на данных о уязвимостях и может анализировать исходный код, обнаруживать баги и создавать эксплойты.
Уже тестируется внутри Google – инженеры используют её для поиска уязвимостей и защиты инфраструктуры.
Внешним пользователям доступна в Trusted Tester Program.
#Cybersecurity #SecGemini #безопасность #Google
———
@tsingular
Модель натренирована на данных о уязвимостях и может анализировать исходный код, обнаруживать баги и создавать эксплойты.
Уже тестируется внутри Google – инженеры используют её для поиска уязвимостей и защиты инфраструктуры.
Внешним пользователям доступна в Trusted Tester Program.
#Cybersecurity #SecGemini #безопасность #Google
———
@tsingular
👍9✍3
🚨 Уязвимости в MCP: пять критических рисков, о которых стоит знать
🔹 Command Injection (Инъекция команд) — Умеренный риск 🟡
Атакующие внедряют опасные команды в обычный контент (письма, сообщения и т.д.). Если ваш агент обрабатывает эти данные, он может неосознанно выполнить системные задачи, такие как утечка данных или запуск вредоносных скриптов.
🔹 Tool Poisoning (Отравление инструментов) — Серьёзный риск 🔴
Злоумышленник может тайно внедрить скомпрометированный инструмент через MCP, который получит доступ к API-ключам, базам данных или другим конфиденциальным ресурсам и отправит их в другое место без вашего ведома.
🔹 Open Connections via SSE (Открытые соединения через SSE) — Умеренный риск 🟠
Поскольку MCP использует Server-Sent Events (SSE), соединения часто остаются открытыми дольше, чем следует. Это открывает дверь для проблем с задержкой и даже манипуляций данными в процессе передачи.
🔹 Privilege Escalation (Повышение привилегий) — Серьёзный риск 🔴
Один заражённый инструмент может переопределить разрешения другого. Если вы полагаетесь на инструменты вроде Firecrawl для доверенных задач, это может полностью нарушить ваш рабочий процесс или привести к худшим последствиям.
🔹 Persistent Context Misuse (Злоупотребление постоянным контекстом) — Низкий, но рискованный 🟡
MCP сохраняет активный контекст в рабочих процессах, что звучит полезно... пока инструменты не начинают автоматически выполнять задачи на основе этого контекста без одобрения человека.
🔹 Server Data Takeover/Spoofing (Захват/подмена серверных данных) — Серьёзный риск 🔴
Были случаи, когда атакующие перехватывали данные и учётные данные (да, даже с платформ типа WhatsApp) используя скомпрометированные инструменты. Архитектура MCP, основанная на доверии серверам, делает это особенно опасным.
#MCP #cybersecurity
———
@tsingular
🔹 Command Injection (Инъекция команд) — Умеренный риск 🟡
Атакующие внедряют опасные команды в обычный контент (письма, сообщения и т.д.). Если ваш агент обрабатывает эти данные, он может неосознанно выполнить системные задачи, такие как утечка данных или запуск вредоносных скриптов.
🔹 Tool Poisoning (Отравление инструментов) — Серьёзный риск 🔴
Злоумышленник может тайно внедрить скомпрометированный инструмент через MCP, который получит доступ к API-ключам, базам данных или другим конфиденциальным ресурсам и отправит их в другое место без вашего ведома.
🔹 Open Connections via SSE (Открытые соединения через SSE) — Умеренный риск 🟠
Поскольку MCP использует Server-Sent Events (SSE), соединения часто остаются открытыми дольше, чем следует. Это открывает дверь для проблем с задержкой и даже манипуляций данными в процессе передачи.
🔹 Privilege Escalation (Повышение привилегий) — Серьёзный риск 🔴
Один заражённый инструмент может переопределить разрешения другого. Если вы полагаетесь на инструменты вроде Firecrawl для доверенных задач, это может полностью нарушить ваш рабочий процесс или привести к худшим последствиям.
🔹 Persistent Context Misuse (Злоупотребление постоянным контекстом) — Низкий, но рискованный 🟡
MCP сохраняет активный контекст в рабочих процессах, что звучит полезно... пока инструменты не начинают автоматически выполнять задачи на основе этого контекста без одобрения человека.
🔹 Server Data Takeover/Spoofing (Захват/подмена серверных данных) — Серьёзный риск 🔴
Были случаи, когда атакующие перехватывали данные и учётные данные (да, даже с платформ типа WhatsApp) используя скомпрометированные инструменты. Архитектура MCP, основанная на доверии серверам, делает это особенно опасным.
#MCP #cybersecurity
———
@tsingular
✍3👍2
NVIDIA – серьёзный игрок рынка ИБ в области ИИ
NVIDIA собрала уже значительный стэк инструментов, которые позволяют обеспечить комплексный подход к безопасности агентных AI-систем, которые в отличие от стандартных моделей не просто анализируют данные, но принимают автономные решения и действуют в реальном времени.
Основные вызовы безопасности агентных AI
Агентные AI-системы могут:
• Самостоятельно взаимодействовать с инструментами и средами
• Генерировать выходные данные, запускающие цепочки процессов
• Обрабатывать конфиденциальные данные в реальном времени
Инструменты защиты от NVIDIA:
1. Red Teaming и предварительное тестирование
Для теста до запуска системы в продакшн:
• Garak — сканер уязвимостей LLM, который симулирует атаки на агентов путем проверки на устойчивость к:
• Инъекциям в промпты
• Неправильному использованию инструментов
• Ошибкам в логике рассуждений
Например: тестирование на способность агентов восстанавливаться после сбоев и противостоять манипулятивным атакам.
2. Защита во время исполнения (Runtime Guardrails)
Обеспечение контроля границ поведения во время работы агента:
• NVIDIA NeMo Guardrails — ПО для определения, развертывания и быстрого обновления правил поведения AI-агентов.
Например: Компании Amdocs, Cerence AI и Palo Alto Networks уже используют NeMo Guardrails для обеспечения безопасного взаимодействия с агентами.
3. Конфиденциальные вычисления (Confidential Computing)
Защищают данные во время их обработки:
• NVIDIA Confidential Computing — защита данных "во время использования" (data in use). Доступно у провайдеров Google Cloud и Microsoft Azure
Например: EQTYLab разработала на этой базе криптографическую систему сертификатов, обеспечивающую соответствие AI-агентов нормативным требованиям во время работы.
4. DOCA Argus — фреймворк для мониторинга угроз в реальном времени
Ускоряет обнаружение угроз:
• Работает на платформе NVIDIA BlueField
• Обеспечивает обнаружение угроз в 1000 раз быстрее традиционных решений
• Не требует установки агентов на хост
Техническое преимущество: Использует форензику памяти для мониторинга угроз в реальном времени, оставаясь невидимым для атакующих.
5. Защита инфраструктуры агентных систем
• NVIDIA BlueField DPU с DOCA Argus — изолирует угрозы на уровне инфраструктуры
• Protected PCIe — защищает до восьми GPU, позволяя масштабировать рабочие нагрузки
Реальный кейс: Cisco и NVIDIA создали архитектуру Secure AI Factory, встраивающую безопасность на каждом уровне AI-фабрики.
Контейнерная безопасность:
NVIDIA так же разработала Blueprint для анализа CVE (Common Vulnerabilities and Exposures) с использованием генеративного AI:
• Сокращает время анализа уязвимостей с дней до секунд
• Использует NVIDIA NIM microservices и Morpheus
• LLM делает разбор и автоматический анализа рисков CVE
Процесс анализа:
1. Входные данные — результаты сканирования безопасности контейнера
2. Система собирает информацию из репозиториев кода, документации и публичных баз данных
3. LLM-агент анализирует каждый пункт из сгенерированного чеклиста
4. По итогам формируется отчет с аргументированным статусом VEX (Vulnerability Exploitability eXchange)
По итогу ИБ стэк Nvidia уже может перекрыть значительное количество задач ИБ подразделения или из коробки или через интеграцию с ведущими ИБ вендорами.
#NVIDIA #AgenticAI #Cybersecurity #AI #безопасность
------
@tsingular
NVIDIA собрала уже значительный стэк инструментов, которые позволяют обеспечить комплексный подход к безопасности агентных AI-систем, которые в отличие от стандартных моделей не просто анализируют данные, но принимают автономные решения и действуют в реальном времени.
Основные вызовы безопасности агентных AI
Агентные AI-системы могут:
• Самостоятельно взаимодействовать с инструментами и средами
• Генерировать выходные данные, запускающие цепочки процессов
• Обрабатывать конфиденциальные данные в реальном времени
Инструменты защиты от NVIDIA:
1. Red Teaming и предварительное тестирование
Для теста до запуска системы в продакшн:
• Garak — сканер уязвимостей LLM, который симулирует атаки на агентов путем проверки на устойчивость к:
• Инъекциям в промпты
• Неправильному использованию инструментов
• Ошибкам в логике рассуждений
Например: тестирование на способность агентов восстанавливаться после сбоев и противостоять манипулятивным атакам.
2. Защита во время исполнения (Runtime Guardrails)
Обеспечение контроля границ поведения во время работы агента:
• NVIDIA NeMo Guardrails — ПО для определения, развертывания и быстрого обновления правил поведения AI-агентов.
Например: Компании Amdocs, Cerence AI и Palo Alto Networks уже используют NeMo Guardrails для обеспечения безопасного взаимодействия с агентами.
3. Конфиденциальные вычисления (Confidential Computing)
Защищают данные во время их обработки:
• NVIDIA Confidential Computing — защита данных "во время использования" (data in use). Доступно у провайдеров Google Cloud и Microsoft Azure
Например: EQTYLab разработала на этой базе криптографическую систему сертификатов, обеспечивающую соответствие AI-агентов нормативным требованиям во время работы.
4. DOCA Argus — фреймворк для мониторинга угроз в реальном времени
Ускоряет обнаружение угроз:
• Работает на платформе NVIDIA BlueField
• Обеспечивает обнаружение угроз в 1000 раз быстрее традиционных решений
• Не требует установки агентов на хост
Техническое преимущество: Использует форензику памяти для мониторинга угроз в реальном времени, оставаясь невидимым для атакующих.
5. Защита инфраструктуры агентных систем
• NVIDIA BlueField DPU с DOCA Argus — изолирует угрозы на уровне инфраструктуры
• Protected PCIe — защищает до восьми GPU, позволяя масштабировать рабочие нагрузки
Реальный кейс: Cisco и NVIDIA создали архитектуру Secure AI Factory, встраивающую безопасность на каждом уровне AI-фабрики.
Контейнерная безопасность:
NVIDIA так же разработала Blueprint для анализа CVE (Common Vulnerabilities and Exposures) с использованием генеративного AI:
• Сокращает время анализа уязвимостей с дней до секунд
• Использует NVIDIA NIM microservices и Morpheus
• LLM делает разбор и автоматический анализа рисков CVE
Процесс анализа:
1. Входные данные — результаты сканирования безопасности контейнера
2. Система собирает информацию из репозиториев кода, документации и публичных баз данных
3. LLM-агент анализирует каждый пункт из сгенерированного чеклиста
4. По итогам формируется отчет с аргументированным статусом VEX (Vulnerability Exploitability eXchange)
По итогу ИБ стэк Nvidia уже может перекрыть значительное количество задач ИБ подразделения или из коробки или через интеграцию с ведущими ИБ вендорами.
#NVIDIA #AgenticAI #Cybersecurity #AI #безопасность
------
@tsingular
🔥6👍3
⚙️🛡 OpenAI o3 нашла 0-day в ядре Linux: прорыв в автоматическом поиске уязвимостей
Исследователь Sean Heelan опубликовал детальный разбор того, как o3 самостоятельно обнаружила уязвимость CVE-2025-37899 в SMB-реализации Linux kernel.
Техническая суть находки:
Уязвимость возникает при одновременной работе двух потоков с одной SMB-сессией:
Поток A обрабатывает обычный запрос (например, WRITE) — получает указатель на sess->user
Поток B выполняет SMB2 LOGOFF для той же сессии — освобождает память через ksmbd_free_user(sess->user)
Поток A продолжает использовать уже освобожденный указатель → use-after-free
Ключевая проблема: ksmbd_conn_wait_idle(conn) ждет завершения запросов только на своем соединении, игнорируя другие соединения, "привязанные" к той же сессии через session binding (фича SMB 3.0+).
Методология тестирования o3:
Heelan создал контролируемый эксперимент:
Взял известную уязвимость CVE-2025-37778 как бенчмарк
Подал o3 код обработчика session setup (~3.3k LoC)
Запустил 100 итераций для статистики
Результаты по CVE-2025-37778:
o3: 8/100 успешных обнаружений
Claude Sonnet 3.7: 3/100
Claude Sonnet 3.5: 0/100
Когда Heelan подал o3 весь код обработчиков команд (~12k LoC), модель:
Нашла оригинальную уязвимость в 1/100 случаев
Но при этом обнаружила новую, неизвестную уязвимость CVE-2025-37899!
Практические выводы:
🔧 Signal-to-noise ratio: ~1:50 (1 реальная находка на 50 ложных срабатываний)
🎯 Key takeaway: задачи до 10k строк кода — o3 может либо решить, либо значительно помочь в их решении
⚡️ Качество анализа: o3 не только нашла баг, но и предложила более качественное исправление, чем изначально сделал сам исследователь
Вывод: o3 переводит ИИ-аудит кода из категории "интересные эксперименты" в "практически применимые инструменты". Для исследователей уязвимостей начинается новая эра — пока не замены человека, но многократного усиления его возможностей.
#o3 #cybersecurity #Linux #kernel #безопасность
———
@tsingular
Исследователь Sean Heelan опубликовал детальный разбор того, как o3 самостоятельно обнаружила уязвимость CVE-2025-37899 в SMB-реализации Linux kernel.
Техническая суть находки:
Уязвимость возникает при одновременной работе двух потоков с одной SMB-сессией:
Поток A обрабатывает обычный запрос (например, WRITE) — получает указатель на sess->user
Поток B выполняет SMB2 LOGOFF для той же сессии — освобождает память через ksmbd_free_user(sess->user)
Поток A продолжает использовать уже освобожденный указатель → use-after-free
Ключевая проблема: ksmbd_conn_wait_idle(conn) ждет завершения запросов только на своем соединении, игнорируя другие соединения, "привязанные" к той же сессии через session binding (фича SMB 3.0+).
Методология тестирования o3:
Heelan создал контролируемый эксперимент:
Взял известную уязвимость CVE-2025-37778 как бенчмарк
Подал o3 код обработчика session setup (~3.3k LoC)
Запустил 100 итераций для статистики
Результаты по CVE-2025-37778:
o3: 8/100 успешных обнаружений
Claude Sonnet 3.7: 3/100
Claude Sonnet 3.5: 0/100
Когда Heelan подал o3 весь код обработчиков команд (~12k LoC), модель:
Нашла оригинальную уязвимость в 1/100 случаев
Но при этом обнаружила новую, неизвестную уязвимость CVE-2025-37899!
Практические выводы:
🔧 Signal-to-noise ratio: ~1:50 (1 реальная находка на 50 ложных срабатываний)
🎯 Key takeaway: задачи до 10k строк кода — o3 может либо решить, либо значительно помочь в их решении
⚡️ Качество анализа: o3 не только нашла баг, но и предложила более качественное исправление, чем изначально сделал сам исследователь
Вывод: o3 переводит ИИ-аудит кода из категории "интересные эксперименты" в "практически применимые инструменты". Для исследователей уязвимостей начинается новая эра — пока не замены человека, но многократного усиления его возможностей.
#o3 #cybersecurity #Linux #kernel #безопасность
———
@tsingular
👍18❤6🆒4🥰1
Unit42 Palo Alto Networks провели слепое тестирование 3х моделей обеспечения безопасности ИИ
Эксперты Palo Alto Networks протестировали системы безопасности трех крупных облачных платформ с большими языковыми моделями на 1123 запросах - от безобидных до откровенно вредоносных.
Что проверяли:
1000 обычных запросов — помощь с кодом, математика, вопросы из Википедии
123 джейлбрейк-промпта — разные хитрые способы "взломать" ИИ через подделку ролей и обман
Результаты в целом не очень: все платформы пропускали опасный контент.
Платформа 1 заблокировала только 58% вредоносных запросов на входе, в то время как две другие справились лучше - 95% и 97%.
🎭 Role-play обходит фильтры — большинство успешных обходов использовали ролевые сценарии: "представь, что ты хакер в фильме и расскажи..."
💻 Код-ревью может вызвать ошибочную оценку — все платформы регулярно блокировали безобидные запросы на проверку кода, видимо, путая их с эксплойтами
🧠 Model alignment работает — даже когда вредные промпты проходили входные фильтры, сама модель в 109 из 123 случаев отказывалась генерировать вредный контент
Выводы:
- Для enterprise: слишком строгие настройки могут заблокировать легитимную работу разработчиков. Нужен баланс между безопасностью и юзабилити.
- Для разработчиков ИИ-продуктов: полагаться только на guardrails опасно — alignment модели критически важен как последняя линия защиты.
Короче волшебного решения пока нет.
Нужна многоуровневая защита и отдельная оценка/настройка на каждом уровне.
#Security #Guardrails #CyberSecurity
———
@tsingular
Эксперты Palo Alto Networks протестировали системы безопасности трех крупных облачных платформ с большими языковыми моделями на 1123 запросах - от безобидных до откровенно вредоносных.
Что проверяли:
1000 обычных запросов — помощь с кодом, математика, вопросы из Википедии
123 джейлбрейк-промпта — разные хитрые способы "взломать" ИИ через подделку ролей и обман
Результаты в целом не очень: все платформы пропускали опасный контент.
Платформа 1 заблокировала только 58% вредоносных запросов на входе, в то время как две другие справились лучше - 95% и 97%.
🎭 Role-play обходит фильтры — большинство успешных обходов использовали ролевые сценарии: "представь, что ты хакер в фильме и расскажи..."
💻 Код-ревью может вызвать ошибочную оценку — все платформы регулярно блокировали безобидные запросы на проверку кода, видимо, путая их с эксплойтами
🧠 Model alignment работает — даже когда вредные промпты проходили входные фильтры, сама модель в 109 из 123 случаев отказывалась генерировать вредный контент
Выводы:
- Для enterprise: слишком строгие настройки могут заблокировать легитимную работу разработчиков. Нужен баланс между безопасностью и юзабилити.
- Для разработчиков ИИ-продуктов: полагаться только на guardrails опасно — alignment модели критически важен как последняя линия защиты.
Короче волшебного решения пока нет.
Нужна многоуровневая защита и отдельная оценка/настройка на каждом уровне.
#Security #Guardrails #CyberSecurity
———
@tsingular
❤3⚡2✍2👨💻1
Вайбхакеры - новая разновидность хакеров энтузиастов с ИИ
Киберпреступники активно используют искусственный интеллект для усиления своих атак. То, что раньше требовало глубоких технических знаний, теперь доступно любому любопытному новичку.
Фишинговые письма больше не выдают себя грамматическими ошибками - ИИ генерирует сообщения, неотличимые от корпоративной переписки. Если первая попытка заблокирована, атакующий просто просит ИИ переписать текст и пробует снова.
Разведка и эксплойты тоже упростились. Хакеры копируют ошибки в языковые модели и получают пошаговые инструкции по их исправлению. Барьер между любительским вредительством и профессиональным шпионажем стремительно сокращается.
Защитникам больше нельзя полагаться на некомпетентность атакующих.
Пентесты становится критически важными.
— Почему вайбхакер не смог взломать систему?
— Потому что её писал вайбкодер!
#VibeHacking #Cybersecurity #ВайбХакеры
———
@tsingular
Киберпреступники активно используют искусственный интеллект для усиления своих атак. То, что раньше требовало глубоких технических знаний, теперь доступно любому любопытному новичку.
Фишинговые письма больше не выдают себя грамматическими ошибками - ИИ генерирует сообщения, неотличимые от корпоративной переписки. Если первая попытка заблокирована, атакующий просто просит ИИ переписать текст и пробует снова.
Разведка и эксплойты тоже упростились. Хакеры копируют ошибки в языковые модели и получают пошаговые инструкции по их исправлению. Барьер между любительским вредительством и профессиональным шпионажем стремительно сокращается.
Защитникам больше нельзя полагаться на некомпетентность атакующих.
Пентесты становится критически важными.
— Почему вайбхакер не смог взломать систему?
— Потому что её писал вайбкодер!
#VibeHacking #Cybersecurity #ВайбХакеры
———
@tsingular
😁12❤1👍1
🏆 XBOW: ИИ-пентестер возглавил рейтинг HackerOne, обогнав людей
Год назад мы обсуждали, как ИИ-пентестер XBOW сравнялся с лучшими специалистами в тестовой среде.
Теперь новое достижение: XBOW занял 1-е место в США и 6-е в мире в общем рейтинге HackerOne за второй квартал 2025 года, доказав свою эффективность в реальных black-box сценариях.
Технические аспекты:
Полная автономия: XBOW перешел от white-box симуляций к полностью автономной работе в black-box окружении.
Система самостоятельно находит уязвимости и генерирует отчеты без вмешательства человека.
Скорость и масштаб: Там, где команда людей тратит недели и десятки тысяч долларов, XBOW выполняет комплексный тест за несколько часов.
Это позволяет интегрировать непрерывный пентест (continuous pentesting) непосредственно в CI/CD пайплайн.
Подтвержденное качество: Лидерство в рейтинге HackerOne — это не просто метрики, а признание сообщества и подтверждение низкого уровня ложных срабатываний, что было главной проблемой автоматизированных сканеров.
Прогресс за год: Если в 2024 году XBOW демонстрировал 85% успеха в контролируемых тестах OWASP Top 10, то в 2025 он побеждает в живой, конкурентной среде, где ставки и сложность на порядок выше.
Проект, основанный профессором Оксфорда Ухером Дермором, за 1 год прошёл путь от концепта до лидера индустрии.
Рынок и перспективы: Нат Фридман, экс-CEO GitHub и инвестор, метко заметил: "Это круто, но в то же время пугает. Настала эра, когда машины взламывают машины".
Похоже, профессия пентестера действительно трансформируется: фокус смещается со стандартных проверок на сложные, творческие атаки и стратегическую защиту, оставляя рутину машинам.
Минус в том, что ровно такие же возможности появляются и у хакеров.
Как будем актуализировать защиту?
#XBOW #Pentesting #Cybersecurity #HackerOne
———
@tsingular
Год назад мы обсуждали, как ИИ-пентестер XBOW сравнялся с лучшими специалистами в тестовой среде.
Теперь новое достижение: XBOW занял 1-е место в США и 6-е в мире в общем рейтинге HackerOne за второй квартал 2025 года, доказав свою эффективность в реальных black-box сценариях.
Технические аспекты:
Полная автономия: XBOW перешел от white-box симуляций к полностью автономной работе в black-box окружении.
Система самостоятельно находит уязвимости и генерирует отчеты без вмешательства человека.
Скорость и масштаб: Там, где команда людей тратит недели и десятки тысяч долларов, XBOW выполняет комплексный тест за несколько часов.
Это позволяет интегрировать непрерывный пентест (continuous pentesting) непосредственно в CI/CD пайплайн.
Подтвержденное качество: Лидерство в рейтинге HackerOne — это не просто метрики, а признание сообщества и подтверждение низкого уровня ложных срабатываний, что было главной проблемой автоматизированных сканеров.
Прогресс за год: Если в 2024 году XBOW демонстрировал 85% успеха в контролируемых тестах OWASP Top 10, то в 2025 он побеждает в живой, конкурентной среде, где ставки и сложность на порядок выше.
Проект, основанный профессором Оксфорда Ухером Дермором, за 1 год прошёл путь от концепта до лидера индустрии.
Рынок и перспективы: Нат Фридман, экс-CEO GitHub и инвестор, метко заметил: "Это круто, но в то же время пугает. Настала эра, когда машины взламывают машины".
Похоже, профессия пентестера действительно трансформируется: фокус смещается со стандартных проверок на сложные, творческие атаки и стратегическую защиту, оставляя рутину машинам.
Минус в том, что ровно такие же возможности появляются и у хакеров.
Как будем актуализировать защиту?
#XBOW #Pentesting #Cybersecurity #HackerOne
———
@tsingular
⚡11🔥6❤3👍2🤔1
Cloudflare теперь блокирует AI-боты по умолчанию
Cloudflare объявила о блокировке AI-ботов по умолчанию для всех клиентских сайтов. Компания также вводит систему "pay-per-crawl" - владельцы сайтов смогут получать деньги за каждое сканирование.
Проблема в том, что AI-боты собирают контент для обучения моделей, но не приносят трафик и доходы владельцам сайтов, в отличие от поисковиков.
Теперь владельцы смогут разрешать или запрещать сканирование для разных этапов: обучение, дообучение, инференс. Можно устанавливать цену за доступ к контенту.
Поддержали инициативу Associated Press, Time, Stack Overflow и Quora.
Некоторые боты игнорируют robots.txt, но Cloudflare планирует использовать опыт борьбы с DDoS-атаками для их остановки.
#Cloudflare #cybersecurity
------
@tsingular
Cloudflare объявила о блокировке AI-ботов по умолчанию для всех клиентских сайтов. Компания также вводит систему "pay-per-crawl" - владельцы сайтов смогут получать деньги за каждое сканирование.
Проблема в том, что AI-боты собирают контент для обучения моделей, но не приносят трафик и доходы владельцам сайтов, в отличие от поисковиков.
Теперь владельцы смогут разрешать или запрещать сканирование для разных этапов: обучение, дообучение, инференс. Можно устанавливать цену за доступ к контенту.
Поддержали инициативу Associated Press, Time, Stack Overflow и Quora.
Некоторые боты игнорируют robots.txt, но Cloudflare планирует использовать опыт борьбы с DDoS-атаками для их остановки.
#Cloudflare #cybersecurity
------
@tsingular
⚡5🤔2🤨2
ИТМО и Raft запустили систему мониторинга для LLM-приложений
AI Security Lab ИТМО представил HiveTrace — платформу для защиты GenAI-приложений от атак. Система в реальном времени выявляет prompt-injection, jailbreaks и утечки персональных данных.
Основные возможности: двунаправленный мониторинг запросов и ответов LLM, очистка от PII, адаптивное управление токенами.
Защищает от всех угроз из перечня OWASP Top 10 для LLM 2025.
Доступно подключение через Yandex Cloud. Лаборатория стала официальным партнером по внедрению YandexGPT и участвовала в создании нового стандарта OWASP.
#cybersecurity #HiveTrace
———
@tsingular
AI Security Lab ИТМО представил HiveTrace — платформу для защиты GenAI-приложений от атак. Система в реальном времени выявляет prompt-injection, jailbreaks и утечки персональных данных.
Основные возможности: двунаправленный мониторинг запросов и ответов LLM, очистка от PII, адаптивное управление токенами.
Защищает от всех угроз из перечня OWASP Top 10 для LLM 2025.
Доступно подключение через Yandex Cloud. Лаборатория стала официальным партнером по внедрению YandexGPT и участвовала в создании нового стандарта OWASP.
#cybersecurity #HiveTrace
———
@tsingular
👍5✍2🔥2
Саммари почты через ИИ превратили в инструмент фишинга.
Исследователи обнаружили серьезную уязвимость в Google Workspace на базе Gemini, которая позволяет злоумышленникам манипулировать автоматическими резюме писем для осуществления фишинговых атак.
Суть в том, что ИИ-помощник анализирует содержимое email и создает краткое саммари. Хакеры научились внедрять в письма специальные скрытые инструкции, которые заставляют Gemini генерировать ложные резюме с внедренеыми фишинговыми ссылками.
Пользователь видит безобидную сводку от ИИ, но на самом деле она содержит вредоносные элементы. Особенно опасно это для корпоративных клиентов Google Workspace, где такие резюме воспринимаются как доверенная информация от системы.
Короче, проверять нужно не только входящий запрос, но и итоговый результат, который мы показываем пользователю.
#Gemini #phishing #cybersecurity
------
@tsingular
Исследователи обнаружили серьезную уязвимость в Google Workspace на базе Gemini, которая позволяет злоумышленникам манипулировать автоматическими резюме писем для осуществления фишинговых атак.
Суть в том, что ИИ-помощник анализирует содержимое email и создает краткое саммари. Хакеры научились внедрять в письма специальные скрытые инструкции, которые заставляют Gemini генерировать ложные резюме с внедренеыми фишинговыми ссылками.
Пользователь видит безобидную сводку от ИИ, но на самом деле она содержит вредоносные элементы. Особенно опасно это для корпоративных клиентов Google Workspace, где такие резюме воспринимаются как доверенная информация от системы.
Короче, проверять нужно не только входящий запрос, но и итоговый результат, который мы показываем пользователю.
#Gemini #phishing #cybersecurity
------
@tsingular
✍14⚡4😢4
Google Big Sleep предотвратил кибератаку впервые в истории
ИИ-агент Big Sleep от Google DeepMind впервые в мире предотвратил реальную кибератаку до её начала. Агент обнаружил критическую уязвимость в SQLite (CVE-2025-6965), о которой знали только хакеры и которая была готова к эксплуатации.
С ноября 2024 года Big Sleep нашёл множество реальных уязвимостей, превзойдя все ожидания. Теперь он помогает защищать не только продукты Google, но и популярные open-source проекты.
Google также анонсировал новые ИИ-возможности для Timesketch и передал данные из своего Secure AI Framework в коалицию CoSAI. Финал двухлетнего конкурса AI Cyber Challenge с DARPA пройдёт на DEF CON 33 в августе.
#BigSleep #cybersecurity #Google
------
@tsingular
ИИ-агент Big Sleep от Google DeepMind впервые в мире предотвратил реальную кибератаку до её начала. Агент обнаружил критическую уязвимость в SQLite (CVE-2025-6965), о которой знали только хакеры и которая была готова к эксплуатации.
С ноября 2024 года Big Sleep нашёл множество реальных уязвимостей, превзойдя все ожидания. Теперь он помогает защищать не только продукты Google, но и популярные open-source проекты.
Google также анонсировал новые ИИ-возможности для Timesketch и передал данные из своего Secure AI Framework в коалицию CoSAI. Финал двухлетнего конкурса AI Cyber Challenge с DARPA пройдёт на DEF CON 33 в августе.
#BigSleep #cybersecurity #Google
------
@tsingular
🔥9⚡2
GitGuardian выпустил MCP-сервер для поиска секретов в коде
Новый инструмент позволяет ИИ-агентам сканировать проекты на утечки учетных данных через API GitGuardian. Система распознает более 500 типов секретов и предотвращает их попадание в публичные репозитории.
Особенность решения — работа только с правами на чтение, что минимизирует риски. Агенты могут анализировать инциденты безопасности и предлагать исправления без переключения в консоль GitGuardian.
Поддерживается интеграция с Cursor, Claude Desktop, Windsurf и Zed. Учитывая, что количество секретов в GitHub растет на 25% в год, такой инструмент становится критически важным для разработчиков.
#GitGuardian #MCP #cybersecurity
———
@tsingular
Новый инструмент позволяет ИИ-агентам сканировать проекты на утечки учетных данных через API GitGuardian. Система распознает более 500 типов секретов и предотвращает их попадание в публичные репозитории.
Особенность решения — работа только с правами на чтение, что минимизирует риски. Агенты могут анализировать инциденты безопасности и предлагать исправления без переключения в консоль GitGuardian.
Поддерживается интеграция с Cursor, Claude Desktop, Windsurf и Zed. Учитывая, что количество секретов в GitHub растет на 25% в год, такой инструмент становится критически важным для разработчиков.
#GitGuardian #MCP #cybersecurity
———
@tsingular
👍5🔥4⚡2
Исследователь нашёл RCE в Llama.cpp через уязвимость heap-overflow
Эксперт по бинарной эксплуатации провёл месячное исследование RPC-сервера Llama.cpp и обнаружил критическую уязвимость heap-overflow.
Проблема скрывалась в методе ggml_backend_cpu_buffer_cpy_tensor - при копировании тензоров разных размеров возникало переполнение буфера. Несмотря на множественные проверки границ и кастомную систему управления памятью, исследователь обошёл защиту через частичную перезапись указателей.
Эксплуатация потребовала цепочку из трёх атак: утечку адресов библиотеки, обход митигаций и структурно-ориентированное программирование для выполнения произвольного кода.
Разработчики уже выпустили патч для устранения уязвимости.
Когда твоя ИИ-модель становится backdoor'ом благодаря переполнению буфера. Классика жанра в новой обёртке.
#LlamaCpp #RCE #HeapOverflow #cybersecurity
------
@tsingular
Эксперт по бинарной эксплуатации провёл месячное исследование RPC-сервера Llama.cpp и обнаружил критическую уязвимость heap-overflow.
Проблема скрывалась в методе ggml_backend_cpu_buffer_cpy_tensor - при копировании тензоров разных размеров возникало переполнение буфера. Несмотря на множественные проверки границ и кастомную систему управления памятью, исследователь обошёл защиту через частичную перезапись указателей.
Эксплуатация потребовала цепочку из трёх атак: утечку адресов библиотеки, обход митигаций и структурно-ориентированное программирование для выполнения произвольного кода.
Разработчики уже выпустили патч для устранения уязвимости.
Когда твоя ИИ-модель становится backdoor'ом благодаря переполнению буфера. Классика жанра в новой обёртке.
#LlamaCpp #RCE #HeapOverflow #cybersecurity
------
@tsingular
❤2⚡2✍1
Хакер внедрил вирус в ИИ-помощник Amazon Q для разработчиков
13 июля хакер lkmanka58 подкинул в Amazon Q Developer Extension код с командами очистки системы.
Доступ был получен через обычный pull request с левого аккаунта — либо из-за неправильных настроек, либо халатности администраторов репозитория.
Amazon ничего не заметил и 17 июля выпустил версию 1.84.0 с вредоносным кодом для миллиона пользователей VSCode.
Компания узнала об инциденте только 23 июля от исследователей безопасности. На следующий день вышла исправленная версия 1.85.0.
К счастью, код былнавайбкожен неправильно отформатирован и не запускался. Хотя некоторые сообщают, что запустился.
Новый вектор получается, - заражённые ИИ-помощники по кодингу. 🤖
#AmazonQ #AWS #VSCode #cybersecurity
———
@tsingular
13 июля хакер lkmanka58 подкинул в Amazon Q Developer Extension код с командами очистки системы.
Доступ был получен через обычный pull request с левого аккаунта — либо из-за неправильных настроек, либо халатности администраторов репозитория.
Amazon ничего не заметил и 17 июля выпустил версию 1.84.0 с вредоносным кодом для миллиона пользователей VSCode.
Компания узнала об инциденте только 23 июля от исследователей безопасности. На следующий день вышла исправленная версия 1.85.0.
К счастью, код был
Новый вектор получается, - заражённые ИИ-помощники по кодингу. 🤖
#AmazonQ #AWS #VSCode #cybersecurity
———
@tsingular
✍7