ИИ-агенты могут захватить контроль над системой

Исследователи PaloAlto выявили критическую угрозу: непроверенные ИИ-приложения способны получить привилегированный доступ к системным ресурсам.

Обнаруженная уязвимость позволяет автономным агентам выполнять произвольный код и захватывать контроль над инфраструктурой.

Эксперты рекомендуют запускать подобные системы исключительно в изолированных средах с ограниченными правами.

Особую опасность представляют LLM-агенты с доступом к командной строке и системным утилитам.

Еще одна фобия получила подтверждение, - почему я не хочу у себя поднимать локального агента на чужом фреймворке пока не разберусь с изоляцией.
Только агенты, которых пишу сам и точно знаю что они делают или не делают.

Отдельный привет хочется передать новым системам управления компьютером, которые буквально все анонсировали на прошедшей неделе.

#cybersecurity #sandbox #LLM
———
@tsingular