Генеративный ИИ в инженерии
В обзоре от АНО «Цифровая экономика» рассматривается потенциал применения генеративного искусственного интеллекта (ИИ) для решения инженерных задач. Обзор охватывает широкий спектр тем, начиная от основных определений и актуальности использования генеративного ИИ в промышленности, до конкретных кейсов и эффектов от его внедрения.
обзор
Что важно:
➡️ Генеративный ИИ в инженерии — это не только LLM, но и VAE, Diffusion, GAN, autoregressive модели. Они решают узкие задачи: от генерации 3D-моделей до оптимизации логистики.
➡️ Почти все кейсы упираются в инфраструктуру: там, где нужно обрабатывать инженерные данные на лету, облако не спасает — важен on-prem и edge.
➡️ Практика есть: от теплообменников в Eaton до брака на производстве у Bosch. В кейсах — конкретные TRL, экономический эффект, архитектура, ограничения.
➡️ В России тоже движется: СИБУР, РТ-Техприёмка, Северсталь. Часто делают ставку на закрытые LLM + внутренние базы — и правильно.
Обзор подчеркивает, что генеративный ИИ имеет значительный потенциал для трансформации промышленности, предлагая решения для ускорения инженерного проектирования, оптимизации конструкций и улучшения производственных процессов. Однако для полной реализации этого потенциала необходимо преодолеть ряд вызовов, включая развитие инфраструктуры, нормативной базы и подготовку специалистов.
Полезно для собственников отраслевых компаний, топ-менеджерам, разработчикам ИИ-решений, экспертам в области ИИ и инженерии, а также инженерам и техническим специалистам.
#полезно
@gen_i_i
В обзоре от АНО «Цифровая экономика» рассматривается потенциал применения генеративного искусственного интеллекта (ИИ) для решения инженерных задач. Обзор охватывает широкий спектр тем, начиная от основных определений и актуальности использования генеративного ИИ в промышленности, до конкретных кейсов и эффектов от его внедрения.
обзор
Что важно:
Обзор подчеркивает, что генеративный ИИ имеет значительный потенциал для трансформации промышленности, предлагая решения для ускорения инженерного проектирования, оптимизации конструкций и улучшения производственных процессов. Однако для полной реализации этого потенциала необходимо преодолеть ряд вызовов, включая развитие инфраструктуры, нормативной базы и подготовку специалистов.
Полезно для собственников отраслевых компаний, топ-менеджерам, разработчикам ИИ-решений, экспертам в области ИИ и инженерии, а также инженерам и техническим специалистам.
#полезно
@gen_i_i
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥4❤3👍2❤🔥1
Эксперимент с ИИ в госуправлении
Минцифры предложило провести эксперимент по внедрению генеративного искусственного интеллекта в государственное управление. Проект постановления правительства, опубликованный на портале regulation.gov.ru, предполагает использование нейросетей для обработки документов, анализа данных и работы с типовыми обращениями граждан.
подробнее
Основные направления применения ИИ:
➡️ Проверка резюме кандидатов на госслужбу
➡️ Составление тестовых заданий для кандидатов
➡️ Анализ законопроектов на ошибки
➡️ Генерация новостных лент для официальных сайтов
➡️ Обработка типовых обращений граждан
➡️ Проверка достоверности информации
Важно отметить, что эксперимент планируется провести без изменения численности сотрудников и в рамках существующего бюджетного финансирования. Поставщики технологических решений будут привлекаться на добровольной и безвозмездной основе.
Проект исключает использование ИИ для прогнозирования социально-экономических процессов и обработки данных, составляющих государственную тайну. Доступ к системам ИИ получат только идентифицированные госслужащие через ЕСИА. Интересно, что более половины россиян выступают против внедрения ИИ в государственном и муниципальном управлении, согласно опросу Russian Field.
Этот эксперимент может стать важным шагом в цифровизации госуправления, но его успех будет зависеть от тщательной проработки и учета возможных рисков. Внедрение ИИ в такие чувствительные области требует особой осторожности, чтобы избежать негативных последствий и обеспечить доверие граждан.
#государство
@gen_i_i
Минцифры предложило провести эксперимент по внедрению генеративного искусственного интеллекта в государственное управление. Проект постановления правительства, опубликованный на портале regulation.gov.ru, предполагает использование нейросетей для обработки документов, анализа данных и работы с типовыми обращениями граждан.
подробнее
Основные направления применения ИИ:
Важно отметить, что эксперимент планируется провести без изменения численности сотрудников и в рамках существующего бюджетного финансирования. Поставщики технологических решений будут привлекаться на добровольной и безвозмездной основе.
Проект исключает использование ИИ для прогнозирования социально-экономических процессов и обработки данных, составляющих государственную тайну. Доступ к системам ИИ получат только идентифицированные госслужащие через ЕСИА. Интересно, что более половины россиян выступают против внедрения ИИ в государственном и муниципальном управлении, согласно опросу Russian Field.
Этот эксперимент может стать важным шагом в цифровизации госуправления, но его успех будет зависеть от тщательной проработки и учета возможных рисков. Внедрение ИИ в такие чувствительные области требует особой осторожности, чтобы избежать негативных последствий и обеспечить доверие граждан.
#государство
@gen_i_i
Please open Telegram to view this post
VIEW IN TELEGRAM
👍4⚡3🔥2
В каких сценариях, на ваш взгляд, применимо использование ИИ?
Anonymous Poll
24%
Оценка резюме кандидатов на госслужбу
46%
Проверка ошибок в законопроектах
36%
Генерация новостных лент для официальных сайтов
78%
Обработка типовых обращений граждан
42%
Проверка достоверности информации
4%
Другие сценарии (жду в комментах)
6%
Ни в одном из перечисленных
👍5🔥4❤🔥2
От ИИ-ассистентов к мультиагентным системам
Недавно я дал комментарий для ComNews на тему Agentic AI. Вышла неплохая статья, но я решил дополнительно написать пост, в котором хочу разобрать тему ИИ-агентов.
Современные технологии искусственного интеллекта активно развиваются. Сегодня мы наблюдаем переход от простых ИИ-ассистентов к сложным мультиагентным системам. Этот процесс открывает новые возможности для автоматизации и решения сложных задач.
1️⃣ ИИ-ассистенты
ИИ-ассистенты уже активно внедряются в нашу повседневную жизнь. Они выполняют определенные задачи, но пока не способны к целеполаганию и принятию решений. Примеры таких ассистентов включают ChatGPT, Copilot и Claude. Эти системы работают по запросу и требуют четких инструкций от пользователя. Они помогают в конкретных задачах, таких как критика отчета или подсказка слабых зон, но их функционал ограничен реактивным режимом, то есть они действуют реактивно по запросу пользователя.
2️⃣ ИИ-автоматизация
Следующим шагом в развитии ИИ является автоматизация. Это полуавтономные системы, которые могут частично или полностью выполнять типовые задачи вместо человека. Алгоритмы настраиваются человеком на специальных платформах для автоматизации, а GPT-модели являются элементами цепочки. Примеры включают N8N с GPT и Make.com. Эти системы комбинируют данные и логику, что позволяет им выполнять шаблонные действия и автоматизировать бизнес-процессы. Но для создания таких систем нужен человек, иногда со знанием ИТ, для реализации алгоритма на LowCode/NoCode платформе.
3️⃣ ИИ-агенты
В ближайшем будущем нас ждет появление ИИ-агентов, которые смогут самостоятельно формировать и исполнять планы. Эти автономные решения будут частично или полностью выполнять интеллектуальные функции человека, а также использовать внешние инструменты и источники данных. Функции таких агентов включают создание и понимание цели, приоритизацию задач, выполнение задач, использование инструментов, прокачивание навыков и принятие решений. Например, агент-аналитик сможет сам искать информацию, обобщать ее и готовить аналитические отчеты.
4️⃣ Мультиагентные системы
Мультиагентные системы представляют собой коллективный интеллект, где несколько ИИ-агентов взаимодействуют и распределяют роли для решения комплексных задач. Каждый агент выполняет свои функции, а система обеспечивает обмен данными, планирование и координацию действий. Особенности таких систем включают самоорганизацию, совместное планирование, обмен знаниями и памятью между агентами, способность параллельно решать взаимосвязанные задачи и масштабируемость. Например, разработка ИТ-продукта может включать несколько агентов: один собирает требования, другой проектирует архитектуру, третий разрабатывает, а четвертый тестирует результат.
Переход от ИИ-ассистентов к мультиагентным системам открывает новые горизонты для автоматизации и решения сложных задач. Эти технологии обещают значительно улучшить эффективность и точность выполнения различных процессов, что сделает их неотъемлемой частью нашего будущего. Однако важно понимать, что внедрение таких систем требует не только технологической готовности, но и четкого понимания бизнес-процессов, высококвалифицированных специалистов и значительных инвестиций.
#ликбез
Ставь 🔥, если хочешь больше постов в формате разбора сложных тем.
@gen_i_i
Недавно я дал комментарий для ComNews на тему Agentic AI. Вышла неплохая статья, но я решил дополнительно написать пост, в котором хочу разобрать тему ИИ-агентов.
Современные технологии искусственного интеллекта активно развиваются. Сегодня мы наблюдаем переход от простых ИИ-ассистентов к сложным мультиагентным системам. Этот процесс открывает новые возможности для автоматизации и решения сложных задач.
ИИ-ассистенты уже активно внедряются в нашу повседневную жизнь. Они выполняют определенные задачи, но пока не способны к целеполаганию и принятию решений. Примеры таких ассистентов включают ChatGPT, Copilot и Claude. Эти системы работают по запросу и требуют четких инструкций от пользователя. Они помогают в конкретных задачах, таких как критика отчета или подсказка слабых зон, но их функционал ограничен реактивным режимом, то есть они действуют реактивно по запросу пользователя.
Следующим шагом в развитии ИИ является автоматизация. Это полуавтономные системы, которые могут частично или полностью выполнять типовые задачи вместо человека. Алгоритмы настраиваются человеком на специальных платформах для автоматизации, а GPT-модели являются элементами цепочки. Примеры включают N8N с GPT и Make.com. Эти системы комбинируют данные и логику, что позволяет им выполнять шаблонные действия и автоматизировать бизнес-процессы. Но для создания таких систем нужен человек, иногда со знанием ИТ, для реализации алгоритма на LowCode/NoCode платформе.
В ближайшем будущем нас ждет появление ИИ-агентов, которые смогут самостоятельно формировать и исполнять планы. Эти автономные решения будут частично или полностью выполнять интеллектуальные функции человека, а также использовать внешние инструменты и источники данных. Функции таких агентов включают создание и понимание цели, приоритизацию задач, выполнение задач, использование инструментов, прокачивание навыков и принятие решений. Например, агент-аналитик сможет сам искать информацию, обобщать ее и готовить аналитические отчеты.
Мультиагентные системы представляют собой коллективный интеллект, где несколько ИИ-агентов взаимодействуют и распределяют роли для решения комплексных задач. Каждый агент выполняет свои функции, а система обеспечивает обмен данными, планирование и координацию действий. Особенности таких систем включают самоорганизацию, совместное планирование, обмен знаниями и памятью между агентами, способность параллельно решать взаимосвязанные задачи и масштабируемость. Например, разработка ИТ-продукта может включать несколько агентов: один собирает требования, другой проектирует архитектуру, третий разрабатывает, а четвертый тестирует результат.
Переход от ИИ-ассистентов к мультиагентным системам открывает новые горизонты для автоматизации и решения сложных задач. Эти технологии обещают значительно улучшить эффективность и точность выполнения различных процессов, что сделает их неотъемлемой частью нашего будущего. Однако важно понимать, что внедрение таких систем требует не только технологической готовности, но и четкого понимания бизнес-процессов, высококвалифицированных специалистов и значительных инвестиций.
#ликбез
Ставь 🔥, если хочешь больше постов в формате разбора сложных тем.
@gen_i_i
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥11👍5❤1❤🔥1🎉1
Что следует разобрать следующей темой в формате #ликбез?
Anonymous Poll
23%
Регуляторика в сфере ИИ
57%
Типовой пайплайн применения ИИ
30%
Модель угроз и механизмы защиты ИИ
23%
Экосистема игроков ИИ
13%
Меры поддержки в направлении ИИ
3%
Другое (укажу в комментариях)
🔥4❤🔥3👍1🤔1
Главное на прошлой неделе:
@gen_i_i
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤🔥1👍1🔥1
Как устроен типовой пайплайн разработки и применения ИИ-решений
Недавно в канале провел опрос и увидел большой интерес к теме построения пайплайна разработки и применения ИИ-решений. Раз обещал, делаю пост с разбором этой темы.
Что такое пайплайн для ИИ-решений?
Интересные детали, которые часто упускают:
1️⃣ Пайплайн классического ML
Состоит из трёх блоков:
➡️ Обработка данных: сбор, очистка, разметка, извлечение признаков.
Пример: в задаче детекции мошенничества данные о транзакциях нужно обогащать внешними источниками, такими как геоинформационные данные и поведенческие паттерны.
➡️ Разработка модели: анализ данных, обучение и валидация, версионирование.
Пример: для табличных данных часто используют бустинг-модели, такие как XGBoost или CatBoost, а для изображений — сверточные нейросети.
➡️ Интеграция в продукт: разработка ПО, тестирование, мониторинг.
Типовая ошибка: часто забывают о процессах автоматизации доставки релизов (MLOps) и мониторинге метрик качества.
2️⃣ Пайплайн LLM
Ключевые отличия:
➡️ Данные: нужны огромные корпуса текстов и отдельная настройка под задачу (fine-tuning, RAG).
➡️ Инференс и продакшн: LLM требует особой инфраструктуры (GPU, квотирование запросов, контроль стоимости токенов).
➡️ Модерация и безопасность: LLM способны генерировать токсичный или фейковый контент, поэтому нужен фильтр контента и контроль интентов пользователей.
Пример: в RAG часть пайплайна уходит на построение поискового индекса по документам и подключение внешних источников данных, что в классическом ML не требуется.
3️⃣ Где чаще всего ломается пайплайн?
➡️ Низкое качество данных: «мусор на входе — мусор на выходе» остаётся главным законом работы с ИИ-решениями.
➡️ Отсутствие версионирования моделей и данных — сложно воспроизвести результаты, полученные в эксперименте.
➡️ Нет мониторинга в продакшене: модель со временем деградирует из-за изменения данных и переобучения.
➡️ Не учитываются затраты LLM в продакшене: без контроля и оптимизации можно сжечь бюджет за пару недель при использовании облачных ресурсов.
Инсайт
У LLM пайплайны существенно сложнее и дороже, чем у классического ML. Зато их можно адаптировать к задачам быстрее — за счёт zero-shot и few-shot обучения.
А у вас выстроен пайплайн работы с ИИ-решениями? Делитесь в комментариях и ставьте 🔥, если вам нравится эта рубрика.
#ликбез
@gen_i_i
Недавно в канале провел опрос и увидел большой интерес к теме построения пайплайна разработки и применения ИИ-решений. Раз обещал, делаю пост с разбором этой темы.
Что такое пайплайн для ИИ-решений?
Пайплайн для ИИ — это цепочка шагов, через которую проходит процесс разработки и применения решений на базе искусственного интеллекта. Это как конвейер на заводе: на входе — данные, на выходе — готовая ИИ-модель, встроенная в продукт и способная решать задачи пользователей. Чем эффективнее выстроен пайплайн, тем ниже time-to-market и тем быстрее можно тестировать гипотезы, разрабатывать и внедрять ИИ-решения.
Интересные детали, которые часто упускают:
Состоит из трёх блоков:
Пример: в задаче детекции мошенничества данные о транзакциях нужно обогащать внешними источниками, такими как геоинформационные данные и поведенческие паттерны.
Пример: для табличных данных часто используют бустинг-модели, такие как XGBoost или CatBoost, а для изображений — сверточные нейросети.
Типовая ошибка: часто забывают о процессах автоматизации доставки релизов (MLOps) и мониторинге метрик качества.
Ключевые отличия:
Пример: в RAG часть пайплайна уходит на построение поискового индекса по документам и подключение внешних источников данных, что в классическом ML не требуется.
Инсайт
У LLM пайплайны существенно сложнее и дороже, чем у классического ML. Зато их можно адаптировать к задачам быстрее — за счёт zero-shot и few-shot обучения.
А у вас выстроен пайплайн работы с ИИ-решениями? Делитесь в комментариях и ставьте 🔥, если вам нравится эта рубрика.
#ликбез
@gen_i_i
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥9👍5❤3
Как Московская биржа внедряет ИИ для повышения эффективности
Московская биржа внедряет ИИ-экосистему на основе собственных разработок. Одним из ключевых элементов стал ИИ-поисковик MOEX RAG, который ускорил работу с внутренней документацией в 72 раза.
Московская биржа активно развивает собственные ИИ-решения. С помощью технологии RAG (Retrieval-Augmented Generation) нормативная база компании была преобразована в ИИ-поисковик MOEX RAG. Это позволило сократить время поиска информации в корпоративных документах с 18 минут до 15 секунд.
MOEX RAG станет частью формирующейся ИИ-экосистемы, центром которой будет представленный в мае 2025 года ассистент MOEX Insight. Этот CoPilot-ассистент интегрируется с офисными приложениями и веб-интерфейсами, позволяя персонализировать взаимодействие с ИИ. Ассистент сможет понимать контекст работы каждого сотрудника, его цели и актуальные регламенты департамента.
MOEX RAG был разработан и внедрён для ускорения процессов и минимизации ошибок при работе с более чем 1500 документами. Решение обеспечивает релевантность ответов на уровне более 80%. Сотрудники могут формулировать запросы, и ИИ анализирует массив внутренней документации, предоставляя релевантную информацию с указанием источника за несколько секунд.
На разработку и запуск решения ушло менее двух месяцев, и оно уже повысило эффективность использования ИИ во всей группе. MOEX RAG будет полезен как операционным подразделениям для поиска информации в различных инструкциях и положениях, так и методологическим — для ускорения процесса актуализации и сравнения документации.
Московская биржа рассматривает возможность масштабирования этого решения на внешний рынок, сохраняя гибкость настройки под любую корпоративную среду. Это решение решает проблему, с которой сталкивается большинство корпораций и крупных бизнесов.
подробнее
#кейс
@gen_i_i
Московская биржа внедряет ИИ-экосистему на основе собственных разработок. Одним из ключевых элементов стал ИИ-поисковик MOEX RAG, который ускорил работу с внутренней документацией в 72 раза.
Московская биржа активно развивает собственные ИИ-решения. С помощью технологии RAG (Retrieval-Augmented Generation) нормативная база компании была преобразована в ИИ-поисковик MOEX RAG. Это позволило сократить время поиска информации в корпоративных документах с 18 минут до 15 секунд.
MOEX RAG станет частью формирующейся ИИ-экосистемы, центром которой будет представленный в мае 2025 года ассистент MOEX Insight. Этот CoPilot-ассистент интегрируется с офисными приложениями и веб-интерфейсами, позволяя персонализировать взаимодействие с ИИ. Ассистент сможет понимать контекст работы каждого сотрудника, его цели и актуальные регламенты департамента.
MOEX RAG был разработан и внедрён для ускорения процессов и минимизации ошибок при работе с более чем 1500 документами. Решение обеспечивает релевантность ответов на уровне более 80%. Сотрудники могут формулировать запросы, и ИИ анализирует массив внутренней документации, предоставляя релевантную информацию с указанием источника за несколько секунд.
На разработку и запуск решения ушло менее двух месяцев, и оно уже повысило эффективность использования ИИ во всей группе. MOEX RAG будет полезен как операционным подразделениям для поиска информации в различных инструкциях и положениях, так и методологическим — для ускорения процесса актуализации и сравнения документации.
Московская биржа рассматривает возможность масштабирования этого решения на внешний рынок, сохраняя гибкость настройки под любую корпоративную среду. Это решение решает проблему, с которой сталкивается большинство корпораций и крупных бизнесов.
подробнее
#кейс
@gen_i_i
👍2🔥2❤🔥1
Защита больших языковых моделей
Чем больше распространяются большие языковые модели, тем больше они привлекают внимание злоумышленников. На предстоящем вебинаре 31 июля в 11:00 эксперты Светлана Газизова, Анастасия Истомина и Александр Кузьмин обсудят актуальные угрозы и методы защиты LLM.
Одной из ключевых угроз являются специально сформированные промпты или незаметно измененные входные данные, которые могут обойти защитные механизмы нейросетей и привести к неверным или вредоносным выводам. На вебинаре также рассмотрят реальные технологии защиты, такие как продвинутая валидация запросов и ответов, интерпретируемость и прозрачность LLM, а также детектирование аномалий.
Эти технологии помогут бизнесу быть более устойчивым к атакам. Если вы хотите научиться защищать LLM уже сейчас, регистрируйтесь на вебинар.
Генеративный ИИ и большие языковые модели (LLM) уже стали рабочим инструментом, меняющим бизнес-процессы. Они пишут код, анализируют уязвимости и обрабатывают терабайты данных. Чем шире распространяются эти технологии, тем больше они привлекают внимание злоумышленников.
На вебинаре обсудят актуальное состояние законодательства в области защиты LLM и рассмотрят реальные угрозы, с которыми сталкиваются уже сейчас. Среди них:
⏺ Prompt Injection и Jailbreak: эксфильтрация данных и обход защитных механизмов через специально сформированные промпты.
⏺ Prompt Injection для отказа в обслуживании: как один запрос может исчерпать вычислительные ресурсы и вызвать деградацию сервиса.
⏺ Небезопасная десериализация и атаки на MLOps-пайплайн: уязвимости в инструментах загрузки моделей, которые могут привести к выполнению произвольного кода.
⏺ Состязательные возмущения (Adversarial Perturbations): методы незаметного изменения входных данных для получения неверного или вредоносного вывода от модели.
⏺ Внедрение бэкдоров: заражение модели и модификация архитектуры для создания скрытого контроля над моделью.
Также на вебинаре рассмотрят реальные технологии защиты, которые помогут бизнесу быть более устойчивым к атакам, такие как продвинутая валидация запросов и ответов, интерпретируемость и прозрачность LLM, а также детектирование аномалий.
Защита LLM уже стала реальностью, и если вы хотите научиться защищать свои модели, регистрируйтесь на вебинар. Регистрация заканчивается завтра в 9 утра, так что лучше сделать это сегодня.
#вебинар
@gen_i_i
Чем больше распространяются большие языковые модели, тем больше они привлекают внимание злоумышленников. На предстоящем вебинаре 31 июля в 11:00 эксперты Светлана Газизова, Анастасия Истомина и Александр Кузьмин обсудят актуальные угрозы и методы защиты LLM.
Одной из ключевых угроз являются специально сформированные промпты или незаметно измененные входные данные, которые могут обойти защитные механизмы нейросетей и привести к неверным или вредоносным выводам. На вебинаре также рассмотрят реальные технологии защиты, такие как продвинутая валидация запросов и ответов, интерпретируемость и прозрачность LLM, а также детектирование аномалий.
Эти технологии помогут бизнесу быть более устойчивым к атакам. Если вы хотите научиться защищать LLM уже сейчас, регистрируйтесь на вебинар.
Генеративный ИИ и большие языковые модели (LLM) уже стали рабочим инструментом, меняющим бизнес-процессы. Они пишут код, анализируют уязвимости и обрабатывают терабайты данных. Чем шире распространяются эти технологии, тем больше они привлекают внимание злоумышленников.
На вебинаре обсудят актуальное состояние законодательства в области защиты LLM и рассмотрят реальные угрозы, с которыми сталкиваются уже сейчас. Среди них:
Также на вебинаре рассмотрят реальные технологии защиты, которые помогут бизнесу быть более устойчивым к атакам, такие как продвинутая валидация запросов и ответов, интерпретируемость и прозрачность LLM, а также детектирование аномалий.
Защита LLM уже стала реальностью, и если вы хотите научиться защищать свои модели, регистрируйтесь на вебинар. Регистрация заканчивается завтра в 9 утра, так что лучше сделать это сегодня.
#вебинар
@gen_i_i
Please open Telegram to view this post
VIEW IN TELEGRAM
❤1❤🔥1👍1🔥1
Безопасность AI-агентов: рекомендации OWASP
OWASP выпустил руководство по защите агентных приложений, над которым работали специалисты из Microsoft, Oracle, NIST, Еврокомиссии и других организаций. Документ рассматривает архитектурные шаблоны от RAG до агентов различной степени автономности и предлагает стратегии смягчения распространенных угроз.
разбор на хабре
само руководство
Основные компоненты и рекомендации
В документе описываются различные компоненты систем и ключевые рекомендации по их защите. Основой каждого агента являются модели ИИ: большие и маленькие, языковые и мультимодальные, предобученные и дообученные. Рассматриваются разные топологии мультиагентных систем, такие как рой агентов или иерархия, в зависимости от задачи. Важно строго ограничивать права доступа агентов к API, выполнению кода, базам данных и тщательно контролировать их действия для предотвращения потенциальных атак.
Проблемы и решения
Одной из ключевых проблем являются галлюцинации моделей. Не стоит слишком доверять вероятностным моделям, поскольку ошибки в ответах одной из них могут привести к каскаду отклонений в системе. Частично эта проблема решается с помощью reasoning-подходов: планирования, цепочек и деревьев рассуждений. Также важно не забывать о human-in-the-loop — проверке результатов работы ИИ человеком.
Работа с памятью и внешними компонентами
При работе с памятью и внешними компонентами важно грамотно распределить ресурсы и разграничить уровни доступа. При обращении к API, базам данных и другим ресурсам агенты должны оперировать в рамках прав пользователя, который их вызвал, чтобы предотвратить несанкционированный доступ к данным. Авторы гайда предлагают архитектурные решения и напоминают о необходимости использования доверенных менеджеров паролей и аутентификации вне процесса.
Тестирование и мониторинг
Важно тестировать безопасность системы с помощью ручных и автоматических методов. Инструменты тестирования должны соответствовать целям безопасности, охватывать актуальные угрозы и предлагать практические рекомендации. Необходимо внедрять процесс мониторинга и тестирования в пайплайн CI/CD и адаптироваться к новым угрозам.
Взаимодействие с сообществом
Взаимодействие с сообществом помогает оставаться в курсе последних разработок в области безопасности ИИ. В российском пространстве сообщество безопасности ИИ только формируется, и участие в Telegram-каналах и чатах, таких как PWN AI, Новости Консорциума, AI SecOps, GenAI Security LLAMATOR, Финбеза, Борис_ь с ml и False Positive может быть полезным для обмена мнениями и новостями.
Документ OWASP предоставляет ценные рекомендации по защите агентных приложений, охватывая различные аспекты от архитектуры до тестирования и мониторинга.
Важно следовать этим рекомендациям и взаимодействовать с сообществом для обеспечения безопасности ИИ-систем.
#кибербез
@gen_i_i
OWASP выпустил руководство по защите агентных приложений, над которым работали специалисты из Microsoft, Oracle, NIST, Еврокомиссии и других организаций. Документ рассматривает архитектурные шаблоны от RAG до агентов различной степени автономности и предлагает стратегии смягчения распространенных угроз.
разбор на хабре
само руководство
Основные компоненты и рекомендации
В документе описываются различные компоненты систем и ключевые рекомендации по их защите. Основой каждого агента являются модели ИИ: большие и маленькие, языковые и мультимодальные, предобученные и дообученные. Рассматриваются разные топологии мультиагентных систем, такие как рой агентов или иерархия, в зависимости от задачи. Важно строго ограничивать права доступа агентов к API, выполнению кода, базам данных и тщательно контролировать их действия для предотвращения потенциальных атак.
Проблемы и решения
Одной из ключевых проблем являются галлюцинации моделей. Не стоит слишком доверять вероятностным моделям, поскольку ошибки в ответах одной из них могут привести к каскаду отклонений в системе. Частично эта проблема решается с помощью reasoning-подходов: планирования, цепочек и деревьев рассуждений. Также важно не забывать о human-in-the-loop — проверке результатов работы ИИ человеком.
Работа с памятью и внешними компонентами
При работе с памятью и внешними компонентами важно грамотно распределить ресурсы и разграничить уровни доступа. При обращении к API, базам данных и другим ресурсам агенты должны оперировать в рамках прав пользователя, который их вызвал, чтобы предотвратить несанкционированный доступ к данным. Авторы гайда предлагают архитектурные решения и напоминают о необходимости использования доверенных менеджеров паролей и аутентификации вне процесса.
Тестирование и мониторинг
Важно тестировать безопасность системы с помощью ручных и автоматических методов. Инструменты тестирования должны соответствовать целям безопасности, охватывать актуальные угрозы и предлагать практические рекомендации. Необходимо внедрять процесс мониторинга и тестирования в пайплайн CI/CD и адаптироваться к новым угрозам.
Взаимодействие с сообществом
Взаимодействие с сообществом помогает оставаться в курсе последних разработок в области безопасности ИИ. В российском пространстве сообщество безопасности ИИ только формируется, и участие в Telegram-каналах и чатах, таких как PWN AI, Новости Консорциума, AI SecOps, GenAI Security LLAMATOR, Финбеза, Борис_ь с ml и False Positive может быть полезным для обмена мнениями и новостями.
Документ OWASP предоставляет ценные рекомендации по защите агентных приложений, охватывая различные аспекты от архитектуры до тестирования и мониторинга.
Важно следовать этим рекомендациям и взаимодействовать с сообществом для обеспечения безопасности ИИ-систем.
#кибербез
@gen_i_i
👍2🔥2❤🔥1
Какие меры вы используете для защиты ваших ИИ-систем и ИИ-агентов?
Anonymous Poll
7%
Валидация входных и выходных данных (использование guardrails, фильтров, схем)
7%
Ограничение прав доступа агентов (принцип наим. привилегий, JIT-доступ, токены с огранич. временем)
7%
Песочницы и изоляция среды выполнения (sandboxing, контейнеры, виртуальные машины)
7%
Регулярное тестирование и red teaming (фаззинг, атаки на промпты, проверка на уязвимости)
0%
Мониторинг и обнаружение аномалий (логирование процессов рассуждения, анализ активности агентов)
79%
Пока не внедрил специальные меры защиты
7%
Другое (напишите в комментариях)
Исследование Microsoft: профессии, которые может заменить ИИ
Microsoft опубликовала исследование, в котором проанализированы данные 200 тысяч анонимизированных диалогов пользователей с Bing Copilot. Цель исследования — понять, какие профессиональные задачи чаще всего выполняются с помощью ИИ и какие профессии наиболее подвержены автоматизации.
само исследование
Основные выводы исследования:
1. Наиболее распространённые задачи: Пользователи чаще всего обращаются к ИИ за помощью в сборе информации и написании текстов. ИИ, в свою очередь, чаще всего предоставляет информацию, помощь в написании текстов, обучении и консультировании.
2. Профессии под угрозой: Исследователи выделили профессии с наивысшим "коэффициентом применимости ИИ" — показателем, который учитывает, насколько часто задачи, связанные с профессией, выполняются с помощью ИИ, и насколько успешно ИИ с ними справляется. В список попали переводчики, историки, бортпроводники, торговые представители, писатели, специалисты службы поддержки клиентов и другие.
3. Профессии, устойчивые к автоматизации: С другой стороны, есть профессии, которые менее подвержены риску замены ИИ. Это, в основном, работы, требующие физического присутствия и манипуляций, такие как флеботомисты, медсёстры, рабочие по удалению опасных материалов, операторы заводов и систем и другие.
4. Корреляция с зарплатой и образованием: Исследование также показало слабую корреляцию между коэффициентом применимости ИИ и уровнем зарплаты или образования. Это означает, что ИИ может влиять на профессии независимо от их статуса или требований к образованию.
Это исследование подчёркивает, что ИИ уже сейчас активно используется в различных профессиональных сферах, и его влияние будет только расти. Важно понимать, какие задачи и профессии наиболее подвержены автоматизации, чтобы адаптироваться к изменениям на рынке труда.
#исследование
@gen_i_i
Microsoft опубликовала исследование, в котором проанализированы данные 200 тысяч анонимизированных диалогов пользователей с Bing Copilot. Цель исследования — понять, какие профессиональные задачи чаще всего выполняются с помощью ИИ и какие профессии наиболее подвержены автоматизации.
само исследование
Основные выводы исследования:
1. Наиболее распространённые задачи: Пользователи чаще всего обращаются к ИИ за помощью в сборе информации и написании текстов. ИИ, в свою очередь, чаще всего предоставляет информацию, помощь в написании текстов, обучении и консультировании.
2. Профессии под угрозой: Исследователи выделили профессии с наивысшим "коэффициентом применимости ИИ" — показателем, который учитывает, насколько часто задачи, связанные с профессией, выполняются с помощью ИИ, и насколько успешно ИИ с ними справляется. В список попали переводчики, историки, бортпроводники, торговые представители, писатели, специалисты службы поддержки клиентов и другие.
3. Профессии, устойчивые к автоматизации: С другой стороны, есть профессии, которые менее подвержены риску замены ИИ. Это, в основном, работы, требующие физического присутствия и манипуляций, такие как флеботомисты, медсёстры, рабочие по удалению опасных материалов, операторы заводов и систем и другие.
4. Корреляция с зарплатой и образованием: Исследование также показало слабую корреляцию между коэффициентом применимости ИИ и уровнем зарплаты или образования. Это означает, что ИИ может влиять на профессии независимо от их статуса или требований к образованию.
Это исследование подчёркивает, что ИИ уже сейчас активно используется в различных профессиональных сферах, и его влияние будет только расти. Важно понимать, какие задачи и профессии наиболее подвержены автоматизации, чтобы адаптироваться к изменениям на рынке труда.
#исследование
@gen_i_i
👍3❤🔥1🔥1
Кто, по вашему мнению, находится в самой большой зоне риска?
Anonymous Poll
21%
Программисты
59%
Представители службы поддержки
31%
Журналисты
21%
Ведущие и дикторы
31%
PR-специалисты
13%
Другое
👍3🔥2🤯2