Продолжаем знакомить вас с отчетом AI Index Report 2025 (начало: 1, 2, 3). Глава «Responsible AI» рассматривает проблему ответственного ИИ (RAI).
Контекст
Число сообщений об ошибках, предвзятости и злоупотреблениях с участием ИИ растет. В 2024 году количество инцидентов выросло до 233 (+56,4% по сравнению с 2023 годом). Связанные с этим риски и вызовы регулярно обсуждаются на конференциях — например, в Эр-Рияде и Москве.
Многие компании осознают существование проблемы, но далеко не все принимают активные меры для ее решения. Среди главных опасений — неточность результатов (64% опрошенных), несоблюдение нормативных требований (63%) и угрозы кибербезопасности (60%).
Ключевые проблемы
1️⃣ Безопасность и защита личных данных (об актуальности проблемы в опенсорсных моделях мы писали). Обсуждается проблема утечки персональных данных и злоупотребления информацией:
• Использование ИИ для имитации личности умерших людей и связанные с этим этические скандалы.
• Нарушение конфиденциальности при использовании медицинских данных.
2️⃣ Манипуляция информацией. ИИ используется для распространения дезинформации и недобросовестного влияния на общественное мнение:
• Генерация поддельных новостей.
• Создание deepfake-видео, аудио и текстов.
3️⃣ Прозрачность работы и объяснимость ответов. Не всегда понятно, как формируются решения ИИ, особенно в таких чувствительных областях, как здравоохранение и финансы.
• Средний уровень прозрачности ключевых базовых моделей на май 2024 года составлял 58% — явно недостаточно.
• Не решена проблема галлюцинаций. Даже самые продвинутые модели генерируют уверенные, но ложные ответы, особенно при работе с малоизвестными темами или неполной информацией.
🎯 Предлагаемые методы решения:
• Применение #RAG (Retrieval-Augmented Generation) для улучшения интерпретируемости. Этой технологии у нас посвящена большая статья.
• Совершенствование метрик, направленных на проверку фактической точности и правдивости ИИ-моделей.
4️⃣ Предвзятость и дискриминация, систематически проскакивающая в языковых моделях. Американские исследователи озабочены проявлениями гендерных, расовых или этнических стереотипов.
5️⃣ Особые темы, которые требуют междисциплинарного подхода:
• Этические проблемы в медицине (например, выработка рекомендаций по лечению).
• Использование ИИ в судебной системе.
• Культурные различия в восприятии ИИ в разных странах.
Тренды
Выработка программных методов обеспечения RAI. Этот аспект становится неотъемлемой частью развития технологий. Уже существуют метрики тестирования моделей на соответствие принципам ответственности. Примеры таких бенчмарков: FACTS, SimpleQA, MixEval. Наиболее точной моделью в тестах FACTS признана Gemini-2.0-Flash-Exp (83.6% успеха). Но подчеркивается необходимость создания более сложных и реалистичных тестов.
Международная кооперация. В 2024 году усилилась работа над согласованием принципов ответственного использования. Несколько крупных организаций — включая ОЭСР, Европейский союз, ООН и Африканский союз — представили рамочные документы, направленные на формулировку ключевых аспектов RAI.
Сокращение данных — негативный тренд, обратная сторона борьбы за безопасность. Ради сохранения конфиденциальности пользователей интернета всё больше сайтов внедряют ограничения. В активных доменах из набора данных C4 доля ограниченных токенов выросла с 5–7% до 20–33%. Это сокращает разнообразие данных для обучения моделей.
Выводы
Чем больше искусственный интеллект охватывает различные сферы жизни, тем важнее вопрос его ответственности. Для обеспечения доверия к ИИ необходимы дополнительные усилия в плане стандартизации, прозрачности и контроля:
• выработка единых этических стандартов ответственного развития и использования технологий
• повышение прозрачности и объяснимости в обучении и работе моделей;
• расширение регуляторной базы;
• интеграция RAI в образование и бизнес-процессы.
👉 Продолжение следует...
#AI #RAI #тренды #аналитика #тесты #AI_index_report_2025
🚀 ©ТехноТренды
Контекст
Число сообщений об ошибках, предвзятости и злоупотреблениях с участием ИИ растет. В 2024 году количество инцидентов выросло до 233 (+56,4% по сравнению с 2023 годом). Связанные с этим риски и вызовы регулярно обсуждаются на конференциях — например, в Эр-Рияде и Москве.
Многие компании осознают существование проблемы, но далеко не все принимают активные меры для ее решения. Среди главных опасений — неточность результатов (64% опрошенных), несоблюдение нормативных требований (63%) и угрозы кибербезопасности (60%).
Ключевые проблемы
1️⃣ Безопасность и защита личных данных (об актуальности проблемы в опенсорсных моделях мы писали). Обсуждается проблема утечки персональных данных и злоупотребления информацией:
• Использование ИИ для имитации личности умерших людей и связанные с этим этические скандалы.
• Нарушение конфиденциальности при использовании медицинских данных.
2️⃣ Манипуляция информацией. ИИ используется для распространения дезинформации и недобросовестного влияния на общественное мнение:
• Генерация поддельных новостей.
• Создание deepfake-видео, аудио и текстов.
3️⃣ Прозрачность работы и объяснимость ответов. Не всегда понятно, как формируются решения ИИ, особенно в таких чувствительных областях, как здравоохранение и финансы.
• Средний уровень прозрачности ключевых базовых моделей на май 2024 года составлял 58% — явно недостаточно.
• Не решена проблема галлюцинаций. Даже самые продвинутые модели генерируют уверенные, но ложные ответы, особенно при работе с малоизвестными темами или неполной информацией.
🎯 Предлагаемые методы решения:
• Применение #RAG (Retrieval-Augmented Generation) для улучшения интерпретируемости. Этой технологии у нас посвящена большая статья.
• Совершенствование метрик, направленных на проверку фактической точности и правдивости ИИ-моделей.
4️⃣ Предвзятость и дискриминация, систематически проскакивающая в языковых моделях. Американские исследователи озабочены проявлениями гендерных, расовых или этнических стереотипов.
5️⃣ Особые темы, которые требуют междисциплинарного подхода:
• Этические проблемы в медицине (например, выработка рекомендаций по лечению).
• Использование ИИ в судебной системе.
• Культурные различия в восприятии ИИ в разных странах.
Тренды
Выработка программных методов обеспечения RAI. Этот аспект становится неотъемлемой частью развития технологий. Уже существуют метрики тестирования моделей на соответствие принципам ответственности. Примеры таких бенчмарков: FACTS, SimpleQA, MixEval. Наиболее точной моделью в тестах FACTS признана Gemini-2.0-Flash-Exp (83.6% успеха). Но подчеркивается необходимость создания более сложных и реалистичных тестов.
Международная кооперация. В 2024 году усилилась работа над согласованием принципов ответственного использования. Несколько крупных организаций — включая ОЭСР, Европейский союз, ООН и Африканский союз — представили рамочные документы, направленные на формулировку ключевых аспектов RAI.
Сокращение данных — негативный тренд, обратная сторона борьбы за безопасность. Ради сохранения конфиденциальности пользователей интернета всё больше сайтов внедряют ограничения. В активных доменах из набора данных C4 доля ограниченных токенов выросла с 5–7% до 20–33%. Это сокращает разнообразие данных для обучения моделей.
Выводы
Чем больше искусственный интеллект охватывает различные сферы жизни, тем важнее вопрос его ответственности. Для обеспечения доверия к ИИ необходимы дополнительные усилия в плане стандартизации, прозрачности и контроля:
• выработка единых этических стандартов ответственного развития и использования технологий
• повышение прозрачности и объяснимости в обучении и работе моделей;
• расширение регуляторной базы;
• интеграция RAI в образование и бизнес-процессы.
👉 Продолжение следует...
#AI #RAI #тренды #аналитика #тесты #AI_index_report_2025
🚀 ©ТехноТренды
🔥1