📌Почему языковые модели галлюцинируют.

OpenAI опубликовали исследование о причинах галлюцинации LLM.

Галлюцинации - это не мистический сбой в сознании ИИ, а вполне предсказуемый побочный эффект его обучения.

Представьте, что перед моделью стоит задача бинарной классификации - определить, является ли предложенное утверждение корректным или нет. Математическая выкладка в исследовании проста: уровень ошибок генерации как минимум в 2 раза превышает уровень ошибок классификации. Если модель не способна надежно отличить факт от вымысла, она неизбежно будет этот вымысел генерировать.

🟡Все начинается еще на претрейне.

Даже на идеально чистых данных статистические цели обучения подталкивают модель к генерации ошибок. Особенно это касается фактов, которые редко встречаются в обучающей выборке.

В работе вводится понятие singleton rate — доля фактов, которые появились в данных лишь один раз. Теоретический расклад показывает, что уровень галлюцинаций модели будет как минимум равен этой доле.

Проще говоря, если 20% фактов о днях рождения в датасете встретились единожды, модель будет выдумывать дни рождения как минимум в 20% случаев.

🟡Эксперименты это подтверждают.

Модель DeepSeek-V3, на просьбу назвать день рождения одного из авторов статьи, трижды выдала неверные даты: 03-07, 15-06 и 01-01. Ни одна из них не была даже близка к правильной (осенью).

В другом тесте, где нужно было сосчитать количество букв D в слове DEEPSEEK, та же DeepSeek-V3 выдавала 2 или 3, а модели компании Марка Цукерберга и Claude 3.7 Sonnet доходили до 6 и 7.

При этом базовые модели после претрейна часто показывают отличную калибровку. Например, у предобученной GPT-4 ожидаемая ошибка калибровки составляла всего 0.007, что говорит о высокой статистической адекватности ее предсказаний. Кто бы сомневался.

🟡Почему галлюцинации не исчезают после пост-тренинга и RLHF?

Ответ на этот вопрос - в системе оценки. Большинство современных бенчмарков поощряют угадывание. Модели, по сути, постоянно находятся в режиме сдачи экзамена, где за правильный ответ дают 1 балл, а за пустой бланк или ответ я не знаю - 0. В такой системе оптимальная стратегия при неуверенности - только угадать. Любой шанс на правильный ответ лучше, чем гарантированный ноль.

Эту гипотезу подтвердили анализом популярных оценочных наборов.

В GPQA, MMLU-Pro, Omni-MATH, SWE-bench и HLE используется строго бинарная система оценки (правильно/неправильно). Возможности получить частичный балл за честное признание в незнании там просто нет. Из 10 рассмотренных в исследовании популярных бенчмарков только один, WildBench, присуждает частичные баллы за ответы формата я не знаю. Остальные же фактически наказывают модель за отказ галлюцинировать, создавая эпидемию штрафов за неуверенность и поощряя ее выдавать правдоподобную ложь.

🟡Что делать инженерам.

OpenAI предлагает встраивать явные целевые уровни уверенности в рубрики, вводить поведенческую калибровку и оценивать модели по секциям с разными порогами уверенности.

Еще рекомендуют включают мониторинг singleton-rate на корпусе, измерение вероятности важных ответов, комбинирование RAG с верификацией фактов и изменение лидербордов чтобы ответы я не знаю не штрафовались автоматически.

🔜 Читать статью полностью


@ai_machinelearning_big_data

#AI #ML #LLM #Research #OpenAI

🈁 Anthropic блокирует доступ к ИИ-сервисам для компаний из "враждебного"🇨🇳Китая

Компания Anthropic вводит запрет на доступ к своим технологиям для компаний из Китая и других стран. Ранее компании могли обходить запреты, используя свои дочерние фирмы, зарегистрированные в разрешенных регионах, например в США или Европе, но теперь этот обходной путь закрыт. Если более 50% акций компании прямо или косвенно принадлежит структуре из запрещенной юрисдикции, то доступ к ИИ-решениям Anthropic для неё будет заблокирован вне зависимости от ее местоположения.

Например, немецкая компания "Germany GmbH" подает заявку на коммерческий доступ к API Claude от Anthropic, чтобы создать продвинутого чат-бота для своих европейских клиентов. При проверке заявки Anthropic не просто посмотрит, что "Germany GmbH" — это немецкая компания, но также изучит её структуру собственности. Если увидят, что 80% компании (то есть контрольный пакет акций) принадлежит "Сhina Technology" из Шанхая, а материнская компания находится в запрещенной юрисдикции (Китай), то Anthropic заблокирует доступ для "Germany GmbH".

По заявлению Anthropic, такие меры продиктованы рисками для национальной безопасности, поскольку подконтрольные "авторитарным режимам" компании могут использовать ИИ в 👮военных и 🖥разведывательных целях. Политика направлена на то, чтобы помешать враждебным странам использовать ИИ от Anthropic для своих военных и разведывательных задач, а также для улучшения собственных разработок в области ИИ с помощью таких методов, как дистилляция.

В статье Китай прямо назван в качестве примера неподдерживаемого региона. На странице «Поддерживаемые страны и регионы» перечислены все места, где доступны API Anthropic и Claude. ai.

Хотя Anthropic не публикует официальный список запрещенных стран, на основании отсутствия в перечне поддерживаемых регионов можно заключить, что следующие страны (и другие, не входящие в список) не обслуживаются:

🇨🇳 Китай
🇷🇺 Россия
🇮🇷 Иран
🇰🇵 Северная Корея
🇧🇾 Беларусь
🇸🇾 Сирия
🇨🇺 Куба
🇻🇪 Венесуэла
🇲🇲 Мьянма
🇦🇫 Афганистан
🇨🇩 Демократическая Республика Конго
🇪🇹 Эфиопия
🇱🇾 Ливия
🇸🇴 Сомали
🇸🇸 Южный Судан
🇸🇩 Судан
🇾🇪 Йемен
и другие...

✋ @Russian_OSINT

💰 OpenAI заключила гигантский контракт с Oracle на $300 млрд на облачные вычисления сроком примерно на 5 лет - сообщает Wall Street Journal.

Это один из крупнейших договоров на облачные вычисления в истории.

Расходы на инфраструктуру для ИИ продолжают расти рекордными темпами, несмотря на опасения «перегрева» рынка.

⚡ Масштаб сделки:
- OpenAI потребуется 4,5 гигаватта мощности - это больше, чем две плотины Гувера, или электричество для 4 миллионов домов.
- Oracle уже демонстрирует рост: акции компании подскочили, а Ларри Эллисон (глава Oracle) за сутки заработал $101 млрд и стал самым богатым человеком на планете, обогнав Илона Маска.

Рынок ИИ-вычислений превращается в арену сделок планетарного масштаба — где стоимость инфраструктуры измеряется сотнями миллиардов долларов и требует энергопотребления на уровне целых стран.

🟢 Подробнее: wsj .com/business/openai-oracle-sign-300-billion-computing-deal-among-biggest-in-history-ff27c8fe

@ai_machinelearning_big_data

#AI #Cloud #OpenAI #Oracle #DataCenters