Всем привет. Подготовили краткий обзор статьи про странности LLM при простых запросах.

Существует два широко известных эффекта в мире LLM.

🔸Один из них – воронка внимания (attention sink): эффект, при котором первый токен в последовательности получает «большее внимание» (значение функции активации), чем остальные. Причём это проявляется не только на первом слое трансформерной архитектуры.
🔸Другой эффект – странное поведение языковых моделей на последовательностях с повторяющимися токенами или на задачах, в которых LLM просят просто повторить заданное слово. В таких случаях модель часто выдаёт странный ответ или раскрывает часть обучающей выборки. Последнее может быть критичным с точки зрения конфиденциальности.

В своей работе авторы показывают, что оба данных эффекта тесно взаимосвязаны: плохо предсказуемое поведение LLM на последовательностях с повторяющимися токенами возникает по тем же причинам, что и воронка внимания.

Детали

Авторы эмпирически исследуют активации нейронной сети для последовательностей с повторяющимися токенами и первого токена в обычных предложениях. Из численных экспериментов делают вывод о том, что эти паттерны похожи, поэтому механизм, в целом, одинаковый. Свой вывод они подтверждают теоремой, которая говорит, что эмбеддинги последовательности, в которой этот токен повторяется n раз, стремится к представлению одиночного токена при n, стремящемся к бесконечности.

Помимо этого, авторы предлагают патч, который позволяет нормализовать работу LLM на последовательностях с повторяющимися токенами. Главным достоинством данного патча является то, что он не сильно портит результаты модели на других задачах. Последнее подтверждается численными экспериментами: метрики упали не более чем на 3%, а в некоторых случаях даже возросли.

Результаты

Основных результата два:
🔸воронка внимания – одна из ключевых причин аномалий при обработке последовательностей с повторяющимися токенами;
🔸патч, который частично решает проблему без существенного проседания метрик на других задачах.

Важно, что, по мнению авторов, они первые в мире, кто это осознал и опубликовал вышеупонятую связь.

Авторы статьи заявляют, что предложенный ими метод впервые позволил частично расшифровать внутренние механизмы работы больших языковых моделей (LLM), благодаря чему была выявлена взаимосвязь между двумя ключевыми паттернами функционирования LLM.

Они подчеркивают важность интерпретируемости и планируют дальше развивать свою работу в этом направлении.

🔹Что думаете по поводу работы? Сталкивались ли вы с похожими эффектами? С какими аномалиями в работе с LLM вы сталкивались?

Предыдущие обзоры статей с ICML от команды AI VK:

🔸Высокопроизводительные трансформеры на базе MatMuls;
🔸Проблемы оценки качества наборов данных для графового машинного обучения;
🔸Метод HSPI — определение железа и ПО по поведению ML-модели.


#ICML #обзорстатьи

✔️ В ChatGPT для macOS появился режим записи и транскрипции.

OpenAI добавила Record mode для подписчиков ChatGPT Plus, использующих десктопное приложение на macOS. Инструмент позволяет записывать до 120 минут аудио, например, встречи, мозговые штурмы или голосовые заметки. По окончании записи ChatGPT автоматически создает редактируемое резюме на специальном холсте внутри приложения.
OpenAI в сети X

✔️ Google запускает ИИ-функцию, которая сама обзванивает компании от имени пользователя.

Google начала развертывание в США новой функции на базе ИИ, которая позволяет поиску самостоятельно обзванивать местные компании для сбора информации. Теперь при поиске услуг пользователь сможет нажать на специальную кнопку, чтобы ИИ уточнил цены и свободное время. Для этого система задаст несколько уточняющих вопросов, после чего совершит звонок.

Google говорит, что при каждом вызове система представляется как автоматизированный ассистент от имени пользователя. Новая функция доступна для всех пользователей в США, для подписчиков планов AI Pro и AI Ultra предусмотрены увеличенные лимиты этой функции.
techcrunch.com

✔️ Microsoft научила Copilot видеть и анализировать все, что происходит на экране.

Microsoft выпустила для участников программы Windows Insiders обновление Copilot Vision, которое позволяет ИИ-ассистенту сканировать и анализировать весь рабочий стол или окно конкретного приложения. Ранее эта функция могла работать только с двумя приложениями одновременно.

По заявлению Microsoft, новая возможность позволит пользователям получать подсказки и рекомендации в режиме реального времени. Например, можно попросить Copilot помочь с улучшением резюме, дать совет по творческому проекту или даже подсказать, что делать в новой игре.
blogs.windows.com

✔️ Человек обошел ИИ от OpenAI в финале соревнования по программированию AtCoder.

В эвристическом дивизионе финала мирового чемпионата AtCoder победу одержал человек, выступавший под ником FakePsyho. Он сумел опередить систему от OpenAI, которая лидировала большую часть дня и в итоге заняла 2 место среди 12 финалистов. Победа была одержана в последние 80 минут соревнования.

AtCoder World Finals Heuristic Test - это престижный конкурс по решению сложных задач оптимизации (NP-hard). В отличие от традиционных олимпиад, здесь требуется найти не единственно верный, а наилучший приближенный ответ за ограниченное время.
atcoder.jp

✔️ Цукерберг анонсировал строительство ЦОД для ИИ размером с Манхэттен.

Марк Цукерберг рассказал, что в ближайшем будущем его компания построит несколько гигантских дата-центров. По его словам, первый из них, проект «Prometheus», будет запущен в 2026 году, а другой, «Hyperion», в перспективе сможет масштабироваться до мощности в 5 гигаватт.

Цукерберг подчеркнул масштаб планов, заявив, что только один из строящихся кластеров «покроет значительную часть площади Манхэттена». Он также сослался на отчет SemiAnalysis, согласно которому гигант соцсетей станет первой ИИ-лабораторией, которая введет в эксплуатацию суперкластер мощностью более 1 ГВт.
theguardian.com

@ai_machinelearning_big_data

#news #ai #ml