Large Language Models (in 2023)

Large models of today will be Small models in only a few years
— Hyung Won Chung, OpenAI

Наткнулся на 45-минутное выступление сотрудника OpenAI, в прошлом — Google Brain. Интересно, что это первый автор статьи Scaling Instruction-Finetuned Language Models (от Google), в которой и обучаются большие языковые модели, и делается попытка обучения следования инструкциям. Крутой-опытный чувак, в общем, и вот теперь он (с несколькими коллегами, лол) в OpenAI.

Тезисы:
1️⃣ Обычно люди привыкли жить в мире, где аксиомы, лежащие в основе их области, не меняются. Однако сейчас "аксиомой" в мире больших языковых моделей просто является самая лучшая LLM (например, GPT-4). Какие-то вещи можно попробовать накрутить поверх модели, они не получатся, но это не значит, что через 5 лет с GPT-6 это не заработает — потому что поменяется база. Вообще, к почти любому утверждению логично добавлять "пока что". Не "модель не может X", а "модель не может делать X ПОКА ЧТО".

2️⃣ Я как-то недавно пришёл к этому тезису, очень рад, что сотрудники OpenAI его разделяют: всё, что делается сейчас, надо документировать и, самое главное, оставлять в таком виде, чтобы в будущем можно было вернуться и очень быстро воспроизвести и перепроверить. Вдруг что-то не работало сейчас, но заработает в будущем? Те же AI-агенты — им не хватает навыков планирования и декомпозиции, но сама концепция "давайте дадим LLM память, доступ в интернет и возможность писать код, а затем поставим задачу" — офигенная.

3️⃣ 11:55 - 24:03 на пальцах объясняет как работает data/model parallelism, и для чего он нужен. Если интересно с технической точки зрения немного углубиться — можно глянуть.

4️⃣ Hyung считает, что целевая функция (в данный момент — Maximum Likelihood для предтренировки LLM) является бутылочным горлышком в достижении масштабов, условно, 10000x GPT-4. В рамках развития машинного обучения вещи, которые мы проектировали вручную, становились все более ненужными и ограничивающими (есть даже шутка, что каждый раз, когда из Google-переводчика увольняли лингвистов, то качество вырастало).
Но мы все еще разрабатываем функции потерь для обучения вручную. Выучиваемая функции с помощью отдельных алгоритмов, в понимании лектора, это следующая парадигма, к которой мы должны прийти, и она будет гораздо более масштабируемой. Сейчас шаг обучения RLHF с RM-моделированием (что это? смотрите мою лекцию) — это своего рода попытка сделать нечто подобное, но увы, пока всё изучено слабо и работает не на максимум.

И ещё один набор тезисов от Dario Amodei, CEO Anthropic, из вот этого подкаста. Выписал для вас 5 самых интересных тезисов из двухчасового видео.

1️⃣ Отвечая на вопрос про бизнесы и продукты вокруг LLM, Dario дал следующий совет: "Лучше фокусироваться на том, что модели не могут делать сегодня. Скажем, они справляются лишь в 40% случаев. Это, вероятно, означает, что через год-два они смогут давать правильное решение в 80-90% случаев. Поэтому имейте доверие и совершите прыжок веры, в надежде на такое улучшение, и разрабатывайте продукт с оглядкой на прогресс." А если бизнес клевый — можно вообще делать партнерство с Anthropic, и увеличивать шансы того, что это станет правдой (ибо они включат ваши задачи в свою выборку).

2️⃣ Одно из (частично) неудавшихся предсказаний Dario — сразу после GPT-2 он думал, что модели преобразуют в агентов и придумают, как обучать их через Reinforcement Learning, как это было с Dota 2, Го, Starcraft. Однако оказалось, что компании просто продолжать вливать больше денег в вычислительные мощности и увеличивать нейронки, так как это самые низковисящие фрукты, которые легко сорвать. Вероятно, сам этап ещё впереди, просто Dario ожидал другую последовательность развития технологии.

3️⃣ Воу, а вот это инсайд. На дежурный вопрос "а не прекратится ли дальнейшее масштабирование из-за отсутствия данных?" Amodei дал свой обычный ответ: "По разным причинам я не думаю, что это произойдет в ближайшее время, ну, может 10% дам. В интернете много публично доступных данных, если внимательно посмотреть по углам, даже не обращаясь к лицензированным и закопирайченным данным".
А вот дальше он сказал, что есть разные многообещающие подходы, и он не будет вдаваться в подробности, НО ВОТ СОЗДАНИЕ СИНТЕТИЧЕСКИХ ДАННЫХ! Об этом они, мол, много думали, и скорее всего другие LLM-компании тоже исследуют направление. Никогда раньше, даже в подкастах 2-3 недельной давности, он этого уточнения не делал.
Также он добавил, что пока не доказано, что это будет работать на том масштабе, на котором мы хотим (типа можно ли взять модель на 1T параметров, сгенерировать высококачественные данные, и на этом обучать модель на 10T параметров, чтобы она была лучше исходной).

4️⃣ Предсказание от Dario: в 2024м с точки зрения как самых положительных, так и самых негативных сценариев (разработка био-оружия, etc.) с LLMками ничего радикального не произойдет. Модели просто станут существенно лучше в глазах потребителей, и все будут приятно удивлены прогрессу за полтора-два года (с выхода ChatGPT). Бизнесы и стартаперы начнут ещё больше адаптировать их под свои нужды. Наша будничная жизнь не изменится. Но вот в 2025м, может 2026м, намечаются реальные изменения.

5️⃣ Затронули тему интерпретируемости LLM, Amodei пофлексил, что они вот сейчас выпустят одну работу (Towards Monosemanticity: Decomposing Language Models With Dictionary Learning, разбора на канале нет, но блогпост оформлен очень сочно!), и там они показывают хороший прогресс в понимании отдельных нейронов в сети, и что он очень оптимистичен и ожидает прикладных результатов в течение 2-3 лет. Потенциально, дальнейшее развитие поможет с улучшением AI Safety.