Large Language Models (in 2023)

Large models of today will be Small models in only a few years
— Hyung Won Chung, OpenAI

Наткнулся на 45-минутное выступление сотрудника OpenAI, в прошлом — Google Brain. Интересно, что это первый автор статьи Scaling Instruction-Finetuned Language Models (от Google), в которой и обучаются большие языковые модели, и делается попытка обучения следования инструкциям. Крутой-опытный чувак, в общем, и вот теперь он (с несколькими коллегами, лол) в OpenAI.

Тезисы:
1️⃣ Обычно люди привыкли жить в мире, где аксиомы, лежащие в основе их области, не меняются. Однако сейчас "аксиомой" в мире больших языковых моделей просто является самая лучшая LLM (например, GPT-4). Какие-то вещи можно попробовать накрутить поверх модели, они не получатся, но это не значит, что через 5 лет с GPT-6 это не заработает — потому что поменяется база. Вообще, к почти любому утверждению логично добавлять "пока что". Не "модель не может X", а "модель не может делать X ПОКА ЧТО".

2️⃣ Я как-то недавно пришёл к этому тезису, очень рад, что сотрудники OpenAI его разделяют: всё, что делается сейчас, надо документировать и, самое главное, оставлять в таком виде, чтобы в будущем можно было вернуться и очень быстро воспроизвести и перепроверить. Вдруг что-то не работало сейчас, но заработает в будущем? Те же AI-агенты — им не хватает навыков планирования и декомпозиции, но сама концепция "давайте дадим LLM память, доступ в интернет и возможность писать код, а затем поставим задачу" — офигенная.

3️⃣ 11:55 - 24:03 на пальцах объясняет как работает data/model parallelism, и для чего он нужен. Если интересно с технической точки зрения немного углубиться — можно глянуть.

4️⃣ Hyung считает, что целевая функция (в данный момент — Maximum Likelihood для предтренировки LLM) является бутылочным горлышком в достижении масштабов, условно, 10000x GPT-4. В рамках развития машинного обучения вещи, которые мы проектировали вручную, становились все более ненужными и ограничивающими (есть даже шутка, что каждый раз, когда из Google-переводчика увольняли лингвистов, то качество вырастало).
Но мы все еще разрабатываем функции потерь для обучения вручную. Выучиваемая функции с помощью отдельных алгоритмов, в понимании лектора, это следующая парадигма, к которой мы должны прийти, и она будет гораздо более масштабируемой. Сейчас шаг обучения RLHF с RM-моделированием (что это? смотрите мою лекцию) — это своего рода попытка сделать нечто подобное, но увы, пока всё изучено слабо и работает не на максимум.