Extreme Compression of Large Language Models via Additive Quantization

Продолжаем разбирать статьи с ICML. AQLM от Yandex Research — это квантизация, позволяющая вместить 70B модель в консьюмерскую карточку вроде 3090/4090, при этом сохраняя в среднем 95% качества.

Вышло настолько сильно сжать путём использование Additive Quantization - каждый вектор выражается через сумму нескольких других. Работает это в 4 стадии:

1️⃣ Через лучевой поиск находят сочетание векторов из codebook для каждого квантизируемого вектора.

2️⃣ Codebook оптимизируется с помощью Adam.

3️⃣ Тюнят каждый трансформеный блок, чтобы его компоненты могли работать вместе (оптимизация отдельный слоёв блока и самого блока - слегка разные вещи).

4️⃣ С ростом количества токенов на параметр, квантизация становится сложнее. Поэтому для квантизации Llama 3 тюнинга лишь блоков по отдельности стало недостаточно, пришлось тюнить всю модель. Для этого придумали PV-tuning, на замену STE, используемому в обычных методах экстремальной квантизации. Метод сложный, про него есть отдельный пейпер, так что о нём как-то в другой раз.

Результат выходит лучше или на уровне QuIP#, прошлой SOTA техники. Ещё большое достижение тут в достижении Парето-оптимальности модели при квантизации до двух бит: теперь квантизированная до 2 бит 13B модель показывает лучше результаты даже чем полностью несжатая 7B, нечего уже говорить о квантизированной до 4 бит.

Ждём Llama 3.1 405B, квантизированную таким методом (так она сможет влезть в 2xA100, 1xH200 или 6x4090). А пока что есть квантизированные веса кучи моделей: оригинальная Llama 2/3, Mixtral, Command R и т.д.

Квантизированные веса
Пейпер
Код

> Если хотите получше разобраться с базой по квантизации, то вот ликбез курс от Эндрю Ына.

@ai_newz