О будущем LLM

Не знаю за ваши модные ку-стары, но вот некоторый набор уже практически фактов про LLM в перспективе месяцев:

1. GPT и LLaMa — это не продукты, а исследовательские проекты. Как только детали архитектуры, пайплайнов, датасетов станут ясны (экспериментальным путём), стоимость тренировки аналогичной модели упадет в разы, а скорее сотни раз. Вы сможете сделать претрейн специализированной модели за $10-100k, причем даже в распределенной среде.

2. То же самое с инференсом. За счет квантизации, MoD, оптимизации под edge девайсы и архитектуры ARM, TPU, NPU модели уровня 13-30В параметров можно будет запускать на телефонах.

3. За счет увеличения окна контекста до миллионов токенов, файнтьюнинг становится не так важен. Ты просто копируешь промт на 10-100 страниц со всей историей своей жизни или организации и получаешь персональную модель. Стоимость переключения с Зефира на Гермес, с Клода на Databricks становится ровно три клика и один копипаст.

4. Адаптивный роутинг. Приложения выбирают модели на лету, в зависимости от задачи. Модели выбирают инфраструктуру для вычислений на лету, в зависимости от спроса и предложения на железо в конкретный момент.

5. RAG не уйдет, а, наоборот, заменит в некоторой степени претрейнинг. Большие децентрализованные RAG датасеты на миллиарды или триллионы токенов будут просто «подсасывать» знания на лету, что позволит делать базовые еще тоньше, быстрее и запускать на микроволновке (quite literally).

Microsoft выпустила Phi-3

Моделька интересная и довольно умная, есть поддержка 128к контекста, запускается на айфоне со скоростью в 12 токенов в секунду. Я не сразу запостил, потому что у неё подозрительно хорошие результаты бенчмарков: mini (3.8B на 3.3 триллионах токенов) версия модели тягается с LLaMa 3 8B (15 триллионов токенов), а medium - с Mistral 8x22B Instruct. По поводу моделей семейства давно ходят шутки из-за того что их (возможно) тренируют на бенчмарках. Однако авторы заявляют, что такие высокие метрики — следствие их датасета, который лучше всех учит модельку размышлять. Через трое суток после релиза весов я все ещё жду проверки этой модели на ChatBot Arena, так как доверия к бенчмаркам нет. [UPD: появились результаты на арене]

Предыдущие модели семейства Phi тренировали на синтетических данных, тут же, большая часть датасета - данные из интернета. Тренируют в две стадии: первая - тренировка на сильно отфильтрованных данных. На второй стадии её, как и прошлые модели, тренируют на синтетических данных, но добавляют ещё более отфильтрованную примесь данных из интернета.

Авторы пытаются отсеять данные которые LLM такого размера и так вряд ли выучит, например результаты конкретных спортивных матчей. Назвали они это Data Optimal Regime, но у него есть заметный минус: после 7B параметров качество почти не растёт, 14B моделька очень недалеко ушла от 7B модели. Тут может быть две интерпретации: первая – из датасета убрали всё, что не может понять 3B моделька (то есть что-то такое, только для LLM), вторая – модель выучила все ответы на бенчмарки, что были в датасете и насытилась. Из-за этого, хоть в пейпере речь идёт о моделях трёх размеров: mini (3.8B), small (7B) и medium (14B), пока что релизнули только самую маленькую.

--
На видео, демонстрации инференса в fp16 на M3 Max:  Вход - 131.917 tps, Генерация- 43.387 tps. Бегает шустро, но можно сделать ещё быстрее.

А вы что думаете про Phi-3?

Technical report
4k версия модели
128k версия
Тут можно початиться с моделькой

@ai_newz

Появились результаты с арены: чуда не случилось, Phi-3 mini не догнала LLaMa 3 8B, но модель показала себя очень хорошо и вполне себе тягается с Mistral 7B. Вин (или слив?) засчитан.

@ai_newz

🔥Vidu — Китайцы забахали свою СОРУ!

Обучили нового конкурента Альтману в стартапчике Shengshu Technology и Университете Цинхуа.

Генерит видео до 16 секунд в 1080p. Если демо не фейк, то качество Vidu уже тупо в шаге от качества генерацией Соры.

Архитектура модели вроде как основана на U-ViT, которая похожа на Diffusion Transformer, что у Соры.

Если интересно, что за мозг за этим стоит, то вот гугл сколар профиль научрука, который руководил этим проектов.

Ждём больше подробностей про эту модель! Exciting!

Блогпост на китайском

Подать заявку на доступ можно тут

@ai_newz

Вчера провели шикарную сходку недалеко от Сан-Франциско, нас захостил у себя один замечательный человек, который тоже читает канал. Попозже расскажу про свои впечатления подробнее и скину фотки.

А сейчас еду в Сан-Франциско, и буду там гулять до вечера, так что если хотите пересечься — пингуйте!
@ai_newz

Нейродайджест за неделю (#15)

1. Хайлайты из US
- Вылетаю из Цюриха в Сан-Франциско для встреч с коллегами, ну и чтобы отметить успешнвй релиз Imagine Flash и LLaMa-3.
- Румтур по офису Мечты от Меты в Menlo Park, где работает несколько десятков тысяч человек.
    - О Сан-Франциско, и о сходке.

2. Роботехам стало скучно.
   - Огнедышащий робо-пес от Throwflame теперь доступен для покупки каждому психопату.
- Как развлекается кофаундер HuggingFace: создали робота Немо из г*ван, палок и трёх open-source LLM.

3. ЭйАй селебрити
- Марк Цукерберг кайфанул от Imagine Flash и почему-то задумался об открытии магазина мяса после ухода из Meta.
- Сэм Альтман выступил в Стэнфорде, таких очередей не видели даже в советском союзе.

4. ЛэЛэМэ
   - Microsoft выпустила Phi-3, новую модель с поддержкой 128K контекста. Я уже боялся, что она догонит Llama 8B, но чуда не произошло.
    - будущее LLM и что будет потом...
   - FineWeb - новый датасет чище, больше, круче! Все для претрейна моделей.
- OpenELM - Apple выпустили открытую LLM (с трейнинг кодом), по качеству такая себе, но важен сам факт.

5. Дегенеративные Видосы
- Vidu в шаге от Sora, китайским стартапом из универа Цинхуа наступает на пятки Open AI (если верить демке).
- Диффузионные модели для генерации видео – новый #ликбез от Lilian Weng, о текущих подходах.

> Читать дайджест #14

#дайджест
@ai_newz

Умельцы из твиттера сделали инфографику о том, как топ ChatBot Arena менялся за последний год.

Чат-гпт все ещё держится, но ей дышат в затылок. Конкуренция идёт серьезная. Посмотрим, есть ли у ClosedAI ещё козыри в рукаве.

Что такое ChatBot Arena – тут.

@ai_newz

Snowflake Arctic - непрофильная компания сделала LLM, результат предсказуем

Модель гигантская - 482 миллиарда параметров (больше из открытых разве только Switch Transformer 2021 года), и очень странная архитектурно - 10B Dense модель параллельно с которой засунули MoE FFN слои, в итоге это даёт 17 миллиардов активных параметров. Длина контекста - всего 4k токенов (даже 8k у LLaMa 3 сейчас считается маленькой), но обещают поднять до 32k.

Не смотря на огромные размеры, модель тренировали всего ~400k GPU часов. Это в три раза меньше LLaMa 3 8B, от которой она слегка отстаёт на большинстве общих бенчмарков, но слегка обходит на кодинге и следовании инструкциям. Пейпера нету, но тренировку обещали описать в серии постов, которая ещё публикуется.

Из-за огромного (128) количества экспертов, модель имеет смысл использовать только в энтерпрайзе с батчсайзом в тысячах. Единственный юзкейс который я смог придумать для себя - тесты железа на может ли оно запустить LLaMa 3 405B.

Модель
Демка
Блогпост
Серия постов с деталями тренировки

@ai_newz

Интересно, как в борьбе за хайп уживаются большие команды с мегатоннами вычислительной мощности, и те что поменьше, университетские группы и маленькие стартапы или компании с небольшими R&D отделами. Эту тему на своем примере подняли ребята из Tinkoff Research в недавнем интервью. Учитывая, что видеокарты не бесконечны, важнейший исследовательский трек для них — повышение эффективности моделей, и выбор неочевидных направлений, в которые копает чуть меньше групп, но которые, по их мнению, могут быть намного перспективнее.

И действительно, пока читаешь все эти пейперы и релизы, нет нет да замечаешь интересный, но казалось бы, очевидный паттерн. Небольшие исследовательские группы генерируют более креативные идеи. Особенно с точки зрения оптимизации. Что в конечном счете и крупным компаниям позволяет клепать модельки быстрее и лучше. А еще маленькие команды кажется чаще рады поделиться исходным кодом.

В мире AI сейчас доминируют технологические гиганты, такие как Google, Meta, OpenAI и DeepMind. У них есть огромные ресурсы - тысячи инженеров и исследователей, а тонны GPU для тренировки моделей с сотнями миллиардов параметров. Но значит ли это, что небольшим исследовательским группам и стартапам нечем заняться в AI? Вовсе нет!

C дивана мне в голову пришло сразу несколько направлений, где небольшие команды могут проявить себя и сделать значимый вклад:

- Тюнинг и адаптация открытых моделей вроде LLaMA, Stable Diffusion под конкретные прикладные задачи. Большие foundation модели дают отличную базу, но для многих реальных применений их нужно дообучать на специфичных данных.

- Дистилляция знаний (distillation) и сжатие моделей - позволяет уменьшить размер моделей в разы и даже на порядки без существенной потери качества. Это критично для многих сценариев использования AI на мобильных устройствах и в реальном времени.

- Исследование ошибок и уязвимостей больших моделей, разработка методов для их детекции и устранения. Даже лучшие модели вроде GPT-4 могут выдавать неверные факты, проявлять предвзятость, быть подвержены adversarial атакам. Здесь огромное поле для исследований.

- Разработка новых архитектур, механизмов внимания, техник обучения, которые позволяют эффективнее обучать модели. Яркий пример - техника chain-of-thought prompting, которая значительно улучшает способности LLM к рассуждению, при этом не требуя дообучения модели. Статья с ее описанием, уже набрала более 4500 цитирований! То есть не нужны тысячи видеокарт, чтобы создать что-то влиятельное.

- Применение AI в узких предметных областях, где нужна глубокая экспертиза в конкретной сфере - медицине, биологии, физике, экономике и т.д. Большие универсальные модели не всегда лучше работают, чем модели обученные на специфичных данных.

Есть немало примеров небольших групп, которые успешно конкурируют с гигантами индустрии. Например, парижский стартап Mistral, где изанчально было 3 человека (да, соглашусь, не совсем корректный пример, потому что компания подняла $115 млн в первые недели существования). Из близкого многим читателям, опять же, Tinkoff Research - команда из 12 человек (20 со студентами) в компании, которая никогда AI-ресерчем до этого не занималась, умудрилась опубликовать 4 статьи на NeurIPS 2023 (об одной из них писал тут). Или вот Midjourney с командой менее 50 человек (а инженеров и того меньше) создали и дальше двигают одну из лучших в мире технологий генерации изображений по тексту - восхищаюсь их результатами. Все благодаря фокусу на конкретной задаче и хитрым идеям.

Поэтому не стоит думать, что если у вас нет ресурсов тренировать гигантские модели, то вам нечем заняться в AI (я часто слышу такое от студентов, с которыми общаюсь). Наоборот, именно небольшие креативные команды зачастую делают прорывы и открывают новые направления, которые потом подхватывают большие компании. Главное - выбрать правильный фокус и упорно работать над решением важных проблем на стыке AI и конкретных предметных областей.

@ai_newz

​Раз уж в последнее время много говорим про ChatBot Arena, то грех было бы не упомянуть про новый бенчмарк от тех же авторов – Arena Hard v0.1. Суть в том, что хочется найти способ оценивать качество моделей без участия людей, вот и придумали новый бенчмарк, который аппроксимирует человеческую оценку – конечно не без предвзятости, т.к. используют GPT-4 для оценки моделей, но зато быстро!

Я собирался написать более детальный разбор, но увидел, что это сделал Игорь @seeallochnaya. Можно начинать читать отсюда https://t.iss.one/seeallochnaya/1345 и идти вниз по постам-картинкам.

И вообще, у Игоря на канале качественные посты про LLM, от их влияния на бизнес и до разбора передовых исследовательских статей. Пользуясь случаем, рекомендую вам подписаться — в прошлый раз советовал лекцию с рамках DataFest 2023, а уже совсем скоро, в конце мая, будет DataFest 2024. Игорь организует там целую секцию, и выступит с открывающим докладом - так что не пропустите!

@ai_newz