Раз уж в последнее время много говорим про ChatBot Arena, то грех было бы не упомянуть про новый бенчмарк от тех же авторов – Arena Hard v0.1. Суть в том, что хочется найти способ оценивать качество моделей без участия людей, вот и придумали новый бенчмарк, который аппроксимирует человеческую оценку – конечно не без предвзятости, т.к. используют GPT-4 для оценки моделей, но зато быстро!
Я собирался написать более детальный разбор, но увидел, что это сделал Игорь @seeallochnaya. Можно начинать читать отсюда https://t.iss.one/seeallochnaya/1345 и идти вниз по постам-картинкам.
И вообще, у Игоря на канале качественные посты про LLM, от их влияния на бизнес и до разбора передовых исследовательских статей. Пользуясь случаем, рекомендую вам подписаться — в прошлый раз советовал лекцию с рамках DataFest 2023, а уже совсем скоро, в конце мая, будет DataFest 2024. Игорь организует там целую секцию, и выступит с открывающим докладом - так что не пропустите!
@ai_newz
Я собирался написать более детальный разбор, но увидел, что это сделал Игорь @seeallochnaya. Можно начинать читать отсюда https://t.iss.one/seeallochnaya/1345 и идти вниз по постам-картинкам.
И вообще, у Игоря на канале качественные посты про LLM, от их влияния на бизнес и до разбора передовых исследовательских статей. Пользуясь случаем, рекомендую вам подписаться — в прошлый раз советовал лекцию с рамках DataFest 2023, а уже совсем скоро, в конце мая, будет DataFest 2024. Игорь организует там целую секцию, и выступит с открывающим докладом - так что не пропустите!
@ai_newz
Telegram
Сиолошная
Уже несколько раз писал про LMSYS Arena (из неё кстати убрали gpt2-chatbot 🥲) — место, где вы вслепую сравниваете два ответа LLM на ВАШ запрос, и по тысячам таких сравнений строится оценка, какая модель лучше. Если живые люди стабильно предпочитают одну модель…
Авторы ChatBot Arena, хотят её (частично) автоматизовать
Кажется на бенчмарке Arena Hard v0.1 останавливаться не собираются, и поэтому авторы ChatBot Arena проводят Kaggle конкурс на reward модель для RLHF. Нужно обучить модель, которая будет предсказывать, какой ответ LLM будет предпочтен человеком. Такую модель можно будет использовать и для улучшения качества ответов существующих моделей и для оценки ответов моделей как альтернатива человеческим голосам.
Автоматизация для обучения LLM сейчас есть лишь частичная потому что человеческие аннотации всё ещё нужны: (а) для генерации синтетических данных (б) для оценки их качества (в) на последних стадиях тюна синтетику используют поменьше.
Участникам даётся датасет на 55к примеров. Каждый пример состоит из: запроса, ответа двух нейронок и предпочтения человека. Победителя будут определять на тестовом сете в 25к примеров.
На конкурс выделили призовой фонд в $100k, который распределяют вот так:
🥇$25,000 за первое место
🥈$20,000 за 2-4 места
🥉$15,000 за 5 место
Соревнования на Kaggle это очень хорошее место для развития и во многом повлияли на мою карьеру (я в своё время был топ-45 на платформе).
Так что если хочешь участвовать - в комментах можно организоваться и найти себе команду
@ai_newz
Кажется на бенчмарке Arena Hard v0.1 останавливаться не собираются, и поэтому авторы ChatBot Arena проводят Kaggle конкурс на reward модель для RLHF. Нужно обучить модель, которая будет предсказывать, какой ответ LLM будет предпочтен человеком. Такую модель можно будет использовать и для улучшения качества ответов существующих моделей и для оценки ответов моделей как альтернатива человеческим голосам.
Автоматизация для обучения LLM сейчас есть лишь частичная потому что человеческие аннотации всё ещё нужны: (а) для генерации синтетических данных (б) для оценки их качества (в) на последних стадиях тюна синтетику используют поменьше.
Участникам даётся датасет на 55к примеров. Каждый пример состоит из: запроса, ответа двух нейронок и предпочтения человека. Победителя будут определять на тестовом сете в 25к примеров.
На конкурс выделили призовой фонд в $100k, который распределяют вот так:
🥇$25,000 за первое место
🥈$20,000 за 2-4 места
🥉$15,000 за 5 место
Соревнования на Kaggle это очень хорошее место для развития и во многом повлияли на мою карьеру (я в своё время был топ-45 на платформе).
Так что если хочешь участвовать - в комментах можно организоваться и найти себе команду
@ai_newz
Андрей Карпатый и комьюнити показывают чудеса продуктивности – за 3 недели проект из игрушки (https://t.iss.one/ai_newz/2557) превратился в настоящего зверя: добавили поддержку CUDA, FlashAttention, тренировку на нескольких видеокартах и кучу оптимизаций. Результат – llm.c тренирует GPT-2 на 46% быстрее чем текущий релиз PyTorch. Это возможно подстегнуло разрабов торча оптимизировать фреймворк и значительно сократить отставание - Nightly билды всего на 7% медленнее llm.c.
С большим функционалом код стал комплекснее, теперь там 3 тысячи строк кода и компилируется он заметно дольше изначальной секунды.
Несмотря на головокружительный прогресс нужно ещё много чего сделать:
* сейчас использование нескольких видеокарт лишь ускоряет тренировку, но размер модели всё ещё ограничен памятью одной видяхи
* подготовить кодбазу к полноценному воспроизведению GPT-2 (модели всех размеров на нормальном датасете)
* добавить поддержку моделей кроме GPT-2.
* ещё больше оптимизаций
Всё это на самом деле сложные задачи, но после наблюдения за темпами разработки у меня возникло впечатление что всё это мы увидим ещё в этом месяце.
https://github.com/karpathy/llm.c
@ai_newz
Please open Telegram to view this post
VIEW IN TELEGRAM
Media is too big
VIEW IN TELEGRAM
Вы только взгляните на эту красоту 🥹
Infinite Realities не только создают самые чёткие гаусианы (Gaussian Splats), но заставляют всё это в двигаться, да в реальном времени, да в 30 FPS.
Конечно, снять такое выйдет в копеечку, ведь использовалось 176 камер. Но для Голливуда — это не страшно. Только подумайте, какие будут спецэффекты!
Интересно, что теоретически такую штуку можно сделать и самостоятельно. Разработчики пишут (и, возможно, зря), что единственный кусок кода/пайплайна, которого нет в опенсорсе — это тот, что отвечает за компрессию и вывод картинки в реалтайме. Так что, если вы случайно ограбили фотомагазин, ничего не мешает попробовать повторить что-то подобное самостоятельно 😄👍
Подписчики, давайте на следующей сходке возьмём 100500 телефонов и заснимем такой приколдес!
@ai_newz
Infinite Realities не только создают самые чёткие гаусианы (Gaussian Splats), но заставляют всё это в двигаться, да в реальном времени, да в 30 FPS.
Конечно, снять такое выйдет в копеечку, ведь использовалось 176 камер. Но для Голливуда — это не страшно. Только подумайте, какие будут спецэффекты!
Интересно, что теоретически такую штуку можно сделать и самостоятельно. Разработчики пишут (и, возможно, зря), что единственный кусок кода/пайплайна, которого нет в опенсорсе — это тот, что отвечает за компрессию и вывод картинки в реалтайме. Так что, если вы случайно ограбили фотомагазин, ничего не мешает попробовать повторить что-то подобное самостоятельно 😄👍
Подписчики, давайте на следующей сходке возьмём 100500 телефонов и заснимем такой приколдес!
@ai_newz
Нейродайджест за неделю (#16)
1. Интересно знать
— Провел сходку в Кремниевой долине. Спасибо вам, подписчики, что вы такие крутые:)
— Борьба за хайп: большие и маленькие команды в ML. Размышления о месте малых групп в большом мире AI.
2. LLM
— Snowflake Arctic: Непрофильная компания создала LLM. Огромный объём, странная архитектура и предсказуемо средние результаты.
— Новый бенчмарк Arena Hard v0.1 для LLM. Поиск альтернатив человеческим оценкам.
— Автоматизация ChatBot Arena: Kaggle конкурс на создание RLHF модели, которая могла бы предсказать выбор человека.
— Ускоряем GPT-2 с llm.c. Треним ллм на рисоварке еще быстрее в новом релизе от Карпатого
3. Посмотреть глазами
— Прикольная визуализация изменений в рейтинге ChatBot Arena за год.
— Первый клип от Sora. Реальные возможности и ограничения детища Open AI.
— Самые чёткие Гауссовские сплаты, да в движении и в риалтайме.
> Читать дайджест #15
#дайджест
@ai_newz
1. Интересно знать
— Провел сходку в Кремниевой долине. Спасибо вам, подписчики, что вы такие крутые:)
— Борьба за хайп: большие и маленькие команды в ML. Размышления о месте малых групп в большом мире AI.
2. LLM
— Snowflake Arctic: Непрофильная компания создала LLM. Огромный объём, странная архитектура и предсказуемо средние результаты.
— Новый бенчмарк Arena Hard v0.1 для LLM. Поиск альтернатив человеческим оценкам.
— Автоматизация ChatBot Arena: Kaggle конкурс на создание RLHF модели, которая могла бы предсказать выбор человека.
— Ускоряем GPT-2 с llm.c. Треним ллм на рисоварке еще быстрее в новом релизе от Карпатого
3. Посмотреть глазами
— Прикольная визуализация изменений в рейтинге ChatBot Arena за год.
— Первый клип от Sora. Реальные возможности и ограничения детища Open AI.
— Самые чёткие Гауссовские сплаты, да в движении и в риалтайме.
> Читать дайджест #15
#дайджест
@ai_newz
Artificial Analysis собрали топ 100 LLM в одной таблице, чтобы можно было удобно выбрать свою ту самую💍 под свои задачи.
Выбираем по параметрам:
- Бенчмарки: Chatbot Arena, MMLU, HumanEval, Index of evals, MT-Bench.
- Стоимость: вход, выход, средняя
- Скорость в токенах/сек: median, P5, P25, P75, P95 (кто понял, тот понял).
- Задержка: median, P5, P25, P75, P95.
- Размер контекстного окна.
- Совместимость с библиотекой OpenAI.
Топ-1 из каждой категории:
- Бенчмарки: Claude 3 Opus, GPT-4 Turbo
- Стоимость: $0.06/1M токенов Llama 3 (8B) через API groq
- Скорость: 912.9 токенов/сек Llama 3 (8B) через API groq
- Задержка: 0.13s Mistral 7B через API baseten
- Размер контекстного окна: 1m Gemini 1.5 Pro
Сделали красиво.
Табличка на HF
Есть еще всякие графики
@ai_newz
This media is not supported in your browser
VIEW IN TELEGRAM
Заностальгировал на секунду. 🎮 Шок от осознания того, как сильно поменялись технологии за 25-30 лет.
Теперь уже даже кажется, что магнитные кассеты — это инопланетная технология забытой цивилизации (эх, жаль ллмки на них не покрутишь).
Кидайте свои олдскульные девайсы в комментарии.
@ai_newz
Теперь уже даже кажется, что магнитные кассеты — это инопланетная технология забытой цивилизации (эх, жаль ллмки на них не покрутишь).
Кидайте свои олдскульные девайсы в комментарии.
@ai_newz
Please open Telegram to view this post
VIEW IN TELEGRAM
Deepseek V2: топ за свои деньги
Что-то в опенсорс в последнее время попадает прям поток MoE моделей, вот и DeepSeek V2 из них. 236B параметров, из которых 21B - активных. По качеству - между Mixtral 8x22B и LLaMa 3 70B, но при этом в 2-4 раза дешевле этих моделей у самых дешёвых провайдеров, всего лишь 14 центов за млн токенов инпута и 28 за млн токенов на выход. Лицензия модели MIT, так что до конца недели будет штук пять разных провайдеров дешевле этого.
Главная особенность - Multi-Head Latent Attention (MLA). От обычного Multi-Head Attention (MHA) он отличается механизмом сжатия KV Cache, где он хранится как низкоранговая матрица, откуда и куда проецируется когда его нужно использовать или обновить. Из экспериментов, по качеству это работает лучше MHA, при этом используя в 4 раза меньше памяти чем обычные Grouped Query Attention конфиги. Из нюансов - авторам пришлось изобрести новый вариант RoPE чтобы это всё заработало, так как обычный RoPE такого количества линейных проекций туда и назад переживать решительно отказывается. Если честно, я не совсем понимаю почему это работает и почему нету абляций для dense моделей, но интересно как это будет сочетаться с квантизацией KV кэша.
Размер контекста - 128k. Тренировали это всё на 8 триллионах токенов в течении 1.5 миллиона часов на H800 (китайская версия H100). Это уровень компьюта тренировки LLaMa 3 8B и примерно в 3 раза больше чем у Snowflake Arctic.
У модели 162 эксперта, из которых 2 перманентно активные, а из остальных 160-ти на каждый токен выбирается 6. Хочу отметить что эксперты там крайне маленькие – у каждого размерность всего 1536.
Соотношение цены и качества прекрасное, если все подтвердится на ChatBot Arena.
Из минусов — размер. В BF16 для локального инференса нужно 8x A100 с 80GB VRAM. Вся надежда на квантизацию.
Демка
Пейпер
Базовая модель
Чат версия
@ai_newz
Что-то в опенсорс в последнее время попадает прям поток MoE моделей, вот и DeepSeek V2 из них. 236B параметров, из которых 21B - активных. По качеству - между Mixtral 8x22B и LLaMa 3 70B, но при этом в 2-4 раза дешевле этих моделей у самых дешёвых провайдеров, всего лишь 14 центов за млн токенов инпута и 28 за млн токенов на выход. Лицензия модели MIT, так что до конца недели будет штук пять разных провайдеров дешевле этого.
Главная особенность - Multi-Head Latent Attention (MLA). От обычного Multi-Head Attention (MHA) он отличается механизмом сжатия KV Cache, где он хранится как низкоранговая матрица, откуда и куда проецируется когда его нужно использовать или обновить. Из экспериментов, по качеству это работает лучше MHA, при этом используя в 4 раза меньше памяти чем обычные Grouped Query Attention конфиги. Из нюансов - авторам пришлось изобрести новый вариант RoPE чтобы это всё заработало, так как обычный RoPE такого количества линейных проекций туда и назад переживать решительно отказывается. Если честно, я не совсем понимаю почему это работает и почему нету абляций для dense моделей, но интересно как это будет сочетаться с квантизацией KV кэша.
Размер контекста - 128k. Тренировали это всё на 8 триллионах токенов в течении 1.5 миллиона часов на H800 (китайская версия H100). Это уровень компьюта тренировки LLaMa 3 8B и примерно в 3 раза больше чем у Snowflake Arctic.
У модели 162 эксперта, из которых 2 перманентно активные, а из остальных 160-ти на каждый токен выбирается 6. Хочу отметить что эксперты там крайне маленькие – у каждого размерность всего 1536.
Соотношение цены и качества прекрасное, если все подтвердится на ChatBot Arena.
Из минусов — размер. В BF16 для локального инференса нужно 8x A100 с 80GB VRAM. Вся надежда на квантизацию.
Демка
Пейпер
Базовая модель
Чат версия
@ai_newz
Первая собственная большая модель Microsoft, MAI-1, судя по репорту от The Information, уже тренируется. Хотят достигнуть уровня GPT-4 с 500B MoE моделькой.
Это, конечно, не модель на 1.8 трлн параметров, как у сильных мира сего, но тоже сойдёт.😼
В целом понятное желание перестать зависеть от OpenAI, особенно учитывая постоянный цирк с конями, который OpenAI устраивают: вот например, пока майки продают доступ к GPT на Azure, OpenAI напрямую работают с их конкурентами – Salesforces, в то время как бесплатно хостятся на Microsoft Azure.
Взлетит план или нет, мы узнаем скоро: тренировка закончится в этом месяце.
И это спустя всего месяц после того как Microsoft высосал кровь у стартапа Inflection AI и поставил его CEO, Мустафу Сулеймана, рулить Microsoft AI. С тех пор Мустафа, похоже, так хаслил, что даже перестал продвигать свою книжку. Зато начал косплеить Джобса.
В принципе шансы догнать гэпэтэ у них есть. У Microsoft на порядок больше ресурсов чем у Inflection, плюс в тренировке кроме датасетов Inflection используются синтетические датасеты Microsoft, вроде того что использовали для Phi-3.
Делайте ваши ставки, господа
@ai_newz
Это, конечно, не модель на 1.8 трлн параметров, как у сильных мира сего, но тоже сойдёт.
В целом понятное желание перестать зависеть от OpenAI, особенно учитывая постоянный цирк с конями, который OpenAI устраивают: вот например, пока майки продают доступ к GPT на Azure, OpenAI напрямую работают с их конкурентами – Salesforces, в то время как бесплатно хостятся на Microsoft Azure.
Взлетит план или нет, мы узнаем скоро: тренировка закончится в этом месяце.
И это спустя всего месяц после того как Microsoft высосал кровь у стартапа Inflection AI и поставил его CEO, Мустафу Сулеймана, рулить Microsoft AI. С тех пор Мустафа, похоже, так хаслил, что даже перестал продвигать свою книжку. Зато начал косплеить Джобса.
В принципе шансы догнать гэпэтэ у них есть. У Microsoft на порядок больше ресурсов чем у Inflection, плюс в тренировке кроме датасетов Inflection используются синтетические датасеты Microsoft, вроде того что использовали для Phi-3.
Делайте ваши ставки, господа
@ai_newz
Please open Telegram to view this post
VIEW IN TELEGRAM
Прикольный юзкейс видеомоделек. Оказывается, сгенерированные видео можно использовать для определения физических свойств объекта.
Ситуация такая:
У нас есть Gaussian Splatting какого-то нетвердого предмета. Мы хотим его потрогать (в VR, например), а для реализма добавить его, скажем так, колыхание. Значит, нужно как-то определить физические свойства этого предмета и включить его в физический движок.
Но вот незадача. Неизвестно сплаты чего у нас есть, и как они вели бы себя, будь они физическим объектом т.е. нужна его упругость, масса и пр. В случае классической 3D модельки, физические свойства предмета указываются вручную, а мы хотим все автоматизировать.
А парни из PhysDreamer нашли способ определить физические свойства и реалистично анимировать такие облака гауссиан.
Внимание... они анимируют по сути скриншот этого нечто (в данном случае цветка) с какого-то из ракурсов в SD Video, а затем, используя данные о том, как двигался этот цветочек в сгенерированном референс видео, определяют упругость материала в каждой его части (стебель, бутон, горшок) в виде градиента упругости (в статье это называют "material field"), см. картинки. Таким образом определяется на сколько должна колыхаться каждая гаусианка. Это позволяет ну очень реалистично анимировать случайное колебание целого объекта под внешним воздействием.
Гауссовские сплаты легко натеренить. Но минус их в том, что как работать с ними не понятно (с нерфами, например, тоже нелегко работать, а тут вообще облака полупрозрачных точек). И вот потихоньку учимся. Мб скоро и 3D-моделирование канет в лету, как и рисование, потому что все можно сгенерить. 🙂
Еще раз. Качающийся цветок на видео — это анимация, а не реальная видеозапись.
Пейпер
Гитхаб
@ai_newz
Ситуация такая:
У нас есть Gaussian Splatting какого-то нетвердого предмета. Мы хотим его потрогать (в VR, например), а для реализма добавить его, скажем так, колыхание. Значит, нужно как-то определить физические свойства этого предмета и включить его в физический движок.
Но вот незадача. Неизвестно сплаты чего у нас есть, и как они вели бы себя, будь они физическим объектом т.е. нужна его упругость, масса и пр. В случае классической 3D модельки, физические свойства предмета указываются вручную, а мы хотим все автоматизировать.
А парни из PhysDreamer нашли способ определить физические свойства и реалистично анимировать такие облака гауссиан.
Внимание... они анимируют по сути скриншот этого нечто (в данном случае цветка) с какого-то из ракурсов в SD Video, а затем, используя данные о том, как двигался этот цветочек в сгенерированном референс видео, определяют упругость материала в каждой его части (стебель, бутон, горшок) в виде градиента упругости (в статье это называют "material field"), см. картинки. Таким образом определяется на сколько должна колыхаться каждая гаусианка. Это позволяет ну очень реалистично анимировать случайное колебание целого объекта под внешним воздействием.
Гауссовские сплаты легко натеренить. Но минус их в том, что как работать с ними не понятно (с нерфами, например, тоже нелегко работать, а тут вообще облака полупрозрачных точек). И вот потихоньку учимся. Мб скоро и 3D-моделирование канет в лету, как и рисование, потому что все можно сгенерить. 🙂
Еще раз. Качающийся цветок на видео — это анимация, а не реальная видеозапись.
Пейпер
Гитхаб
@ai_newz
This media is not supported in your browser
VIEW IN TELEGRAM
ElevenLabs тизерит конкурента Suno
Пока есть только пара демо-треков, по первым впечатлениям - выносят Suno по качеству. И не удивительно - ElevenLabs лучше всех умеют в клонирование голоса, что, надеюсь, они прикрутят и сюда.
Главная проблема тут, как и со всей ИИ музыкой — копирайт. Если не понятно на чём модель тренировали, то при использовании в чём-либо серьёзном есть нехилые шансы нарваться на многомилионный иск, музыкальная индустрия их любит. Решается это лишь полным лицензированием трейнинг сета, что сделали пока что лишь для Stable Audio (которая не умеет генерить вокал).
Как вы думаете, когда увидим первые судебные иски?
@ai_newz
Пока есть только пара демо-треков, по первым впечатлениям - выносят Suno по качеству. И не удивительно - ElevenLabs лучше всех умеют в клонирование голоса, что, надеюсь, они прикрутят и сюда.
Главная проблема тут, как и со всей ИИ музыкой — копирайт. Если не понятно на чём модель тренировали, то при использовании в чём-либо серьёзном есть нехилые шансы нарваться на многомилионный иск, музыкальная индустрия их любит. Решается это лишь полным лицензированием трейнинг сета, что сделали пока что лишь для Stable Audio (которая не умеет генерить вокал).
Как вы думаете, когда увидим первые судебные иски?
@ai_newz
Сначала не обратил внимания на эту программулину. Но теперь очевидно, насколько это мощный инструмент.
IC Light выкатили обновление, которое позволяет матчить освещение двух картинок.
i.e. поместить предмет на фон и сделать так, чтобы свет на этот предмет падал в соответствии с освещением фоновой картинки.
Можно долго рассказывать про то, как на протяжении веков фотошоперы мучились и страдали от того, что не могли скомпозить две картинки из-за не совпадающего освещения. Но теперь вот вопрос решился ;)
Демо на обнимающем лице (пока без фоновой картинки)
GitHub
IC Light пока нет в a1111, но есть в ComfyUI
@ai_newz
IC Light выкатили обновление, которое позволяет матчить освещение двух картинок.
i.e. поместить предмет на фон и сделать так, чтобы свет на этот предмет падал в соответствии с освещением фоновой картинки.
Можно долго рассказывать про то, как на протяжении веков фотошоперы мучились и страдали от того, что не могли скомпозить две картинки из-за не совпадающего освещения. Но теперь вот вопрос решился ;)
Демо на обнимающем лице (пока без фоновой картинки)
GitHub
IC Light пока нет в a1111, но есть в ComfyUI
@ai_newz