Pixtral - 12B мультимодальная модель от Mistral
Моделька понимает картинки, пока есть только веса, никаких результатов бенчей или тестов нет. Скорее всего, она основана на NeMo - параметры конфига совпадают. Вот только ещё добавили энкодер для картинок на 24 слоя.
Что модель делает вообще? Эта модель для того чтобы чатиться с картинками и задавать по ним вопросы. Обычный мистраль умеет только текст понимать.
Конфиг:
Веса на HF
@ai_newz
Моделька понимает картинки, пока есть только веса, никаких результатов бенчей или тестов нет. Скорее всего, она основана на NeMo - параметры конфига совпадают. Вот только ещё добавили энкодер для картинок на 24 слоя.
Что модель делает вообще? Эта модель для того чтобы чатиться с картинками и задавать по ним вопросы. Обычный мистраль умеет только текст понимать.
Конфиг:
{
"dim": 5120,
"n_layers": 40,
"head_dim": 128,
"hidden_dim": 14336,
"n_heads": 32,
"n_kv_heads": 8,
"rope_theta": 1000000000.0,
"norm_eps": 1e-05,
"vocab_size": 131072,
"vision_encoder": {
"hidden_size": 1024,
"num_channels": 3,
"image_size": 1024,
"patch_size": 16,
"rope_theta": 10000.0,
"intermediate_size": 4096,
"num_hidden_layers": 24,
"num_attention_heads": 16,
"image_token_id": 10
}
}magnet:?xt=urn:btih:7278e625de2b1da598b23954c13933047126238a&dn=pixtral-12b-240910&tr=udp%3A%2F%https://2Ftracker.opentrackr.org%3A1337%2Fannounce&tr=udp%3A%2F%https://2Fopen.demonii.com%3A1337%2Fannounce&tr=http%3A%2F%https://2Ftracker.ipv6tracker.org%3A80%2FannounceВеса на HF
@ai_newz
🔥80👍25😍11❤5🦄1
После предыдущего стрима про карьеру и учебу в AI мне в личку написало очень много людей со своими вопросами. Так как в личке всем развернуто ответить сложно, я решил провести еще один стрим на тему учебы в Европе и того, что нужно для роли AI Scientist / AI Engineer в FAANG.
📌 Стрим будет завтра (12 сентября) с 16:00 до 17:00 CET.
На этот раз я пригласил на стрим еще двух ребят (Настю и Никиту). Мы с ними обсудим учебу в Германии, Франции и Великобритании и наш опыт из первых рук.
Настя училась на бакалавриате и в магистратуре в Karlsruhe Institute of Technology (KIT) в Германии. Никита учился в магистратуре École Polytechnique во Франции, и на PhD в Лондоне на совместной программе между Meta и Oxford University. Ну, а про меня вы знаете.
Темы стрима:
- Поговорим про различные роли в AI: Research Scientist, Research Engineer, ML Engineer, Data Scientist. Чем они отличаются, и что для них нужно знать и уметь.
- Про PhD, магистратуру и бакалавриат в разных странах Европы и чем они отличаются.
- Про PhD программу внутри Meta в Лондоне и Париже, и как туда попасть студенту.
- Про собеседования и поиск работы в AI.
Как всегда, пишите в комментах свои вопросы, в конце стрима я отвечу на самые интересные.
Сохраняйте дату себе в календарь: инвайт.
Увидимся завтра!
@ai_newz
На этот раз я пригласил на стрим еще двух ребят (Настю и Никиту). Мы с ними обсудим учебу в Германии, Франции и Великобритании и наш опыт из первых рук.
Настя училась на бакалавриате и в магистратуре в Karlsruhe Institute of Technology (KIT) в Германии. Никита учился в магистратуре École Polytechnique во Франции, и на PhD в Лондоне на совместной программе между Meta и Oxford University. Ну, а про меня вы знаете.
Темы стрима:
- Поговорим про различные роли в AI: Research Scientist, Research Engineer, ML Engineer, Data Scientist. Чем они отличаются, и что для них нужно знать и уметь.
- Про PhD, магистратуру и бакалавриат в разных странах Европы и чем они отличаются.
- Про PhD программу внутри Meta в Лондоне и Париже, и как туда попасть студенту.
- Про собеседования и поиск работы в AI.
Как всегда, пишите в комментах свои вопросы, в конце стрима я отвечу на самые интересные.
Сохраняйте дату себе в календарь: инвайт.
Увидимся завтра!
@ai_newz
Please open Telegram to view this post
VIEW IN TELEGRAM
❤75👍27🔥11😁6⚡4🦄3🤩1
В гонке быстрого инференса новый участник
SambaNova запустили Llama 3.1: 405B на подтверждённой скорости в 132 токена в секунду, 70B - на скорости 461 токен в секунду и 8B - на скорости 1066 токенов в секунду. Это всё в bf16, без квантизации. На лидерборде Artificial Analysis у SambaNova точность 405B выше всех других провайдеров, но с моделями поменьше не всё так радужно.
Я потестил их инференс, скорость и правда очень высокая - у меня 405B выдавала от 110 до 124 токенов в секунду, что очень близко к заявленным числам. 8B доходила до 1100 токенов в секунду, а вот 70B, хоть и выдавала до 466 в секунду на пике (в твиттере стартап вообще заявлял скорость до 570 в секунду), но у части запросов скорость была аж в два раза меньше.
Цена 405B - $5/mt на вход и $10/mt на выход. Есть на рынке провайдеры и подешевле, но они все запускают модель с уменьшенной точностью.
API уже доступно разработчикам для теста. Бесплатно, но с очень низкими лимитами. Возможность платить за API добавят позже.
Попробовать можно тут
Предыдущий пост из серии про быстрый инференс: тык.
@ai_newz
SambaNova запустили Llama 3.1: 405B на подтверждённой скорости в 132 токена в секунду, 70B - на скорости 461 токен в секунду и 8B - на скорости 1066 токенов в секунду. Это всё в bf16, без квантизации. На лидерборде Artificial Analysis у SambaNova точность 405B выше всех других провайдеров, но с моделями поменьше не всё так радужно.
Я потестил их инференс, скорость и правда очень высокая - у меня 405B выдавала от 110 до 124 токенов в секунду, что очень близко к заявленным числам. 8B доходила до 1100 токенов в секунду, а вот 70B, хоть и выдавала до 466 в секунду на пике (в твиттере стартап вообще заявлял скорость до 570 в секунду), но у части запросов скорость была аж в два раза меньше.
Цена 405B - $5/mt на вход и $10/mt на выход. Есть на рынке провайдеры и подешевле, но они все запускают модель с уменьшенной точностью.
API уже доступно разработчикам для теста. Бесплатно, но с очень низкими лимитами. Возможность платить за API добавят позже.
Попробовать можно тут
Предыдущий пост из серии про быстрый инференс: тык.
@ai_newz
6👍58❤🔥6❤6🔥2⚡1
эйай ньюз
После предыдущего стрима про карьеру и учебу в AI мне в личку написало очень много людей со своими вопросами. Так как в личке всем развернуто ответить сложно, я решил провести еще один стрим на тему учебы в Европе и того, что нужно для роли AI Scientist /…
Начинаем стрим через 3 минуты! Подключайтесь!
Вопросы можно писать под этим постом.
Вопросы можно писать под этим постом.
❤16❤🔥3💯3
o1 - новая моделька от OpenAI, та самая 🍓
Основной прорыв - научили модель скейлить инференс компьют через CoT, чем больше компьюта - тем лучше результаты. Инференс выходит дорогущим, но результаты сильно лучше.
Доступ дают всем подписчикам ChatGPT и девам 5 тира (те кто потратили больше $1k на API). Подписчикам будут давать по 30 сообщений с o1 и 50 сообщений с o1-mini в неделю.
https://openai.com/index/learning-to-reason-with-llms/
@ai_newz
Основной прорыв - научили модель скейлить инференс компьют через CoT, чем больше компьюта - тем лучше результаты. Инференс выходит дорогущим, но результаты сильно лучше.
Доступ дают всем подписчикам ChatGPT и девам 5 тира (те кто потратили больше $1k на API). Подписчикам будут давать по 30 сообщений с o1 и 50 сообщений с o1-mini в неделю.
https://openai.com/index/learning-to-reason-with-llms/
@ai_newz
👍73🔥44❤14🦄4❤🔥3😁2
Наткнулся в Твиттере на шикарную визуализацию LLM. Как выяснилось, ей уже целый год, но для новичков это все ещё полезная штука.
Кроме красивой 3D-модельки, здесь еще подробный гайд по работе каждого элемента, как говорит автор, до каждого "сложить и умножить".
По архитектурам там есть GPT-2, nanoGPT, GPT-2 XL, ну и GPT-3.
Ссылочка на визуализацию
@ai_newz
Кроме красивой 3D-модельки, здесь еще подробный гайд по работе каждого элемента, как говорит автор, до каждого "сложить и умножить".
По архитектурам там есть GPT-2, nanoGPT, GPT-2 XL, ну и GPT-3.
Ссылочка на визуализацию
@ai_newz
7🔥231👍40❤16🤩8💯4
WebGPU puzzles
Если всегда было интересно, как работать с GPU, но вы не знали с чего начать, то принёс вам занятие на субботний вечер - WebGPU Puzzles. Это небольшой курс задачек, вдохновлённый оригинальными GPU Puzzles, но работает прямо в браузере! Несмотря на браузер, скорость молниеносная - всё компилится и запускается за долю секунды после каждого нажатия клавиши. Из минусов - пока поддерживается только Chrome.
Возможным это стало из-за gpu.cpp - библиотеки поверх WebGPU, упрощающей работу с компьютом. Answer AI с момента основания только и занимается тем, что создаёт такие мелочи, упрощающие жизнь. Они первыми заставили QLora работать с FSDP, а недавно выпустили FastHTML - фреймворк для создания небольших веб-приложений на чистом Python, хорошая альтернатива Gradio.
https://gpupuzzles.answer.ai/
@ai_newz
Если всегда было интересно, как работать с GPU, но вы не знали с чего начать, то принёс вам занятие на субботний вечер - WebGPU Puzzles. Это небольшой курс задачек, вдохновлённый оригинальными GPU Puzzles, но работает прямо в браузере! Несмотря на браузер, скорость молниеносная - всё компилится и запускается за долю секунды после каждого нажатия клавиши. Из минусов - пока поддерживается только Chrome.
Возможным это стало из-за gpu.cpp - библиотеки поверх WebGPU, упрощающей работу с компьютом. Answer AI с момента основания только и занимается тем, что создаёт такие мелочи, упрощающие жизнь. Они первыми заставили QLora работать с FSDP, а недавно выпустили FastHTML - фреймворк для создания небольших веб-приложений на чистом Python, хорошая альтернатива Gradio.
https://gpupuzzles.answer.ai/
@ai_newz
3🤩80👍50❤19🔥8❤🔥1
This media is not supported in your browser
VIEW IN TELEGRAM
Смотрите что делают с фортнайтом в новом video to video режиме Runway GEN-3. На обычных десктопах в риалтайме это вряд-ли будет работать в ближайший год-два, но когда доускоряем... В геймдеве станет очень жарко, особенно когда такое будет доступно на консолях.
В посте ниже накидал еще, там есть пример того, как это реально можно применять в дешёвом продакшене. Соскрапил с твиттера, конечно же : )
@ai_newz
В посте ниже накидал еще, там есть пример того, как это реально можно применять в дешёвом продакшене. Соскрапил с твиттера, конечно же : )
@ai_newz
❤97🤯50🔥25👍10🦄2
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
Media is too big
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
Ещё примеры video2video. Мой любимый 5-й: там чуваки вырезали из картона болванки и неплохо так их оживили + за смекалку.
Все же реактировать готовое видео – это гораздо более простая задача, чем генерить его по текстовому описанию с нуля.
Когда на вход дают видео, то там есть уже готовый реалистичный моушен и глобальная геометрия. Нужно только частично поменять, как оно рендерится, либо отредактировать только лишь какую-то часть видео. Думаю, что такие модели гораздо раньше найдут реальное применение в киноиндустрии чем text2video.
@ai_newz
Все же реактировать готовое видео – это гораздо более простая задача, чем генерить его по текстовому описанию с нуля.
Когда на вход дают видео, то там есть уже готовый реалистичный моушен и глобальная геометрия. Нужно только частично поменять, как оно рендерится, либо отредактировать только лишь какую-то часть видео. Думаю, что такие модели гораздо раньше найдут реальное применение в киноиндустрии чем text2video.
@ai_newz
1🔥121👍32❤14🤩2😍2🦄1