Llama 3: передовая открытая языковая модель

Представлена Llama 3 - новое поколение мощных открытых языковых моделей с 8 и 70 миллиардами параметров.
Цель - создать лучшие открытые модели, сравнимые с ведущими проприетарными решениями.
Улучшения: усовершенствованный токенизатор, групповое внимание запросов (GQA), обучение на длинных последовательностях.
Обучение на более 15 триллионах токенов, включая данные на 30+ языках, с масштабированием на 24576 ГПУ H100.
Применена инструкционная настройка с управляемой тонкой настройкой и оптимизацией политики.
Внедрена система ответственного развертывания с инструментами безопасности и доверия.
Llama 3 доступна на всех основных платформах, включая облачных провайдеров и API.
Планируется выпуск более крупных моделей Llama 3 с мультимодальностью, мультиязычностью и длинным контекстным окном.

https://huggingface.co/collections/meta-llama/meta-llama-3-66214712577ca38149ebb2b6

https://llama3.replicate.dev/

Теперь нужно железо, которое это вытащит

#Llama3 #OpenSource #LLM
-------
@tsingular

NVIDIA форсирует Llama 3

NVIDIA оптимизировала свои платформы для ускорения Llama 3.

Llama 3 обучалась на кластере с 24 576 GPU NVIDIA H100 Tensor Core. Планируется масштабирование до 350 000 GPU H100.

Новые версии Llama 3 доступны в облаке, ЦОД, на периферии и ПК.

Разработчики могут опробовать Llama 3 через ai.nvidia.com.
Бизнес может настраивать модель с помощью NVIDIA NeMo.

Llama 3 работает как на NVIDIA Jetson Orin для роботов и периферийных устройств, так и на GPU NVIDIA RTX.

Сервер NVIDIA HGX с 8 GPU H200 может обслуживать более 2400 пользователей одновременно.

Llama3 в Nvidia Orin - это значит можно уже делать очень разумных роботов самостоятельно.
(Llama 3 8B generated up to 40 tokens/second on Jetson AGX Orin)

#Llama3 #NVIDIA #acceleration
-------
@tsingular

В общем, чтобы попробовать Llama 3 локально без регистрации, смс и VPN достаточно лишь...

обновить LM Studio или скачать, если вы ещё не.
https://lmstudio.ai/

дальше в поиске моделей забиваете
lmstudio llama 3
и качаете на что хватит видеокарты.

результаты вполне приличные для локальной модели.

#LMStuidio #Llama3
———
@tsingular

Когда-то давным-давно, по меркам Сингулярности (в ту пятницу), Лламу3 прокачали до 160К контекста.
Теперь, за выходные, те же товарищи разогнали её до 1 млн.

ОДИН МИЛЛИОН КОНТЕКСТА НА ОТКРЫТОЙ МОДЕЛИ!!!"!1111

https://huggingface.co/gradientai/Llama-3-8B-Instruct-Gradient-1048k

Минут на обучение потрачено - 87

есть GGUF и квант на 4бита.

Забавно, что в мире сразу кормят их логами и исходными кодами, а мы в первую очередь заставляем пересказать Войну и Мир :)
Полное собрание сочинений В.И. Ленина туда-же на очереди.


#GradientAI #Llama3 #Inctruct
———
@tsingular

Llama3 с нуля: гайд от Андрея Карпатый

Пошаговая реализация модели Llama3 с подробрым разбором токенизации, создания слоёв, матричного умножения, загрузки тензоров, эмбеддингов, расчёта ключей, фокуса внимания, ротационного позиционирования и всего, что необходимо что бы получить универсальный ответ на главный вопрос о жизни, вселенной и всем таком.

Для тех, кто хочет разобраться как оно всё устроено под капотом в картинках - must read! 🧙‍♂️🔮

#Llama3 #Karpathy #guide
-------
@tsingular

Новые бенчи Llama выглядят интересно.
Особенно 3.1 версии на 70b и 8b
С 405b все понятно. Но не у каждого найдётся терабайт видеооперативки.

https://llama.meta.com/

#llama3
------
@tsingular

ну поехали
ollama run llama3.1:8b-instruct-fp16

#ollama #llama3.1
———
@tsingular

Загнал в бесплатного бота @ai_gptfreebot
ollama llama 3.3 70B 42Gb версию.

Пришлось ради этого выключить генератор картинок.
Поиск оставил.

Но зато все могут попробовать новую модель на 2х4090.

В понедельник верну картинки и переключу обратно на gemma2:27b

А пока, - развлекайтесь :)

#llama3-3 #ollama #freeGPTbot
———
@tsingular