⚡️ 6 файлов - это все что нужно для архитектуры Llama 3.1

Andrej Кarpathy в репозитории на Github запушил проект nano-llama31.

nano-llama31 - то же самое, что nanoGPT для GPT-2. То есть, это минимальная, свободная от зависимостей реализация архитектуры Llama 3.1, и она может очень просто обучать, настраивать и делать выводы. Это сравнимо с официальным выпуском кода от Meta и реализацией huggingface, которые имеют более сильные зависимости и гораздо больший объем кода.

Это еще пока очень ранний проект. Сейчас он требует довольно много VRAM, например, только обучение RMSNorm все еще занимает ощутимую часть моего 80-гигабайтного GPU. (c) автора

Планы:

🟢удалить лишнее, сделать красиво;
🟢сделать finetuning более полнофункциональным, более похожим на nanoGPT (смешанная точность, DDP, свистелки, лампочки и т.д.)
🟢добавить поддержку Chat model inference и finetuning, а не только Base model
🟢подумать про поддержку для Llama 3 models > 8B
🟢разобраться с варнингом по deprecated set_default_tensor_type

git clone https://github.com/meta-llama/llama-models.git

▪ Github

@data_analysis_ml

👩‍💻 FlexAttention: The Flexibility of PyTorch with the Performance of FlashAttention

Единый API, который может реализовать широкий спектр разных вариантов внимания всего несколькими строками кода ,с помощью определяемой пользователем функции "score_mod" (causal mask, AliBi, sliding window, ), которая изменяет оценку перед softmax.

Api реализован на чистом коде на Python со стороны пользователя, но скомпилирован таким образом, что почти так же быстродействен, как от ядро Triton!

https://pytorch.org/blog/flexattention/

@data_analysis_ml