Превратите любой авторегресcивный LLM в диффузионную языковую модель.

dLLM — это Python-библиотека, которая объединяет обучение и оценку diffusion-LM.
С её помощью можно превратить любой авторегресcивный LLM в diffusion-LM с минимальными вычислительными затратами.

Проект полностью open source. 👌

Почему это важно:

Классические авторегресcивные модели генерируют текст слева направо, по одному токену за раз.

Диффузионные модели работают иначе » они итеративно уточняют всю последовательность целиком.

В итоге:

- больше контроля над качеством генерации
- гибкое редактирование текста
- меньше ограничений, связанных с порядком генерации

👉 @PythonPortal

А что если можно ускорить Python в 37 раз одной строкой кода?

Медленные Python-функции в больших кодовых базах страшно оптимизировать. Можно попробовать Numba или Cython, но Numba в основном работает только с числовым кодом и NumPy-массивами.

Можно пойти в Cython, но там нужны .pyx-файлы, аннотации типов и сборка. По факту это часы рефакторинга, прежде чем ты вообще увидишь прирост. 😬

Codon решает это одной строкой: декоратор codon.jit компилирует твой Python прямо в машинный код.

Ключевые плюсы:
• Работает с любым Python-кодом, не только с NumPy
• Аннотации типов не нужны, типы выводятся автоматически
• Скомпилированные функции кэшируются и потом вызываются мгновенно
• Никаких изменений в коде, кроме добавления декоратора

Выше реальные замеры производительности:
• Чистый Python: 0.240 с
• Первый вызов Codon: 0.324 с (разовая компиляция)
• Повторные вызовы Codon: 0.006 с (ускорение в 37 раз)

Ссылка на репозиторий: https://bit.ly/4q8SW3q
Запустите этот код: https://bit.ly/492cz6D

👉 @PythonPortal