Превратите любой авторегресcивный LLM в диффузионную языковую модель.

dLLM — это Python-библиотека, которая объединяет обучение и оценку diffusion-LM.
С её помощью можно превратить любой авторегресcивный LLM в diffusion-LM с минимальными вычислительными затратами.

Проект полностью open source. 👌

Почему это важно:

Классические авторегресcивные модели генерируют текст слева направо, по одному токену за раз.

Диффузионные модели работают иначе » они итеративно уточняют всю последовательность целиком.

В итоге:

- больше контроля над качеством генерации
- гибкое редактирование текста
- меньше ограничений, связанных с порядком генерации

👉 @PythonPortal

А что если можно ускорить Python в 37 раз одной строкой кода?

Медленные Python-функции в больших кодовых базах страшно оптимизировать. Можно попробовать Numba или Cython, но Numba в основном работает только с числовым кодом и NumPy-массивами.

Можно пойти в Cython, но там нужны .pyx-файлы, аннотации типов и сборка. По факту это часы рефакторинга, прежде чем ты вообще увидишь прирост. 😬

Codon решает это одной строкой: декоратор codon.jit компилирует твой Python прямо в машинный код.

Ключевые плюсы:
• Работает с любым Python-кодом, не только с NumPy
• Аннотации типов не нужны, типы выводятся автоматически
• Скомпилированные функции кэшируются и потом вызываются мгновенно
• Никаких изменений в коде, кроме добавления декоратора

Выше реальные замеры производительности:
• Чистый Python: 0.240 с
• Первый вызов Codon: 0.324 с (разовая компиляция)
• Повторные вызовы Codon: 0.006 с (ускорение в 37 раз)

Ссылка на репозиторий: https://bit.ly/4q8SW3q
Запустите этот код: https://bit.ly/492cz6D

👉 @PythonPortal

Игра "Tennis for Two", созданная в 1958 году физиком Уильямом Хигинботэмом , которую часто называют первой видеоигрой, в которой для интерактивного игрового процесса использовался осциллограф

👉 @PythonPortal

ИТ-специалисты, слушающие, как не-ИТ-специалисты говорят о компьютерах

👉 @PythonPortal

Дорожная карта AI-ML с нуля

👉 @PythonPortal

8 Ключевых Концепций DDD

👉 @PythonPortal

1 грамм микросхемы RAM стоит дороже, чем 1 грамм 16-каратного золота.

👉 @PythonPortal

«Да, я программист, как ты догадался?»

Как он стоит:

👉 @PythonPortal

Извлечение структурированных данных из анкет пациентов с помощью DSPy и CocoIndex.

Получай чистые, типизированные структурированные данные прямо из PDF с валидацией через Pydantic.

Читать гид: начать

👉 @PythonPortal

Проекты на PyTorch

Плейлист, который помогает изучать PyTorch через работу над продвинутыми проектами.

👉 @PythonPortal

AI-компании фиксируют, что около 300 ТБ музыки было публично «заархивировано».

👉 @PythonPortal

В Source Control в VS Code теперь отображаются Git stash’и

Скрытые stash’и наконец-то стали нормально управляемыми.😁

👉 @PythonPortal

ML-инженерам: NVIDIA выпустила гайд для новичков по fine-tuning LLM с помощью Unsloth.

В гайде разбирают:

- методы обучения: LoRA, FFT, RL
- когда и зачем делать fine-tuning, реальные use-case’ы
- сколько данных и VRAM требуется
- как обучать локально на DGX Spark, RTX-видеокартах и не только

Гайд: https://blogs.nvidia.com/blog/rtx-ai-garage-fine-tuning-unsloth-dgx-spark/

👉 @PythonPortal

😭

👉 @PythonPortal