🧠 RamTorch: Эффективное использование памяти для глубокого обучения

RamTorch — это библиотека для PyTorch, оптимизирующая использование памяти при обучении и выводе больших моделей, которые не помещаются в память GPU. Она использует гибридные реализации компонентов нейронных сетей, храня параметры в памяти CPU и передавая их на GPU по мере необходимости.

🚀 Основные моменты:
- Эффективные линейные слои с хранением параметров на CPU
- Асинхронные CUDA потоки для минимизации задержек
- Поддержка оптимизатора ZeRO-1 для распределенного обучения
- Совместимость с существующим кодом PyTorch

📌 GitHub: https://github.com/lodestone-rock/RamTorch

#python