Уроки с AWS: мульти-адаптерный LoRA оркестратор на SageMaker

Пример реализации конфигурации со множественными LoRA адаптерами на базе AWS через единое API SageMaker без необходимости перезагрузки endpoint.
Гибкая архитектура позволяет распределять нагрузку между GPU, CPU и локальными ресурсами.

Т.е. сначала мы динамически меняли промты под ситуацию, затем динамичный многокомпонентный RAG с доменными справочниками, теперь, вот пример с динамичным зоопарком LoRA адаптеров в виде готового фреймворка.

#SageMaker #LoRA #AWS #обучение
-------
@tsingular