Признавайтесь, у кого тут 4 гига, 4 ядра?

На той неделе Google представила решение для разработчиков, столкнувшихся с проблемой нехватки GPU для обучения языковых моделей. Компания выпустила открытый набор инструментов localllm, позволяющий запускать квантованные языковые модели локально на процессоре и в Workstations — полностью управляемой среде разработки Google Cloud.

Если у вас возник вопрос, а что за сущность вообще эти квантованные языковые модели, то вот вам ответ — это оптимизированные модели искусственного интеллекта, предназначенные для работы на устройствах с ограниченными вычислительными ресурсами.

Подробная документация, примеры кода и инструкции по настройке ищите в этом репозитории.

#localllm #llm #инструмент