Признавайтесь, у кого тут 4 гига, 4 ядра?

На той неделе Google представила решение для разработчиков, столкнувшихся с проблемой нехватки GPU для обучения языковых моделей. Компания выпустила открытый набор инструментов localllm, позволяющий запускать квантованные языковые модели локально на процессоре и в Workstations — полностью управляемой среде разработки Google Cloud.

Если у вас возник вопрос, а что за сущность вообще эти квантованные языковые модели, то вот вам ответ — это оптимизированные модели искусственного интеллекта, предназначенные для работы на устройствах с ограниченными вычислительными ресурсами.

Подробная документация, примеры кода и инструкции по настройке ищите в этом репозитории.

#localllm #llm #инструмент

Langfuse для трейсинга приложений LLM + LangChain

Создание и чтение трейсбека — довольно линейный процесс, если вы используете фреймворк. Однако если речь идёт о комбинации SDK, для каждого из них приходится дополнительно работать.

Langfuse — это своеобразный аналог Sentry для LLM-приложений. Создатели этого инструмента описали (на английском) процесс установки и настройки LF с примерами декратора @observe.

Цена: бесплатно

#llm #rag #инструмент

@neuro_channel