🤖 Мы привыкли давать чат-боту запрос и тут же получать ответ. Но это — не единственный вариант работы с LLM. Например, в Yandex Cloud появился пакетный режим работы с LLM и VLM. Рассказываем, как этот и другие режимы помогают компаниям экономить на использовании нейросетей.

Асинхронный режим

В асинхронном режиме провайдер, например, Yandex Cloud или OpenAI, обрабатывает запрос не мгновенно, но предлагает за это большую скидку. В этом режиме провайдер возвращает вместо ответа идентификатор. По нему позже можно проверить статус и забрать готовый ответ — это может занять от нескольких минут до суток в зависимости от нагрузки серверов и правил конкретного провайдера.

Асинхронный режим подходит для анализа данных, оценки качества работы моделей и других задач, которые не требуют мгновенного ответа. Как правило, запросы в таком режиме обходятся в два раза дешевле.

Пакетный режим

Пакетный режим похож на асинхронный. Главное отличие в том, что в пакетном режиме нейросети отправляется не один запрос, а пакет, в котором могут быть собраны сотни и даже тысячи запросов. Например, это может быть классификация объектов в датасете или генерация описания товаров для интернет-магазина. Это удобнее, чем отправлять запросы по одному – к тому же, такие пакеты можно отправлять по расписанию, например, ежедневно или еженедельно.

Кеширование промтов

Кеширование промтов — это способ не платить дважды за одни и те же входные данные. Например, если нейросети нужно постоянно обращаться к большому документу или если у ассистента есть длинная системная инструкция для общения с пользователями.

После первой отправки повторяющаяся часть запроса кешируются, и при повторном использовании пользователь платит за её обработку лишь небольшую часть от обычной стоимости. Так, у Anthropic обработка закешированных частей запроса обходится в десять раз дешевле.

Ночные скидки

Главная причина, почему существуют асинхронные режимы заключается в том, что нагрузка на серверы провайдеров LLM неравномерна и может различаться в несколько раз в течение дня. В феврале DeepSeek анонсировал, что запросы к его моделям вне пиковых часов будут стоить до четырёх раз дешевле, потому что в это время сервера компании не загружены на 100%.

⭐️ Если у вас оформлен Telegram Premium, поддержите наш канал по ссылке

Больше о том, как технологии делают компании и их сотрудников более продуктивными, читайте в канале @yab2btech