🤖 Мы привыкли давать чат-боту запрос и тут же получать ответ. Но это — не единственный вариант работы с LLM. Например, в Yandex Cloud появился пакетный режим работы с LLM и VLM. Рассказываем, как этот и другие режимы помогают компаниям экономить на использовании нейросетей.

Асинхронный режим

В асинхронном режиме провайдер, например, Yandex Cloud или OpenAI, обрабатывает запрос не мгновенно, но предлагает за это большую скидку. В этом режиме провайдер возвращает вместо ответа идентификатор. По нему позже можно проверить статус и забрать готовый ответ — это может занять от нескольких минут до суток в зависимости от нагрузки серверов и правил конкретного провайдера.

Асинхронный режим подходит для анализа данных, оценки качества работы моделей и других задач, которые не требуют мгновенного ответа. Как правило, запросы в таком режиме обходятся в два раза дешевле.

Пакетный режим

Пакетный режим похож на асинхронный. Главное отличие в том, что в пакетном режиме нейросети отправляется не один запрос, а пакет, в котором могут быть собраны сотни и даже тысячи запросов. Например, это может быть классификация объектов в датасете или генерация описания товаров для интернет-магазина. Это удобнее, чем отправлять запросы по одному – к тому же, такие пакеты можно отправлять по расписанию, например, ежедневно или еженедельно.

Кеширование промтов

Кеширование промтов — это способ не платить дважды за одни и те же входные данные. Например, если нейросети нужно постоянно обращаться к большому документу или если у ассистента есть длинная системная инструкция для общения с пользователями.

После первой отправки повторяющаяся часть запроса кешируются, и при повторном использовании пользователь платит за её обработку лишь небольшую часть от обычной стоимости. Так, у Anthropic обработка закешированных частей запроса обходится в десять раз дешевле.

Ночные скидки

Главная причина, почему существуют асинхронные режимы заключается в том, что нагрузка на серверы провайдеров LLM неравномерна и может различаться в несколько раз в течение дня. В феврале DeepSeek анонсировал, что запросы к его моделям вне пиковых часов будут стоить до четырёх раз дешевле, потому что в это время сервера компании не загружены на 100%.

⭐️ Если у вас оформлен Telegram Premium, поддержите наш канал по ссылке

Больше о том, как технологии делают компании и их сотрудников более продуктивными, читайте в канале @yab2btech

🤔💬 Алиса научилась рассуждать. Теперь она может решать задачи поэтапно, превращая их в последовательность связанных между собой шагов. Разбираемся, для чего это нужно и когда режим рассуждений работает лучше всего.

Что это за режим?

В режиме рассуждений языковая модель не просто пишет ответ, а разбивает пользовательский запрос на несколько простых задач и решает их последовательно, проверяя себя на каждом этапе. Это сокращает количество ошибок и делает ответы точнее.

Как это устроено?

• Запрос пользователя обрабатывают с помощью технологий Алисы
• Затем запрос оптимизируют с помощью рефразера и превращают в промт для рассуждающей модели
• Промт отправляют в рассуждающую модель
• Модель строит цепочку рассуждений и выдает ответ, при этом ход ее мысли виден пользователю

Рассуждения надо читать?

Необязательно — можно просто дождаться финального ответа. Но это хороший способ понять, как рассуждает нейросеть. А если вы заметите ошибку, в следующем промте можно попросить скорректировать ее.

Когда надо включать режим рассуждений?

Этот режим подходит для:
• сложных вопросов без очевидного решения
• задач, требующих логических рассуждений (например, математических)
• создания стратегий и планов
• анализа противоречивых данных
• обработки больших объемов разрозненной информации.

Если нужен простой ответ, художественный текст, пересказ, обобщение материала или диалог с чат-ботом, режим рассуждений лучше отключить.

Где это попробовать?

В рассуждающей функции чата с Алисой пользователь может протестировать бета-версию новой YandexGPT 5 с режимом рассуждений. Также для теста доступна опенсорсная модель, интегрированная вместе с архитектурой и технологиями Алисы.

⭐️ Если у вас оформлен Telegram Premium, поддержите наш канал по ссылке

Подписывайтесь 👉 @techno_yandex