OpenAI запускает Realtime API: революция в мультимодальных приложениях

OpenAI представила публичную бета-версию Realtime API, обеспечивающего создание мультимодальных приложений с низкой задержкой.

Ключевые особенности включают WebSocket-соединения, потоковую передачу аудио, обработку прерываний и вызов функций.

API работает на модели GPT-4o, позволяя распознавать речь, обрабатывать текст и синтезировать речь в едином интерфейсе.

Тарифы:
текст - $5/1М входных и $20/1М выходных токенов;
аудио - $100/1М входных и $200/1М выходных токенов. ($0.06 за минуту входа и $0.24 за минуту генерации)

Доступен в OpenAI Playground.
Планируется добавление поддержки изображений, видео и дальнейшее расширение возможностей SDK.

Готовимся переписывать агентов - с async на websocket.
Интерактивное общение - новый стандарт.

#OpenAI #RealtimeAPI #GPT4o
———
@tsingular

Работа с realtime API.

Впечатляющая демка как можно работать с ИИ через АПИ реального времени.

Сам фреймворк на питоне крутится локально, дистанционно идут вызовы OpenAI RealtimeAPI.

Можно уже пилить своих "Джарвисов"/Алис/Гигачатов голосовых и т.д.
Ну и в принципе любое управление голосом.
Скачали фреймворк, подключили апи и вперёд.

#demo #realtimeapi #openai
———
@tsingular