Game Assistant

Пишу себе на досуге голосового помощника для игр. Идея простая, всегда приятнее играть в компании товарища-задрота, который может подсказать по игре. Типа заходишь такой в абилити драфт в дотке, спрашиваешь как работают скиллы после патча, что с чем закомбинить, а он тебе выдает имбу.

Прототип написал за пару присестов. Далеко ходить не стал, для распознавания речи использую Whisper, для ответов GPT, для синтеза речи OpenAI text-to-speech.

На бекенде в ChatGPT зарядил задачи по написанию конфигов для GCP, Docker, Nginx. Самому оставалось только апишку накидать, и даже здесь мне помогал Copilot, который явно лучше меня знает FastAPI.

На фронте позвал товарища, который написал апку на Overwolf — аналог Electron.js, только с фичами для игр типа оверлея и доступа к данным.

На выходе получилось приложение под Windows, которому можно задавать вопросы в играх по нажатию push-to-talk хоткея. Ответ возвращает голосом + субтитрами поверх игры.

Поигравшись с прототипом 5 минут, стали очевидны следующие шаги:

- GPT-4 тратит по 20 сек на генерацию ответа, что вообще не user friendly, потому что пользователь в это время тупо ждёт. Повод посмотреть че там новенького в open source
- LLM допускает ошибки, например выдает неправильный урон или поведение из прошлых патчей. Повод прикрутить поиск по игровым wiki
- OpenAI TTS на русском языке звучит кринжово. Благо есть куча стартапов на эту тему, надо будет посмотреть аналоги

Самое приятное во всей истории с AI, LLM, ко-ко-ко, что за выходные успеваешь и прототип сделать, и в дотку покатать, вместо того чтобы документацию штудировать.

Will Smith зарофлил в тиктоке по поводу Sora и прогресса в text-to-video.

Между делом совершаю подходы к YouTube. Уже начинает получаться что-то похожее на правду, хотя геморрой с производством пока что перевешивает🫠

Через пару часов думаю подрубить стрим. Буду писать код, болтать за жизнь.

А чтобы не скучать, держите балдёжное видео про диффуры в доте.

https://youtu.be/1CC9NnX8AJo?si=Jf97i-XZZs3NAJ3P

Подрубаю рубрику "1 зритель". Код писать мне уже впадлу, поэтому буду играть в Dota 2.

Чат трансляции под этим постом.

Сейчас подрублю очередной спонтанный стрим. Потыкаюсь в код игрового ассистента. На фоне могу рассказать про поход в посольство сша.

Чат трансляции будет под этим постом.

Ускоряем Game Assistant

На выходных прикрутил стриминг из ChatGPT в Text-to-speech. UX ощутимо улучшился, теперь бот начинает произносить ответ через пару секунд после того, как пользователь задал вопрос, а не через 15 сек, как было раньше. Бывают моменты, когда он запинается, но для прототипа сойдет.

Теперь стоит вопрос, как соблюдать фактологическую точность. Например, на видео ассистент говорит, что 3-й скилл Queen of Pain наносит 410 урона, хотя на самом деле 300 (400 с талантом). Иногда модель ошибается и дает урон для других скиллов. Может давать описания механик из старых патчей и тд.

Комменты от опытных NLP'шников приветствуются.

Чет в голос, извините )))

Срач между Илоном Маском и OpenAI набирает обороты. Последние в ответ на иск выложили часть переписки в паблик

https://openai.com/blog/openai-elon-musk

С 2021 года не катался на BMX. А тут взял и раздал. Держу вас в курсе, не благодарите.