Game Assistant
Пишу себе на досуге голосового помощника для игр. Идея простая, всегда приятнее играть в компании товарища-задрота, который может подсказать по игре. Типа заходишь такой в абилити драфт в дотке, спрашиваешь как работают скиллы после патча, что с чем закомбинить, а он тебе выдает имбу.
Прототип написал за пару присестов. Далеко ходить не стал, для распознавания речи использую Whisper, для ответов GPT, для синтеза речи OpenAI text-to-speech.
На бекенде в ChatGPT зарядил задачи по написанию конфигов для GCP, Docker, Nginx. Самому оставалось только апишку накидать, и даже здесь мне помогал Copilot, который явно лучше меня знает FastAPI.
На фронте позвал товарища, который написал апку на Overwolf — аналог Electron.js, только с фичами для игр типа оверлея и доступа к данным.
На выходе получилось приложение под Windows, которому можно задавать вопросы в играх по нажатию push-to-talk хоткея. Ответ возвращает голосом + субтитрами поверх игры.
Поигравшись с прототипом 5 минут, стали очевидны следующие шаги:
- GPT-4 тратит по 20 сек на генерацию ответа, что вообще не user friendly, потому что пользователь в это время тупо ждёт. Повод посмотреть че там новенького в open source
- LLM допускает ошибки, например выдает неправильный урон или поведение из прошлых патчей. Повод прикрутить поиск по игровым wiki
- OpenAI TTS на русском языке звучит кринжово. Благо есть куча стартапов на эту тему, надо будет посмотреть аналоги
Самое приятное во всей истории с AI, LLM, ко-ко-ко, что за выходные успеваешь и прототип сделать, и в дотку покатать, вместо того чтобы документацию штудировать.
Пишу себе на досуге голосового помощника для игр. Идея простая, всегда приятнее играть в компании товарища-задрота, который может подсказать по игре. Типа заходишь такой в абилити драфт в дотке, спрашиваешь как работают скиллы после патча, что с чем закомбинить, а он тебе выдает имбу.
Прототип написал за пару присестов. Далеко ходить не стал, для распознавания речи использую Whisper, для ответов GPT, для синтеза речи OpenAI text-to-speech.
На бекенде в ChatGPT зарядил задачи по написанию конфигов для GCP, Docker, Nginx. Самому оставалось только апишку накидать, и даже здесь мне помогал Copilot, который явно лучше меня знает FastAPI.
На фронте позвал товарища, который написал апку на Overwolf — аналог Electron.js, только с фичами для игр типа оверлея и доступа к данным.
На выходе получилось приложение под Windows, которому можно задавать вопросы в играх по нажатию push-to-talk хоткея. Ответ возвращает голосом + субтитрами поверх игры.
Поигравшись с прототипом 5 минут, стали очевидны следующие шаги:
- GPT-4 тратит по 20 сек на генерацию ответа, что вообще не user friendly, потому что пользователь в это время тупо ждёт. Повод посмотреть че там новенького в open source
- LLM допускает ошибки, например выдает неправильный урон или поведение из прошлых патчей. Повод прикрутить поиск по игровым wiki
- OpenAI TTS на русском языке звучит кринжово. Благо есть куча стартапов на эту тему, надо будет посмотреть аналоги
Самое приятное во всей истории с AI, LLM, ко-ко-ко, что за выходные успеваешь и прототип сделать, и в дотку покатать, вместо того чтобы документацию штудировать.
👍5🔥3
This media is not supported in your browser
VIEW IN TELEGRAM
Will Smith зарофлил в тиктоке по поводу Sora и прогресса в text-to-video.
😁18👍2
Media is too big
VIEW IN TELEGRAM
Между делом совершаю подходы к YouTube. Уже начинает получаться что-то похожее на правду, хотя геморрой с производством пока что перевешивает🫠
🔥10👍4
This media is not supported in your browser
VIEW IN TELEGRAM
Субботний контент 👻
На видео юный охотник за приведениями (со звуком). Между вылазками любит приходить ко мне на колени и долбить по клавиатуре, чиста Copilot.
На видео юный охотник за приведениями (со звуком). Между вылазками любит приходить ко мне на колени и долбить по клавиатуре, чиста Copilot.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤7😁4🥰3👍1
Через пару часов думаю подрубить стрим. Буду писать код, болтать за жизнь.
А чтобы не скучать, держите балдёжное видео про диффуры в доте.
https://youtu.be/1CC9NnX8AJo?si=Jf97i-XZZs3NAJ3P
А чтобы не скучать, держите балдёжное видео про диффуры в доте.
https://youtu.be/1CC9NnX8AJo?si=Jf97i-XZZs3NAJ3P
YouTube
Шиз поясняет. Дифференциальные уравнения в Dota 2
В данном видео будет показано, как составлять дифференциальные уравнения на примере способности Midnight Pulse героя Enigma в видеоигре Dota 2. Также продемонстрировано, как решать линейные неоднородные дифференциальные уравнения первого порядка. Проведено…
❤3
Подрубаю рубрику "1 зритель". Код писать мне уже впадлу, поэтому буду играть в Dota 2.
Чат трансляции под этим постом.
Чат трансляции под этим постом.
Дмитрий Савостьянов Вещает
Game Assistant Пишу себе на досуге голосового помощника для игр. Идея простая, всегда приятнее играть в компании товарища-задрота, который может подсказать по игре. Типа заходишь такой в абилити драфт в дотке, спрашиваешь как работают скиллы после патча,…
Сейчас подрублю очередной спонтанный стрим. Потыкаюсь в код игрового ассистента. На фоне могу рассказать про поход в посольство сша.
Чат трансляции будет под этим постом.
Чат трансляции будет под этим постом.
Media is too big
VIEW IN TELEGRAM
Ускоряем Game Assistant
На выходных прикрутил стриминг из ChatGPT в Text-to-speech. UX ощутимо улучшился, теперь бот начинает произносить ответ через пару секунд после того, как пользователь задал вопрос, а не через 15 сек, как было раньше. Бывают моменты, когда он запинается, но для прототипа сойдет.
Теперь стоит вопрос, как соблюдать фактологическую точность. Например, на видео ассистент говорит, что 3-й скилл Queen of Pain наносит 410 урона, хотя на самом деле 300 (400 с талантом). Иногда модель ошибается и дает урон для других скиллов. Может давать описания механик из старых патчей и тд.
Комменты от опытных NLP'шников приветствуются.
На выходных прикрутил стриминг из ChatGPT в Text-to-speech. UX ощутимо улучшился, теперь бот начинает произносить ответ через пару секунд после того, как пользователь задал вопрос, а не через 15 сек, как было раньше. Бывают моменты, когда он запинается, но для прототипа сойдет.
Теперь стоит вопрос, как соблюдать фактологическую точность. Например, на видео ассистент говорит, что 3-й скилл Queen of Pain наносит 410 урона, хотя на самом деле 300 (400 с талантом). Иногда модель ошибается и дает урон для других скиллов. Может давать описания механик из старых патчей и тд.
Комменты от опытных NLP'шников приветствуются.
👍3
Forwarded from Сиолошная
Anthropic раскаляет AI-гонку, выпуская Claude 3 в трёх версиях: Opus, Sonnet, и Haiku.
На всех достаточно важных бенчмарках Opus показывают существенный прирост относительно GPT-4.
Opus, наша самая интеллектуальная модель, достигает возможностей понимания, близких к человеческому. Она может ловко обрабатывать широко сформулированные запросы и решать сложные задачи.
— Добавили новую модальность, модель принимает на вход картинки (а значит и видеоряд — как последовательность кадров)
— Лучше понимает языки, отличные от английского (в частности испанский, японский и фрацузский)
— Контекст всё еще 200к токенов
— Цена Opus $15/$75 за 1M токенов на вход и на выход соответственно. Для сравнения GPT-4-turbo стоит $10/$30
— Также обещают, что самая мощная модель имеет «more advanced agentic capabilities», что бы это ни значило :)
— Вдобавок, к модели подключили интерпретатор кода и возможность добавлять свои собственные инструменты
— Самый большой прирост метрик — на задачах, связанных с математикой. Даже без примеров в промпте модель показывает себя лучше, чем Gemini Ultra / GPT-4. Круто, если не переобучение, особенно в контексте того, что модели — НАПОМНЮ, ЭТО МНОГИЕ УПУСКАЮТ — будут использоваться для АВТОМАТИЗАЦИИ научных исследований.
Модели доступны по API сегодня всем, никакого листа ожидания больше нет. Для подписчиков Pro на сайте уже должна быть доступна модель Opus, а Sonet достанется бесплатным пользователям. Заходите: claude.ai
Ночью ждём релиза GPT-4.5 как симметричный ответ, видимо😐 Почему? Потому что релиз Арракиса (кодовое название проекта в OpenAI) отложили до выпуска Дюны 2 😀
На всех достаточно важных бенчмарках Opus показывают существенный прирост относительно GPT-4.
Opus, наша самая интеллектуальная модель, достигает возможностей понимания, близких к человеческому. Она может ловко обрабатывать широко сформулированные запросы и решать сложные задачи.
— Добавили новую модальность, модель принимает на вход картинки (а значит и видеоряд — как последовательность кадров)
— Лучше понимает языки, отличные от английского (в частности испанский, японский и фрацузский)
— Контекст всё еще 200к токенов
— Цена Opus $15/$75 за 1M токенов на вход и на выход соответственно. Для сравнения GPT-4-turbo стоит $10/$30
— Также обещают, что самая мощная модель имеет «more advanced agentic capabilities», что бы это ни значило :)
— Вдобавок, к модели подключили интерпретатор кода и возможность добавлять свои собственные инструменты
— Самый большой прирост метрик — на задачах, связанных с математикой. Даже без примеров в промпте модель показывает себя лучше, чем Gemini Ultra / GPT-4. Круто, если не переобучение, особенно в контексте того, что модели — НАПОМНЮ, ЭТО МНОГИЕ УПУСКАЮТ — будут использоваться для АВТОМАТИЗАЦИИ научных исследований.
Модели доступны по API сегодня всем, никакого листа ожидания больше нет. Для подписчиков Pro на сайте уже должна быть доступна модель Opus, а Sonet достанется бесплатным пользователям. Заходите: claude.ai
Ночью ждём релиза GPT-4.5 как симметричный ответ, видимо
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥6
Срач между Илоном Маском и OpenAI набирает обороты. Последние в ответ на иск выложили часть переписки в паблик
https://openai.com/blog/openai-elon-musk
https://openai.com/blog/openai-elon-musk
😁3
This media is not supported in your browser
VIEW IN TELEGRAM
С 2021 года не катался на BMX. А тут взял и раздал. Держу вас в курсе, не благодарите.
🔥33
This media is not supported in your browser
VIEW IN TELEGRAM
В Вильнюсе народ вышел погулять в воскресный полдень. Голосуют что ли против кого-то?😏
❤8🔥2👏1🖕1