Интересно, а если взять несколько песен а капелла и сделать файнтюн для xtts, сможет ли она запеть? 🤯 Или просто начнёт галлюцинировать? 😁

Сижу себе спокойно кодю с llama-code под xtts, и тут она выдает про неэтичность клонирования голоса отказывается кодить дальше 🤯. Вот для этого и нужны локалки.

Спойлер, мне удалось сократить время до первого слова в xtts с 0.50s до 0.15s - будет пушка.

Upd: полное время от голосового запроса до видео-ответа сократил до 1.60s. Почти победа. (на видео выше было 3.00s)

Добавил поддержку wav2lip в talk-llama-fast. Код выложил. Гайд по установке и видео - завтра-послезавтра. Пришлось перелопатить silly-tavern-extras, wav2lip, xtts-api-server, tts.

Полная задержка от голосовой команды до видео всего 1.5 секунды! На русском чуть-чуть побольше (там токенов больше).

Talk-llama-fast с поддержкой wav2lip:

- добавил поддержку XTTSv2 и wav-streaming.
- добавил липсинк с видео через wav2lip-streaming.
- уменьшил задержки везде где только мог.
- русский язык и UTF-8.
- поддержка множественных персонажей.
- отстановка генерации при обнаружении речи.
- команды: Google, стоп, переделай, удали всё, позови.

Под капотом:
- STT: whisper.cpp large
- LLM: Mistral-7B-v0.2-Q5_0.gguf
- TTS: XTTSv2 wav-streaming
- lipsync: wav2lip-streaming
- Google: langchain google-serp

Работает на 3060 12 GB,
Nvidia на 8 GB, скорее всего, тоже хватит.

Из-за записи экрана есть небольшие задержки.
Без записи и на английском языке полная задержка от голосовой команды до видео ответа - всего 1.5 секунды!

Код, exe, инструкция:
https://github.com/Mozer/talk-llama-fast

@tensorbanana

На ютубе видео попало в рекомендации. Набрало 1000 просмотров за пару часов. 🤯

Апдейт: 11 тысяч просмотров и 1000 лайков 😱

Ещё апдейт: 104 тысячи просмотров. Следующая цель - миллион 😁

https://www.youtube.com/watch?v=ciyEsZpzbM8

Там Сбер свою мультимодалку на мистрале-7b выпустил: OmniFusion-1.1. Пишут, что на русском умеет болтать о картинках. Неквантованная весит 15 гигов (квантанул бы кто). Интересно, как у нее с русским языком в режиме "без картинок", может для РП даже подойдет.

UPD: квантанул в gguf q5, запустил в свежем кобольде, работает. Как ее запустить в кобольде с картинками нативно, я не знаю. Но можно подложить mmproj от llava в кобольде в GUI на вкладке model files: https://huggingface.co/koboldcpp/mmproj/blob/main/mistral-7b-mmproj-v1.5-Q4_1.gguf

По ощущениям: текстовое общение - мистраль обычный, ничего нового, те же косяки, что и у оригинала. По картинкам - я пока не понял, какой лучше формат промпта использовать на русском языке. Иногда хорошо описывает, иногда хуже. gguf залил на hf.

код: https://github.com/AIRI-Institute/OmniFusion
веса: https://huggingface.co/AIRI-Institute/OmniFusion/tree/main/OmniMistral-v1_1
gguf: https://huggingface.co/Ftfyhh/OmniFusion-1.1-gguf
хабр: https://habr.com/ru/companies/airi/articles/806277/

English demo for talk-llama-fast v0.1.3 https://youtu.be/ORDfSG4ltD4

Инструкция (на английском) и exe: https://github.com/Mozer/talk-llama-fast
Видео-инструкция на русском: https://youtu.be/0MEZ84uH4-E
Минимальные требования: 16 GB RAM + Nvidia 6 GB VRAM
Рекомендуемые: 12 GB VRAM
На Radeon из коробки не работает (надо допиливать)
OS: Windows 10, 11 (для Mac или Linux надо допиливать)
По умолчанию встроены персонажи Курт и Анна. Остальных - создавайте сами
Чат: https://t.iss.one/+zFDiHuL1iVA1YWMy

Подписчик поделился приложением Call Annie (iOS, Android). Свободно болтает на английском. На других языках понимает, но отвечает все равно на английском. Есть несколько аватаров. Базовый функционал бесплатно, остальное платно (пока не понял, что именно платно). Задержка ответа - 2.5 секунды ( у talk-llama-fast 1.5-2 секунды).

Пока не понял что у нее под капотом - слишком быстро отвечает для chatGPT.
Ссылку давать не буду, сами найдете в Гугл плей и App store, конкурент всё таки 😁

Свежий релиз talk-llama-fast v0.1.4

Если кратко - то жрет на 0.6 GB меньше VRAM и стартовый промпт без ограничений. Полное описание - на странице релиза. Качаем, меняем старый exe на новый. В параметрах менять ничего не нужно, все по умолчанию настроено.

https://github.com/Mozer/talk-llama-fast/releases/tag/0.1.4

llama-3 gguf
Затестил Meta-Llama-3-8B.Q5_0.gguf в кобольде - полет нормальный. Русский лучше чем в мистрале, но хуже чем в вихре. Инстракт версия проявила себя чуть лучше базовой версии. На интеллект на русском пока не оценивал.

llama-3-8b base: https://huggingface.co/QuantFactory/Meta-Llama-3-8B-GGUF/tree/main
llama-3-8b instruct: https://huggingface.co/QuantFactory/Meta-Llama-3-8B-Instruct-GGUF/tree/main
llama-3-70b instruct: https://huggingface.co/MaziyarPanahi/Meta-Llama-3-70B-Instruct-GGUF

Сравнение трех Вихрей-7b и Llama-3-8b

Затестил все три версии вихря и ламу-3 в роулплее на русском с контекстом 2048.

Лучшим на русском оказался v0.2 - может работать на высоких температурах (0.75) почти без языковых ошибок. 0.3 версия хуже второй, но лучше первой. 3 версию сам квантанул и залил в q5 и q8 на hf. Если позволяет vram качаем vikhr-7b-instruct_0.2.Q6_K.gguf, если нет, то квант поменьше.
Себе взял vikhr-7b-instruct_0.2.Q5_0.gguf на температурах 0.50-0.75. На 12 гигах vram влазит с whisper medium и 3000 контекста в talk-llama-fast.

UPD: Лама-3 показала себя неплохо на русском. Лучше мистраля, но хуже вихря (делает больше языковых ошибок). На интеллект на русском и следование карточке персонажа надо отдельно проверять. Инстракт версия проявила себя чуть лучше базовой версии ламы-3.

https://huggingface.co/s3nh/Vikhr-7b-0.1-GGUF/tree/main
https://huggingface.co/pirbis/Vikhr-7B-instruct_0.2-GGUF/tree/main
https://huggingface.co/Ftfyhh/Vikhr-7b-0.3-GGUF/tree/main

Квантанул большого и среднего виспера в q4_0, до этого было q5_0 и на HF встречал только q5_0.

Качество распознования на русском осталось плюс-минус таким же, зато потребление VRAM сократилось на 200 MB для large и на 100 MB для medium. Там же лежат large-v2 и large-v3, особого отличия между этими версиями я не заметил, качайте v3 если память позволяет.

Сравнение VRAM с загруженной Meta-Llama-3-8B-Instruct.Q5_0.gguf и 2048 контекста.
виспер VRAM, GB
medium_q4_0 7.7 стало
medium_q5_0 7.8 было

large_v3_q4_0 8.7 стало
large_v3_q5_0 8.9 было

Хотел вообще в q2/q3 квантануть, но Герганов еще не реализовал поддержку q2/q3/qK на cuda для виспера.

https://huggingface.co/Ftfyhh/whisper-ggml-q4_0-models/tree/main

Добавил поддержку символов переноса строки в стоп-слова.

Пример использования (стоп слова разделены точкой с запятой): --stop-words "Alexej:;---;assistant;===;**;Note:;\n\n;\r\n\r\n;\begin;\end;###; (;["

Третья лама очень любит выходить за рамки шаблона диалога и делать ремарки от "слов автора", поэтому засунул все ее попытки в стоп-слова в примере выше. Еще пока есть ощущение, что base версия лучше держится в рамках диалога с несколькими персонажами чем instruct версия, но надо больше тестов для ясности. На русском у меня с ней пока совсем не сложилось, вихрь лучше.

Новый номер релиза делать не стал, просто перекачайте exe из v0.1.4.

https://github.com/Mozer/talk-llama-fast/releases/tag/0.1.4

Там вихря-7B в телеграм бот завернули. Хз какую именно версию, но отвечает на русском неплохо. @vikhrbot

UPD: В комментариях пишут, что там llama3-70b, а не вихрь (надо проверить как-нибудь через хитрый промпт).

Microsoft выложила веса самой маленькой модельки phi-3-mini-3.8B. Остальные веса (7B и 14B) все еще ждем. В моих тестах на русском роулплее mini показала себя не очень. Даже при температуре 0.20 много ошибок. На английском - еще не тестил. Есть две версии модели с контекстом на 4096 и на 128k токенов. Судя по описанию, 4k должна быть чуть умнее чем 128k.

С другой стороны, существуют ли другие модели меньше 7B, которые хоть как-то могут говорить по-русски?

Разные гуфы: https://huggingface.co/models?search=phi-3-mini-gguf

Новый релиз talk-llama-fast v0.1.5.

Добавил:
- поддержку текстового ввода с клавиатуры (теперь микрофон не обязателен);
- горячие клавиши: Стоп(Ctrl+Space), Переделай(Ctrl+Right), Удали(Ctrl+Delete), Удали всё(Ctrl+R);
- баги и баг фиксы.

https://github.com/Mozer/talk-llama-fast/releases/tag/0.1.5