Инструкция (на английском) и exe: https://github.com/Mozer/talk-llama-fast
Видео-инструкция на русском: https://youtu.be/0MEZ84uH4-E
Минимальные требования: 16 GB RAM + Nvidia 6 GB VRAM
Рекомендуемые: 12 GB VRAM
На Radeon из коробки не работает (надо допиливать)
OS: Windows 10, 11 (для Mac или Linux надо допиливать)
По умолчанию встроены персонажи Курт и Анна. Остальных - создавайте сами
Чат: https://t.iss.one/+zFDiHuL1iVA1YWMy

Подписчик поделился приложением Call Annie (iOS, Android). Свободно болтает на английском. На других языках понимает, но отвечает все равно на английском. Есть несколько аватаров. Базовый функционал бесплатно, остальное платно (пока не понял, что именно платно). Задержка ответа - 2.5 секунды ( у talk-llama-fast 1.5-2 секунды).

Пока не понял что у нее под капотом - слишком быстро отвечает для chatGPT.
Ссылку давать не буду, сами найдете в Гугл плей и App store, конкурент всё таки 😁

Свежий релиз talk-llama-fast v0.1.4

Если кратко - то жрет на 0.6 GB меньше VRAM и стартовый промпт без ограничений. Полное описание - на странице релиза. Качаем, меняем старый exe на новый. В параметрах менять ничего не нужно, все по умолчанию настроено.

https://github.com/Mozer/talk-llama-fast/releases/tag/0.1.4

llama-3 gguf
Затестил Meta-Llama-3-8B.Q5_0.gguf в кобольде - полет нормальный. Русский лучше чем в мистрале, но хуже чем в вихре. Инстракт версия проявила себя чуть лучше базовой версии. На интеллект на русском пока не оценивал.

llama-3-8b base: https://huggingface.co/QuantFactory/Meta-Llama-3-8B-GGUF/tree/main
llama-3-8b instruct: https://huggingface.co/QuantFactory/Meta-Llama-3-8B-Instruct-GGUF/tree/main
llama-3-70b instruct: https://huggingface.co/MaziyarPanahi/Meta-Llama-3-70B-Instruct-GGUF

Сравнение трех Вихрей-7b и Llama-3-8b

Затестил все три версии вихря и ламу-3 в роулплее на русском с контекстом 2048.

Лучшим на русском оказался v0.2 - может работать на высоких температурах (0.75) почти без языковых ошибок. 0.3 версия хуже второй, но лучше первой. 3 версию сам квантанул и залил в q5 и q8 на hf. Если позволяет vram качаем vikhr-7b-instruct_0.2.Q6_K.gguf, если нет, то квант поменьше.
Себе взял vikhr-7b-instruct_0.2.Q5_0.gguf на температурах 0.50-0.75. На 12 гигах vram влазит с whisper medium и 3000 контекста в talk-llama-fast.

UPD: Лама-3 показала себя неплохо на русском. Лучше мистраля, но хуже вихря (делает больше языковых ошибок). На интеллект на русском и следование карточке персонажа надо отдельно проверять. Инстракт версия проявила себя чуть лучше базовой версии ламы-3.

https://huggingface.co/s3nh/Vikhr-7b-0.1-GGUF/tree/main
https://huggingface.co/pirbis/Vikhr-7B-instruct_0.2-GGUF/tree/main
https://huggingface.co/Ftfyhh/Vikhr-7b-0.3-GGUF/tree/main

Квантанул большого и среднего виспера в q4_0, до этого было q5_0 и на HF встречал только q5_0.

Качество распознования на русском осталось плюс-минус таким же, зато потребление VRAM сократилось на 200 MB для large и на 100 MB для medium. Там же лежат large-v2 и large-v3, особого отличия между этими версиями я не заметил, качайте v3 если память позволяет.

Сравнение VRAM с загруженной Meta-Llama-3-8B-Instruct.Q5_0.gguf и 2048 контекста.
виспер VRAM, GB
medium_q4_0 7.7 стало
medium_q5_0 7.8 было

large_v3_q4_0 8.7 стало
large_v3_q5_0 8.9 было

Хотел вообще в q2/q3 квантануть, но Герганов еще не реализовал поддержку q2/q3/qK на cuda для виспера.

https://huggingface.co/Ftfyhh/whisper-ggml-q4_0-models/tree/main

Добавил поддержку символов переноса строки в стоп-слова.

Пример использования (стоп слова разделены точкой с запятой): --stop-words "Alexej:;---;assistant;===;**;Note:;\n\n;\r\n\r\n;\begin;\end;###; (;["

Третья лама очень любит выходить за рамки шаблона диалога и делать ремарки от "слов автора", поэтому засунул все ее попытки в стоп-слова в примере выше. Еще пока есть ощущение, что base версия лучше держится в рамках диалога с несколькими персонажами чем instruct версия, но надо больше тестов для ясности. На русском у меня с ней пока совсем не сложилось, вихрь лучше.

Новый номер релиза делать не стал, просто перекачайте exe из v0.1.4.

https://github.com/Mozer/talk-llama-fast/releases/tag/0.1.4

Там вихря-7B в телеграм бот завернули. Хз какую именно версию, но отвечает на русском неплохо. @vikhrbot

UPD: В комментариях пишут, что там llama3-70b, а не вихрь (надо проверить как-нибудь через хитрый промпт).

Microsoft выложила веса самой маленькой модельки phi-3-mini-3.8B. Остальные веса (7B и 14B) все еще ждем. В моих тестах на русском роулплее mini показала себя не очень. Даже при температуре 0.20 много ошибок. На английском - еще не тестил. Есть две версии модели с контекстом на 4096 и на 128k токенов. Судя по описанию, 4k должна быть чуть умнее чем 128k.

С другой стороны, существуют ли другие модели меньше 7B, которые хоть как-то могут говорить по-русски?

Разные гуфы: https://huggingface.co/models?search=phi-3-mini-gguf

Новый релиз talk-llama-fast v0.1.5.

Добавил:
- поддержку текстового ввода с клавиатуры (теперь микрофон не обязателен);
- горячие клавиши: Стоп(Ctrl+Space), Переделай(Ctrl+Right), Удали(Ctrl+Delete), Удали всё(Ctrl+R);
- баги и баг фиксы.

https://github.com/Mozer/talk-llama-fast/releases/tag/0.1.5

На Ютубе наткнулся - фейковый Джейсон Стейтем снимает шортсы и тик-токи. Аккаунту уже 2 года и 164 тыс подписчиков. А что так можно было? 🤯🤯

https://youtube.com/shorts/kMsrystSEDQ?si=oTqRG9xrIxZD84cx

Там llama-3 наконец-то починили! В llama.cpp была ошибка в обработке токенизатора, из-за этого на языках, отличных от английского, были проблемы с ошибками и интеллектом. Проблем не было только в неквантованных весах и в загрузчике exllama. Чтобы все заработало, рекомендуют переквантовать/перекачать новые gguf llama-3 и всех файнтюнов, которые вышли на ее основе. Но так же есть вариант с добавлением параметра --override-kv tokenizer.ggml.pre=str:llama3 в llama.cpp (для main.exe или server.exe)

Я протестировал именно его, без переквантования gguf. По моим замерам количество речевых ошибок на русском действительно уменьшилось, процентов на 20-30. На скрине - количество хороших и плохих ответов на один и тот же развернутый вопрос в роулплей диалоге на русском. В talk-llama-fast пока нет поддержки, когда-нибудь добавлю.

Koboldcpp тоже обновился: авторы рекомендуют переквантовать/перекачать gguf модели. Но у меня и со старыми моделями новый кобольд "3333+777?" считает нормально (старый не умел).

talk-llama-fast v0.1.6

Баг фикс:
в двух предыдущих версиях 0.1.4-0.1.5 стартовый промпт практически не записывался в контекст. Лама вообще ничего не помнила из старта (кроме первых 64 токенов). Пофиксил.

https://github.com/Mozer/talk-llama-fast/releases/tag/0.1.6