Там llama-3 наконец-то починили! В llama.cpp была ошибка в обработке токенизатора, из-за этого на языках, отличных от английского, были проблемы с ошибками и интеллектом. Проблем не было только в неквантованных весах и в загрузчике exllama. Чтобы все заработало, рекомендуют переквантовать/перекачать новые gguf llama-3 и всех файнтюнов, которые вышли на ее основе. Но так же есть вариант с добавлением параметра --override-kv tokenizer.ggml.pre=str:llama3 в llama.cpp (для main.exe или server.exe)

Я протестировал именно его, без переквантования gguf. По моим замерам количество речевых ошибок на русском действительно уменьшилось, процентов на 20-30. На скрине - количество хороших и плохих ответов на один и тот же развернутый вопрос в роулплей диалоге на русском. В talk-llama-fast пока нет поддержки, когда-нибудь добавлю.

Koboldcpp тоже обновился: авторы рекомендуют переквантовать/перекачать gguf модели. Но у меня и со старыми моделями новый кобольд "3333+777?" считает нормально (старый не умел).

talk-llama-fast v0.1.6

Баг фикс:
в двух предыдущих версиях 0.1.4-0.1.5 стартовый промпт практически не записывался в контекст. Лама вообще ничего не помнила из старта (кроме первых 64 токенов). Пофиксил.

https://github.com/Mozer/talk-llama-fast/releases/tag/0.1.6

Рейтинг LLM в роулплее на русском

Вы не просили, я - сделал. Рейтинг оценивает два фактора: качество русского языка + логика в роулплее на русском.

Победители
- Лучшая грамотность: vikhr-7b-instruct-0.2 (грамотная, но глупенькая)
- Лучшая логика: Meta-Llama-3-70B-Instruct-Q4_K_M
- Лучшая сбалансированность: Meta-Llama-3-70B-Instruct-Q4_K_M (язык + логика)
- Лучшая сбалансированность среди малых LLM: vikhr-7b-instruct-0.4.Q6_K

UPD: добавил miqu-1-70B, commander-plus-104B и llama-3-70B

Подробнее на гитхабе, там же полный xls файл.
https://github.com/Mozer/russian-llm-top

Новый релиз talk-llama-fast 0.1.7

- Добавил опцию --push-to-talk. Зажмите Alt, чтобы сказать что-то голосом (актуально для тех, кто использует с колонками, а не в наушниках). Опция выключена по умолчанию.
- В bat файлах теперь можно использовать кириллицу. Для этого сохраните ваш bat файл в кодировке "OEM 866" в приложении notepad++: Encoding -> Character sets -> Cyrillic -> OEM 866).

https://github.com/Mozer/talk-llama-fast/releases/tag/0.1.7

Вышла новая Saiga-llama3-KTO-8b. По моим тестам, в сравнении с предыдущей сайгой: стала лучше грамотность (+10 п.п.), но логика чуть просела(-15 п.п.). В целом, плюс-минус та же сайга. Заняла 8-е место в общем топе всех RU моделей.

Еще я немного подкорретировал финальную формулу рейтинга, поэтому там на первое место вышла miqu-1. Но из-за медленной скорости ответа я ее редко использую. Лучшая креативность: c4ai-command-r-v01-imat-Q4_0. Оценки креативности пока нет в таблице, я еще не придумал, как ее объективно оценивать.

Saiga-llama3-KTO-8b: https://huggingface.co/IlyaGusev/saiga_llama3_8b/tree/kto
GGUF q5_0: https://huggingface.co/Ftfyhh/saiga_llama3_kto_8b-GGUF/tree/main
Ещё гуфы: https://huggingface.co/IlyaGusev/saiga_llama3_8b_gguf/tree/kto

Вышла GPT-4o. Обещают всем бесплатно, но пока что у меня не появилась ни с американским, ни с нидерландским впн. Поэтому пробуем на арене: https://chat.lmsys.org/ во вкладке Direct chat.

Судя по презентации, обещали прокачать русский язык, оптимизировав токенизатор. Но стихи на русском как не умел писать, так и не научился. 😬

На ютубе уже 3000 подписчиков! 🎉
https://www.youtube.com/@tensorbanana

Анонс: а еще примерно через неделю - будет новая большая фича. Какая именно - пока секрет, но некоторые уже могли догадаться. По этому поводу опрос: с кем общаться будем? Эмма, Курт, Цой, Нео, Сталин? Олега пока боюсь добавлять, вдруг обидится 😁

Ваши идеи?

Майкрософт релизнул две модельки Phi-3-small-7B и Phi-3-medium-14B. Обе доступны с контекстом на 8k и 128k.

карточки моделей small: https://huggingface.co/microsoft/Phi-3-small-8k-instruct
medium https://huggingface.co/microsoft/Phi-3-medium-128k-instruct
medium 13b-8k GGUF:
https://huggingface.co/bartowski/Phi-3-medium-4k-instruct-GGUF/tree/main
гуфы small моделей до сих пор нет на HF (видимо есть какие-то проблемы с квантованием).

Для работы нужна свежая llama.cpp.

АПД: протестировал Phi-3-medium-4k-instruct-Q5_K_S в своем роулплей тесте для русского.
Из плюсов: очень высокая грамотность: 85% (одна из лучших).
Из минусов: с логикой проблемы - 33%. И еще иногда не может остановится, похоже, стоп-токен не обрабатывается нормально, надеюсь ggerganov поправит.
Итог: 62 балла и 6-е место в топе.

Ни дня без новых моделей: Mistral-7B-Instruct-v0.3

- Новый токенизатор и контекст до 32768
- Поддержка вызова функций
- Русский улучшили, но ошибки есть. По моему рейтингу - грамотность 52%. У llama-3-8b грамотность лучше - 62%.
- в talk-llama-fast работает, но хуже чем в llama.cpp (возможно, мне ее пора обновить до свежей версии)

И еще выпустили новый большой микстраль: mixtral-8x22b-v0-3. Но он слишком огромный для обычных пользователей.

Mistral https://huggingface.co/mistralai/Mistral-7B-Instruct-v0.3
gguf https://huggingface.co/bartowski/Mistral-7B-Instruct-v0.3-GGUF/tree/main
mixtral https://www.reddit.com/r/LocalLLaMA/comments/1cycug6/in_addition_to_mistral_v03_mixtral_v03_is_now/

Talk llama bot
Сделал бота. Теперь они будут жить в коментах и отвечать вместо меня на ваши вопросы 😁

Персонажи: emma, kurt, stalin, jason, pushkin, bratan.
Сталина и Курта оживили с помощью технологии dead2Speech.
Пушкин не любит болтать, но умеет писать стихи на русском. Рифма есть, но не всегда.
Джейсон Стэтхэм говорит цитатами.
Братан умеет пояснять сложные вещи на пацанском языке.

Боты читают чат, но отвечать будут, только если к ним обратиться.
Чтобы обратиться к персонажу: нужно найти видео-кружок данного персонажа и нажать "Ответить". Либо второй вариант, если кружок лень искать, команда: /call emma Как поживаешь?
Актуальный список имен персонажей для этой команды: /bot_names

В личке пока не общаются.
Политику и 18+ персонажи не обсуждают.

Под капотом:
LLM: GPT-4o, Llama-3-70b
Голос: XTTSv2
Губы: wav2lip

Бот переехал и теперь живет тут: @talkllama