Там llama-3 наконец-то починили! В llama.cpp была ошибка в обработке токенизатора, из-за этого на языках, отличных от английского, были проблемы с ошибками и интеллектом. Проблем не было только в неквантованных весах и в загрузчике exllama. Чтобы все заработало, рекомендуют переквантовать/перекачать новые gguf llama-3 и всех файнтюнов, которые вышли на ее основе. Но так же есть вариант с добавлением параметра --override-kv tokenizer.ggml.pre=str:llama3 в llama.cpp (для main.exe или server.exe)

Я протестировал именно его, без переквантования gguf. По моим замерам количество речевых ошибок на русском действительно уменьшилось, процентов на 20-30. На скрине - количество хороших и плохих ответов на один и тот же развернутый вопрос в роулплей диалоге на русском. В talk-llama-fast пока нет поддержки, когда-нибудь добавлю.

Koboldcpp тоже обновился: авторы рекомендуют переквантовать/перекачать gguf модели. Но у меня и со старыми моделями новый кобольд "3333+777?" считает нормально (старый не умел).

talk-llama-fast v0.1.6

Баг фикс:
в двух предыдущих версиях 0.1.4-0.1.5 стартовый промпт практически не записывался в контекст. Лама вообще ничего не помнила из старта (кроме первых 64 токенов). Пофиксил.

https://github.com/Mozer/talk-llama-fast/releases/tag/0.1.6

Рейтинг LLM в роулплее на русском

Вы не просили, я - сделал. Рейтинг оценивает два фактора: качество русского языка + логика в роулплее на русском.

Победители
- Лучшая грамотность: vikhr-7b-instruct-0.2 (грамотная, но глупенькая)
- Лучшая логика: Meta-Llama-3-70B-Instruct-Q4_K_M
- Лучшая сбалансированность: Meta-Llama-3-70B-Instruct-Q4_K_M (язык + логика)
- Лучшая сбалансированность среди малых LLM: vikhr-7b-instruct-0.4.Q6_K

UPD: добавил miqu-1-70B, commander-plus-104B и llama-3-70B

Подробнее на гитхабе, там же полный xls файл.
https://github.com/Mozer/russian-llm-top

Новый релиз talk-llama-fast 0.1.7

- Добавил опцию --push-to-talk. Зажмите Alt, чтобы сказать что-то голосом (актуально для тех, кто использует с колонками, а не в наушниках). Опция выключена по умолчанию.
- В bat файлах теперь можно использовать кириллицу. Для этого сохраните ваш bat файл в кодировке "OEM 866" в приложении notepad++: Encoding -> Character sets -> Cyrillic -> OEM 866).

https://github.com/Mozer/talk-llama-fast/releases/tag/0.1.7

Вышла новая Saiga-llama3-KTO-8b. По моим тестам, в сравнении с предыдущей сайгой: стала лучше грамотность (+10 п.п.), но логика чуть просела(-15 п.п.). В целом, плюс-минус та же сайга. Заняла 8-е место в общем топе всех RU моделей.

Еще я немного подкорретировал финальную формулу рейтинга, поэтому там на первое место вышла miqu-1. Но из-за медленной скорости ответа я ее редко использую. Лучшая креативность: c4ai-command-r-v01-imat-Q4_0. Оценки креативности пока нет в таблице, я еще не придумал, как ее объективно оценивать.

Saiga-llama3-KTO-8b: https://huggingface.co/IlyaGusev/saiga_llama3_8b/tree/kto
GGUF q5_0: https://huggingface.co/Ftfyhh/saiga_llama3_kto_8b-GGUF/tree/main
Ещё гуфы: https://huggingface.co/IlyaGusev/saiga_llama3_8b_gguf/tree/kto

Вышла GPT-4o. Обещают всем бесплатно, но пока что у меня не появилась ни с американским, ни с нидерландским впн. Поэтому пробуем на арене: https://chat.lmsys.org/ во вкладке Direct chat.

Судя по презентации, обещали прокачать русский язык, оптимизировав токенизатор. Но стихи на русском как не умел писать, так и не научился. 😬

На ютубе уже 3000 подписчиков! 🎉
https://www.youtube.com/@tensorbanana

Анонс: а еще примерно через неделю - будет новая большая фича. Какая именно - пока секрет, но некоторые уже могли догадаться. По этому поводу опрос: с кем общаться будем? Эмма, Курт, Цой, Нео, Сталин? Олега пока боюсь добавлять, вдруг обидится 😁

Ваши идеи?

Майкрософт релизнул две модельки Phi-3-small-7B и Phi-3-medium-14B. Обе доступны с контекстом на 8k и 128k.

карточки моделей small: https://huggingface.co/microsoft/Phi-3-small-8k-instruct
medium https://huggingface.co/microsoft/Phi-3-medium-128k-instruct
medium 13b-8k GGUF:
https://huggingface.co/bartowski/Phi-3-medium-4k-instruct-GGUF/tree/main
гуфы small моделей до сих пор нет на HF (видимо есть какие-то проблемы с квантованием).

Для работы нужна свежая llama.cpp.

АПД: протестировал Phi-3-medium-4k-instruct-Q5_K_S в своем роулплей тесте для русского.
Из плюсов: очень высокая грамотность: 85% (одна из лучших).
Из минусов: с логикой проблемы - 33%. И еще иногда не может остановится, похоже, стоп-токен не обрабатывается нормально, надеюсь ggerganov поправит.
Итог: 62 балла и 6-е место в топе.