Майкрософт релизнул две модельки Phi-3-small-7B и Phi-3-medium-14B. Обе доступны с контекстом на 8k и 128k.
карточки моделей small: https://huggingface.co/microsoft/Phi-3-small-8k-instruct
medium https://huggingface.co/microsoft/Phi-3-medium-128k-instruct
medium 13b-8k GGUF:
https://huggingface.co/bartowski/Phi-3-medium-4k-instruct-GGUF/tree/main
гуфы small моделей до сих пор нет на HF (видимо есть какие-то проблемы с квантованием).
Для работы нужна свежая llama.cpp.
АПД: протестировал Phi-3-medium-4k-instruct-Q5_K_S в своем роулплей тесте для русского.
Из плюсов: очень высокая грамотность: 85% (одна из лучших).
Из минусов: с логикой проблемы - 33%. И еще иногда не может остановится, похоже, стоп-токен не обрабатывается нормально, надеюсь ggerganov поправит.
Итог: 62 балла и 6-е место в топе.
карточки моделей small: https://huggingface.co/microsoft/Phi-3-small-8k-instruct
medium https://huggingface.co/microsoft/Phi-3-medium-128k-instruct
medium 13b-8k GGUF:
https://huggingface.co/bartowski/Phi-3-medium-4k-instruct-GGUF/tree/main
гуфы small моделей до сих пор нет на HF (видимо есть какие-то проблемы с квантованием).
Для работы нужна свежая llama.cpp.
АПД: протестировал Phi-3-medium-4k-instruct-Q5_K_S в своем роулплей тесте для русского.
Из плюсов: очень высокая грамотность: 85% (одна из лучших).
Из минусов: с логикой проблемы - 33%. И еще иногда не может остановится, похоже, стоп-токен не обрабатывается нормально, надеюсь ggerganov поправит.
Итог: 62 балла и 6-е место в топе.
👍22❤1
Ни дня без новых моделей: Mistral-7B-Instruct-v0.3
- Новый токенизатор и контекст до 32768
- Поддержка вызова функций
- Русский улучшили, но ошибки есть. По моему рейтингу - грамотность 52%. У llama-3-8b грамотность лучше - 62%.
- в talk-llama-fast работает, но хуже чем в llama.cpp (возможно, мне ее пора обновить до свежей версии)
И еще выпустили новый большой микстраль: mixtral-8x22b-v0-3. Но он слишком огромный для обычных пользователей.
Mistral https://huggingface.co/mistralai/Mistral-7B-Instruct-v0.3
gguf https://huggingface.co/bartowski/Mistral-7B-Instruct-v0.3-GGUF/tree/main
mixtral https://www.reddit.com/r/LocalLLaMA/comments/1cycug6/in_addition_to_mistral_v03_mixtral_v03_is_now/
- Новый токенизатор и контекст до 32768
- Поддержка вызова функций
- Русский улучшили, но ошибки есть. По моему рейтингу - грамотность 52%. У llama-3-8b грамотность лучше - 62%.
- в talk-llama-fast работает, но хуже чем в llama.cpp (возможно, мне ее пора обновить до свежей версии)
И еще выпустили новый большой микстраль: mixtral-8x22b-v0-3. Но он слишком огромный для обычных пользователей.
Mistral https://huggingface.co/mistralai/Mistral-7B-Instruct-v0.3
gguf https://huggingface.co/bartowski/Mistral-7B-Instruct-v0.3-GGUF/tree/main
mixtral https://www.reddit.com/r/LocalLLaMA/comments/1cycug6/in_addition_to_mistral_v03_mixtral_v03_is_now/
huggingface.co
mistralai/Mistral-7B-Instruct-v0.3 · Hugging Face
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
👍7🔥3
Media is too big
VIEW IN TELEGRAM
Talk llama bot
Сделал бота. Теперь они будут жить в коментах и отвечать вместо меня на ваши вопросы 😁
Персонажи: emma, kurt, stalin, jason, pushkin, bratan.
Сталина и Курта оживили с помощью технологии dead2Speech.
Пушкин не любит болтать, но умеет писать стихи на русском. Рифма есть, но не всегда.
Джейсон Стэтхэм говорит цитатами.
Братан умеет пояснять сложные вещи на пацанском языке.
Боты читают чат, но отвечать будут, только если к ним обратиться.
Чтобы обратиться к персонажу: нужно найти видео-кружок данного персонажа и нажать "Ответить". Либо второй вариант, если кружок лень искать, команда:
Актуальный список имен персонажей для этой команды:
В личке пока не общаются.
Политику и 18+ персонажи не обсуждают.
Под капотом:
LLM: GPT-4o, Llama-3-70b
Голос: XTTSv2
Губы: wav2lip
Бот переехал и теперь живет тут: @talkllama
Сделал бота. Теперь они будут жить в коментах и отвечать вместо меня на ваши вопросы 😁
Персонажи: emma, kurt, stalin, jason, pushkin, bratan.
Сталина и Курта оживили с помощью технологии dead2Speech.
Пушкин не любит болтать, но умеет писать стихи на русском. Рифма есть, но не всегда.
Джейсон Стэтхэм говорит цитатами.
Братан умеет пояснять сложные вещи на пацанском языке.
Боты читают чат, но отвечать будут, только если к ним обратиться.
Чтобы обратиться к персонажу: нужно найти видео-кружок данного персонажа и нажать "Ответить". Либо второй вариант, если кружок лень искать, команда:
/call emma Как поживаешь?Актуальный список имен персонажей для этой команды:
/bot_namesВ личке пока не общаются.
Политику и 18+ персонажи не обсуждают.
Под капотом:
LLM: GPT-4o, Llama-3-70b
Голос: XTTSv2
Губы: wav2lip
Бот переехал и теперь живет тут: @talkllama
🔥68👍12😁7❤🔥1
Донаты на добавление новых фишек и персонажей
(ну и просто поддержать разработчика)
Карты (разовый платеж или подписка): https://boosty.to/tensorbanana/donate
Крипта: https://github.com/Mozer/donate
Статистика:
За первые 2 дня AI персонажи ответили на 5000+ вопросов.
Самый популярный персонаж: emma. Ей задали больше всего вопросов.
- emma: 1775,
- stalin: 585,
- jason: 431,
- kurt: 405,
- bratan: 391,
- pushkin написал всего 72 стиха.
- Сгенерирован почти 1 миллион токенов (и еще 10 миллионов на вход).
Сейчас под капотом 3 LLM (у разных персонажей разные модели):
- gpt-4o
- llama-3-70B
- command-r-plus-104B
Забавные факты:
- Сталин говорит на венгерском (потому что грузинского не было).
- Эмма изначально была Гермионовной, но xtts не мог выговорить ее отчество.
- GPT-4o теперь остался только Пушкина, так как было много плохих слов в диалогах. API openai часто ругался на харасмент.
- Вчера прилетел первый в моей жизни донат 😊
Кого еще добавлять будем?
(ну и просто поддержать разработчика)
Карты (разовый платеж или подписка): https://boosty.to/tensorbanana/donate
Крипта: https://github.com/Mozer/donate
Статистика:
За первые 2 дня AI персонажи ответили на 5000+ вопросов.
Самый популярный персонаж: emma. Ей задали больше всего вопросов.
- emma: 1775,
- stalin: 585,
- jason: 431,
- kurt: 405,
- bratan: 391,
- pushkin написал всего 72 стиха.
- Сгенерирован почти 1 миллион токенов (и еще 10 миллионов на вход).
Сейчас под капотом 3 LLM (у разных персонажей разные модели):
- gpt-4o
- llama-3-70B
- command-r-plus-104B
Забавные факты:
- Сталин говорит на венгерском (потому что грузинского не было).
- Эмма изначально была Гермионовной, но xtts не мог выговорить ее отчество.
- GPT-4o теперь остался только Пушкина, так как было много плохих слов в диалогах. API openai часто ругался на харасмент.
- Вчера прилетел первый в моей жизни донат 😊
Кого еще добавлять будем?
boosty.to
Tensor Banana - Разработчик talk-llama-fast, чата с AI персонажами
Программирую в свое удовольствие и изучаю нейросети. Мои проекты: - https://github.com/Mozer/talk-llama-fast - бесплатный и открытый проект по живому общению с несколькими AI персонажами в голосовом и видео-режимах. - https://t.iss.one/talkllama - чат…
🔥41👍14❤5👏2❤🔥1
Добавил 4 новых персонажей: zhirik (Владимир Жириновский), dasha (Дейенерис Таргариен), freud (Зигмунд Фрейд), smith (Агент Смит).
Бот по-прежнему живет тут: @talkllama.
Бот по-прежнему живет тут: @talkllama.
👍34❤12❤🔥8🔥5
Stable diffusion 3 medium
- Выложат веса в паблик 12 июня.
- Обещают, что починили пальцы , надписи и повторяющиеся паттерны.
- Размер medium модели - 2B. Для сравнения SDXL - 3.5B, а SD1.5 - 0.8B.
- Модель с большим количеством параметров выложат в опен сорс позднее.
- Говорят, что nsfw не умеет генерировать (ждём файнтюны).
- Выложат веса в паблик 12 июня.
- Обещают, что починили пальцы , надписи и повторяющиеся паттерны.
- Размер medium модели - 2B. Для сравнения SDXL - 3.5B, а SD1.5 - 0.8B.
- Модель с большим количеством параметров выложат в опен сорс позднее.
- Говорят, что nsfw не умеет генерировать (ждём файнтюны).
👍15👏2
im-a-good-gpt2-chatbot и im-also-a-good-gpt2-chatbot умнее чем GPT-4o на русском.
Загадал всем загадку "В каком слове «нет» употребляется 100 раз?" и удивился, почему GPT-4o не может ее решить ни на на официальном сайте, ни по API. (GPT-4 Turbo тоже не справился). При этом, их "gpt2" коллеги с успехом ее решили на арене. Вопрос - почему gpt2 не презентуют официально и не дают к ним нормального доступа?
Из русских LLM справился yandexGPT, gigachat пока не тянет. Opus справился, но не с первой попытки. Лама-3-70 приятно удивила.
Загадал всем загадку "В каком слове «нет» употребляется 100 раз?" и удивился, почему GPT-4o не может ее решить ни на на официальном сайте, ни по API. (GPT-4 Turbo тоже не справился). При этом, их "gpt2" коллеги с успехом ее решили на арене. Вопрос - почему gpt2 не презентуют официально и не дают к ним нормального доступа?
Из русских LLM справился yandexGPT, gigachat пока не тянет. Opus справился, но не с первой попытки. Лама-3-70 приятно удивила.
😁21👍10🤔2🤝1
Добавил 3 новых персонажа:
- oleg (обычный рабочий Олег из города Тверь)
- harley (Харли Квинн)
- mag (маг и экстрасенс)
Скормил Олегу кучу его цитат, он теперь мемный.
Маг немного дерзок.
Харли пока довольно милая, но это неточно.
Бот по-прежнему живет тут: @talkllama
- oleg (обычный рабочий Олег из города Тверь)
- harley (Харли Квинн)
- mag (маг и экстрасенс)
Скормил Олегу кучу его цитат, он теперь мемный.
Маг немного дерзок.
Харли пока довольно милая, но это неточно.
Бот по-прежнему живет тут: @talkllama
❤18👍8😁8🤣1
Stable Diffusion 3 medium
Впечатления смешанные - людей не любит рисовать. Аниме тоже хромает.
Цензура съела всех людей, даже одетых. Без одежды тоже может, но плохо.
Текст рисовать умеет, но плохо, часто пропускает буквы (dalle 3 делает это лучше).
sd3 натренирован на обычном тексте (а не словах через запятую), поэтому все ваши старые промпты теперь будут работать хуже. Надо их переписывать на обычный текст.
Скорость: 1 картинка 1024*1024 28 шагов у меня на 3060 генерируется в комфи за 37 s. Если нужно большее разрешение, то еще есть Refiner.
VRAM: сперва жрет 8.8 GB (скорее всего из-за clip), затем VRAM падает 4.8 (непосредственно генерация SD3). Можно и без clip работать, но, говорят, результат будет хуже.
Чтобы запустить в комфи нужно скачать sd3_medium.safetensors + 3 модели с clip, clip положить в папку clip в comfy (или качать один большой чекпоинт sd3 на 10 гигов со встроенным clip)
Веса SD3: https://huggingface.co/stabilityai/stable-diffusion-3-medium/tree/main
comfyUI свежий: https://github.com/comfyanonymous/ComfyUI
воркфлоу basic для comfy: https://huggingface.co/stabilityai/stable-diffusion-3-medium/tree/main/comfy_example_workflows
Впечатления смешанные - людей не любит рисовать. Аниме тоже хромает.
Цензура съела всех людей, даже одетых. Без одежды тоже может, но плохо.
Текст рисовать умеет, но плохо, часто пропускает буквы (dalle 3 делает это лучше).
sd3 натренирован на обычном тексте (а не словах через запятую), поэтому все ваши старые промпты теперь будут работать хуже. Надо их переписывать на обычный текст.
Скорость: 1 картинка 1024*1024 28 шагов у меня на 3060 генерируется в комфи за 37 s. Если нужно большее разрешение, то еще есть Refiner.
VRAM: сперва жрет 8.8 GB (скорее всего из-за clip), затем VRAM падает 4.8 (непосредственно генерация SD3). Можно и без clip работать, но, говорят, результат будет хуже.
Чтобы запустить в комфи нужно скачать sd3_medium.safetensors + 3 модели с clip, clip положить в папку clip в comfy (или качать один большой чекпоинт sd3 на 10 гигов со встроенным clip)
Веса SD3: https://huggingface.co/stabilityai/stable-diffusion-3-medium/tree/main
comfyUI свежий: https://github.com/comfyanonymous/ComfyUI
воркфлоу basic для comfy: https://huggingface.co/stabilityai/stable-diffusion-3-medium/tree/main/comfy_example_workflows
👍21😁2