🔊 Chatterbox TTS —Yet Another Opensource TTS SoTA

Компания resemble.ai выложили в опенсоурс Chatterbox TTS. 0.5B модель на основе LLama3 backbone, обучена на 0.5M часов чистых данных. Данные высокого качества и разной природы. Модель поддерживает контроль экспрессивности синтеза через гипер-параметры (выкручивание exaggeration приводит к ускорению речи, понижение — к большей драме).

Репортят latency в 200ms, что делает модель довольно удобной для интерактивных голосовых приложений, real time ассистентов.

Наконец, пишут, что модель - SoTA. За бейзлайн берут решение от 11Labs и сообщают, что в side-by-side Chatterbox TTS strongly preffered. К слову, впервые вижу, что честно выкладывают все детали evaluation репорта и дают на него ссылку. A/B Тест слишком скромный (больше выглядит как черри пик честно), по 8 сэмплов на систему. В тесте просят асессоров оценить zero-shot сэмплы длиной от 7 до 20 секунд на предмет Naturalness и общего качества.

Попробовал в Gradio на HF. Нравится, что хорошо берет дыхание и паузы. Клонирование тембра с дефолтными настройками на моем голосе не очень. Скорее сказал бы, что это плохой voice clone. У Llasa-3B из опенсоурсных гораздо лучше. На реддите пишут, что при некоторых значениях параметров модель сходит с ума.

Cводка:

🔘Лицензия - MIT
🔘GitHub - тут
🔘Веса - тут
🔘Онлайн Демо поиграться самому - тут
🔘Реддит тред с мнениями по модели - тут
🔘Языки - пока только английский, обещают добавить файн-тюн для других языков в скором времени

@max_dot_sh

Модель с контекстом 100M токенов от стартапа Magic 🔮

Сегодня новых историй от подписчиков про собесы нет (а форма есть здесь), поэтому рассказываю историю сам.

Речь ппойдет про стартап magic.dev. По описанию стартап занимается:

frontier code models to automate software engineering and research

Cтартапов с таким описанием наберется куча. А вот то, что за вторую половину 2024 года, компания в двадцать с лишним человек подняла примерно полмиллиарда долларов инвестиций (цифры немного разнятся, но источники TechCrunch и блог самой компании) от разных инвесторов и фондов (среди них и Nvidia, и Google) — это интересно.

Наверное, ребята делают что-то большое и прорывное. И судя по блогу компании — это действительно так. В сентябре прошлого года анонсировали, что обучили первую модель с длиной контекста 100M токенов (почитать немного подробностей можно тут, но если коротко то используют reasoning над хэшами).

В демо делают упор на способность модели без дополнительных инструментов, RAG-ов и прочего агентного скаффолдинга (что это, разбираю тут), только за счет того, что в контекст подается весь исходный код GUI фрэймворка, написать интерфейс для... калькулятора.

Пример не сложный, но демонстрация, что модель "на лету" может выучить фреймворк на сотни тысяч строк и строго использовать знания о нем в существующей кодовой базе впечатляет.

И вот после этого анонса следует новость — magic.dev коллаборируется с Google Cloud, чтобы построить мегакластер на кучу тысяч H100 GPU, чтобы обучать вторую итерацию моделей.

Дальше новостей вроде как нет. Тишина.

Но на самом деле они очень активно нанимают. Недавно со мной связывался рекрутер. Предлагают разнообразные роли: от рисерчера до performance инженера на оптимизацию CUDA kernel-ов. Помогают с релокацией в Штаты (SF, New York). Так как мне сейчас географию менять не хочется, то я отказался. А вот мой хороший коллега, с огромным опытом в оптимизации моделей и 14 годами опыта с железом (участвовал в разработке чипов Inferentia 1 и 2 для AWS) решил, что это может быть новым вызовом. И начал процесс.

Ниже то, что я запомнил из его рассказа про интервью:

🔘 Нанимают на роль Software Engineer - Supercomputing Platform & Infrastructure - короче говоря скейлить и учить модели на огромных кластерах
🔘Техчническое интервью с бывшим лидом из OpenAI. Весь разговор был построен вокруг темы параллелизации вычислений: почему FSDP плох, в чем tensor parallelism имеет недостатки, как реализовывать Pipeline Parallelism. По отзыву, довольно глубокая беседа о том, что важно на практике.
🔘Home work assignment. Дали доступ к своей кодовой базе и кластеру на несколько GPU. В коде намеренно оставили разные несовершенства: от неэффективностей в использовании торча до выбора неэффективных кернелов. Так как пишут свои кастомные кернелы, то дали доступ еще и к своей библиотеке, где были спрятаны самые большие боттлнеки. Коллега говорит, что словил чистый кайф от домашки и не заметил, как потратил на ее решение 30 часов (то есть буквально решал всю неделю, бесплатно).
🔘Виртуальный онсайт с разбором домашки. Так же к онсайту просили сделать разбор актуальных работ по теме long context и подготовить презентацию.
🔘Дальше, судя по рассказу, вроде бы были готовы двинуться к офферу. Но как говорит коллега, предложили не очень убедительный total comp, и если бы он переезжал из Лондона в Сиэттл с Амазоном по внутреннему трансферу, то было бы выгоднее. Укажу, что в вакансии пишут, что вилка на такого инженера $100K - $550K и сверху equity.

Такая пятничная история. От меня следующие мысли:

1) Про параллелизм и скелйинг моделей можно хорошо послушать в свежем курсе по LLM от Стэнфорда в лекции тут

2) Компания мне кажется мутной. Cмотрю на фаундеров и не доверяю им. Но кто я такой, чтобы судить, если вливают столько денег, может что-то там и есть.

3) Очень нравится, как устроен найм в стартапы: глубокие технические разговоры, домашки, через которые можно прокачать свои навыки. Еще одна мотивация для меня дописать лонгрид про Детали интервью в стартапы и почему стоит идти в них поработать 🔥

@max_dot_sh

🧑‍💻 Mistral Code - AI-powered coding assistant

Блогпост

Пару недель назад Mistral выложили в опенсоурс модель Devstral адаптированную под кодинг агентов (писал тут), а сегодня анонсируют ассистента.

Выглядит это как расширение, которое можно добавить в VSCode или JetBrains IDE. Пока что private beta, поэтому самим потрогать нельзя.

Само расширение разработано на основе опен-соурсного проекта Continue и представляет собой UI, в котором можно общаться с AI агентом и просить его что-то закодить за вас. Поддерживается чат, поиск по коду, и много других полезных tools для агентов.

В общем-то ничего нового. Тот же Cursor или Windsurf.

Но. Выпуск Mistral Code является финальным кусочком в мозаике инструментов для coding ассисентов от Мистраля. Теперь у них есть вся линейка — и свой copilot для автокомплита Сodestral, и эмбеддинг модель для rag-ов и семантических поисков Codestral Embed, и модель для кодинга Devstral, ну и наконец UI, чтобы все это подружить и сделать самого ассистента — Mistral Code.

Все инструменты от одного провайдера, да еще и опенсуорсные, так, что можно развернуть у себя в облаке, оn-prem, полностью на своем железе, без риска утечки чувствительных данных третьим лицам — то, как Mistral продает и позиционирует свои инструменты на рынке AI помощников для кода. И это действительно веский аргумент для крупных компаний, потому что они могут развернуть у себя всю необходимую инфру.

Mistral в анонсе пишут, что уже договорились с одним из Испанских банков, что те развернут в своем облаке всю инфраструктуру и позволят применять решение на приватных репозиториях своим разрабам.

Выглядит сильно. Подождем официального релиза. И больше новостей про кастомеров.

___

Если хочется разобраться как именно работают такие кодинг-ассистенты, то советую глянуть бесплатный мини-курс тут. Он про Windsurf, но ребята делятся и тем, какие сложности решали, как учили свою эмбеддинг модель, как делали кастомный RAG. Познавательно.


@max_dot_sh

Как работает Cursor ?

В блоге Programmatic Engineer вышел классный технический разбор про начинку Курсора. Автора блога, вроде как, пообщался лично с техническим кофаундером стартапа Anysphere (оценка $10B) и расписал по частям интересные детали: от стека до скейла. Почитать тут.

В бесплатной версии доступна только половина статьи (а за фулл платить 10$ в месяц на подписку 🥲), но и в таком варианте полно интересных моментов. Читается легко, как будто старая добрая книга Alex Xu по System Design. Самое то, если у вас вдруг собес в подобную компанию AI кодогенерации.

Работает примерно так.

1️⃣Проект пользователя сначала индексируется. Это значит следующее.

🔘Во-первых, каждый файл разбивается на кусочки (чанки) кода небольшого размера. Чанки улетают на сервер, где запускается эмбеддер модель компании. Модель эмбеддит чанки в вектора для последующего векторного поиска. Курсор говорит, что не хранит код на своих серверах, только эмбеддинги (но кто знает, что там происходит, код то вы свой все равно уже отправили им свой код 🙂). Извлечение эмбеддингов - довольно ресурснозатратный процесс, поэтому компания держит кластер GPU для инференса (думаю, что это капля в море по сравнению с стоимостью инференса LLM-ов).

Чтобы не просрать слить свои ключи и другую чувстивтельную инфу, обязательно заполняйте .gitignore и .cursorignore, чтобы исключить какие-то ресурсы из индексации


🔘Во-вторых, курсор так же хранит структуру проекта пользователя в виде дерева. Конкретно используется Merkle Tree - дерево, где каждый лист - это хэш файла, а узлы - комбинация хэшей узлов-детей. Такое дерево хранится как локально, так и на серверах Курсора, и каждый раз, когда делается изменение в коде пользователя, локальные хэши сверяются с теми, что на сервере, и если есть различие, то они пересчитываются, а следовательно и обновляются некоторые эмбеддинги чанков.


2️⃣Теперь, когда индекс построен, можно пользоваться всеми фичами. Например, становится доступным чат с Курсором, где вы можете попросить курсор объяснить, как работает какая-то функция в вашем коде или попросить Курсор что-нибудь реализовать. В этом случае Курсор просканирует индекс, найдет релевантные ID чанков кода с помощью векторного поиска, заберет исходнй код чанков с вашего проекта, и пойдет в LLM просить рассуждать и генерировать план действий. Ну а дальше все это интерактивно будет отображаться в IDE. Курсор может ваш код и не хранит, а вот LLM-провайдеры – может быть.

3️⃣ Автокомплит, или tab-подсказки (это когда вы пишите комментарий или сигнатуру функции, а Курсор предлагает ее реализацию), работает чуть проще из-за чувствительности к latency. Здесь просто локальный контекст уходит в LLM и та генерирует автокомплит.

4️⃣ По стеку используется Turbopuffer для векторного хранилища эмбеддингов чанков и дерева файловой системы. Rust для высоконагруженной части на сервере, TypeScript для клиента IDE.

Другие цифры и детали можно найти в самом блоге. У автора еще выходит регулярно подкаст с техническими людьми так же на тему систем дизайна – рекомендую.

Happy Learning!

@max_dot_sh

⌨ Опен Соурсный ответ Claude Code

Компания All Hands AI релизунла CLI инструмент для кодинга - OpenHands CLI.

Твит с релизом.

Поставить можно через pip install openhands-ai.

Функционал аналогичен Claude Code – агент может редактировать код, запускать команды, делать навигацию по файловой системе, ходить в веб, делать API вызовы, взаимодействовать с MCP серверами, работать в автономном режиме.

При желании можно развернуть свою LLM и подключить ее, а не провайдера.

Лицензия MIT. Все есть на гитхабе. Можно расширить под свои нужды как хочется.

Еще добавили микро гайд про Prompting Best Practises для кодинг агентов. Читать тут

TL;DR Нужно быть как можно конкретным и локальным в запросах к агенту, чтобы он ничего не додумывал. Хотите пофиксить баг – локализуйте файл и строчку кода, где возникает проблема или дайте указатель на функцию и опишите ожидаемое поведение:

Fix the TypeError in frontend/src/components/UserProfile.tsx occurring on line 42. The error suggests we’re trying to access a property of undefined.

В анонсе пишут, что Has top accuracy (similar to Claude Code). Буду тестировать в ближайшее время.

@max_dot_sh

➡️Системные промпты ИИ сервисов

Гитхаб коллекция системных промптов разных сервисов постоянно обновляется и пополняется. Там есть: Cursor, Manus, Same.dev, Lovable, Devin, Replit Agent, Windsurf Agent, VSCode Agent, Dia Browser, Trae AI, Cluely & Spawn

Что с этими промптами можно делать?
1. Изучать лучшие практики промптинга
2. Заливать весь проект в гуглостудию и использовать один из промптов для создания кода

Для группировки всех файлов проекта в одну большую простыню можно использовать решение Шортган