Классная подборка мл новинок, которые можно потрогать локально в генерации изображений и синтезе речи в канале @voicestuff

Особенно впечатлила демка с FLUX + PuLID, можно самому попробовать здесь:

- грузите свою картинк
- пишете промпт, типа portrait of < insert your favorite character here >
- ждете фотографию в высоком разрешении с вашим лицом и телом заданного персонажа. Оч круто и консистентно работает с Марвеловскими героями 🔥

Запустить прямо сейчас 🤩

https://github.com/ToTheBeginning/PuLID - Копирует лицо по одной фотографии. На картинке как раз халк с моим лицом, которого я получил через FLUX + PuLID в comfyUI. Если не охота заморачиваться, вот spaces https://huggingface.co/spaces/yanze/PuLID-FLUX

https://huggingface.co/spaces/deepseek-ai/Janus-Pro-7B - Моделька по генерации изображений от DeepSeek. По качеству ей до FLUX далеко, но зато полноценная LLM с изображениями как на вход, так и на выход. Отсюда промпты Вышла вот-вот на днях совсем.

https://huggingface.co/spaces/srinivasbilla/llasa-3b-tts - большая модель для синтеза речи с 1, 3 и 8B параметров от HKUST. Вышла на днях буквально. Код открыт на пол шишечки. Звучит неплохо, есть клонирование. Сама модель вот тут. https://huggingface.co/HKUSTAudio/Llasa-3B

С разрешения @aigoncharov публикую отзыв на процесс собеседования в Anthropic на Research Fellowship программу.

Сначала немного контекста. Anthropic - это AI компания, один из лидеров в обучении больших LLM моделей, во всех бенчмарках и лидербордах соревнуется с другими крупными игроками типа OpenAI или гугла.

А, и да, ждем от них reasoning модель в самое ближайшее время - источник.

С самого основания Антропик позиционирует себя как Safety AI компания. То есть все продукты и рисерч направлены на построение, в конечном итоге, безопасного AI, доступного всем.

Чтобы подтверждать свои слова делом (а не только словами, как многие 😃), они и запустили  Anthropic Fellows Program for AI Safety Research - программу исследований в области безопасности AI. В рамках программы 10–15 участников получат финансирование и менторство для работы над исследованиями. Программа на 6 месяцев, а ключевые темы - Adversarial Robustness, Dangerous Capability Evaluations, Scalable Oversight. Цель - публикация или полезная интеграция в модели Антропика.

В менторах большие люди, например  Jan Leike (у него классный блог) лид Alignment команды в Антропике.

Интервью на Research Fellowship в Antropic 😮

* Авторская орфография сохранена

#интервью

➖Ник автора в тг - @aigoncharov

➖Название комании, можете указать ссылку или коротко описать что за место - Anthropic

➖Как подались на вакансию - Через форму на сайтие Антропика, податься можно было до 20 января 2025 года.


➖Когда начали процесс - X

➖Когда закончили процесс - В феврале 2025

➖Позиция, на которую собеседовались - Research Fellowship

➖Грейд на который собеседовались (если известно) - по большому счету стажер или джун

➖Локация вакансии - Лондон

🔥 Расскажите про этапы собеседований

1. Скрин кодинг с автоматической проверкой

Платформа codesignal.com

Надо было нахачить класс который бы имел публичное АПИ в соответствии со спекой. В задании 4 уровня. Новый уровень открывается после того как прошли все тесты на текущем уровне. На новом уровне будет какая-то модицифкация, которая потребует порефакторить код. Я не просто так написал нахачить. Чтобы успеть все сделать за 90 минут, надо писать быстро и забыть про big O. Забудьте про всякие хипы, бинарные поиски и прочее. Я еле успел все завести за 2 минуты до того как прозвенел таймер. Интервьюера нет. Только бездушная система.

2. Скрин кодинг с человеком

Здесь был вопрос уровня литкод медиум с фоллуапом. Показалось проще чем стандартная кодинговая секция в фаангах, где обычно два разных литкода медиум.

3. Он сайт раунд.

Долгий этап из трех частей: рисерч брейншторм (15 мин), домашка с ревью (5 часов), culture fit (1 час). Можно разбить на несколько дней если захочется.

Секция 1. Рисерч Брэйншторминг

15 минут. Созвонился с Jan Leike (head of alignment, хоть с селебой пообщался). После короткого интро он накинул два открытых вопроса на подумать/набросать идеи. Вопросы не требовали глубокого знания внутрянки LLM, скорее опыта изучения поведения LLM как черного ящика и креативности.

Увы, креативности в этот день мне не выдали. На первом вопросе я завис и молчал минуты 3 перебирая в голове все свои скромные познания в математике. Как понятно из заголовка, вместо того чтобы порадовать интервьюера тем, что я стал самую малость разбираться в линале, надо было накидывать идеи. Впрочем, иногда проще сказать, чем сделать. Особенно, когда часики тикают, и тикают стремительно. Мне пришел в голову охуллиард идей, но пришел уже после того, как я выбрался прогуляться вокуг прудика, а надо было здесь и сейчас.

По скучающей мимике интервьюера к концу собеса мне стало понятно, что дело дрянь. Впрочем, впереди было объемное ДЗ на 5 часов, где, как мне казалось, можно будет восстановить свою подмоченную репутацию.

Казалось - ключевое слово. Спустя час пришла автоматическая отбивка, что в разговоре больше нет нужды, а у меня пропал доступ на портал для кандидатов. На следюущий день рекрутер вежливо послала искать счастья в другом месте и отменила оставшиеся части виртуального он-сайта.

Секция 2. Home Work Assignment.

5 часов. В день отменненого ДЗ мне по ошибке все же пришла ссылка на jupyter notebook с заданием. Дают ключ к АПИ Антропика, и попросят поисследовать систему как черный ящик по мотивам исследования/блог поста. В конце надо созвониться и презентовать обзор решения и показать что вы умеете говорить и думать.

Секция 3. Culture Fit. 1 час.

от @max_dot_sh - скорее всего стандартный раунд с HR / нанимающим менеджером на главные ценности в работе, в общении с командой и проч.


➖Итоги собеседования, например оффер или отказ, или что-то другое: Отказ

➖ Информация про Total Compensation (если желаете) 8400$ в месяц и стандартные бенефиты в виде страховки.

Немного от себя

1️⃣Модели Антропика реально классные, последний 3.5 Sonnet закрывает большое количество стандартных задач: суммаризацию, машинный перевод (почти все модели жестко страдают в качестве, когда дело касается не Английского), few-shot классификацию, ежедневный кодинг.

Одно но - guardrails (механизмы защиты модели) слишком выкручены. Модель пытается быть ну слишком безопасной и не сказать ничего лишнего. Банально даже когда просишь сделать машинный перевод с фрагментом текста, который содержит ненормативную лексику, он может отказаться. И отключить их как-то, увы, нельзя.

Понимаю, что guardrails имеют огромный смысл в B2C секторе. Но в B2B думаю это часто может нести больше вреда, чем пользы.

2️⃣У нас тоже есть подобные инициативы, называются Applied Scientist Internships. На 6 месяцев можете попасть в большую исследовательскую команду и сделать рисерч фичу для продукта, которым будут пользоваться миллионы.

Если вы MS или PhD студент, именно находитесь в процессе получения степени в области ML, то податься можно здесь.

*️⃣Если попадаете по всем Basic Qualifications и желательно по нескольким Preferred Qualifications, то можете написать мне и обсудим, смогу сделать рефер.

📣 Мнение о стартапах

Работать в AI стартапах становится престижнее. Раньше такие можно было найти в Долине, но теперь тренд меняется и в Европе тоже.

🟡За последние 2 года накопились хорошие примеры: и супер успешный ElevenLabs родом из Польши (недавно привлекли $180M в раунде С ), и еще более новый MIstral AI с французскими корнями (и ответ Франции в виде $112B на строительство европейской версию Stargate), и новый загадочный Tessl с $125M в раунде A из UK и без публичного продукта. И это просто несколько примеров стартапов, которые откликаются лично мне.

Причин идти в стартапы у всех свои. Перечислю те, что по моему мнению лежат на поверхности:

1️⃣ Мировой кризис более менее раскрыл глаза всем в IT, дав понять, что даже гиганты типа Гугла или Меты могут переживать не лучшие времена и безжалостно сокращать сотрудников. А раз тихой гавани больше нет, то нет смысла и оседать на долгие годы в биг техе (где в подавляющем количестве команд, ну будем честны, не очень интересно)

2️⃣Компенсация в стартапах не сильно уступает биг теху. Да, так не везде, но в стартапе с хорошим раундом реально можно найти позицию, которая может мэтичится в реальных деньгах с компенсацией в FAANG-e. Добавим к этому еще и опционы.

3️⃣Идти в AI стартап становится уже не так и рискованно. Когда компания привлекает крупный раунд - это дает неплохие гарантии на несколько лет относительно ее будущего (а в нынешних реалиях ожидать другое сложнее).

4️⃣Новые задачи и больше личной ответственности. В крупных компаниях все заточено на продукт (только если вы не попадете в рисерч лабу, что редкость без академического бэкграунда), и scope рисерча сильно ограничен нуждами продукта. Если вам это откликается - хорошо, но через год будет новый проект и все может поменяться. В стартапах есть абсолютно новый вид неизвестности - иногда нужно перепридумывать продукт, и это в разы сложнее. Ну и конечно зона ответственности всегда больше.

5️⃣Exit стартапа более реалистичен чем раньше. Учитывая объем инвестиций и качественный продукт, ну и конечно сильную команду (а без такой много денег не дадут), маловероятно, что стартап ни к чему не придет. Если он не станет Unicorn-ом, то скорее всего его поглотит кто-то другой. Что тоже не плохо, ведь так?

#мнение

Анатомия Собеседований. Часть 1. Seed / Round A Стартапы.

🔊Подробно расскажу, как выглядит процесс интервью в стартапы Seed ($5M+) и Round A ($25M+) с небольшим количеством сотрудников (между 10-50). Эти критерии позволяют стартапу, как правило, переманить сильных людей и уже имеют пилот проекта, который привлек доверие инвесторов.

🔴Если кажется, что стартап на 10-50 человек не может иметь сложный процесс найма, то вы ошибаетесь - цикл интервью более интенсивный и время затратный (читайте ниже).

Но почему так? Ранний стартап по определению не может нанять много людей. Поэтому они хотят поймать как можно больше сигнала от кандидата во время интервью. Эта дотошность дает лучшее представление всем членам компании о том, какой вы потенциально сотрудник. Ведь вам придется работать бок о бок каждый день.

🟢В этом одновременно и плюс, и минус для кандидата. С одной стороны, чем лучше вы пройдете собес и впечатлите команду как личность, тем больше шансов на оффер. Но с другой стороны придется и времени тратить сильно больше чем при собесе в бОльшую компанию.


Перейдем к типичной структуре интервью
Надеюсь, когда-нибудь дойдут руки до того, чтобы описать каждый тип собеса в подробностях с примерами.


🔄Founder talk (30-45 минут).
На этой стадии вы можете поговорить с фаундером / ко-фаундером. Особенно если нанимаетесь на Founding роль (например, Founding ML Engineer). Здесь можно зарядиться энергетикой главного человека в компании и понять для себя стоит игра свеч или нет. По большому счету это разговорное интервью о вашем опыте и рассказ фаундера о компании. Вы просто присматриваетесь друг к другу. Вам рассказывают про виденье продукта и перспективы, а вы оцениваете насколько это откликается.

🔄Tech Lead / CTO talk (30-45 минут).
Это еще один разговорный раунд. В этот раз уже с техническим человеком (часто это бывает очень опытный инженер из big tech-а с 5-10+ лет опыта - если нет, повод задуматься). Здесь уже гораздо больше фокус на вашем техническом бэкграунде и опыте прошлых проектов. Но и пространство для ваших вопросов очень много. Опять-таки, отличная стадия чтобы уловить, нравится вам то, что делает стартап в технологическом плане и как будет развиваться команда. Тут вы можете уловить техническую подкованность людей в компании и понимание, что вообще они делают.

🔄Homework Assignment (4-6 часов минимум).
А дальше начинается жесть. Да, да, вам могут дать домашку на 4-6 часов (не верьте, хорошее выполнение, если хотите выделиться, займет 8+ часов). В домашке могут попросить реализовать статью, сервис, построить ML пайплайн - все зависит от роли. 4-6 часов - это уже большой коммитмент. На этой стадии реально проверяется ваш интерес к компании, готовы вы идти дальше или нет. Но так же это и уникальный шанс блеснуть скиллом и выделиться. Большие корпорации не могут позволить такие интервью, слишком затратно. А у стартапа такая возможность есть. И это можно использовать как преимущество.

🔄Homework Review (1.5 - 2 часа).
Дальше с вами захотят поговорить вживую. Опять-таки шанс объяснить как и почему вы сделали что-то именно так, а не иначе. На встрече может быть 2-3 человека (включая CTO), чтобы позадовать глубокие вопросы и понять ваше мышление. Хороший шанс и свой навык убедительно продемнострировать, и понять вайб команды на практике.

... продолжение в посте ниже

Анатомия Собеседований. Часть 1. Seed / Round A Стартапы. Продолжение

🔄On-site (2-5 часов).
Думали, что все? Ну нет, бывает еще и он-сайт раунд. Вас пригласят в офис на полдня или весь день. Вы сможете поговорить и пособеседоваться с потенциальными будущими коллегами. Насколько я знаю, если вы круто сделали ДЗ, то этот этап больше проверка на адекватность, что вы хорошо говорите и доносите идеи, умеете в ML/ System Design и просто комфортный коллега.

Структура раундов очень расплывчатая, перечислю то, что в целом может вас тут ожидать:
⏺сессия ML Coding (писал тут подробно) на белой доске с маркерами или с человеком на ноуте
⏺сессия ML / System Design
⏺бихейв интервью с лидами на ваши ценности, насколько вы готовы перерабаывать, если дедлайн горит и прочее - тут обязательно такое спросят.
⏺обед с командой - вас сводят куда-ниубдь поесть, используйте это как шанс для общения с потенциальными коллегами.
⏺обсуждение с HR-ом, фаундером вашей компенсации - очень важный этап, торг всегда уместен

👀Ну и наконец, если все успешно, через пару дней вам предложат оффер (никто не будет мариновать как в биг техе).

В заключении скажу, что конечно с стартапами априори больше рисков. Изменение экономического климата скорее раньше отразится на стартапе, чем на технологическом гиганте. Но AI пространство сейчас двигается бешеными темпами. И Стартапы очень легко к этому адаптируются, они быстрые, мобильные и могут попробовать несколько идей за короткий срок. С учетом того, что адаптация AI технологий растет, как будто бы визуально риски неудачи стартапа падают. Ну и в конечном итоге, всегда может так оказаться, что в маленькой компании вы можете найти то, чего вам не хватает: 1) влияния на продукт 2) ответственности 3) технологического драйва 4) меньше боллтовни и боьше кода - каждый найдет свою причину

Happy learning !

Недавно потребовалось оценить качество Zero Shot Voice Cloning моделей доступных в опен соурсе. Формальные результаты будут чуть позже, когда будут оценки на другие свойства подобных систем. А пока что что только Speaker Similarity Evaluation - самый важный для клноирования речи - оценка того, как хорошо клноируется тембр голоса (в первую очередь) и стиль (во вторую очередь). Для эксперимента использовался большой корпус речи на английском в высоком качестве.


1️⃣ Zero Shot все еще как рулетка - повезет, и отлично склонирует тембр голоса. Но как правило чаще не везет. Zero Shot уступает подходам с файн-тюном (например, адаптер поверх большой модели на нескольких минутах речи будет гораздо более предсказуемо себя вести).

2️⃣Попробовал все опенсоурсные модели дла английского языка из TTS арены и последних релизов поддерживающих Voice Cloning, топ от лучшей к худшей модели получился вот такой:
1️⃣ llasa 3B (код, лицензия CC-BY-NC-4.0, статья, демо)
2️⃣fish speech v 1.5 (код, лицензия CC-BY-NC-4.0, docs)
3️⃣Zonos-v0.1-transformer (код, лицензия Apache 2.0, разбор модели, демо)
4️⃣xtts2 (код, лицензия Coqui XTTS Commercial License, статья)
5️⃣open voice (код, лицензия MIT)

3️⃣ Модели, что идут под лицензиями, запрещающими прямое коммерческое использование (1 и 2) - существенно сильно лучше открытых. Насколько существенно - расскажу чуть позже, когда появятся еще больше метрик тестирования моделей. Так что построить свой войс клонинг систему только из того что доступно в коммьюнити без вложений - будет затруднительно. Интересно, как репо/статья/пост абсолютно каждой модели громкго говорит, что "мы SOTA"

4️⃣ В дополнении к предыдущему пункту: разрыв с коммерческими системами прям ощутимый. Если не в самом качестве клноирования (11Labs тоже часто лажает за пределами английского), то в удобстве использования, как минимум есть консистентность в синтезе между предложениями (у Zonos все очень плохо в этом смысле)

5️⃣Все системы очень чувстивтельны к качеству reference (промт) аудио. Любой лишний шум, бэкграунд звуки, длинные паузы (как часто бывает у fiction персонажей) ломают систему и на синтезе получается мусор. Поэтому рабочий пайплайн такой:
*️⃣Найти как можно более чистый сэмпл голоса, который хотите склонировать: без шумов, эхо, в хорошем разрешении
*️⃣Забить на шаг выше и положиться на Audio Enchancer, например от Adobe (придется заплатить, если хотите использовать в масштабе)
*️⃣Запустить инференс.


💡По этой схеме получилось хорошо склонировать голос Дамблдора с помощью llasa 3B.

Прикладываю в сообщении ниже (какой-то кривой у тг редактор):

[1] Оригинальный сэмпл (взят с ютуба, вырезка из фильма, слышны разные эффекты на бэкграунде).
[2]Очищенный с помощью Адобе.
[3] Синтез Моделью. Можете заметить, как модель галлюционирует в самом конце, хотя текст довольно простой: всего лишь прошу Дамблдора объяснить, что такое Философия 🙂

Если хотите попробовать склонировать свой голос или просто поиграть - вот демка. Модель поддерживает только Английский и Китайский.

🎙Оставив все этические аспекты вопроса клонирования голоса, расскажите, что вы думаете на этот счет? Может быть какая-то модель упущена? Или поделитесь своим опытом клонирования

#разбор

💥Большой релиз - запускаем Alexa+ - next gen версия ассистента скоро станет всем доступна. Классно участвовать и наблюдать за процессом развития большого продукта. Наконец-то куча крутых фичей, над которыми работала команда доедет до пользователей.

Что именно ждет можно прочитать в официально анонсе, но главные моменты такие:

⏺ Официально можно считать Алексу Large Action Model (LAM) - взаимодействие с Алексой теперь может быть направлено именно на принятие действий и взаимодействие с средой.

⏺ Огромное количество интеграций сервисов в ассистента. Bсе будут работать по мгновению голоса: OpenTable, Ticketmaster, Yelp, Thumbtack, Vagaro, Fodor’s, Tripadvisor, Amazon, Whole Foods Market, Uber, Spotify, Apple Music,Netflix, Disney+, и куча других. Самое прикольное, то что можно их нативно комбинировать. Например, можно будет попросить заказать Алексу в такси в убере на определенное время и и попросить отправить своему другу уведомление. Или попросить заказать еду в Whole Foods, а если чего-то из списка не найдется - сделать это на Amazon fresh.

Отдельно будет обновленное Developers API для быстрой интеграции кастомных сценариев для сторонних разработчиков.

⏺ Всегда обновленная и достоверная информация. Встроили разные механизмы определения того, хочет пользователь просто поболтать на общую тему или нужно поддержать разговор актуальной информацией из сети и идти в внешние источники. Для этого запартнерились с разными медиа, чтобы Алекса всегда была в курсе контекста.

⏺ Low latency. Когда дело касается ассистентов, то latency (если быть совсем точным, то percieved latency) играет ключевую роль в создании ощущения, что общаешься с человеком, а не ботом. Чтобы минимизировать задержку в ответе используется куча трюков: и кэширование, и динамический routing, чтобы выбрать подходящую модель из того, что доступны на Amazon Bedrock. Большое количество запросов можно начать решать/озвучивать маленькими быстрыми модельками (например, у Amazon Nova Micro бешеные 161 t/s через API, но можно еще больше 🙂), а на фоне генерировать что-нибудь большим Claude

⏺ Свой режим оператора (a.k.a Agentic Flow). Можно попросить сделать что-то, о чем Алекса может быть не в курсе (например о каком-нибудь API), и она пойдет это делать в режиме оператора, возвращаясь к пользователю за советом или подтверждением через UI (многие девайсы уже давно идут с экраном, да) или голос.

⏺ Умный дом. Алекса будет в курсе всех дейвайсов в квартире и сможет переключаться между ними в риал тайме. Например, вы можете попросить включить музыку на колонке в гостиной, обращаясь к девайсу на кухне - она сообразит все сделать. На старте будет так жи и интеграция с Amazon Ring - умную камеру, которая трэкает ключевые события возле входа в ваш дом. Можно будет узнать из другого угла дома, кто стучится к вам в дверь.

⏺ Ну и конечно, обновился и сам "мозг" Алексы, болталка теперь очень умная, может отыгрывать разных персноажей, вести филосовские дискуссии, шутить, смеяться или грустить вместе с вами, запоминая любимы стиль владельца и переиспользуя его в последующих коммуникациях.


📎 Подписку можно будет оформить за 20 долларов в месяц или получить вместе с Amazon Prime.

#новости

💡 Фреймворк дня. aisuite - единый интерфейс для работы с разными AI провайдерами

Недавно возникла задача много и активно тестировать модели разных провайдеров доступных по API. Не у всех есть официальныые клиенты, да и отдельный пакет импортировать и таскать для каждого провайдера не очень удобно.

Видимо, Эндрю Ын и его команда столкнулись с такой же проблемой и выпустили микро фреймворк, который представляет единый интерфейс для большого количества провайдеров. Сейчас официально плддерживаются: OpenAI, Anthropic, Azure, Google, AWS, Groq, Mistral, HuggingFace Ollama, Sambanova and Watsonx.

Если чего-то не хватает, то можно добавить свою реализацию.

В репозитории есть много примеров, включая всякие расширения типа tool_calling.

Работать с AWS Bedrock стало точно в разы приятнее. Не нужно вручную создавать boto сессии и заниматься дополнительным парсингом данных на вход и выход. Все зашито в интерфейс:

import aisuite as ai
client = ai.Client()


provider = "aws"
model_id = "meta.llama3-1-405b-instruct-v1:0" # Model ID from Bedrock

messages = [
{"role": "system", "content": "Respond in Pirate English."},
{"role": "user", "content": "Tell me a joke."},
]

response = client.chat.completions.create(
model=f"{provider}:{model_id}",
messages=messages,
)

Делитесь другими полезными инструментами для работы с LLM API провайдерами на каждый день в комментариях 🙂