📣 Мнение о стартапах

Работать в AI стартапах становится престижнее. Раньше такие можно было найти в Долине, но теперь тренд меняется и в Европе тоже.

🟡За последние 2 года накопились хорошие примеры: и супер успешный ElevenLabs родом из Польши (недавно привлекли $180M в раунде С ), и еще более новый MIstral AI с французскими корнями (и ответ Франции в виде $112B на строительство европейской версию Stargate), и новый загадочный Tessl с $125M в раунде A из UK и без публичного продукта. И это просто несколько примеров стартапов, которые откликаются лично мне.

Причин идти в стартапы у всех свои. Перечислю те, что по моему мнению лежат на поверхности:

1️⃣ Мировой кризис более менее раскрыл глаза всем в IT, дав понять, что даже гиганты типа Гугла или Меты могут переживать не лучшие времена и безжалостно сокращать сотрудников. А раз тихой гавани больше нет, то нет смысла и оседать на долгие годы в биг техе (где в подавляющем количестве команд, ну будем честны, не очень интересно)

2️⃣Компенсация в стартапах не сильно уступает биг теху. Да, так не везде, но в стартапе с хорошим раундом реально можно найти позицию, которая может мэтичится в реальных деньгах с компенсацией в FAANG-e. Добавим к этому еще и опционы.

3️⃣Идти в AI стартап становится уже не так и рискованно. Когда компания привлекает крупный раунд - это дает неплохие гарантии на несколько лет относительно ее будущего (а в нынешних реалиях ожидать другое сложнее).

4️⃣Новые задачи и больше личной ответственности. В крупных компаниях все заточено на продукт (только если вы не попадете в рисерч лабу, что редкость без академического бэкграунда), и scope рисерча сильно ограничен нуждами продукта. Если вам это откликается - хорошо, но через год будет новый проект и все может поменяться. В стартапах есть абсолютно новый вид неизвестности - иногда нужно перепридумывать продукт, и это в разы сложнее. Ну и конечно зона ответственности всегда больше.

5️⃣Exit стартапа более реалистичен чем раньше. Учитывая объем инвестиций и качественный продукт, ну и конечно сильную команду (а без такой много денег не дадут), маловероятно, что стартап ни к чему не придет. Если он не станет Unicorn-ом, то скорее всего его поглотит кто-то другой. Что тоже не плохо, ведь так?

#мнение

Анатомия Собеседований. Часть 1. Seed / Round A Стартапы.

🔊Подробно расскажу, как выглядит процесс интервью в стартапы Seed ($5M+) и Round A ($25M+) с небольшим количеством сотрудников (между 10-50). Эти критерии позволяют стартапу, как правило, переманить сильных людей и уже имеют пилот проекта, который привлек доверие инвесторов.

🔴Если кажется, что стартап на 10-50 человек не может иметь сложный процесс найма, то вы ошибаетесь - цикл интервью более интенсивный и время затратный (читайте ниже).

Но почему так? Ранний стартап по определению не может нанять много людей. Поэтому они хотят поймать как можно больше сигнала от кандидата во время интервью. Эта дотошность дает лучшее представление всем членам компании о том, какой вы потенциально сотрудник. Ведь вам придется работать бок о бок каждый день.

🟢В этом одновременно и плюс, и минус для кандидата. С одной стороны, чем лучше вы пройдете собес и впечатлите команду как личность, тем больше шансов на оффер. Но с другой стороны придется и времени тратить сильно больше чем при собесе в бОльшую компанию.


Перейдем к типичной структуре интервью
Надеюсь, когда-нибудь дойдут руки до того, чтобы описать каждый тип собеса в подробностях с примерами.


🔄Founder talk (30-45 минут).
На этой стадии вы можете поговорить с фаундером / ко-фаундером. Особенно если нанимаетесь на Founding роль (например, Founding ML Engineer). Здесь можно зарядиться энергетикой главного человека в компании и понять для себя стоит игра свеч или нет. По большому счету это разговорное интервью о вашем опыте и рассказ фаундера о компании. Вы просто присматриваетесь друг к другу. Вам рассказывают про виденье продукта и перспективы, а вы оцениваете насколько это откликается.

🔄Tech Lead / CTO talk (30-45 минут).
Это еще один разговорный раунд. В этот раз уже с техническим человеком (часто это бывает очень опытный инженер из big tech-а с 5-10+ лет опыта - если нет, повод задуматься). Здесь уже гораздо больше фокус на вашем техническом бэкграунде и опыте прошлых проектов. Но и пространство для ваших вопросов очень много. Опять-таки, отличная стадия чтобы уловить, нравится вам то, что делает стартап в технологическом плане и как будет развиваться команда. Тут вы можете уловить техническую подкованность людей в компании и понимание, что вообще они делают.

🔄Homework Assignment (4-6 часов минимум).
А дальше начинается жесть. Да, да, вам могут дать домашку на 4-6 часов (не верьте, хорошее выполнение, если хотите выделиться, займет 8+ часов). В домашке могут попросить реализовать статью, сервис, построить ML пайплайн - все зависит от роли. 4-6 часов - это уже большой коммитмент. На этой стадии реально проверяется ваш интерес к компании, готовы вы идти дальше или нет. Но так же это и уникальный шанс блеснуть скиллом и выделиться. Большие корпорации не могут позволить такие интервью, слишком затратно. А у стартапа такая возможность есть. И это можно использовать как преимущество.

🔄Homework Review (1.5 - 2 часа).
Дальше с вами захотят поговорить вживую. Опять-таки шанс объяснить как и почему вы сделали что-то именно так, а не иначе. На встрече может быть 2-3 человека (включая CTO), чтобы позадовать глубокие вопросы и понять ваше мышление. Хороший шанс и свой навык убедительно продемнострировать, и понять вайб команды на практике.

... продолжение в посте ниже

Анатомия Собеседований. Часть 1. Seed / Round A Стартапы. Продолжение

🔄On-site (2-5 часов).
Думали, что все? Ну нет, бывает еще и он-сайт раунд. Вас пригласят в офис на полдня или весь день. Вы сможете поговорить и пособеседоваться с потенциальными будущими коллегами. Насколько я знаю, если вы круто сделали ДЗ, то этот этап больше проверка на адекватность, что вы хорошо говорите и доносите идеи, умеете в ML/ System Design и просто комфортный коллега.

Структура раундов очень расплывчатая, перечислю то, что в целом может вас тут ожидать:
⏺сессия ML Coding (писал тут подробно) на белой доске с маркерами или с человеком на ноуте
⏺сессия ML / System Design
⏺бихейв интервью с лидами на ваши ценности, насколько вы готовы перерабаывать, если дедлайн горит и прочее - тут обязательно такое спросят.
⏺обед с командой - вас сводят куда-ниубдь поесть, используйте это как шанс для общения с потенциальными коллегами.
⏺обсуждение с HR-ом, фаундером вашей компенсации - очень важный этап, торг всегда уместен

👀Ну и наконец, если все успешно, через пару дней вам предложат оффер (никто не будет мариновать как в биг техе).

В заключении скажу, что конечно с стартапами априори больше рисков. Изменение экономического климата скорее раньше отразится на стартапе, чем на технологическом гиганте. Но AI пространство сейчас двигается бешеными темпами. И Стартапы очень легко к этому адаптируются, они быстрые, мобильные и могут попробовать несколько идей за короткий срок. С учетом того, что адаптация AI технологий растет, как будто бы визуально риски неудачи стартапа падают. Ну и в конечном итоге, всегда может так оказаться, что в маленькой компании вы можете найти то, чего вам не хватает: 1) влияния на продукт 2) ответственности 3) технологического драйва 4) меньше боллтовни и боьше кода - каждый найдет свою причину

Happy learning !

Недавно потребовалось оценить качество Zero Shot Voice Cloning моделей доступных в опен соурсе. Формальные результаты будут чуть позже, когда будут оценки на другие свойства подобных систем. А пока что что только Speaker Similarity Evaluation - самый важный для клноирования речи - оценка того, как хорошо клноируется тембр голоса (в первую очередь) и стиль (во вторую очередь). Для эксперимента использовался большой корпус речи на английском в высоком качестве.


1️⃣ Zero Shot все еще как рулетка - повезет, и отлично склонирует тембр голоса. Но как правило чаще не везет. Zero Shot уступает подходам с файн-тюном (например, адаптер поверх большой модели на нескольких минутах речи будет гораздо более предсказуемо себя вести).

2️⃣Попробовал все опенсоурсные модели дла английского языка из TTS арены и последних релизов поддерживающих Voice Cloning, топ от лучшей к худшей модели получился вот такой:
1️⃣ llasa 3B (код, лицензия CC-BY-NC-4.0, статья, демо)
2️⃣fish speech v 1.5 (код, лицензия CC-BY-NC-4.0, docs)
3️⃣Zonos-v0.1-transformer (код, лицензия Apache 2.0, разбор модели, демо)
4️⃣xtts2 (код, лицензия Coqui XTTS Commercial License, статья)
5️⃣open voice (код, лицензия MIT)

3️⃣ Модели, что идут под лицензиями, запрещающими прямое коммерческое использование (1 и 2) - существенно сильно лучше открытых. Насколько существенно - расскажу чуть позже, когда появятся еще больше метрик тестирования моделей. Так что построить свой войс клонинг систему только из того что доступно в коммьюнити без вложений - будет затруднительно. Интересно, как репо/статья/пост абсолютно каждой модели громкго говорит, что "мы SOTA"

4️⃣ В дополнении к предыдущему пункту: разрыв с коммерческими системами прям ощутимый. Если не в самом качестве клноирования (11Labs тоже часто лажает за пределами английского), то в удобстве использования, как минимум есть консистентность в синтезе между предложениями (у Zonos все очень плохо в этом смысле)

5️⃣Все системы очень чувстивтельны к качеству reference (промт) аудио. Любой лишний шум, бэкграунд звуки, длинные паузы (как часто бывает у fiction персонажей) ломают систему и на синтезе получается мусор. Поэтому рабочий пайплайн такой:
*️⃣Найти как можно более чистый сэмпл голоса, который хотите склонировать: без шумов, эхо, в хорошем разрешении
*️⃣Забить на шаг выше и положиться на Audio Enchancer, например от Adobe (придется заплатить, если хотите использовать в масштабе)
*️⃣Запустить инференс.


💡По этой схеме получилось хорошо склонировать голос Дамблдора с помощью llasa 3B.

Прикладываю в сообщении ниже (какой-то кривой у тг редактор):

[1] Оригинальный сэмпл (взят с ютуба, вырезка из фильма, слышны разные эффекты на бэкграунде).
[2]Очищенный с помощью Адобе.
[3] Синтез Моделью. Можете заметить, как модель галлюционирует в самом конце, хотя текст довольно простой: всего лишь прошу Дамблдора объяснить, что такое Философия 🙂

Если хотите попробовать склонировать свой голос или просто поиграть - вот демка. Модель поддерживает только Английский и Китайский.

🎙Оставив все этические аспекты вопроса клонирования голоса, расскажите, что вы думаете на этот счет? Может быть какая-то модель упущена? Или поделитесь своим опытом клонирования

#разбор

💥Большой релиз - запускаем Alexa+ - next gen версия ассистента скоро станет всем доступна. Классно участвовать и наблюдать за процессом развития большого продукта. Наконец-то куча крутых фичей, над которыми работала команда доедет до пользователей.

Что именно ждет можно прочитать в официально анонсе, но главные моменты такие:

⏺ Официально можно считать Алексу Large Action Model (LAM) - взаимодействие с Алексой теперь может быть направлено именно на принятие действий и взаимодействие с средой.

⏺ Огромное количество интеграций сервисов в ассистента. Bсе будут работать по мгновению голоса: OpenTable, Ticketmaster, Yelp, Thumbtack, Vagaro, Fodor’s, Tripadvisor, Amazon, Whole Foods Market, Uber, Spotify, Apple Music,Netflix, Disney+, и куча других. Самое прикольное, то что можно их нативно комбинировать. Например, можно будет попросить заказать Алексу в такси в убере на определенное время и и попросить отправить своему другу уведомление. Или попросить заказать еду в Whole Foods, а если чего-то из списка не найдется - сделать это на Amazon fresh.

Отдельно будет обновленное Developers API для быстрой интеграции кастомных сценариев для сторонних разработчиков.

⏺ Всегда обновленная и достоверная информация. Встроили разные механизмы определения того, хочет пользователь просто поболтать на общую тему или нужно поддержать разговор актуальной информацией из сети и идти в внешние источники. Для этого запартнерились с разными медиа, чтобы Алекса всегда была в курсе контекста.

⏺ Low latency. Когда дело касается ассистентов, то latency (если быть совсем точным, то percieved latency) играет ключевую роль в создании ощущения, что общаешься с человеком, а не ботом. Чтобы минимизировать задержку в ответе используется куча трюков: и кэширование, и динамический routing, чтобы выбрать подходящую модель из того, что доступны на Amazon Bedrock. Большое количество запросов можно начать решать/озвучивать маленькими быстрыми модельками (например, у Amazon Nova Micro бешеные 161 t/s через API, но можно еще больше 🙂), а на фоне генерировать что-нибудь большим Claude

⏺ Свой режим оператора (a.k.a Agentic Flow). Можно попросить сделать что-то, о чем Алекса может быть не в курсе (например о каком-нибудь API), и она пойдет это делать в режиме оператора, возвращаясь к пользователю за советом или подтверждением через UI (многие девайсы уже давно идут с экраном, да) или голос.

⏺ Умный дом. Алекса будет в курсе всех дейвайсов в квартире и сможет переключаться между ними в риал тайме. Например, вы можете попросить включить музыку на колонке в гостиной, обращаясь к девайсу на кухне - она сообразит все сделать. На старте будет так жи и интеграция с Amazon Ring - умную камеру, которая трэкает ключевые события возле входа в ваш дом. Можно будет узнать из другого угла дома, кто стучится к вам в дверь.

⏺ Ну и конечно, обновился и сам "мозг" Алексы, болталка теперь очень умная, может отыгрывать разных персноажей, вести филосовские дискуссии, шутить, смеяться или грустить вместе с вами, запоминая любимы стиль владельца и переиспользуя его в последующих коммуникациях.


📎 Подписку можно будет оформить за 20 долларов в месяц или получить вместе с Amazon Prime.

#новости

💡 Фреймворк дня. aisuite - единый интерфейс для работы с разными AI провайдерами

Недавно возникла задача много и активно тестировать модели разных провайдеров доступных по API. Не у всех есть официальныые клиенты, да и отдельный пакет импортировать и таскать для каждого провайдера не очень удобно.

Видимо, Эндрю Ын и его команда столкнулись с такой же проблемой и выпустили микро фреймворк, который представляет единый интерфейс для большого количества провайдеров. Сейчас официально плддерживаются: OpenAI, Anthropic, Azure, Google, AWS, Groq, Mistral, HuggingFace Ollama, Sambanova and Watsonx.

Если чего-то не хватает, то можно добавить свою реализацию.

В репозитории есть много примеров, включая всякие расширения типа tool_calling.

Работать с AWS Bedrock стало точно в разы приятнее. Не нужно вручную создавать boto сессии и заниматься дополнительным парсингом данных на вход и выход. Все зашито в интерфейс:

import aisuite as ai
client = ai.Client()


provider = "aws"
model_id = "meta.llama3-1-405b-instruct-v1:0" # Model ID from Bedrock

messages = [
{"role": "system", "content": "Respond in Pirate English."},
{"role": "user", "content": "Tell me a joke."},
]

response = client.chat.completions.create(
model=f"{provider}:{model_id}",
messages=messages,
)

Делитесь другими полезными инструментами для работы с LLM API провайдерами на каждый день в комментариях 🙂

Интересный опрос в канале у @smirnovevgeny, Head of ML Лаборатории в Альфа-Банке про карьеру в ML, зарплатные вилки, географию, грейды и образование. Будет очень интересно посмотреть на результаты в контексте количество переработанных часов -> компенсация - есть ли тут корреляци, а самое главное какая. Порадовало, что такой вопрос вообще есть 😄

заполнить гугл форму можно тут
Результаты будут в канале

💡Принцип Златовласки, или при чём тут сказка про трёх медведей?

Казалось бы, какая Златовласка? И какя вообще сказка?

Вот и я сначала удивился, когда услышал выражение "Goldilocks hard" (c английского дословно Goldilocks будет Златоваской) в недавней лекции Charles Sutton-а, Research Scientist-а из DeepMind, про AI Agents for Code Generation.

Давайте разберёмся.

Златовласка — это девочка из известной английской сказки Goldilocks and the Three Bears. В русском варианте, "Три Медведя", адаптированном Львом Толстым, она была заменена на безымянную «одну девочку», а в более поздних версиях — на Машу.

Сюжет сказки прост: девочка заблудилась в лесу, зашла в дом трёх медведей и обнаружила там три набора предметов разного размера — три тарелки, три стула, три кровати. Попробовав их, она каждый раз находила, что один слишком большой, другой слишком маленький, а третий — в самый раз.

Вот из этого "в самый раз" и происходит принцип Златовласки (Goldilocks principle), который используется в самых разных областях — от медицины и психологии до инженерии и машинного обучения.

Например, оптимальный learning rate при обучении модели — это тот, который и не слишком маленький (чтобы обучение не застопорилось), и не слишком большой (чтобы модель не перескакивала экстремумы и не сходилась хаотично).

Sutton в своей лекции использовал выражение Goldilocks hard, говоря о бенчмарках MBPP и HumanEval для оценки моделей генерации кода. Эти датасеты состоят из простых задач: реализовать базовый алгоритм на Python в 10–20 строк. В 2021–2022 годах такие бенчмарки были в "самый раз" — модели уже демонстрировали, что могут решать подобные задачи, но всё ещё показывали далёкие от идеала метрики, и было понятно, куда расти. Сегодня такие датасеты безнадежно устарели: 1) слишком простые 2) слишком мало юнит-тестов на каждую задачу 3) абсолютно точно они протекли в pretrain любой новой модели. По сути, MBPP и HumanEval стали аналогом MNIST в кодогенерации.

Актуальный Goldilocks hard бенчмарк для кодогенерации — это, скорее, SWE-Bench (а ещё лучше его отфильтрованная версия SWE-Bench Verified), который основан на pull request'ах из крупных open-source Python-проектов на GitHub.

Такая вот история про Златовласку и генерацию кода 🙂