Любишь AI фичи создавать, люби и evals строить

Если вы когда-либо создавали AI-фичи или будете это делать, вам стоит разобраться в evals. На LinkedIn все кричат, что это чуть ли не самый важный навык продакта сегодня 🤪

Давайте разбираться, что к чему.
Проблема такая — вы никогда не знаете какой ответ выдаст LLM-модель, один и тот же запрос дает разные ответы. Чтобы понять на сколько хорошо модель справляется и как улучшить ее работу, вам нужна система оценки — evals.

Обычно модель оценивается по нескольким критериям:
🔵Корректность — на сколько корректные ответы дает модель,
🔵Полезность — решена ли задача пользователя,
🔵Тон общения — доброжелателен, приветлив.
Это не стандартизированный список, вы можете определить свои критерии, типа безопасность, креативность, в зависимости от фичи.

Как выглядит внедрение evals в небольших проектах:
🔵создаем фичу на основе LLM ответов, наделяем модель ролью. Отдаем в нее контекст и просим на выход ответ в нужном формате. Определяем как для нас выглядит успех.
🔵собираем ответы модели в табличке и настраиваем человеческую оценку ответов по критериям выше. Оцениваем каждый из критериев по шкале - хорошо, нормально, плохо. Отмечаем комментариями какие ошибки допускает модель.
🔵находим паттерны ошибок и улучшаем промт и отдаваемый контекст модели. Запускаем оценку заново.

Это называется ручная экспертная оценка. Но есть еще несколько способов, которые подойдут для крупных проектов, где оценка вручную не вариант:
🔵проверка на основе кода - логические условия есть ли в ответе ссылка, нет ли упоминания конкурентов, ответ не слишком длинный, не слишком короткий,
🔵проверка пользователями (лайк/дизлайк, звезды, фидбек),
🔵использование LLM модели в роли судьи для оценки ответов и регялярного измерения качества. Можно использовать готовые решения типа Phoenix Arize, Brain Trust или LangChain для агентов.

В итоге работа над AI-фичей c evals будет напоминать классическую продуктовую работу: запуск промта -> измерения и оценки -> итарация промта -> и так по кругу.

На следующей неделе буду делать evals для своего приложения. А вы уже делали evals?

Как создавать контент с помощью AI?

До этого я ни разу этого не делала и поэтому долго откладывала. Не знала как подступиться. На днях вдохновившись постом Нади и решила выделить на это время.

Итак, мне надо создать несколько роликов в формате рилсов для рекламы прилы про питание. Что за инструменты я использовала, что у меня получилось и какие были сложности:

Инструменты:

🔵Начать надо было со сценариев. Для этого я использовала ChatGPT, сформулировала с ним несколько ключевых JTBD-историй, и по ним несколько сценариев и текстов.
🔵Nano banana помогла мне сгенерировать видео с людьми. Была уверена, что не буду использовать AI-генераторы из-за того, что они делают не естественный контент. Но за пару промтов все видео становились очень реалистичными и заменяли мне съемки, которые так не хотелось делать.
🔵Veed.io для простого монтажа. Переходы между видео, наложение текста, озвучка, пекшот с логотипом и призывом скачивать. Демонстрацию фич приложения записала просто скринкастом экрана.
🔵Figma для скринов, фонов, иконок, финального экрана.

Основные сложности, с которыми я столкнулась😷:

🔵Сложно собрать сценарий. Даже с ChatGPT. Нужно понимать подробную раскадровку и как ты создашь каждый кадр — будет это скринкаст, сгенеренное видео, созданная анимация или что-то еще. Первые ролики решила просто повторять референсы конкурентов.

🔵Достаточно много времени ушло на онбординг в Veed.io. Какие-то фичи просто не найти в глубине настроек, про какие-то простые улучшения типа плавных переходов между кадрами или появление текста, я вообще не думала и добавляла уже после того как натыкалась на функциональность.

В итоге за час я собрала 2 рекламных ролика без какого-либо опыта до. Что оцениваю как неплохо. Уже не так страшно делать это снова. А вы уже пробовали создавать контент с AI? ☺️

Пишу стратегию круглый год

Я/Мы очень стремимся контролировать мир и целимся в то, чтобы наша стратегия описывала то, как компания и бизнес будет идти по траектории, которую мы очертим👍

Да, вы не сможете писать стратегии из раза в раз, которые будут сбываться на 100%. Слишком много что может пойти не так. Но ваша задача не предсказывать будущее, а увеличить вероятность попадания в успех.

Что может помочь с этим:
🔵Регулярные интервью с пользователями, чтобы знать сегменты пользователей, их контекст и задачи,
🔵Знание конкурентов, трендов для понимания вашей позиции на рынке, возможностей, угроз и динамики куда движется область в которой вы работаете,
🔵Понимание в цифрах как продукт создает ценность и деньги,
🔵Понимание на уровне формул как продукт, в котором вы работаете влияет на ценность и деньги,
🔵Знание, кто ваши ближайшие команды, с которыми у вас зависимости и какие у них планы,
🔵Знание, кто ваши стейкходеры, какие у них задачи, мотивации и проблемы.

Это не то, что вы сможете собрать за пару недель до праздников. Поэтому эту работу нужно делать регулярно, чтобы в конце года сесть и фокусно написать стратегию, которая будет отражать реальность. В целом у нас с вами еще есть время подготовиться к 2026-ому 🙂

Как понять, что ваши цели составлены хорошо?

Составлены хорошо — значит способны влиять на бизнес компании в измеримом и значимом виде.
Вы когда-нибудь видели, или может сами ставили цели в формате — запустить продукт, улучшить онбординг или еще хуже, закрыть 5 багов?
Работая далеко не в нищих стартапах до сих пор такое наблюдаю.

Вот вам короткий чек-лист на проверку своих целей от простого к сложному:
🔵Цель подконтрольна команде?
🔵Цель упоминает создаваемую ценность (а не только деньги)?
🔵Опирается ли цель на вдохновляющее, но достижимое состояние продукта в будущем?
🔵Достижима ли цель для промежутка времени, на который она ставится?
🔵Формулировка цели проста и понятна всем участникам команды?
🔵Цель сонаправлена с верхнеуровневыми целями бизнеса?

Если вы собрали все «да» — вы великолепны! Примерами худших целей можно поделиться в коментах, я начинаю.

Несколько классных советов продуктовым лидерам от Бена Хоровица

🔵Нерешительность — самое разрушительное, что может принести руководитель в команды. Принимать решения сложно потому что выбор всегда между плохим и немного хуже вариантом. Невозможно принимать решения, которые нравятся всем. Но важно делать это быстро.
🔵Успех — это не одно гениальное решение, а череда мелких побед и тяжелых решений.
🔵Не ждите справедливости. Жизнь в целом несправедлива. Как только вы отбросите это ожидание, вы сможете сосредоточиться на главном вопросе — Что я должен делать сейчас?
🔵Руководитель/СEO должен нанимать специалистов мирового класса, которые будут двигать компанию вперед там, где вам не хватает экспертизы, а не наоборот — нанимать сотрудников, чтобы вырастить их в высококлассных специалистов.
🔵Менеджеры по продукту — это лидеры, которые влияют на продукт и команды, находящиеся вне прямого подчинения.
🔵Долгосрочное уважение важнее краткосрочной симпатии. Как лидеру, вам придется говорить людям правду, которую они не хотят слышать. Ваша задача не в том, чтобы нравиться им в моменте, а в том, чтобы заслужить их уважение в долгосрочной перспективе.
Тезисы отсюда.

Как сделать так, чтобы ваши сотрудники принимали дата-дривен решения

Вы накидали вопросов про Talk2Data. Хочу рассказать немного подробнее про это.

В OLX сложно устроена аналитика. Данные собираются, преобразуются в несколько шагов, дата инжинеры собирают данные в таблицы под продукты и нужды бизнеса, аналитики строят дашборды на основе этих таблиц. Плюс небольшая группа людей, знающих SQL, может делать запросы к таблицам и получать больше информации😐

Данных много, работать с ними могут не все. В итоге аналитики становятся бутылочным горлышком для команд в получении инсайтов из данных🍴

AI для решения этой задачи справился отлично. Вот как это устроено у нас:

🔵Slack-бот как точка входа. Любой может написать боту сообщение с вопросом о нужных данных человеческим языков. Например, сколько выручки в категории Motors было за вчера?

🔵запрос интерпретируется на метрики (active users, revenue, leads) и переменные (продукт, платформа, страна, время и пр.)

🔵запрос конвертируется в SQL код и исполняется,

🔵полученные цифры формулируются в человеко-понятный комментарий и отправляется ответом в Slack. Типа такого: "За вчера в категории Motors выручка составила 1,5млн долларов" (но часто длиннее и подробнее),

🔵для проверки точности ответа можно использовать фичу Show query - показать SQL код, чтобы убедиться, что запрос написан корректно.

Каждая продуктовая команда делала интеграцию к своим таблицам. По сути нужно подготовить одну большую таблицу с ключевыми данными по продукту, чтобы LLM было проще к ней обращаться.
Также при запуске фичи на команду очень важно провести обучение или хотя бы собрать гайд как правильно пользоваться фичей - как формулировать запросы, чтобы получить корректный ответ, как интерпретировать данные и проверять ответы. Так как от этого зависит как эти ответы будут использованы.

Для реализации на уровне компании хорошо иметь поддержку кого-то из дата-лидеров. Либо вы всегда можете навайбкодить такого бота у себя в команде локально💅

Подкиньте лайков, если тема агентов интересна.

Вас тоже тошнит от итогов года? 📱

Сама нашла себя в этом состоянии в начале декабря, потому что вспоминала все то, что не получилось в этом году.

Хотя, я считаю, что итоги года — это отличный повод для рефлексии, которую в общем то и не обязательно подводить в конце года. И это про то, чтобы заметить, что произошло за год, что получилось, что — нет, какими вы стали после всех этих событий. А не про кару себя за не случившиеся идеальные планы.

Когда-то я ходила на психотерапевтическую группу, и наверно это был один из самых осознанных периодов. Я каждую неделю рефлектировала с группой о том, как прошла неделя, что понравилось, что — нет, какой ты по поводу этого и что хочешь изменить в себе и своих действиях. Это натренировало классный скилл понимания себя и нахождения фокуса.

Я несколько раз подводила итоги года по разным тетрадям, шаблонам. Основное, что их объединяет — это замечать что произошло (все события, не только самые яркие, а вы ведь знаете, что мы лучше запоминаем плохое😢), каким ты стал за этот год, не пиздеть себя за то, что не случилось, и опираясь на это, определить фокус, на котором ты хочешь сосредоточиться дальше. В общем это про трекинг динамики, поощрения себя за проделанный путь, присвоение опыта.

Поэтому в этом декабре я таки пишу итоги года. И буду писать планы. А вы как относитесь к итогам года? Пишете?

Дорогие, поздравляю вас с наступающим новым годом!
В этом году в канале вас стало на 1100 человек больше и это очень радует. Спасибо большое за то, что доверились мне, читаете, ставите реакции и делитесь своим мнением в комментариях.

В новом году хочу пожелать вам новых мечт, задумок, целей. Пусть хочется больше и эти желания сбываются. А путь к ним будет наполнен радостью.

Удивительно, как проще и легче ощущается опыт, когда уже прошел через него. Так вот, пусть в новом году у вас будет больше уверенности в том, что вы на правильном пути, а вдохновение будет помогать проходить через сложности. Все получится, вы классные.

Обнимаю и желаю уютного новогоднего праздника 💖❤️

Аналитики, спите спокойно🤗 Или точнее занимайтесь стратегическими задачами, не отвлекаясь на рутину. Теперь AI ответит на вопросы маркетологов!

Радуюсь, что вчера раскатили фичу запроса данных из аналитики человеческим языком на еще одну команду. Если что, подробно писала про то, как у нас это устроено тут.

OpenAI добавляет рекламу в выдачу ответов. Давайте же посчитаем чужие деньги💅

Во-первых, как это будет выглядеть — вы промтите что-то и в конце ответа по теме вашего запроса будет появляться текстово-медийный рекламный блок. Рекламу будут видеть только пользователи бесплатного тарифа и нового сокращенного за $8. Сейчас идут тесты, но планируют раскатить на всех.

С одной стороны OpenAI итак имеет доступ к тонне наших данных, зарабатывает с подписок и запросов к API, а тут еще запуск рекламы. Совсем уже..😈

🔵Но давайте посмотрим на релиз продуктово.

ChatGPT — продукт масссового использования, который конкурирует с привычным поиском. И ограничивать фичи продукта подпиской — это риск снижения вовлечения пользователей. Так работает подписочная модель — создает трение в бесплатном опыте, чтобы конвертировать пользователя в платного. В то время как нужно наоборот растить вовлечение для всех за счет лучшего опыта использования продукта по сравнению с консервативным поиском.

Выходит, что подписка становится скорее инструментом монетизации для power-юзеров, которым нужен продукт много и часто, у которых есть деньги. Т.е. такая аудитория очень ограничена. По отчетам, около 5% пользователей платят за подписку ChatGPT.

🔵Что же OpenAI зарабатывает с подписок?

По отчетам середину 25 года около 35млн пользователей платят за подписку. Умножим на самый популярный план - $20. Выходит, в месяц с подписки они имеют $700млн или $8,4 млрд в год. Учитывая траты OpenAI на инфру, одной подписки будет мало, чтобы строить устойчивый масштабируемый бизнес.

🔵А теперь давайте посчитаем сколько денег может потенциально принести реклама:

По данным на середину 2025 года пользователи делают 2.5 миллиарда запросов в день (сейчас уже больше). Раз в конце запроса идет реклама, то может допустить, что 1 запрос = 1 просмотр рекламы. Доля платных пользователей очень мала, можем ей пренебречь. Средний CPM у релкамы в Google по всем нишам $17.

🔵Итого потенциал выручки в сутки: 2 500 000 000 запросов / 1000 просмотров × $17 = $42 500 000

Или $1,3 млрд в месяц и $15 млрд в год. Это в 2 раза больше, чем выручка с подписок. И это по данным середины прошлого года без учета будущего роста 🥳

Конечно, здесь большое значение имеет заполняемость предложения, качество рекомендаций, фильтрация чувствительных тем, продукт для рекламодателей. Это очень сложный продукт.
Но как по мне, такая модель монетизации уместна. Для бизнесов это хорошая возможность запустить новый канал на перегретом рынке рекламы. Для OpenAI это новый канал выручки. А вы что думаете?