Развитие потребителей, или как создать продукт в стартапе
Когда мы прояснили различия между компанией и стартапом, можно переходить к представлению модели “Развитие Потребителей”. Её придумал Стив Бланк - сооснователей нескольких успешных и не очень стартапов, а также преподаватель в Стенфорде. Основная идея данного подхода - структурное и постоянное тестирование гипотез бизнес-модели: насчет рынка потребителей, каналов привлечения, способов сбыта, ценообразования и пр. Разработка продукта в компании (или даже процесс рождения компании) делится на 4 стадии:
🧭 Выявление потребителей – превращение гипотез основателей в факты, здесь мы работаем по большей части с самой проблемой пользователей. Проблема пользователей - основа всего последующего развития нашего продукта: от его дизайна и свойств до маркетинговой стратегии и каналов сбыта. Нам необходимо подтвердить, что проблема существует и она достаточно существенна, чтобы пользователь был готов платить за её решение. На этом этапе мы также можем проверить созданный MVP и что он действительно решает проблему. В качестве MVP необязательно использовать уже готовое приложение - можно начать с лендинга / телеграм-бота / простого сайта - главное, чтобы мы могли убедиться в работоспособности нашей идеи в целом. Здесь мы часто меняем наше представление, в зависимости от пришедших данных: какие-то гипотезы оказались верные, а какие-то нет, но важно, чтобы на следующие этапы вы переходили с подтвержденными фактами, иначе вероятность “работы в стол” увеличивается.
👥 Верификация потребителей – проверка бизнес-модель на воспроизводимость и масштабируемость. Можем ли мы расширить свою деятельность при вложении денег? Как привлечь пользователей? Будут ли активно пользоваться нашим продуктом и приносить прибыль? На этом этапе мы создаем маркетинговую стратегию и подтверждаем наличие рынка для вашего продукта. Лучший инструмент на данном этапе - тестовые продажи. Принесенные деньги значат куда больше хвалебных отзывов.
📈 Расширение клиентской базы – активное привлечение клиентов с помощью выбранной маркетинговой стратегии. Компания активизирует пользовательский спрос и масштабирует бизнес с помощью различных мероприятий по привлечению клиента.
🏦 Выстраивание компаний – превращение стартапа в компанию. Нам уже известна бизнес-модель и мы доказали, что она воспроизводима, масштабируема и прибыльна - нам не нужны отделы по поиску своего рынка, а значит, пришло время изменений. Изменяются структуры и подразделения - приходят более традиционные отделы продаж, маркетинга и коммерческого развития. Возможно, вместе со сменой руководителя, для более эффективного контроля уже компании, а не стартапа.
💡Успешный стартап постоянно тестируют гипотезы и почти сразу вносит правки.
#НастольнаяКнигаОснователя #ТеорияСтартапа
Когда мы прояснили различия между компанией и стартапом, можно переходить к представлению модели “Развитие Потребителей”. Её придумал Стив Бланк - сооснователей нескольких успешных и не очень стартапов, а также преподаватель в Стенфорде. Основная идея данного подхода - структурное и постоянное тестирование гипотез бизнес-модели: насчет рынка потребителей, каналов привлечения, способов сбыта, ценообразования и пр. Разработка продукта в компании (или даже процесс рождения компании) делится на 4 стадии:
🧭 Выявление потребителей – превращение гипотез основателей в факты, здесь мы работаем по большей части с самой проблемой пользователей. Проблема пользователей - основа всего последующего развития нашего продукта: от его дизайна и свойств до маркетинговой стратегии и каналов сбыта. Нам необходимо подтвердить, что проблема существует и она достаточно существенна, чтобы пользователь был готов платить за её решение. На этом этапе мы также можем проверить созданный MVP и что он действительно решает проблему. В качестве MVP необязательно использовать уже готовое приложение - можно начать с лендинга / телеграм-бота / простого сайта - главное, чтобы мы могли убедиться в работоспособности нашей идеи в целом. Здесь мы часто меняем наше представление, в зависимости от пришедших данных: какие-то гипотезы оказались верные, а какие-то нет, но важно, чтобы на следующие этапы вы переходили с подтвержденными фактами, иначе вероятность “работы в стол” увеличивается.
👥 Верификация потребителей – проверка бизнес-модель на воспроизводимость и масштабируемость. Можем ли мы расширить свою деятельность при вложении денег? Как привлечь пользователей? Будут ли активно пользоваться нашим продуктом и приносить прибыль? На этом этапе мы создаем маркетинговую стратегию и подтверждаем наличие рынка для вашего продукта. Лучший инструмент на данном этапе - тестовые продажи. Принесенные деньги значат куда больше хвалебных отзывов.
📈 Расширение клиентской базы – активное привлечение клиентов с помощью выбранной маркетинговой стратегии. Компания активизирует пользовательский спрос и масштабирует бизнес с помощью различных мероприятий по привлечению клиента.
🏦 Выстраивание компаний – превращение стартапа в компанию. Нам уже известна бизнес-модель и мы доказали, что она воспроизводима, масштабируема и прибыльна - нам не нужны отделы по поиску своего рынка, а значит, пришло время изменений. Изменяются структуры и подразделения - приходят более традиционные отделы продаж, маркетинга и коммерческого развития. Возможно, вместе со сменой руководителя, для более эффективного контроля уже компании, а не стартапа.
💡Успешный стартап постоянно тестируют гипотезы и почти сразу вносит правки.
#НастольнаяКнигаОснователя #ТеорияСтартапа
🔥1
Анализ Balabol - создание продукта
В Феврале мы начали разработку нашего продукта - тогда я только сдал IELTS и, ещё чувствуя проблему недостатка общения на английском и поиска ошибок в речи, я был абсолютно уверен, что, очевидно, проблема существует, аудитория понятна (либо же станет понятной после разработки) и что наибольшая сложность - техническая. Конечно, собрать несколько модулей вместе: распознавание речи - поиск ошибок - объяснение ошибок - поддержка диалога, не является самой простой задачей, но, как выяснилось позже, нам было сделать это куда проще, чем найти первых пользователей.
Ошибка в выявлении потребителей - мы не тестировали гипотезы и не выдвигали альтернативы для них. Чуть позже мы придем к тому, что существует CustDev и с людьми можно просто….поговорить, но как это делать и что сделали мы - история на следующий пост. Можно быть бесконечно уверенным в продукте, проблеме и способе её решения, но без фактического подтверждения это всего лишь домыслы и, какими бы они очевидными не были для вас, с реальностью это пока никак не связано. Альтернативы могли бы дать нам поле для маневра, а более структурированный подход к тестированию гипотез сэкономил бы силы и дал вектор для дальнейших действий при неудаче в одной из первоначальных гипотез.
Ошибка в верификации пользователей - проблема, на самом деле, вытекает из первого этапа. Мы не говорили с потенциальными потребителями, поэтому мы даже не знали, кто основная целевая аудитория подобного приложения, у кого могут быть подобные проблемы. Мы прикинули, что это пользователи английского с уровнем A2-B1 (мне все еще кажется, что для них мы были бы максимально эффективны, но тестирование может показать другое…) и на этом остановились. Не было понимания, студенты, эмигранты, или, возможно, люди, ведущие бизнес с зарубежными партнерами, поэтому каналы распространения и как дойти до этих людей так же оставались неизвестным. В качестве первых клиентов были друзья и люди, которые пришли из нескольких реклам с общей тематикой по английскому языку, но на второй раз никто не остался - скорее всего, не попали в ца.
Ошибка в разработке и отношении к провалам - ее начало до подтверждения гипотез. Тут наибольшая проблема кроется в ресурсе человека - он не бесконечный. После траты двух месяцев на разработку, идея о том, что первоначальные гипотезы неверны, принесет куда больше вреда, чем если же отвергнуть их с помощью тестирования на первом этапе. Так и произошло у нас - после того, как люди “сами не пошли использовать наш классный продукт” через два месяца разработки, сильно сказалось на желании продолжать улучшать приложение. Ошибки в бизнес-моделях - такая же часть развития продукта, как и баги в технической составляющей - без них никак, но лучше всего избавиться от них как можно скорее, чтобы следующие труды не были напрасны. Помимо структурированного тестирования гипотез, нам стоило начать разработку лишь после того, как проблема и ЦА были подтверждены - вероятность создать действительно полезный продукт была бы куда выше.
#АнализBalabol
В Феврале мы начали разработку нашего продукта - тогда я только сдал IELTS и, ещё чувствуя проблему недостатка общения на английском и поиска ошибок в речи, я был абсолютно уверен, что, очевидно, проблема существует, аудитория понятна (либо же станет понятной после разработки) и что наибольшая сложность - техническая. Конечно, собрать несколько модулей вместе: распознавание речи - поиск ошибок - объяснение ошибок - поддержка диалога, не является самой простой задачей, но, как выяснилось позже, нам было сделать это куда проще, чем найти первых пользователей.
Ошибка в выявлении потребителей - мы не тестировали гипотезы и не выдвигали альтернативы для них. Чуть позже мы придем к тому, что существует CustDev и с людьми можно просто….поговорить, но как это делать и что сделали мы - история на следующий пост. Можно быть бесконечно уверенным в продукте, проблеме и способе её решения, но без фактического подтверждения это всего лишь домыслы и, какими бы они очевидными не были для вас, с реальностью это пока никак не связано. Альтернативы могли бы дать нам поле для маневра, а более структурированный подход к тестированию гипотез сэкономил бы силы и дал вектор для дальнейших действий при неудаче в одной из первоначальных гипотез.
Ошибка в верификации пользователей - проблема, на самом деле, вытекает из первого этапа. Мы не говорили с потенциальными потребителями, поэтому мы даже не знали, кто основная целевая аудитория подобного приложения, у кого могут быть подобные проблемы. Мы прикинули, что это пользователи английского с уровнем A2-B1 (мне все еще кажется, что для них мы были бы максимально эффективны, но тестирование может показать другое…) и на этом остановились. Не было понимания, студенты, эмигранты, или, возможно, люди, ведущие бизнес с зарубежными партнерами, поэтому каналы распространения и как дойти до этих людей так же оставались неизвестным. В качестве первых клиентов были друзья и люди, которые пришли из нескольких реклам с общей тематикой по английскому языку, но на второй раз никто не остался - скорее всего, не попали в ца.
Ошибка в разработке и отношении к провалам - ее начало до подтверждения гипотез. Тут наибольшая проблема кроется в ресурсе человека - он не бесконечный. После траты двух месяцев на разработку, идея о том, что первоначальные гипотезы неверны, принесет куда больше вреда, чем если же отвергнуть их с помощью тестирования на первом этапе. Так и произошло у нас - после того, как люди “сами не пошли использовать наш классный продукт” через два месяца разработки, сильно сказалось на желании продолжать улучшать приложение. Ошибки в бизнес-моделях - такая же часть развития продукта, как и баги в технической составляющей - без них никак, но лучше всего избавиться от них как можно скорее, чтобы следующие труды не были напрасны. Помимо структурированного тестирования гипотез, нам стоило начать разработку лишь после того, как проблема и ЦА были подтверждены - вероятность создать действительно полезный продукт была бы куда выше.
#АнализBalabol
👍3
Идеальный стартап pinned «Всем привет, меня зовут Роман и, после нескольких неудачных запусков стартапа, я решил изучить этот процесс сначала в теории, а заодно и поделиться с вами, что было сделано нашей командой не так. Планирую публиковать пересказы книг/статей/лекции со своими…»
Коридорки и лендинги, или одни из способов тестирования гипотез
О тестировании гипотез обширнее и детальнее поговорим чуть позже, сейчас просто хочется дать поверхностное представление, как это выглядит и одни из способов тестирования. Да и не зря же я сегодня проходил коридорку как раз :)
Коридорка - быстрое исследование, направленное на получение фидбека от потенциальных пользователей, зачастую их мыслей по восприятию интерфейса, но возможно и самому продукту. Исследование быстрое, потому что ты не тратишь время на подготовку фокус-групп и не делаешь долгий анализ, обычно, пишешь в телеграм чат свою идею, типа “Разрабатываем сервис для общения на английском, нужны люди для тестирования интерфеса”.
Лендинг - зачастую одностраничный сайт с информацией о продукте и возможностью целевого действия (покупки / подписки) - типа того, что на фото ниже. Обычно, их делают на тильде / другом конструкторе сайтов за пару часов / дней. Нужны для проверки маркетинговых гипотез, но так же можно и тестировать и остальные переменные бизнес модели - например, нужен ли подобный продукт в целом.
Как я туда попал
В чате с коридорными подобными исследованиями написали “Разрабатываем приложение для развития английской речи”. Мне стало интересно, какие ещё есть идеи у людей в этой сфере (Balabol же к этой относится), вдруг, что-то и для себя подцеплю. Написал человеку и мы договорились на 15-минутную встречу.
Как это происходило
Мне скинули ссылку на одностраничный сайт, я расшарил экран и мы начали идти по сайту сверху-вниз. Сайт максимально типичный лендинг - три блока информации о продукте, и в самом конце огромная кнопка “Купить”. Меня попросили озвучивать свои мысли по ходу каждого блока: например, здесь не особо понятна информация, здесь мне нравится картинка и т.п. В конце попросили перефразировать, что я понял из сайта в целом, а также рассказать, купил бы я их продукт и почему да / нет.
Мысли
Оба эти инструмента потрясающие благодаря своей простоте и скорости получения результата. За пару дней можно сверстать несколько лендингов и протестировать спрос на приложение среди разных целевых аудиторий - целевое действие (покупка / подписка на рассылку) говорит куда больше, чем просто слова. Коридорка хороша для тестирования ваших лендингов или интерфейса приложения - иногда можно “переиграть со шрифтами” или логикой повествования, и тогда пользователь совсем ничего не поймет. Однако, стоит быть осторожным с вопросами, которые задаешь. Особенно насчет продукта - люди, конечно, любят делиться своим мнением, но могут делать это… не совсем сознательно, либо из-за незнания, либо по другим причинам. Вряд ли человек в лицо вам скажет, что ваш продукт не очень подходит рынку, а вам, как предпринимателю, стоит идти охранником в пятерочку (хотя бывают исключения). Для вопросов о проблемах пользователей и их мнении о продукте лучше использовать глубинные интервью, но анализ и составление вопросов все равно остается отдельным искусством.
#ТеорияСтартапа #ТестированиеГипотез
О тестировании гипотез обширнее и детальнее поговорим чуть позже, сейчас просто хочется дать поверхностное представление, как это выглядит и одни из способов тестирования. Да и не зря же я сегодня проходил коридорку как раз :)
Коридорка - быстрое исследование, направленное на получение фидбека от потенциальных пользователей, зачастую их мыслей по восприятию интерфейса, но возможно и самому продукту. Исследование быстрое, потому что ты не тратишь время на подготовку фокус-групп и не делаешь долгий анализ, обычно, пишешь в телеграм чат свою идею, типа “Разрабатываем сервис для общения на английском, нужны люди для тестирования интерфеса”.
Лендинг - зачастую одностраничный сайт с информацией о продукте и возможностью целевого действия (покупки / подписки) - типа того, что на фото ниже. Обычно, их делают на тильде / другом конструкторе сайтов за пару часов / дней. Нужны для проверки маркетинговых гипотез, но так же можно и тестировать и остальные переменные бизнес модели - например, нужен ли подобный продукт в целом.
Как я туда попал
В чате с коридорными подобными исследованиями написали “Разрабатываем приложение для развития английской речи”. Мне стало интересно, какие ещё есть идеи у людей в этой сфере (Balabol же к этой относится), вдруг, что-то и для себя подцеплю. Написал человеку и мы договорились на 15-минутную встречу.
Как это происходило
Мне скинули ссылку на одностраничный сайт, я расшарил экран и мы начали идти по сайту сверху-вниз. Сайт максимально типичный лендинг - три блока информации о продукте, и в самом конце огромная кнопка “Купить”. Меня попросили озвучивать свои мысли по ходу каждого блока: например, здесь не особо понятна информация, здесь мне нравится картинка и т.п. В конце попросили перефразировать, что я понял из сайта в целом, а также рассказать, купил бы я их продукт и почему да / нет.
Мысли
Оба эти инструмента потрясающие благодаря своей простоте и скорости получения результата. За пару дней можно сверстать несколько лендингов и протестировать спрос на приложение среди разных целевых аудиторий - целевое действие (покупка / подписка на рассылку) говорит куда больше, чем просто слова. Коридорка хороша для тестирования ваших лендингов или интерфейса приложения - иногда можно “переиграть со шрифтами” или логикой повествования, и тогда пользователь совсем ничего не поймет. Однако, стоит быть осторожным с вопросами, которые задаешь. Особенно насчет продукта - люди, конечно, любят делиться своим мнением, но могут делать это… не совсем сознательно, либо из-за незнания, либо по другим причинам. Вряд ли человек в лицо вам скажет, что ваш продукт не очень подходит рынку, а вам, как предпринимателю, стоит идти охранником в пятерочку (хотя бывают исключения). Для вопросов о проблемах пользователей и их мнении о продукте лучше использовать глубинные интервью, но анализ и составление вопросов все равно остается отдельным искусством.
#ТеорияСтартапа #ТестированиеГипотез
🔥3
Прочитал спроси маму, сделал пару интервью и мне очень понравилось работать по этой технике! Может, стать продактом….
Чуть позже сделаю небольшой пересказ + анализ прошлых и текущих вопросов, которые я задавал на интервью, а еще и результаты самих интервью. А пока ловите пересказ манифеста.
О бизнес-моделях и типах рынка надеюсь слегка позже рассказать.
Чуть позже сделаю небольшой пересказ + анализ прошлых и текущих вопросов, которые я задавал на интервью, а еще и результаты самих интервью. А пока ловите пересказ манифеста.
О бизнес-моделях и типах рынка надеюсь слегка позже рассказать.
🔥1
Манифест “Развитие потребителей” Стива Бланка
1. В офисе нет фактов, поэтому вам следует выйти к потребителю.
Основатели должны лично изучать все составляющие бизнес модели и принимать решения на основе обратной связи.
2. Сочетайте развитие потребителей с гибкой разработкой.
Их сочетание позволит итеративно улучшать продукт под задачи потребителя.
3. Ошибки – неотъемлемая часть поиска.
Одно из ключевых отличий стартапа от компании: стартап продвигается от ошибки к ошибке, а для компании они – исключение.
4. Регулярно выполняйте итерация и развороты своей бизнес-модели.
Извлеченная информация в ходе проверки гипотез позволит понять, в каком направлении двигаться.
5. Ни один бизнес план не выдерживает первого контакта с потребителем.
Используйте гибкую бизнес-модель. Шаблон бизнес-модели поможет понять, где могут потребоваться развороты и итерации.
6. Разработайте эксперименты и проведите тестирование для проверки своих гипотез.
Эксперименты – ряд простых коротких и объективных тестов. Нередко для проведения теста хватит лишь макета веб-страницы, демо-программы или опытного образца, а не полностью готового продукта.
7. Договоритесь о рынке, на который собираетесь выходить.
Собираетесь ли вы выводить продукт на новый рынок / существующий рынок / сегментировать потребителей в существующем рынке - от этого зависит многое. Тип рынка влияет на стратегию запуска, способы достижения потребителей и общения с ними, отношение с конкурентами и сложность запуска в целом.
8. Показатели работы у стартапа и компании разные.
Показатели работы стартапа отражают результаты проверки гипотез и последующие итерации:
> Подтвердилась ли проблема потребителя?
> Кто является фактическим потребителем?
> Находит ли минимальный набор характеристик отклик у потребителя?
Среди финансовых показателей:
> Месячные темпы расходования денежных средств
> Планы найма на ближайшее время
> Число месяцев на которые хватит оставшихся денег
> Отрезок времени нужный для достижения безубыточности
9. Быстрота принятия решений, временные рамки цикла, скорости и темп.
Деньги расходуются каждый день. Решения об итерации и развороте должны приниматься быстро и на основе фактов. Также важно отменять неудачные решения и возвращаться к начальной позиции.
10. Главное – увлеченность.
Без энергичных и целеустремленных людей стартап обречен на гибель.
11. Должностные обязанности в стартапе и в крупной компании имеют принципиальные различия.
Стартапам необходимы руководители, которые не боятся неопределенности, хаоса и изменений. Они должны быть готовыми к экспериментам и воспринимать неудачу как возможность извлечь урок из ошибок. Изначально команда стартапа состоит из основателей, которые общаются с потребителями, чтобы собрать информацию, позволяющую разработать MVP. Затем, когда стартап переходит к верификации потребителей, команда увеличивается сотрудниками, ответственными за организацию первых заказов.
12. Берегите деньги до тех пор, пока они не понадобится.
Стартап не тратит деньги на специалиста по маркетингу и продажам, пока основатели не превратят гипотезы в факты и подтвердят соответствия рынка и характеристики продукта. Когда они нашли воспроизводимую и масштабируемую модель, стартап начинает тратить деньги для создания спроса.
13. Обменивайтесь информацией и полученными знаниями.
Делитесь всем что вы узнали за пределами офиса, с сотрудниками, со-учредителями и даже инвесторами. Так вы продемонстрируете достижения и позволите вносить предложения со стороны.
14. Успех развития потребителей начинается с единства мнений.
Концепция развития потребителей должна быть принята на всех этапах и всеми действующими лицами стартапа, чтобы не было противоречий в развитии.
#НастольнаяКнигаОснователя #ТеорияСтартапа
1. В офисе нет фактов, поэтому вам следует выйти к потребителю.
Основатели должны лично изучать все составляющие бизнес модели и принимать решения на основе обратной связи.
2. Сочетайте развитие потребителей с гибкой разработкой.
Их сочетание позволит итеративно улучшать продукт под задачи потребителя.
3. Ошибки – неотъемлемая часть поиска.
Одно из ключевых отличий стартапа от компании: стартап продвигается от ошибки к ошибке, а для компании они – исключение.
4. Регулярно выполняйте итерация и развороты своей бизнес-модели.
Извлеченная информация в ходе проверки гипотез позволит понять, в каком направлении двигаться.
5. Ни один бизнес план не выдерживает первого контакта с потребителем.
Используйте гибкую бизнес-модель. Шаблон бизнес-модели поможет понять, где могут потребоваться развороты и итерации.
6. Разработайте эксперименты и проведите тестирование для проверки своих гипотез.
Эксперименты – ряд простых коротких и объективных тестов. Нередко для проведения теста хватит лишь макета веб-страницы, демо-программы или опытного образца, а не полностью готового продукта.
7. Договоритесь о рынке, на который собираетесь выходить.
Собираетесь ли вы выводить продукт на новый рынок / существующий рынок / сегментировать потребителей в существующем рынке - от этого зависит многое. Тип рынка влияет на стратегию запуска, способы достижения потребителей и общения с ними, отношение с конкурентами и сложность запуска в целом.
8. Показатели работы у стартапа и компании разные.
Показатели работы стартапа отражают результаты проверки гипотез и последующие итерации:
> Подтвердилась ли проблема потребителя?
> Кто является фактическим потребителем?
> Находит ли минимальный набор характеристик отклик у потребителя?
Среди финансовых показателей:
> Месячные темпы расходования денежных средств
> Планы найма на ближайшее время
> Число месяцев на которые хватит оставшихся денег
> Отрезок времени нужный для достижения безубыточности
9. Быстрота принятия решений, временные рамки цикла, скорости и темп.
Деньги расходуются каждый день. Решения об итерации и развороте должны приниматься быстро и на основе фактов. Также важно отменять неудачные решения и возвращаться к начальной позиции.
10. Главное – увлеченность.
Без энергичных и целеустремленных людей стартап обречен на гибель.
11. Должностные обязанности в стартапе и в крупной компании имеют принципиальные различия.
Стартапам необходимы руководители, которые не боятся неопределенности, хаоса и изменений. Они должны быть готовыми к экспериментам и воспринимать неудачу как возможность извлечь урок из ошибок. Изначально команда стартапа состоит из основателей, которые общаются с потребителями, чтобы собрать информацию, позволяющую разработать MVP. Затем, когда стартап переходит к верификации потребителей, команда увеличивается сотрудниками, ответственными за организацию первых заказов.
12. Берегите деньги до тех пор, пока они не понадобится.
Стартап не тратит деньги на специалиста по маркетингу и продажам, пока основатели не превратят гипотезы в факты и подтвердят соответствия рынка и характеристики продукта. Когда они нашли воспроизводимую и масштабируемую модель, стартап начинает тратить деньги для создания спроса.
13. Обменивайтесь информацией и полученными знаниями.
Делитесь всем что вы узнали за пределами офиса, с сотрудниками, со-учредителями и даже инвесторами. Так вы продемонстрируете достижения и позволите вносить предложения со стороны.
14. Успех развития потребителей начинается с единства мнений.
Концепция развития потребителей должна быть принята на всех этапах и всеми действующими лицами стартапа, чтобы не было противоречий в развитии.
#НастольнаяКнигаОснователя #ТеорияСтартапа
🔥2
Отвлечемся немного от продуктовой темы и перейдем к нейронкам. Я не забросил написание, просто переезд отнимает кучу времени, плюс столько вещей прочитал по организации интервью и сегментированию, что даже не знаю, с чего начать, но я это точно сделаю!
В TUM я буду заниматься созданием эквивалента памяти для LLM. Зачем? Сейчас мы знаем, что ChatGPT отлично умеет поддерживать диалог, писать тексты, заниматься суммаризацией и много всего остального, но начнешь его спрашивать про факты, точные знания и у нас возникнет проблема - большинство ответов будет просто неправдой! [1] Когда мы сделали первую версию стартапа и просили его объяснить / найти ошибки, это было очень заметно - говорил он все отлично, приводил правила и даже пользовался этими правилами для изменения ошибки, но вот беда - в 40% случаев правил, которые он приводил, просто не существовало в английском языке - он просто их придумал.
Происходит это по многим причинам, но, как мне кажется, основная деталь кроется в архитектуре модели - навыки работы с языком и память реализованы с помощью одного и того же подхода, что заметно отличается от той же работы человека - у нас все поделено на отделы и речевая часть находится в левом полушарии, а память в гиппокампе (нейробиологи, поправьте, но не бейте). Вот и я хочу изменить существующую архитектуру LLM на два модуля: память и обработка языка.
Пока изучал литературу, наткнулся на несколько довольно интересных моделей. Расскажу поверхностно про RETRO [2]: огромный плюс архитектуры - она не требует существенных доработок в существующие архитектуры. Если коротко, то запрос обрабатывается и в нашей базе данных знаний ищется несколько наиболее близких по смыслу текстов, например:
Запрос
Когда был снят фильм "Дюна"
Тексты из нашей базы данных
1. Dune: Part One) — американский фантастический фильм 2021 года режиссёра Дени Вильнёва, сценарий для которого написал он сам совместно с Джоном Спэйтсом (Википедия)
2. Грандиозная экранизация культового романа Фрэнка Герберта – космический блокбастер Дени Вильнёва о борьбе за власть и ресурсы в межпланетной империи (Иви)
3. ...
Базу данных можно собрать из интернета и других ресурсов. Такая модель может легко давать фактологические знания, исходя из базы данных, которая у нас имеется. Но знаете, что самое прекрасное? Производительность той же RETRO модели не падает при размере в 25 раз!! меньше, чем у GPT-3, с которой её сравнивали. Круто, а? Так можем дойти и до "Искусственного интеллекта на ноутбуке". Ещё я нашел сервис, который работает (судя по всему) по схожему принципу и берет данные из интернета - то есть в отличии от того же ChatGPT (который обновляют, конечно, но не супер быстро) он без проблем может выдавать фактологические знания и ссылки в сети на них. Сделан он был, кстати, выходцами из OpenAI, которые над ChatGPT и работали. Посмотрим, что из этого выйдет, а я пошёл думать, есть ли теперь в моем PhD смысл или проблема уже была решена ахах.
[1] https://arxiv.org/pdf/2308.10168.pdf
[2] https://arxiv.org/pdf/2112.04426.pdf
В TUM я буду заниматься созданием эквивалента памяти для LLM. Зачем? Сейчас мы знаем, что ChatGPT отлично умеет поддерживать диалог, писать тексты, заниматься суммаризацией и много всего остального, но начнешь его спрашивать про факты, точные знания и у нас возникнет проблема - большинство ответов будет просто неправдой! [1] Когда мы сделали первую версию стартапа и просили его объяснить / найти ошибки, это было очень заметно - говорил он все отлично, приводил правила и даже пользовался этими правилами для изменения ошибки, но вот беда - в 40% случаев правил, которые он приводил, просто не существовало в английском языке - он просто их придумал.
Происходит это по многим причинам, но, как мне кажется, основная деталь кроется в архитектуре модели - навыки работы с языком и память реализованы с помощью одного и того же подхода, что заметно отличается от той же работы человека - у нас все поделено на отделы и речевая часть находится в левом полушарии, а память в гиппокампе (нейробиологи, поправьте, но не бейте). Вот и я хочу изменить существующую архитектуру LLM на два модуля: память и обработка языка.
Пока изучал литературу, наткнулся на несколько довольно интересных моделей. Расскажу поверхностно про RETRO [2]: огромный плюс архитектуры - она не требует существенных доработок в существующие архитектуры. Если коротко, то запрос обрабатывается и в нашей базе данных знаний ищется несколько наиболее близких по смыслу текстов, например:
Запрос
Когда был снят фильм "Дюна"
Тексты из нашей базы данных
1. Dune: Part One) — американский фантастический фильм 2021 года режиссёра Дени Вильнёва, сценарий для которого написал он сам совместно с Джоном Спэйтсом (Википедия)
2. Грандиозная экранизация культового романа Фрэнка Герберта – космический блокбастер Дени Вильнёва о борьбе за власть и ресурсы в межпланетной империи (Иви)
3. ...
Базу данных можно собрать из интернета и других ресурсов. Такая модель может легко давать фактологические знания, исходя из базы данных, которая у нас имеется. Но знаете, что самое прекрасное? Производительность той же RETRO модели не падает при размере в 25 раз!! меньше, чем у GPT-3, с которой её сравнивали. Круто, а? Так можем дойти и до "Искусственного интеллекта на ноутбуке". Ещё я нашел сервис, который работает (судя по всему) по схожему принципу и берет данные из интернета - то есть в отличии от того же ChatGPT (который обновляют, конечно, но не супер быстро) он без проблем может выдавать фактологические знания и ссылки в сети на них. Сделан он был, кстати, выходцами из OpenAI, которые над ChatGPT и работали. Посмотрим, что из этого выйдет, а я пошёл думать, есть ли теперь в моем PhD смысл или проблема уже была решена ахах.
[1] https://arxiv.org/pdf/2308.10168.pdf
[2] https://arxiv.org/pdf/2112.04426.pdf
Perplexity AI
Perplexity is a free AI-powered answer engine that provides accurate, trusted, and real-time answers to any question.
🔥1🤔1
Поиск сегмента, или как не потерять несколько месяцев, делая никому не нужный продукт
Посмотрел отличную лекцию по основам CustDev'a от Ивана Замесина. Информации много, поэтому решил разделить на два поста. Сейчас посмотрим основные пункты по поиску сегмента и процесса CustDev в целом. Во втором - проблемные интервью и пример скрипта для них.
Цикл разработки продукта схож с тем, что есть у Стива Бланка:
1. Ищем потребность - Исследование сценариев, проблемное интервью
2. Формируем ценностное предложение (мвп) - решенческое интервью, RAT
3. Валидируем количественно - решенческое интервью, RAT
4. Внедряем монетизацию - решенческое интервью, MVP
5. Итеративно улучшаем - решенческое интервью, MVP
Ваня делает акцент, что до 5 этапа дойти довольно трудно. Скорее всего, у вас не получится запуститься с первого раза и количество клиентов будет примерно равно количеству покупок - 0. Придется сделать много итераций прототип-интервью, чтобы выйти на первые продажи.
Классный пример:
Некоторое время назад он работал над тем, как люди обращаются и находят психотерапевтов. Его опыт поиска был немного странным и гипотеза была, что большинство людей не знают, как и куда обращаться. Он решил создать сервис по подбору психотерапевтов. После нескольких интервью, он предложил найти потенциальным покупателям психотерапевта за неделю, если ему сейчас заплатят 3 тысячи рублей. Они согласились и следующей целью было созданием сайта, так как проблема уже подтверждена. Платежи - сигнал, что людям это нужно.
Painkiller vs Delighter
Продукт может решать не только проблему, но и приносить удовольствие - Tinder, Instagram.
💡Есть четыре основания для разработки решения:
1. Явная осознанная боль => избавляем от боли; проблемные интервью
2. Привычная боль => улучшаем качество жизни; проблемные интервью, исследование сценариев
3. Заимствуем хорошие решения у конкурента и чиним плохие => повышаем юзабилити и снимаем стресс
4. Дофаминово-эндорфиновый цикл => приносим удовольствие; исследуем сценарии, high-fidelity mvp
Процесс поиска сегмента.
На него может уходить довольно много времени, особенно если с вашим сегментом супер сложно связаться. Указываем число в 1.5 месяца для поиска сегмента, но, естественно, все очень зависит от обстоятельств. Как ищем? 👀
1. Делаем гипотезы по сегментам
2. Ранжируем сегменты по размеру, потенциальной боли и платежеспособности
3. Кастдевим топ гипотез сегментов
4. После первых 20 интервью топ меняется
5. Под сегмент с самой сильной потребностью придумываем решение и идем с решенческими интервью
#АкадемияЯндекс
Посмотрел отличную лекцию по основам CustDev'a от Ивана Замесина. Информации много, поэтому решил разделить на два поста. Сейчас посмотрим основные пункты по поиску сегмента и процесса CustDev в целом. Во втором - проблемные интервью и пример скрипта для них.
Цикл разработки продукта схож с тем, что есть у Стива Бланка:
1. Ищем потребность - Исследование сценариев, проблемное интервью
2. Формируем ценностное предложение (мвп) - решенческое интервью, RAT
3. Валидируем количественно - решенческое интервью, RAT
4. Внедряем монетизацию - решенческое интервью, MVP
5. Итеративно улучшаем - решенческое интервью, MVP
Ваня делает акцент, что до 5 этапа дойти довольно трудно. Скорее всего, у вас не получится запуститься с первого раза и количество клиентов будет примерно равно количеству покупок - 0. Придется сделать много итераций прототип-интервью, чтобы выйти на первые продажи.
Классный пример:
Некоторое время назад он работал над тем, как люди обращаются и находят психотерапевтов. Его опыт поиска был немного странным и гипотеза была, что большинство людей не знают, как и куда обращаться. Он решил создать сервис по подбору психотерапевтов. После нескольких интервью, он предложил найти потенциальным покупателям психотерапевта за неделю, если ему сейчас заплатят 3 тысячи рублей. Они согласились и следующей целью было созданием сайта, так как проблема уже подтверждена. Платежи - сигнал, что людям это нужно.
Painkiller vs Delighter
Продукт может решать не только проблему, но и приносить удовольствие - Tinder, Instagram.
💡Есть четыре основания для разработки решения:
1. Явная осознанная боль => избавляем от боли; проблемные интервью
2. Привычная боль => улучшаем качество жизни; проблемные интервью, исследование сценариев
3. Заимствуем хорошие решения у конкурента и чиним плохие => повышаем юзабилити и снимаем стресс
4. Дофаминово-эндорфиновый цикл => приносим удовольствие; исследуем сценарии, high-fidelity mvp
Процесс поиска сегмента.
На него может уходить довольно много времени, особенно если с вашим сегментом супер сложно связаться. Указываем число в 1.5 месяца для поиска сегмента, но, естественно, все очень зависит от обстоятельств. Как ищем? 👀
1. Делаем гипотезы по сегментам
2. Ранжируем сегменты по размеру, потенциальной боли и платежеспособности
3. Кастдевим топ гипотез сегментов
4. После первых 20 интервью топ меняется
5. Под сегмент с самой сильной потребностью придумываем решение и идем с решенческими интервью
#АкадемияЯндекс
❤2
Про интервью, или вторая часть лекции
В этой лекции были рассмотрены лишь проблемные интервью, но мы должны помнить, что есть и другие. Начать стоит с наших ожиданий от кастдева в целом.
🤩 Что можно получить от кастдева
• Как люди сейчас решают эту проблему
• Есть ли потребность и
насколько она сильна
• Эмоции
• Знания о нечестных преимуществах
☠️ Что не получить
• Предположения относительно будущего (то есть не стоит задавать вопросы типа «купили бы вы», «понравилось ли бы вам»)
Что мы ищем в интервью
🫠 Частотную боль (негативная эмоциональная мотивация) - встречается у многих людей (8/10 человек)
😛 Потенциально частотный delighter (позитивная эмоциональная мотивация)
🤔 Важная деталь сценария (неизвестная конкурентам)
Эмоции - один из фактов, на который мы должны опираться по ходу кастдева. Эмоции важны как с точки зрения закрытия потребностей для начального привлечения потребителей, так и для их последующего удержания. Если проблема человека действительно беспокоит, то она будет сопряжена с сильными эмоциями, если же нет, то, скорее всего, это и не проблема вовсе.
Далее Ваня приводит классный пример:
10 секундные вставки у дудя похоже на трейлеры к фильмам и дают впечатление об эмоциях, которые вы испытаете от просмотра ролика. Это увеличивает вовлеченность и конверсию в долгие видео.
База скрипта проблемного интервью.
💡Это всего лишь скелет, который стоит менять в зависимости от того, с кем общаетесь и дополнять характеристиками, важными для вашего решения: пол, денежный достаток, возраст и тп.
❓Общие вопросы по проблеме:
1. Как вы сейчас решаете свою потребность? Сколько вы за это сейчас платите? Довольны?
2. Как вы поймете, что решили свою потребность классно?
3. Что произойдет, если вы не можете решать потребность?
4. Что доставляет вам неудобство? Не факт, что вам дадут все проблемы сразу
⁉️Переходим к конкретике:
1. Когда последний раз сталкивался с этим?
2. Почему это было тяжело?
3. Какую эмоцию вы испытывали
4. Оцените силу эмоции по 10-бальной шкале
👥 Скрипт меняется в зависимости от сегмента, с которым говорим. У них может быть разная мотивация, разные боли и проблемы.
Пример последовательности в исследовании
1. Берем проблемный скрипт
2. На mindmap выносим сегменты людей
3. Выносим все текущее знание в виде тезисов и гипотез-> превращаем в вопросы
4. Уточняем проблемный скрипт вопросами про важные детали
5. Знания должны повторяться
💡Вопросы скрипта должны исходить из ваших гипотез о мире. То есть вопросы должен отвечать фактами на ваши гипотезы и вносить ясность.
Еще я увидел у него очень крутую визуализацию гипотез и вопросов, которые собирается исследовать.
#АкадемияЯндекс
В этой лекции были рассмотрены лишь проблемные интервью, но мы должны помнить, что есть и другие. Начать стоит с наших ожиданий от кастдева в целом.
🤩 Что можно получить от кастдева
• Как люди сейчас решают эту проблему
• Есть ли потребность и
насколько она сильна
• Эмоции
• Знания о нечестных преимуществах
☠️ Что не получить
• Предположения относительно будущего (то есть не стоит задавать вопросы типа «купили бы вы», «понравилось ли бы вам»)
Что мы ищем в интервью
🫠 Частотную боль (негативная эмоциональная мотивация) - встречается у многих людей (8/10 человек)
😛 Потенциально частотный delighter (позитивная эмоциональная мотивация)
🤔 Важная деталь сценария (неизвестная конкурентам)
Эмоции - один из фактов, на который мы должны опираться по ходу кастдева. Эмоции важны как с точки зрения закрытия потребностей для начального привлечения потребителей, так и для их последующего удержания. Если проблема человека действительно беспокоит, то она будет сопряжена с сильными эмоциями, если же нет, то, скорее всего, это и не проблема вовсе.
Далее Ваня приводит классный пример:
10 секундные вставки у дудя похоже на трейлеры к фильмам и дают впечатление об эмоциях, которые вы испытаете от просмотра ролика. Это увеличивает вовлеченность и конверсию в долгие видео.
База скрипта проблемного интервью.
💡Это всего лишь скелет, который стоит менять в зависимости от того, с кем общаетесь и дополнять характеристиками, важными для вашего решения: пол, денежный достаток, возраст и тп.
❓Общие вопросы по проблеме:
1. Как вы сейчас решаете свою потребность? Сколько вы за это сейчас платите? Довольны?
2. Как вы поймете, что решили свою потребность классно?
3. Что произойдет, если вы не можете решать потребность?
4. Что доставляет вам неудобство? Не факт, что вам дадут все проблемы сразу
⁉️Переходим к конкретике:
1. Когда последний раз сталкивался с этим?
2. Почему это было тяжело?
3. Какую эмоцию вы испытывали
4. Оцените силу эмоции по 10-бальной шкале
👥 Скрипт меняется в зависимости от сегмента, с которым говорим. У них может быть разная мотивация, разные боли и проблемы.
Пример последовательности в исследовании
1. Берем проблемный скрипт
2. На mindmap выносим сегменты людей
3. Выносим все текущее знание в виде тезисов и гипотез-> превращаем в вопросы
4. Уточняем проблемный скрипт вопросами про важные детали
5. Знания должны повторяться
💡Вопросы скрипта должны исходить из ваших гипотез о мире. То есть вопросы должен отвечать фактами на ваши гипотезы и вносить ясность.
Еще я увидел у него очень крутую визуализацию гипотез и вопросов, которые собирается исследовать.
#АкадемияЯндекс
❤1
Всем привет!
Я наконец-то переехал в Мюнхен и могу снова писать посты, пару новостей по жизни и проектам:
- Я знал, что в Мюнхене сложно найти жилье, но чтобы это заняло месяц... Соглашался почти на все варианты, но варианты не всегда соглашались на меня :( Скорее всего, из-за не особо хорошего немецкого, но это ладно.
- Пытаюсь попасть на стажировку в крупные мировые компании, еххх вот бы Nvidia или Google Research ответили! Если у вас есть связи с ними, то замолвите там словечко за меня ахахах
- Мы продолжаем работу над проектом! Сейчас проводим интервью с Ваней (по большей части он проводит, ну то есть все) - ищем целевой сегмент, смотрим на их работы, кто-куда - вот это все, чтобы не наступать на грабли в какой-то там раз уже. Естественно, что возникнут другие проблемы, но главное - куда-то двигаться :)
Пока читаю очень много материала для своей докторской работы, но она такая муторная, что и обзор не особо хочется по ней делать. Зато сделаю по DevDay от OpenAI. Лекция шикарная у них.
P.S. На этой неделе запускаем новую версию бота на английском, если вам интересно попользоваться им и ответить потом на пару вопрос - пишите в личку или в комментарии!
Я наконец-то переехал в Мюнхен и могу снова писать посты, пару новостей по жизни и проектам:
- Я знал, что в Мюнхене сложно найти жилье, но чтобы это заняло месяц... Соглашался почти на все варианты, но варианты не всегда соглашались на меня :( Скорее всего, из-за не особо хорошего немецкого, но это ладно.
- Пытаюсь попасть на стажировку в крупные мировые компании, еххх вот бы Nvidia или Google Research ответили! Если у вас есть связи с ними, то замолвите там словечко за меня ахахах
- Мы продолжаем работу над проектом! Сейчас проводим интервью с Ваней (по большей части он проводит, ну то есть все) - ищем целевой сегмент, смотрим на их работы, кто-куда - вот это все, чтобы не наступать на грабли в какой-то там раз уже. Естественно, что возникнут другие проблемы, но главное - куда-то двигаться :)
Пока читаю очень много материала для своей докторской работы, но она такая муторная, что и обзор не особо хочется по ней делать. Зато сделаю по DevDay от OpenAI. Лекция шикарная у них.
P.S. На этой неделе запускаем новую версию бота на английском, если вам интересно попользоваться им и ответить потом на пару вопрос - пишите в личку или в комментарии!
🔥2
Оптимизация LLM - советы от OpenAI
Неделю назад у OpenAI прошла конференция, где они анонсировали GPT-4, GPTs (убийца стартапов-помощников) и много чего ещё. Помимо это было несколько лекций интересных более в техническом плане. На одной из них они рассказали свой опыт оптимизации LLM для разных задач. В итоге вышла одно из лучших введений по оптимизации, что я видел. Хотя брали они по большей части ChatGPT и GPT-4, эту инструкцию легко применить и на другие, типа Llama, PathLLM. Потому что проблемы по большей части у всех моделей одни:
🧠 Недостаток знаний - с помощью каких знаний выполнять? Проблема в том, что модели тренируются на огромном количестве данных из открытых источников. Если у вас задача основывается на секретных документах вашей компании, то как модель может выполнить задачу, не зная их?
Выделяется четыре основных подхода для оптимизации:
1️⃣ Prompt Engineering (техника подсказок) - зачастую мы используем естественный язык, чтобы объяснить модели, что же от нее мы хотим. Если мы хотим, чтобы она работала в качестве решателя уравнений, то мы пишем ей
- это и есть prompt. Его можно написать по-разному - кто-то пишет объемные тексты с примерами, кто-то один два слова и надеется, что модель его поймет. В целом, аналогия тут как с человеком - чем лучше мы объясним ему задачу, тем лучше он её сделает (зачастую).
Есть множество способов улучшить prompt. Например, мы можем дать пару примеров модели и четче поставить задание:
2️⃣ RAG (Retrieval Augmented Generation) - генерируем выход модели на основе внешний данных. Модель склонна забывать знания или не иметь их вовсе. Здесь нам необходимо передать информацию, которая поможет решить задачу. Например, если мы решаем физические задачи -
-, то неплохо было бы передать такую фактологическую модели при решении задачи. Так у модели будет меньше галлюцинаций и точнее ответы:
3️⃣ Fine-tuning (дообучение) - в далекие времена, когда не существовало LLM и context-learning, людям приходилось собирать набор данных (пример - метка) и каждый раз тратить множество видеомашинных часов на обучение модели. Да, здесь идея та же - LLM модели не имеют какой-то специфики в плане обучения. Если вам нужен, например, определенный формат вывода, то можно собрать свой набор данных и дообучить существующую модель - так не нужно будет каждый раз кидать сложный и длинный prompt, что упростит ее использование
4️⃣ Попробовать все сразу!
💡 Естественно, что у каждого метода есть свои плюсы и минусы, каждый из них закрывает разные проблемы модели, поэтому не стоит думать, что один лучше другого. Например, RAG закрывает потребность модели в знании, а fine-tuning - в умении. OpenAI так же выпустили и методичку плюсов и минусов:
Prompt Engineering
✅ Относительно прост в реализации - можно быстро получить модель, решающую задачу
✅ Является отличным бейзланом, чтобы сравнивать последующие шаги оптимизации
🚫 Не является средством для введения новых знаний в модель
🚫 Не средство для представления модели совершенно новых умений
🚫 Большие и сложные prompt’ы нагружают модель - увеличивается задержка
RAG
✅ Хороший способ представить модели новые знания
✅ Уменьшаем галлюцинации модели с помощью контроля знаний
🚫 Не получится представить совершенно новую область знаний (то есть большое количество) - тут нужна связка знания + умения
🚫 Не средство для представления модели совершенно новых умений
🚫 Не особо уменьшает количество используемых токенов в prompt’e
Fine-tuning
✅ Способ сосредоточить внимание на уже имеющихся знаниях модели
✅ Кастомизация выхода модели - структура, формат
✅ Способ для обучения модели сложных инструкций
🚫 Не способ для добавления новых знаний в модель
🚫 Трудоемкий подход, поэтому не ждите быстрых итераций
Неделю назад у OpenAI прошла конференция, где они анонсировали GPT-4, GPTs (убийца стартапов-помощников) и много чего ещё. Помимо это было несколько лекций интересных более в техническом плане. На одной из них они рассказали свой опыт оптимизации LLM для разных задач. В итоге вышла одно из лучших введений по оптимизации, что я видел. Хотя брали они по большей части ChatGPT и GPT-4, эту инструкцию легко применить и на другие, типа Llama, PathLLM. Потому что проблемы по большей части у всех моделей одни:
🧠 Недостаток знаний - с помощью каких знаний выполнять? Проблема в том, что модели тренируются на огромном количестве данных из открытых источников. Если у вас задача основывается на секретных документах вашей компании, то как модель может выполнить задачу, не зная их?
Выделяется четыре основных подхода для оптимизации:
1️⃣ Prompt Engineering (техника подсказок) - зачастую мы используем естественный язык, чтобы объяснить модели, что же от нее мы хотим. Если мы хотим, чтобы она работала в качестве решателя уравнений, то мы пишем ей
“реши 2x = 4”
- это и есть prompt. Его можно написать по-разному - кто-то пишет объемные тексты с примерами, кто-то один два слова и надеется, что модель его поймет. В целом, аналогия тут как с человеком - чем лучше мы объясним ему задачу, тем лучше он её сделает (зачастую).
Есть множество способов улучшить prompt. Например, мы можем дать пару примеров модели и четче поставить задание:
Я хочу, чтобы ты решал уравнения. Вот пример того, как решается одно из уравнений
3x = 6
x = 6/3
x = 2
Найди x в следующем примере:
2x = 4
2️⃣ RAG (Retrieval Augmented Generation) - генерируем выход модели на основе внешний данных. Модель склонна забывать знания или не иметь их вовсе. Здесь нам необходимо передать информацию, которая поможет решить задачу. Например, если мы решаем физические задачи -
Какова масса воды, если объем равен 1 литру?
-, то неплохо было бы передать такую фактологическую модели при решении задачи. Так у модели будет меньше галлюцинаций и точнее ответы:
Плотность воды - 997 г. / м3
Какова масса воды, если объем равен 1 литру?
3️⃣ Fine-tuning (дообучение) - в далекие времена, когда не существовало LLM и context-learning, людям приходилось собирать набор данных (пример - метка) и каждый раз тратить множество видеомашинных часов на обучение модели. Да, здесь идея та же - LLM модели не имеют какой-то специфики в плане обучения. Если вам нужен, например, определенный формат вывода, то можно собрать свой набор данных и дообучить существующую модель - так не нужно будет каждый раз кидать сложный и длинный prompt, что упростит ее использование
4️⃣ Попробовать все сразу!
💡 Естественно, что у каждого метода есть свои плюсы и минусы, каждый из них закрывает разные проблемы модели, поэтому не стоит думать, что один лучше другого. Например, RAG закрывает потребность модели в знании, а fine-tuning - в умении. OpenAI так же выпустили и методичку плюсов и минусов:
Prompt Engineering
✅ Относительно прост в реализации - можно быстро получить модель, решающую задачу
✅ Является отличным бейзланом, чтобы сравнивать последующие шаги оптимизации
🚫 Не является средством для введения новых знаний в модель
🚫 Не средство для представления модели совершенно новых умений
🚫 Большие и сложные prompt’ы нагружают модель - увеличивается задержка
RAG
✅ Хороший способ представить модели новые знания
✅ Уменьшаем галлюцинации модели с помощью контроля знаний
🚫 Не получится представить совершенно новую область знаний (то есть большое количество) - тут нужна связка знания + умения
🚫 Не средство для представления модели совершенно новых умений
🚫 Не особо уменьшает количество используемых токенов в prompt’e
Fine-tuning
✅ Способ сосредоточить внимание на уже имеющихся знаниях модели
✅ Кастомизация выхода модели - структура, формат
✅ Способ для обучения модели сложных инструкций
🚫 Не способ для добавления новых знаний в модель
🚫 Трудоемкий подход, поэтому не ждите быстрых итераций
🔥3
Стало интересно посмотреть, как GPT-4 справиться с мелкими задачами программирования и можно ли без проблем использовать в повседневной деятельности / работе. Как раз и задача появилась - захотел в телегу сделать себе News settler по AI - собрать несколько новостных сайтов и чтобы мне в телегу все новости шли. Задача довольно простая - парсер + апи к боту в телеге. Как справился GPT? 🧐
Я скачал html файл сайта и закинул в чат со следующим промтом:
Проблем с этим вообще не возникло (почти) - на выходе он дал код, который возвращал список с новостями, но вместо requests он использовал локальный файл (видимо, потому что я не ссылку скинул, а сам файл). Супер - подумал я, проблем тогда не должно возникнуть. Через один промпт он уже исправил локальный файл на ссылку, и я приступил к промптингу самого бота.
Тут уже стало сложнее - сама структура приложения - не одна функция, синхронные / асинхронные потоки, вызовы API tg и все такое. Плюс к этому идет то, что все фичи необходимо описывать словесным языком (что логично), но тебе как человеку сложно все продумать за раз, поэтому кодинг идет поэтапно - от малого к большому. И то ли мне непривычно менять код таким образом и я не понял, как писать промтпы, то ли gpt сложно работать с 2 сотнями строчек кода (вероятнее первое, конечно), но наибольшая проблема у меня возникла когда я хотел немного изменить архитектуру. То Чат что-то терял, то ошибки появлялись (не делал await на асинхронных методах и придумывал функции, которых нет у API).
В целом, теперь у меня есть тг бот, который отправляет мне новости с разных ресурсов! Довольно прикольно, в связке с GPT, я сделал это быстрее на 40-50% где-то (за 30 мин), чем без него. Особенно круто его использовать для мелких рутинных и понятных заданий - парсить страницу, например. Для больших приложений я бы его не использовал, потому что все ещё сделаю это быстрее сам, чем буду объяснять, что и как нужно менять в проекте. Из недостатков, которые сейчас прям бросаются в глаза - скорость генерации, супер медленно, но уверен, что скоро это поправят :)
Я скачал html файл сайта и закинул в чат со следующим промтом:
Here is an html file for a AI-website news. Could you make a crawler on python with beatifulsoup library to get all news from that page and save it in the class News with the following parameters:
title
photo_url
news_url
Проблем с этим вообще не возникло (почти) - на выходе он дал код, который возвращал список с новостями, но вместо requests он использовал локальный файл (видимо, потому что я не ссылку скинул, а сам файл). Супер - подумал я, проблем тогда не должно возникнуть. Через один промпт он уже исправил локальный файл на ссылку, и я приступил к промптингу самого бота.
Тут уже стало сложнее - сама структура приложения - не одна функция, синхронные / асинхронные потоки, вызовы API tg и все такое. Плюс к этому идет то, что все фичи необходимо описывать словесным языком (что логично), но тебе как человеку сложно все продумать за раз, поэтому кодинг идет поэтапно - от малого к большому. И то ли мне непривычно менять код таким образом и я не понял, как писать промтпы, то ли gpt сложно работать с 2 сотнями строчек кода (вероятнее первое, конечно), но наибольшая проблема у меня возникла когда я хотел немного изменить архитектуру. То Чат что-то терял, то ошибки появлялись (не делал await на асинхронных методах и придумывал функции, которых нет у API).
В целом, теперь у меня есть тг бот, который отправляет мне новости с разных ресурсов! Довольно прикольно, в связке с GPT, я сделал это быстрее на 40-50% где-то (за 30 мин), чем без него. Особенно круто его использовать для мелких рутинных и понятных заданий - парсить страницу, например. Для больших приложений я бы его не использовал, потому что все ещё сделаю это быстрее сам, чем буду объяснять, что и как нужно менять в проекте. Из недостатков, которые сейчас прям бросаются в глаза - скорость генерации, супер медленно, но уверен, что скоро это поправят :)
🔥2
Иногда YouTube алгоритмы мне совершенно непонятны... Вот он выдает тебе мем 10-летней давности с 30 миллионами просмотров, тут он тебе показывает клип, который ты уже не видел лет 7 и вообще, с тех времен твои вкусы довольно сильно изменились, но ты все равно нажимаешь на него, чтобы вкусить беззаботность прошлых лет и вспомнить своё отрочество. Сегодня они меня снова удивили и выдали.... Лекцию от Сэма Альтмана по стартапам - за 7 лет там от 1 млн до сотен тысяч просмотров (что для лекции Стенфорда с таким именитым человеком не так уж много), так что могу считать, что это ещё не завирусилось :)
В те времена Сэм Альтман был президентом Y Combinator - организации по запуску стартапов, которая считается одной из лучших в этом - через неё прошли десятки единорогов: Airbnb, Dropbox, Stripe и другие, которые меняют нашу жизнь сейчас. Я ещё не успел посмотреть весь цикл полностью, лишь первые 10 минут, но в целом звучит супер заманчиво, особенно от человека с таким опытом. Довольно интересно его видение и способ построения успешной компании. Если интересно, то сделаю чуть позже обзор на все это :)
https://www.youtube.com/watch?v=CBYhVcO4WgI
В те времена Сэм Альтман был президентом Y Combinator - организации по запуску стартапов, которая считается одной из лучших в этом - через неё прошли десятки единорогов: Airbnb, Dropbox, Stripe и другие, которые меняют нашу жизнь сейчас. Я ещё не успел посмотреть весь цикл полностью, лишь первые 10 минут, но в целом звучит супер заманчиво, особенно от человека с таким опытом. Довольно интересно его видение и способ построения успешной компании. Если интересно, то сделаю чуть позже обзор на все это :)
https://www.youtube.com/watch?v=CBYhVcO4WgI
YouTube
Lecture 1 - How to Start a Startup (Sam Altman, Dustin Moskovitz)
Lecture Transcript: https://tech.genius.com/Sam-altman-lecture-1-how-to-start-a-startup-annotated
Sam Altman, President of Y Combinator, and Dustin Moskovitz, Cofounder of Facebook, Asana, and Good Ventures, kick off the How to Start a Startup Course. Sam…
Sam Altman, President of Y Combinator, and Dustin Moskovitz, Cofounder of Facebook, Asana, and Good Ventures, kick off the How to Start a Startup Course. Sam…
👍1
Пишу сейчас статью на vc.ru (планирую закончить завтра). Очевидно, что первый абзац один из самых важных, поэтому столь важную работу я решил делегировать. Попробовал GPT-4, чтобы посмотреть, как хорошо он справится, результаты вы можете видеть сами
GPT-4
GPT-4 + несколько примеров хороших абзацев
GPT-4 + несколько примеров хороших абзацев + несколько промптов-исправлений
GPT-4
От алгоритмических загадок YouTube до стартап-стратегий от Сэма Альтмана – путь к успеху в мире технологий непредсказуем и захватывающ. Сегодня мы раскрываем неочевидные уроки от основателя OpenAI, которые помогут вам осознать, как идея, рожденная в студенческой аудитории, может превратиться в технологического гиганта. Откройте для себя секреты и советы от мастеров своего дела, которые меняют правила игры в стартап-индустрии.
GPT-4 + несколько примеров хороших абзацев
Каково это — начать стартап, который в итоге приведет к созданию одного из ведущих инновационных проектов в мире искусственного интеллекта? Сэм Альтман, известный своей работой в OpenAI, однажды стоял на пороге этого пути. В этой статье мы рассмотрим его путь от незначительного проекта до создания технологического гиганта, исследуем его ранние идеи и стратегии, которые позволили ему преуспеть в мире стартапов, и узнаем, как эти уроки могут помочь будущим предпринимателям в их стремлении к успеху.
GPT-4 + несколько примеров хороших абзацев + несколько промптов-исправлений
Как часто случайное видео на YouTube может открыть дверь в мир стартапов и предпринимательства? Сегодня, благодаря алгоритмам, я наткнулся на серию лекций Сэма Альтмана, эксперта по стартапам и бывшего президента Y Combinator. В этих лекциях он делится своими знаниями и опытом, рассказывая о том, что необходимо для запуска и роста успешного стартапа. Открывая первую лекцию, я не ожидал, что найду столько ценной информации, и в этой статье я хочу поделиться с вами самыми важными уроками, которые Альтман предложил аудитории
🔥2