Forwarded from Data Blog
Привет, друзья! 🐣
Чего-то меня вчера вечером накрыло, и казалось, что пора всё бросать, так что я села посмотреть на какие-то достижения, и решила поделиться парой мыслей!
Сейчас я детеныш бакалавра-математика на 3м году обучения. И иногда мне кажется, что вся "тусня" с университетом — не самое лучшее занятие, особенно, если хочется развиваться в области. Хочется соскочить, пойти на собеседования, начать активно участвовать в соревнованиях или делать что-то еще, ибо есть ощущение, что то время, которое тратится на пары могло бы быть проведено более полезным образом.
Однако, каждые 45+45 минут на попе ровно — тоже рациональное вложение.
- Они учат опыту преподавания — тому, которое импонирует и тому, от которого тошнит;
- Они учат коммуницировать — открыто, честно, твердо, обоснованно и при том культурно;
- Они учат планировать — так, чтобы успеть и на пары, и поработать, и в салон красоты сходить 🚒
В умных книжках часто пишут про "позитивное мышление". Но оно начинается не там, где сидя в луже вдруг начинаешь истерично смеяться, а там, где в той же луже начинаешь учиться плавать.
За январь удалось:
- Устроиться ревьюером на курсы по data science;
- Стать частью команды создателей буткемпов по DS от ВШЭ;
- Присоединиться к команде проверяющих магистратуры Вышки по DS;
и...
- Допечь удобоваримую навигацию по библиотекам Explainable AI! 🐥
Что я хочу донести этим постом?
1. Любой опыт является частью роста, даже если расти приходится через не самые приятные дебри эмоций
2. Скоро вернуться посты про XAI, потому что последнее время я тратила на табличку и прокрастинацию 🫠😄
Чудного вам вечера и успехов!
Ваш, уже живее после кризиса,
Дата-автор!
Сейчас я детеныш бакалавра-математика на 3м году обучения. И иногда мне кажется, что вся "тусня" с университетом — не самое лучшее занятие, особенно, если хочется развиваться в области. Хочется соскочить, пойти на собеседования, начать активно участвовать в соревнованиях или делать что-то еще, ибо есть ощущение, что то время, которое тратится на пары могло бы быть проведено более полезным образом.
Однако, каждые 45+45 минут на попе ровно — тоже рациональное вложение.
- Они учат опыту преподавания — тому, которое импонирует и тому, от которого тошнит;
- Они учат коммуницировать — открыто, честно, твердо, обоснованно и при том культурно;
- Они учат планировать — так, чтобы успеть и на пары, и поработать, и в салон красоты сходить 🚒
В умных книжках часто пишут про "позитивное мышление". Но оно начинается не там, где сидя в луже вдруг начинаешь истерично смеяться, а там, где в той же луже начинаешь учиться плавать.
За январь удалось:
- Устроиться ревьюером на курсы по data science;
- Стать частью команды создателей буткемпов по DS от ВШЭ;
- Присоединиться к команде проверяющих магистратуры Вышки по DS;
и...
- Допечь удобоваримую навигацию по библиотекам Explainable AI! 🐥
Что я хочу донести этим постом?
1. Любой опыт является частью роста, даже если расти приходится через не самые приятные дебри эмоций
2. Скоро вернуться посты про XAI, потому что последнее время я тратила на табличку и прокрастинацию 🫠😄
Чудного вам вечера и успехов!
Ваш, уже живее после кризиса,
Дата-автор!
❤3
Читаю сейчас книгу "Основатели". История про основателей PayPal, оформленная в виде остросюжетного (насколько можно сделать биографию остросюжетной) романа-биографии всех участников. Мне прям безумно нравится и сам стиль, и информация, которая дается в книге. Перечислю пару моментов из начала книги, которые мне показались особо интригующими.
Кто не знаком с героями истории: уникальность PayPal, а точнее основателей этой компании в том, что все они стали миллионерами или даже миллиардерами и считаются супер успешными предпренимателями, которые после PayPal основали множество успешных компаний. Тот же Илон Маск или Питер Тиль, без которого не обходится, наверное, ни одна лекция по стартапам были у истоков платежной системы, а всех их называют PayPal мафией.
Кто не знаком с героями истории: уникальность PayPal, а точнее основателей этой компании в том, что все они стали миллионерами или даже миллиардерами и считаются супер успешными предпренимателями, которые после PayPal основали множество успешных компаний. Тот же Илон Маск или Питер Тиль, без которого не обходится, наверное, ни одна лекция по стартапам были у истоков платежной системы, а всех их называют PayPal мафией.
❤7
А теперь к истории:
-Левчин родился и вырос в Украине недалеко от Чернобыля, его мать работала в лаборатории изучения радиации. После катастрофы в лабораторию прислали компьютеры для изучения эффектов радиации - с помощью них Левчин научился программированию. В подростковом возрасте переехал в США и в старшей школе на занятиях музыки познакомился с одним из будущих коллег пейпала - Эриком Клейном.
-В университете Левчин познакомился с будущим основателем - Люком Нозаком в клубе программирования. Они попытались построить совместный бизнес - SponsorNet, но не смогли справиться с денежным потоком и загнали себя в долги, но без этого опыта у них не случился бы будущий успех - они попробовали себя в роли HR, создателей и продажников своего продукта.
-Питер Тиль отучился на адвоката и был отвергнут на должность в высший суд. Тогда он решил собрать деньги с друзей и родственников, чтобы создать свой инвестиционный фонд. Чуть позже, Нозак и Тиль познакомились на одном из стартап конференций. Нозак уговорил нового знакомого проинвестировать в его продукт - умный календарь. В то время на рынке были сотни компаний с календарями, которые боролись за маленький рынок - ожидаемо, стартап не взлетел, а Тиль потерял деньги, но приобрел опыт.
-Тиль и Левчин познакомились на открытой лекции Тиля по экономике.
Меня до сих пор удивляет, как череда почти случайных событий привела к такому масштабному проекту и насколько все участники забавным образом были переплетены друг с другом - через школу, университет или же конференции. Особую ценность представляют теперь их лекции, когда начинаешь понимать их опыт и почему они говорят вещи, которые стали чуть ли не правилами в мире организации стартапов.
-Левчин родился и вырос в Украине недалеко от Чернобыля, его мать работала в лаборатории изучения радиации. После катастрофы в лабораторию прислали компьютеры для изучения эффектов радиации - с помощью них Левчин научился программированию. В подростковом возрасте переехал в США и в старшей школе на занятиях музыки познакомился с одним из будущих коллег пейпала - Эриком Клейном.
-В университете Левчин познакомился с будущим основателем - Люком Нозаком в клубе программирования. Они попытались построить совместный бизнес - SponsorNet, но не смогли справиться с денежным потоком и загнали себя в долги, но без этого опыта у них не случился бы будущий успех - они попробовали себя в роли HR, создателей и продажников своего продукта.
-Питер Тиль отучился на адвоката и был отвергнут на должность в высший суд. Тогда он решил собрать деньги с друзей и родственников, чтобы создать свой инвестиционный фонд. Чуть позже, Нозак и Тиль познакомились на одном из стартап конференций. Нозак уговорил нового знакомого проинвестировать в его продукт - умный календарь. В то время на рынке были сотни компаний с календарями, которые боролись за маленький рынок - ожидаемо, стартап не взлетел, а Тиль потерял деньги, но приобрел опыт.
-Тиль и Левчин познакомились на открытой лекции Тиля по экономике.
Меня до сих пор удивляет, как череда почти случайных событий привела к такому масштабному проекту и насколько все участники забавным образом были переплетены друг с другом - через школу, университет или же конференции. Особую ценность представляют теперь их лекции, когда начинаешь понимать их опыт и почему они говорят вещи, которые стали чуть ли не правилами в мире организации стартапов.
❤7👍1
SOTA zero-shot RAG
или человеческим языком (почти) - я сделал крутой алгоритм для поиска документов на основе запроса без дообучения. Написал статью в NeurIPS и готов поделиться результатами!
А теперь еще детальнее.
Что такое RAG?
Современные нейронки а-ля ChatGPT хранят знания в весах. Когда вы задаете вопрос, то он проходит через несколько слоев и затем генерируется ответ. Звучит классно, но такой подход влечет за собой сразу несколько проблем
1️⃣Галлюцинации - когда модель выдает неточности или совсем бред
2️⃣Нет возможности контролировать знания - как обновить, добавить или удалить информацию?
3️⃣Нельзя проверить на чем основывается ответ - есть ли статья, которая его подтвердит?
RAG (Retrieval-Augmented Generation), конечно, не решает все эти проблемы полностью, но значительно продвигается в этом направлении. Generation - тут понятно, а вот Retrieval-Augmented означает, что мы сначала получаем что-то, а затем дополняем этим нашу генерацию.
А получаем мы данные! Это могут быть абсолютно любые данные: от медицинских карт, статей из Википедии до картинок и видео (мульти-модальный RAG). Эти данные мы передаем на вход модели вместе с запросом и… модель становится более точной в своих выражениях! Совершает меньше ошибок, меньше галлюцинирует и мы можем контролировать знания - просто добавлять или удалять записи из нашей базы данных. Можно использовать не базу данных, а целый интернет - тогда получится perplexity.
Звучит супер! А как понять, какие данные передавать под разные запросы? А вот это уже и есть основная проблема, о которой я расскажу позже.
Zero-shot же значит, что мы не хотим или не можем тратить свои ресурсы на дообучение модели. Например, в медицине, где у нас всего 100 пациентов с определенной болезнью, или какие-нибудь африканские языки, которые представлены в виде одной страницы текста и 3 наскальных рисунках. Исключая и эти примеры, как было бы классно жить в мире, где не нужно дообучать модели на новые задачи и домены - сколько ресурсов можно было бы сэкономить!
или человеческим языком (почти) - я сделал крутой алгоритм для поиска документов на основе запроса без дообучения. Написал статью в NeurIPS и готов поделиться результатами!
А теперь еще детальнее.
Что такое RAG?
Современные нейронки а-ля ChatGPT хранят знания в весах. Когда вы задаете вопрос, то он проходит через несколько слоев и затем генерируется ответ. Звучит классно, но такой подход влечет за собой сразу несколько проблем
1️⃣Галлюцинации - когда модель выдает неточности или совсем бред
2️⃣Нет возможности контролировать знания - как обновить, добавить или удалить информацию?
3️⃣Нельзя проверить на чем основывается ответ - есть ли статья, которая его подтвердит?
RAG (Retrieval-Augmented Generation), конечно, не решает все эти проблемы полностью, но значительно продвигается в этом направлении. Generation - тут понятно, а вот Retrieval-Augmented означает, что мы сначала получаем что-то, а затем дополняем этим нашу генерацию.
А получаем мы данные! Это могут быть абсолютно любые данные: от медицинских карт, статей из Википедии до картинок и видео (мульти-модальный RAG). Эти данные мы передаем на вход модели вместе с запросом и… модель становится более точной в своих выражениях! Совершает меньше ошибок, меньше галлюцинирует и мы можем контролировать знания - просто добавлять или удалять записи из нашей базы данных. Можно использовать не базу данных, а целый интернет - тогда получится perplexity.
Звучит супер! А как понять, какие данные передавать под разные запросы? А вот это уже и есть основная проблема, о которой я расскажу позже.
Zero-shot же значит, что мы не хотим или не можем тратить свои ресурсы на дообучение модели. Например, в медицине, где у нас всего 100 пациентов с определенной болезнью, или какие-нибудь африканские языки, которые представлены в виде одной страницы текста и 3 наскальных рисунках. Исключая и эти примеры, как было бы классно жить в мире, где не нужно дообучать модели на новые задачи и домены - сколько ресурсов можно было бы сэкономить!
🔥9
WTP + GPT
WTP (willingness to pay) — фреймворк, о котором я узнал из канала @proproduct. В двух словах, это набор методов, позволяющий приоритизировать развитие продукта не на желаниях пользователей, а на их готовности платить за эти желания. Не всегда самые требуемые пользователями функции приводят к конверсии в покупку. Детальнее предлагаю прочитать по ссылке в комментариях.
Мне стало интересно другое — можно ли просто закинуть информацию в GPT и на основе этого получить более-менее сносный опросник? Я как раз хотел попробовать себя в создании кастомных GPT, поэтому это стало отличной возможностью.
В общем, я создал для WTP собственную GPT, которая поможет вам сделать опросник для одного из четырёх методов из фреймворка. Если честно, это оказалось намного сложнее, чем я думал. Часа четыре пришлось работать над документом, который отправляешь в GPT в виде знаний (это RAG — узнали?), и час потратил на промпт. Конечно, некоторые вещи я для себя усвоил и в следующий раз это займет меньше времени, но спойлер — просто закинуть инфу без её обработки не получится. В моем случае GPT все же генерировала опросы, и 1 из 5 из них были даже хороши, но остальные 4... Чтобы добиться стабильности, пришлось закинуть пару примеров, структурировать информацию и переработать промпт, зато теперь он выдает стабильно сносные опросы. Естественно, что это скорее базовый вариант, и их придется доработать экспертом, но для старта сойдет.
Она может сгенерировать опросник для четырех методов:
1. Van Westendorp method
2. Список цен
3. Лучший/худший (или MaxDiff method)
4. “Собери сам”
Попробовать можно тут
https://chatgpt.com/g/g-SCtPjanQp-wtp-survey-creator
Оффтоп: С учетом того, что магазин сделали бесплатным для всех пользователей, кажется, что это скоро станет классным каналом для лидов. Смотри: есть GPT, которая покрывает часть твоей потребности, а если хочешь больший/качественный/точный функционал — иди к нам в приложение. А-ля freemium, только gptmium.
P.S. Если вы верите в AGI через 2-3 года, то попробуйте сделать кастомную GPT и поймете, насколько вне бенчмарков топ-модели могут быть… несообразительными.
WTP (willingness to pay) — фреймворк, о котором я узнал из канала @proproduct. В двух словах, это набор методов, позволяющий приоритизировать развитие продукта не на желаниях пользователей, а на их готовности платить за эти желания. Не всегда самые требуемые пользователями функции приводят к конверсии в покупку. Детальнее предлагаю прочитать по ссылке в комментариях.
Мне стало интересно другое — можно ли просто закинуть информацию в GPT и на основе этого получить более-менее сносный опросник? Я как раз хотел попробовать себя в создании кастомных GPT, поэтому это стало отличной возможностью.
В общем, я создал для WTP собственную GPT, которая поможет вам сделать опросник для одного из четырёх методов из фреймворка. Если честно, это оказалось намного сложнее, чем я думал. Часа четыре пришлось работать над документом, который отправляешь в GPT в виде знаний (это RAG — узнали?), и час потратил на промпт. Конечно, некоторые вещи я для себя усвоил и в следующий раз это займет меньше времени, но спойлер — просто закинуть инфу без её обработки не получится. В моем случае GPT все же генерировала опросы, и 1 из 5 из них были даже хороши, но остальные 4... Чтобы добиться стабильности, пришлось закинуть пару примеров, структурировать информацию и переработать промпт, зато теперь он выдает стабильно сносные опросы. Естественно, что это скорее базовый вариант, и их придется доработать экспертом, но для старта сойдет.
Она может сгенерировать опросник для четырех методов:
1. Van Westendorp method
2. Список цен
3. Лучший/худший (или MaxDiff method)
4. “Собери сам”
Попробовать можно тут
https://chatgpt.com/g/g-SCtPjanQp-wtp-survey-creator
Оффтоп: С учетом того, что магазин сделали бесплатным для всех пользователей, кажется, что это скоро станет классным каналом для лидов. Смотри: есть GPT, которая покрывает часть твоей потребности, а если хочешь больший/качественный/точный функционал — иди к нам в приложение. А-ля freemium, только gptmium.
P.S. Если вы верите в AGI через 2-3 года, то попробуйте сделать кастомную GPT и поймете, насколько вне бенчмарков топ-модели могут быть… несообразительными.
ChatGPT
ChatGPT - WTP Survey Creator
Helps create surveys on willingness to pay methodology
❤5👍1
Неравнозначность сущностей в RAG, или Hypothetical Documents
Когда мы говорим о том, как же нам получить релавантные документы на основе запроса, то на ум сразу приходит очевидное решение - давайте заембеддим запрос, документы и найдем релевантные. Звучит просто и логично, но на самом деле эта простота обманчива. По своей сути, запрос и документы - разные сущности, которые не стоит напрямую сравнивать. В чем они разные? Начиная от длины, стиля написания да и грамматикой в целом. Согласитесь, что редко когда в гугле вы используете сложноподчиненные предложения с кучей оборотов и смысла - обычно это несколько ключевых слов, зачастую даже содержащие ошибки.
Что делать?
Сравнивать только документы! Теперь, правда, есть проблема - как превратить наш запрос в документ? К счастью, в век ChatGPT это не проблема и сделать это можно в два клика - так и решили сделать авторы и получили Гипотетический документ.
Идея, как вы уже поняли, в том, чтобы сначала скармливать наш запрос какой-нибудь LLM - да, он может содержать фактические ошибки, он может выдумать факты, галлюцинировать и быть в до какой-то меры неточным, но это неважно. Этот документ будет содержать ключевые слова, иметь более близкий стиль написание, длину и тому подобное. И уже этот документ мы будем сравнивать с нашей базой данных, где содержаться реальные документы.
Два года назад этот подход дал лучший результат для поиска релеватных документов, и я решил его улучшить.
Когда мы говорим о том, как же нам получить релавантные документы на основе запроса, то на ум сразу приходит очевидное решение - давайте заембеддим запрос, документы и найдем релевантные. Звучит просто и логично, но на самом деле эта простота обманчива. По своей сути, запрос и документы - разные сущности, которые не стоит напрямую сравнивать. В чем они разные? Начиная от длины, стиля написания да и грамматикой в целом. Согласитесь, что редко когда в гугле вы используете сложноподчиненные предложения с кучей оборотов и смысла - обычно это несколько ключевых слов, зачастую даже содержащие ошибки.
Что делать?
Сравнивать только документы! Теперь, правда, есть проблема - как превратить наш запрос в документ? К счастью, в век ChatGPT это не проблема и сделать это можно в два клика - так и решили сделать авторы и получили Гипотетический документ.
Идея, как вы уже поняли, в том, чтобы сначала скармливать наш запрос какой-нибудь LLM - да, он может содержать фактические ошибки, он может выдумать факты, галлюцинировать и быть в до какой-то меры неточным, но это неважно. Этот документ будет содержать ключевые слова, иметь более близкий стиль написание, длину и тому подобное. И уже этот документ мы будем сравнивать с нашей базой данных, где содержаться реальные документы.
Query: what is papain used for
Hypothetical document: It is used as a digestive aid and for treating parasitic worms, inflammation of the throat and pharynx, shingles...
Два года назад этот подход дал лучший результат для поиска релеватных документов, и я решил его улучшить.
❤4
Atomic habits в продукте?
Я с большим скепсисом отношусь ко всем ✨биохакинг✨ книгам, но эта, на удивление, мне понравилась. Даже понял, что все мои привычки можно разложить с помощью критериев, перечисленных в книге.
Еще я обнаружил, что любой продукт (почти?) является по сути своей тоже привычкой. Следовательно, эти критерии можно перенести на продукт.
Процесс привычки состоит из 4 частей:
1️⃣ Сигнал - триггер из внешней или внутренней среды, который служит началом цепочки. Например, это может быть звук слотов в казино, реклама на билборде и многое другое.
2️⃣ Желание - реакция мозга на триггер. Мотивационное начало нашего поведения (или его отсутствие).
3️⃣ Ответ - может быть выражено в виде действия или мысли. Зависит от двух параметров:
- сила желания (мотивация)
- трение, или же количество затрачивоемой энергии на ответ.
Если определенное действие требует больше энергии, чем мы хотим потратить, мы вряд ли будем его выполнять.
4️⃣ Награда - конечная цель привычки. Примеры наград могут быть физическое удовольствие, деньги и т.п. У награды есть две задачи:
- удовлетворить желание
- запомнить поведение для будущего
♦️Каждая часть цикла важна. Если одна из них проседает, то поведение не перерастет в привычку.
Автор предлагает 4 простых правила для каждой части цикла.
Сигнал - сделай очевидным.
Желание - сделай привлекательным.
Ответ - сделай простым.
Награда - сделай приносящим удовольствие.
Я с большим скепсисом отношусь ко всем ✨биохакинг✨ книгам, но эта, на удивление, мне понравилась. Даже понял, что все мои привычки можно разложить с помощью критериев, перечисленных в книге.
Еще я обнаружил, что любой продукт (почти?) является по сути своей тоже привычкой. Следовательно, эти критерии можно перенести на продукт.
Процесс привычки состоит из 4 частей:
1️⃣ Сигнал - триггер из внешней или внутренней среды, который служит началом цепочки. Например, это может быть звук слотов в казино, реклама на билборде и многое другое.
2️⃣ Желание - реакция мозга на триггер. Мотивационное начало нашего поведения (или его отсутствие).
3️⃣ Ответ - может быть выражено в виде действия или мысли. Зависит от двух параметров:
- сила желания (мотивация)
- трение, или же количество затрачивоемой энергии на ответ.
Если определенное действие требует больше энергии, чем мы хотим потратить, мы вряд ли будем его выполнять.
4️⃣ Награда - конечная цель привычки. Примеры наград могут быть физическое удовольствие, деньги и т.п. У награды есть две задачи:
- удовлетворить желание
- запомнить поведение для будущего
♦️Каждая часть цикла важна. Если одна из них проседает, то поведение не перерастет в привычку.
Автор предлагает 4 простых правила для каждой части цикла.
Сигнал - сделай очевидным.
Желание - сделай привлекательным.
Ответ - сделай простым.
Награда - сделай приносящим удовольствие.
🔥2
Сигнал - делай очевидным
Сигнал это наша реакция на окружение. Окружение можно менять, чтобы получать более или менее частые сигналы и контролировать их силу. Например, если вы захотели приучить себя к фруктам, то просто расставьте их по своему дому - вероятность того, что вы съедите один из них будет намного выше, чем если он лежал глубоко в холодильнике.
Желание - сделай привлекательным
Желание и награда формируют дофаминовый цикл (на картинке). Дофамин вырабатывается как при получении награды, так и при её предвкушении. Желание по сути и есть предвкушение, которое контролирует нашу мотивацию продолжать что-то делать. Важно понимать, что предвкушение — это наше предсказание награды, и оно не всегда идеально, что позволяет им манипулировать.
Социальные сети и реклама часто наполнены нереалистичными фотографиями и образами, более привлекательными, чем наша реальность. На привлекательность поведения влияет и культура, в которой мы находимся. Мы, как социальные существа, стремимся перенимать привычки разных социальных групп:
(1) Нашего окружения
(2) Большинства
(3) Влиятельных людей
Ответ - сделай простым
Люди стремятся сохранить энергию, поэтому предпочитают действия требующие минимума усилий. Тут все просто: уменьшайте количество шагов в вашей реакции. В идеале автоматизируйте процесс, чтобы просто получать награду.
Награда - сделай приносящим удовольствие
Есть два типа наград:
- краткосрочная
- долгосрочная
Человек чаще предпочитает высоковероятную краткосрочную награду, чем долгосрочную с неопределенной вероятностью. Но что делать, если мы хотим получить привычку с долгосрочной наградой, но одной мотивации не хватает? В этом случае можно ввести искусственные краткосрочные награды — съешьте мороженое после занятия в зале, посмотрите сериал после семинара по английскому и т.п.
♦️ Первые три части цикла повышают вероятность поведения сейчас, награда - вероятность использования поведения в будущем.
Сигнал это наша реакция на окружение. Окружение можно менять, чтобы получать более или менее частые сигналы и контролировать их силу. Например, если вы захотели приучить себя к фруктам, то просто расставьте их по своему дому - вероятность того, что вы съедите один из них будет намного выше, чем если он лежал глубоко в холодильнике.
Желание - сделай привлекательным
Желание и награда формируют дофаминовый цикл (на картинке). Дофамин вырабатывается как при получении награды, так и при её предвкушении. Желание по сути и есть предвкушение, которое контролирует нашу мотивацию продолжать что-то делать. Важно понимать, что предвкушение — это наше предсказание награды, и оно не всегда идеально, что позволяет им манипулировать.
Социальные сети и реклама часто наполнены нереалистичными фотографиями и образами, более привлекательными, чем наша реальность. На привлекательность поведения влияет и культура, в которой мы находимся. Мы, как социальные существа, стремимся перенимать привычки разных социальных групп:
(1) Нашего окружения
(2) Большинства
(3) Влиятельных людей
Ответ - сделай простым
Люди стремятся сохранить энергию, поэтому предпочитают действия требующие минимума усилий. Тут все просто: уменьшайте количество шагов в вашей реакции. В идеале автоматизируйте процесс, чтобы просто получать награду.
Награда - сделай приносящим удовольствие
Есть два типа наград:
- краткосрочная
- долгосрочная
Человек чаще предпочитает высоковероятную краткосрочную награду, чем долгосрочную с неопределенной вероятностью. Но что делать, если мы хотим получить привычку с долгосрочной наградой, но одной мотивации не хватает? В этом случае можно ввести искусственные краткосрочные награды — съешьте мороженое после занятия в зале, посмотрите сериал после семинара по английскому и т.п.
♦️ Первые три части цикла повышают вероятность поведения сейчас, награда - вероятность использования поведения в будущем.
🔥2
Продукт как привычка
Еще не заметили сходства с циклом использования продукта?
1️⃣ Физические магазины, реклама, брендинг на вещах - все это относится к сигналу и служит напоминанием о продукте.
2️⃣ Преукрашенная реклама на постерах, анонсы с несуществующими фичами (привет No Man's Sky и все трейлеры) , коммьюнити продукта - желание.
3️⃣ Автоскроллинг видео в tik-tok, мак-авто, сервисы доставки - упрощение нашего ответа.
4️⃣ Трекер активности, начисление виртуальной валюты, мятный вкус зубной пасты - награда.
Каждую из этих областей можно улучшать. Возьмём, к примеру, Duolingo (или Balabol 🥺). Сервисы для онлайн-тестов существовали и до него, так почему же он стал таким популярным?
Изучение английского - очень сложная привычка, так как имеет долгосрочную и размытую награду (следовательно и слабое желание), требует много энергии на ответ и почти не имеет сигналов в нашем окружении. По этой причине, что называется, mass adoption не произойдет.
Duolingo делает ответ максимально простым - нужно буквально сделать несколько тапов. Тесты на пятом уровне, где нужно самому вводить все буквы / составлять предложения необязательны и следующий урок откроется без них. То есть это буквально кликер, требующий минимум энергии и умственного напряжения.
С помощью стриков, рейтингов, похвал, виртуальной валюты (геймификация) он исправляет проблему с долгосрочной наградой. Тебе не нужно больше ждать, пока ты достигнешь уровня B2, чтобы получить дофамин - получи краткосрочную награду в виде виртуальной валюты и выполненного урока.
Иконка на телефоне, уведомления, даже мемы - все это сигналы, которые побуждают тебя к использованию зеленого приложения.
Рекламу Duo я не видел, но мемы точно преувеличенные, хотя вряд ли это нарочно...
Если ты дочитал до сюда, то ты огромный молодец ✨! Получил свою порцию дофамина? Теперь жду вопросы! Хоть я и постарался все понятным образом написать, но сам понимаешь...
Еще не заметили сходства с циклом использования продукта?
1️⃣ Физические магазины, реклама, брендинг на вещах - все это относится к сигналу и служит напоминанием о продукте.
2️⃣ Преукрашенная реклама на постерах, анонсы с несуществующими фичами (привет No Man's Sky и все трейлеры) , коммьюнити продукта - желание.
3️⃣ Автоскроллинг видео в tik-tok, мак-авто, сервисы доставки - упрощение нашего ответа.
4️⃣ Трекер активности, начисление виртуальной валюты, мятный вкус зубной пасты - награда.
Каждую из этих областей можно улучшать. Возьмём, к примеру, Duolingo (или Balabol 🥺). Сервисы для онлайн-тестов существовали и до него, так почему же он стал таким популярным?
Изучение английского - очень сложная привычка, так как имеет долгосрочную и размытую награду (следовательно и слабое желание), требует много энергии на ответ и почти не имеет сигналов в нашем окружении. По этой причине, что называется, mass adoption не произойдет.
Duolingo делает ответ максимально простым - нужно буквально сделать несколько тапов. Тесты на пятом уровне, где нужно самому вводить все буквы / составлять предложения необязательны и следующий урок откроется без них. То есть это буквально кликер, требующий минимум энергии и умственного напряжения.
С помощью стриков, рейтингов, похвал, виртуальной валюты (геймификация) он исправляет проблему с долгосрочной наградой. Тебе не нужно больше ждать, пока ты достигнешь уровня B2, чтобы получить дофамин - получи краткосрочную награду в виде виртуальной валюты и выполненного урока.
Иконка на телефоне, уведомления, даже мемы - все это сигналы, которые побуждают тебя к использованию зеленого приложения.
Рекламу Duo я не видел, но мемы точно преувеличенные, хотя вряд ли это нарочно...
Если ты дочитал до сюда, то ты огромный молодец ✨! Получил свою порцию дофамина? Теперь жду вопросы! Хоть я и постарался все понятным образом написать, но сам понимаешь...
🔥5
Пока мы в универе делаем очередного убийцу (гибрида) трансформера, решил собрать предыдущие посты про Atomic Habits в лонг на vc.
Из дополнительного: добавил анализ про тапалки и трекеры привычек.
Хотите знать, что объединяет крипто-хомяка, дуолинго и трекеры привычек? Залетайте по ссылке!
😤 Поставьте лайк, если есть акк vc.
https://vc.ru/crypto/1252434-atomic-habits-v-produkte-chto-obshego-mezhdu-kripto-homyakami-duolingo-i-trekerami-privychek
Из дополнительного: добавил анализ про тапалки и трекеры привычек.
Хотите знать, что объединяет крипто-хомяка, дуолинго и трекеры привычек? Залетайте по ссылке!
😤 Поставьте лайк, если есть акк vc.
https://vc.ru/crypto/1252434-atomic-habits-v-produkte-chto-obshego-mezhdu-kripto-homyakami-duolingo-i-trekerami-privychek
vc.ru
Atomic Habits в продукте: что общего между крипто-хомяками, Duolingo и трекерами привычек? — Сервисы на vc.ru
Я с большим скепсисом отношусь ко всем ✨биохакинг✨ книгам, но эта, на удивление, мне понравилась. Даже понял, что все мои привычки можно разложить с помощью критериев, перечисленных в книге.
❤9
RAG и ранжирование
часть 1
часть 2
Продолжаем наше путешествие в генерацию на основе документов. В названии Retrieval Augmented Generation упомянуто всего 2 этапа, но на самом деле он состоит из трех.
1️⃣ Retrieval - извлечение релевантных запросу документов
2️⃣Re-ranking - ранжирование релевантных документов
3️⃣Augmented Generation - генерация на основе документов
Зачем нам нужно ранжировать документы? После первого этапа у нас зачастую остается много документов: некоторые из них являются дубликатами, некоторые более ревантны, некоторые менее. Наша задача - из этого набора документов отобрать самые лучшие, для чего мы используем ранжирование. В более широком смысле, на этом этапе еще можно быть различная фильтрация, сортировка и обработка артефактов первого этапа.
Какие инструменты для этого используют?
Не поверите, но по большей части все те же нейронные сети. Есть множество сеток, которые тренировались специально для этой задачи, показывали хорошие результаты, но с выходом GPT-4 все слегка изменилось. GPT-4 по бенчмаркам работает лучше всех остальных сеток в задаче ранжирования документов.
Вряд ли ее тренировали на этих задачах, но тем не менее получить лучшее качество при ранжировании документов можно с помощью GPT и даже не нужно собирать свою собственную сетку. Хотя если хочется, то с помощью GPT можно разметить ваш набор данных и на этом обучить какую-нибудь BERT и получить близкое к GPT качество.
А вот и промпт для этого, если потребуется
часть 1
часть 2
Продолжаем наше путешествие в генерацию на основе документов. В названии Retrieval Augmented Generation упомянуто всего 2 этапа, но на самом деле он состоит из трех.
1️⃣ Retrieval - извлечение релевантных запросу документов
2️⃣Re-ranking - ранжирование релевантных документов
3️⃣Augmented Generation - генерация на основе документов
Зачем нам нужно ранжировать документы? После первого этапа у нас зачастую остается много документов: некоторые из них являются дубликатами, некоторые более ревантны, некоторые менее. Наша задача - из этого набора документов отобрать самые лучшие, для чего мы используем ранжирование. В более широком смысле, на этом этапе еще можно быть различная фильтрация, сортировка и обработка артефактов первого этапа.
Какие инструменты для этого используют?
Не поверите, но по большей части все те же нейронные сети. Есть множество сеток, которые тренировались специально для этой задачи, показывали хорошие результаты, но с выходом GPT-4 все слегка изменилось. GPT-4 по бенчмаркам работает лучше всех остальных сеток в задаче ранжирования документов.
Вряд ли ее тренировали на этих задачах, но тем не менее получить лучшее качество при ранжировании документов можно с помощью GPT и даже не нужно собирать свою собственную сетку. Хотя если хочется, то с помощью GPT можно разметить ваш набор данных и на этом обучить какую-нибудь BERT и получить близкое к GPT качество.
А вот и промпт для этого, если потребуется
The following are passages related to query {{query}}
[1] {{passage_1}}
[2] {{passage_2}}
(more passages)
Rank these passages based on their relevance to the query
[2] > [3] > [4]...
🔥5❤3
Лонг на хабр
Статья, которую я сейчас пишу заняла у меня просто огромное количество времени. На этих выходных часов 12 на нее потратил, и до этого еще столько же, хотя она мне очень нравится. Но я здесь не за этим!
В процессе написания попробовал и ощутил все 💅удобства💅 Notion для написания лонгов - с ними я и хочу поделиться.
1️⃣ Переодически использую NotionAI
По-моему, это первая нейронка, которая не просто переписывает твой текст с нуля в "машинном стиле", как это делает гпт, а реально может заменить 2-3 слова на более подходящих и подсветить их. Очень удобно, потому что с ChatGPT процесс выглядит так:
1. Скопировал
2. Пошел в ЧатГПТ
3. Он тебе переписал вообще весь текст
4. Сравниваешь два варианта вручную и выбираешь лишь некоторые слова из предложенных.
С ноушн это куда проще и уходит много ручной работы из-за высокой степени интеграции.
Хотя у него есть и минусы: не отличается умом (по-крайней мере я не отметил), и с ним сложно проводить брейнштормы и писать параграфы с нуля.
2️⃣ Любую страницу в Notion можно опубликовать как сайт
Да-да, этим не только удобно делиться с друзьями, но и поможет индексироваться в поисковых запросах. Гугл документы, конечно, так тоже могут, в особенности с закрытыми файлами, но разница между версткой у двух колоссальна, да и удобство интеграций тоже.
Знаете, что меня всегда раздражало с такой версткой, как у Notion? Ее нельзя скопировать в два клика - там все разделено на блоки и это удручает. Как работать с GPT? А это и есть третий пункт!
3️⃣ ChatGPT умеет читать интернет. Notion тоже
Да - вы просто можете отправить ссылку на опубликованную страницу и получить фидбек. А какой это должен быть фидбек?
Я недавно прочитал, что с помощью ChatGPT можно проводить кастдевы - она неплохо отражает культурный, социальный и демографический контекст. В некоторых случаях ответы совпадают до 70-80%! Я решил применить ее не для кастдева, а для фидбека на статью...
Статья, которую я сейчас пишу заняла у меня просто огромное количество времени. На этих выходных часов 12 на нее потратил, и до этого еще столько же, хотя она мне очень нравится. Но я здесь не за этим!
В процессе написания попробовал и ощутил все 💅удобства💅 Notion для написания лонгов - с ними я и хочу поделиться.
1️⃣ Переодически использую NotionAI
По-моему, это первая нейронка, которая не просто переписывает твой текст с нуля в "машинном стиле", как это делает гпт, а реально может заменить 2-3 слова на более подходящих и подсветить их. Очень удобно, потому что с ChatGPT процесс выглядит так:
1. Скопировал
2. Пошел в ЧатГПТ
3. Он тебе переписал вообще весь текст
4. Сравниваешь два варианта вручную и выбираешь лишь некоторые слова из предложенных.
С ноушн это куда проще и уходит много ручной работы из-за высокой степени интеграции.
Хотя у него есть и минусы: не отличается умом (по-крайней мере я не отметил), и с ним сложно проводить брейнштормы и писать параграфы с нуля.
2️⃣ Любую страницу в Notion можно опубликовать как сайт
Да-да, этим не только удобно делиться с друзьями, но и поможет индексироваться в поисковых запросах. Гугл документы, конечно, так тоже могут, в особенности с закрытыми файлами, но разница между версткой у двух колоссальна, да и удобство интеграций тоже.
Знаете, что меня всегда раздражало с такой версткой, как у Notion? Ее нельзя скопировать в два клика - там все разделено на блоки и это удручает. Как работать с GPT? А это и есть третий пункт!
3️⃣ ChatGPT умеет читать интернет. Notion тоже
Да - вы просто можете отправить ссылку на опубликованную страницу и получить фидбек. А какой это должен быть фидбек?
Я недавно прочитал, что с помощью ChatGPT можно проводить кастдевы - она неплохо отражает культурный, социальный и демографический контекст. В некоторых случаях ответы совпадают до 70-80%! Я решил применить ее не для кастдева, а для фидбека на статью...
❤8🔥2
Закинул следующий промпт:
Для некоторых частей вышло довольно неплохо:
Хотя я на это и не делал особый фокус, но, возможно, учесть стоит. Такой подход стоит адаптировать и сделать несколько прогонов, чтобы собрать больше данных и потенциально проблемных мест. После этого, отправлю статью на ревью уже живым людям и сравню фидбек.
Ты студент 2-3 курса по направлению программирования с базовыми знаниями в области алгебры, алгоритмов машинного обучения, программирования и смежных дисциплин. Внимательно прочитай следующую статью и напиши на неё детальную рецензию. В рецензии должны быть освещены следующие аспекты:
Что тебе понравилось в статье?
Что тебе не понравилось или показалось недостаточным?
Какие части статьи были непонятны или сложны для понимания?
Как бы ты улучшил статью, как с точки зрения содержания, так и с точки зрения подачи материала?
Кроме того, не стесняйся включать другие замечания или наблюдения, которые, по твоему мнению, важны для обсуждения. Убедись, что твоя рецензия хорошо структурирована и логична, отражает уровень твоего понимания и критического мышления.
Для некоторых частей вышло довольно неплохо:
Сложности в понимании: Наиболее сложным разделом оказалась часть, посвященная интерпретации скрытых состояний моделей трансформеров. Здесь автору следовало бы предоставить более интуитивные примеры или визуализации, чтобы облегчить понимание для студентов с ограниченным опытом работы с нейросетями.
Хотя я на это и не делал особый фокус, но, возможно, учесть стоит. Такой подход стоит адаптировать и сделать несколько прогонов, чтобы собрать больше данных и потенциально проблемных мест. После этого, отправлю статью на ревью уже живым людям и сравню фидбек.
❤5🔥2👍1
Удержание клиентов у Notion
Печально, что он объявил об уходе из России сразу после моего поста. Решил оформить подписку на NotionAI - так сильно он мне понравился чисто под написание статей. Я еще не знаю, буду ли продливать ее, поэтому, как и в любых сервисах с подпиской, после покупки я сразу ее отменяю. Видимо, продакты у Ноушн хорошо знакомы с этим сценарием, поэтому в окне отмены подписки они предлагают скидку в 50% на 3 месяца.
1. С одной стороны, мне не хочется упускать целых 3 месяца с 50% скидкой - если я сразу ее отменю, то больше не получу, когда захочу заново продлить.
2. Есть вероятность, что я забуду ее отменить и не захочу пользоваться их АИ - тогда они бесплатно будут получать 50% месяц-два, если потом вспомню.
3. Если я все же ей осознанно воспользуюсь, то буду их клиентом на целых 3 месяца - вероятность конверсии в следующие платежи становится как будто бы выше.
Таким образом они 100% понижают уход пользователей в первый месяц, когда происходит самый большой спад. Интересно, насколько в процентах это влияет на конверсию в следующие покупки, и скольких людей они сделали так своими постоянными клиентами.
Печально, что он объявил об уходе из России сразу после моего поста. Решил оформить подписку на NotionAI - так сильно он мне понравился чисто под написание статей. Я еще не знаю, буду ли продливать ее, поэтому, как и в любых сервисах с подпиской, после покупки я сразу ее отменяю. Видимо, продакты у Ноушн хорошо знакомы с этим сценарием, поэтому в окне отмены подписки они предлагают скидку в 50% на 3 месяца.
1. С одной стороны, мне не хочется упускать целых 3 месяца с 50% скидкой - если я сразу ее отменю, то больше не получу, когда захочу заново продлить.
2. Есть вероятность, что я забуду ее отменить и не захочу пользоваться их АИ - тогда они бесплатно будут получать 50% месяц-два, если потом вспомню.
3. Если я все же ей осознанно воспользуюсь, то буду их клиентом на целых 3 месяца - вероятность конверсии в следующие платежи становится как будто бы выше.
Таким образом они 100% понижают уход пользователей в первый месяц, когда происходит самый большой спад. Интересно, насколько в процентах это влияет на конверсию в следующие покупки, и скольких людей они сделали так своими постоянными клиентами.
❤5🔥2👍1
Могут ли трансформеры думать?
В этой статье мы разберем как трансформеры решают задачи рассуждения, какие цепочки формируются внутри и посмотрим на феномен гроккинга - когда модель начинает решать задачи на тестовой выборке, хотя по логике не должна. Подготовил большой ноутбук с кодом, где мы натренируем модель решать задачу рассуждения с помощью гроккинга с 100% метрикой.
Честно, мне эта статья очень понравилась - редко такое происходит, но тут на меня напала муза и заставила потратить часов 20-25 в последние выходные.
Так что, жду ваших оценок, репостов и комментариев
https://habr.com/ru/articles/840136/
В этой статье мы разберем как трансформеры решают задачи рассуждения, какие цепочки формируются внутри и посмотрим на феномен гроккинга - когда модель начинает решать задачи на тестовой выборке, хотя по логике не должна. Подготовил большой ноутбук с кодом, где мы натренируем модель решать задачу рассуждения с помощью гроккинга с 100% метрикой.
Честно, мне эта статья очень понравилась - редко такое происходит, но тут на меня напала муза и заставила потратить часов 20-25 в последние выходные.
Так что, жду ваших оценок, репостов и комментариев
https://habr.com/ru/articles/840136/
Хабр
Могут ли трансформеры «думать»
Недавние исследования показывают, что модели трансформеров способны почти безошибочно решать задачи, требующие нескольких логических шагов. Например, из утверждения А вывести Б и дойти логически до В....
❤8👍2❤🔥1
Студенчество в Германии
Разница между европейскими и снг вузами заключается не в образовании и лекциях - в российском сегменте есть очень крутые курсы. Да и если очень хочется, то знания можно получить из онлайн лекций: от МФТИ до MIT.
В чем разница до сих пор значительна - общество вокруг университета. Например, в Европе существуют братства студентов, которым уже по несколько сотен лет. Да-да, вот эти, которых вы видели в американских фильмах «альфа», «бета» и другие буквы греческого алфавита, но здесь они не только играют в футбол.
Вообще, у каждого братства своя история, герб и традиции. Их объединяет одно: нужно жить по правилам и проводить уйму времени с его членами. Вставать в 6 утра для занятий по фехтованию, совместного завтрака, и ложиться после общего ужина - норма. Живете вы все, естественно, в каком-нибудь большом старом доме.
Такой строгий распорядок компенсируется путешествиями, спортом, обменом опыта с другими братствами, и, безусловно, вечеринками, которые проходят между сессиями. Поставить столы для литрбола и позвать половину университета - лишь вершина всего этого.
Посвящение в подобное общество тоже особенное. У моего знакомого, например, украли герб братства - чуть ли не самый священный элемент - члены другого братства. Им вместе с другими первокурсниками необходимо было его вернуть, а для этого…. Их герб полностью накрыли кружками с пивом, которые нужно было выпить за два часа. Никто его в итоге так и не освободил, потому что минут через 40 все новички отключились и их пришлось нести домой.
Но братство, прежде всего, не о тусовках, а о людях. На ежегодные собрания приходят его старые члены - все они уже директора, фаундеры и прочие высокие должности. Они дают юным членам советы, помогают финансово и поддерживают традиции, которым уже сотни лет.
Разница между европейскими и снг вузами заключается не в образовании и лекциях - в российском сегменте есть очень крутые курсы. Да и если очень хочется, то знания можно получить из онлайн лекций: от МФТИ до MIT.
В чем разница до сих пор значительна - общество вокруг университета. Например, в Европе существуют братства студентов, которым уже по несколько сотен лет. Да-да, вот эти, которых вы видели в американских фильмах «альфа», «бета» и другие буквы греческого алфавита, но здесь они не только играют в футбол.
Вообще, у каждого братства своя история, герб и традиции. Их объединяет одно: нужно жить по правилам и проводить уйму времени с его членами. Вставать в 6 утра для занятий по фехтованию, совместного завтрака, и ложиться после общего ужина - норма. Живете вы все, естественно, в каком-нибудь большом старом доме.
Такой строгий распорядок компенсируется путешествиями, спортом, обменом опыта с другими братствами, и, безусловно, вечеринками, которые проходят между сессиями. Поставить столы для литрбола и позвать половину университета - лишь вершина всего этого.
Посвящение в подобное общество тоже особенное. У моего знакомого, например, украли герб братства - чуть ли не самый священный элемент - члены другого братства. Им вместе с другими первокурсниками необходимо было его вернуть, а для этого…. Их герб полностью накрыли кружками с пивом, которые нужно было выпить за два часа. Никто его в итоге так и не освободил, потому что минут через 40 все новички отключились и их пришлось нести домой.
Но братство, прежде всего, не о тусовках, а о людях. На ежегодные собрания приходят его старые члены - все они уже директора, фаундеры и прочие высокие должности. Они дают юным членам советы, помогают финансово и поддерживают традиции, которым уже сотни лет.
❤11🔥3😁2