Как мы внедряли ИИ для HR-отбора в Skyeng - часть 1

Это, наверное, один из наиболее описываемых мной кейсов на разных конференциях и митапах, потому что он действительно классный! В нем было все: польза для бизнеса, польза для пользователя, чалленджовая задача!

Процесс отбора учителей в компании состоит из нескольких этапов, но прежде чем встретиться с кандидатом, нам нужно убедиться, что он может говорить по-английски. Поэтому самый первый этап, который проходит каждый преподаватель, – это запись аудио резюме.

Раньше проверкой этих записей занимались сотрудники из команды методистов, но, согласитесь, слушать сотни записей с ответами на одни и те же вопросы каждый день – довольно утомительная работа. 🙄 К тому же, сам процесс проверки занимал много времени: в среднем 123 минуты до того, как запись доходила до методиста, и 8 минут на проверку и выставление оценки. Обычно мы возвращались к кандидатам с ответом о том, хотим ли мы продолжить сотрудничество, не раньше следующего дня.

В августе 2022 года мы взялись за эту задачу. Проект получил название ASA - automatic speech assessment (автоматическая оценка речи). У нас уже был опыт работы с распознаванием речи, а также имелись все данные, необходимые для обучения модели. Оставалось только правильно сформировать требования и обучить модель. Этим занялся один из лучших инженеров, которых я знаю – Рома Смирнов. В качестве архитектуры была выбрана база w2v2.

Работа ASA состоит из нескольких этапов:
- Сначала мы оцениваем качество записи и возвращаем информацию о том, нужно ли нашему кандидату перезаписать ее;
- Следующий шаг – оценка каждого аудио отдельно;
- Последний шаг – использование Catboost для регрессии, чтобы сгенерировать итоговую оценку.

В результате у нас есть модель, способная оценить аудио резюме с той же точностью, что и человек. При этом кандидат получает отказ или приглашение на следующий этап собеседования всего через 0,24 минуты после отправки записи. Таким образом, скорость проверки увеличилась в 545,8 раз! 🚀

Как это работало - можно посмотреть тут

#кейсы

Как приоритизировать свои проекты?

Когда мы говорим о работе на какую-либо компанию либо приоритизацию фичей - это понятно, есть экспертная оценка, RICE, ICE и все такое, но как быть, когда речь заходит о консалтинге?

Сейчас я задался этим вопросом, потому что есть много идей, которые хочется реализовать, много людей, с которыми хочется поработать и чисто физически у меня не хватит ни времени ни сил, ведь нужно еще соблюдать life-work balance.

Какие принципы я для себя вывел?

1. Делигировать то, что не так драйвит и браться за то, что хочется делать самому. Есть пул проектов, где моя работа не является прямой работой продакта. Периодически это бывают проджектовые задачи, промпт-инжиниринг. Если возможно перевести проекты на трекинг или отдать нагрузку проджекту - это то, что я сделаю.
2. Отдавать приоритет тем проектам, где есть команда, с которой ты хочешь работать. Люди, которые дают качество, люди, у которых можно чему-то научиться и прокачаться.
3. Исключать проекты с мутными фаундерами. Если вы видите, что заказчик хочет делать что-то по своему, вопреки исследованиям, экспертизе команды и здравому смыслу - сливайте этот проект. Только потратите время, а заработанное того не стоит.
4. Работа вдолгую против больших денег. Я отдаю предпочтение долгосрочным партнерствам, нежели разовым возможностям заработать много и сразу. Я не говорю, что надо делать так всегда. Просто мне ближе инвестиционный подход, нежели спекулятивный. + долгосрочные отношения дают свои бонусы в виде понимания клиентов, продуктов и рынков.
5. Включать в проект проекты с высокой миссией. На мой взгляд, если у вас много проектов, то хотя бы один из них должен нести в себе какой-то благородный посыл. Улучшение медицины, образования, условий жизни - в общем, нечто, направленное на благополучие, нужно оставлять место под что-то такое. Даже если это не приносит много денег - это принесет вам моральное удовлетворение.
6. Работать больше с проектами тех индустрий, с которыми не работал. Между EdTech-проектом и проектом из любой другой индустрии я всегда выберу не EdTech. Логика простая - проекты из индустрии, в которой вы работали будут приходить к вам с большей частотой. А вот возможность расширить свое портфолио предоставляется не так часто.
7. Ориентироваться на текущие финансовые потребности. Мы все работаем за деньги, это факт. Планируете круто отдохнуть, крупную покупку, предвидятся большие расходы? Лучше взять более денежные проекты при прочих равных. Если этого нет - есть пункты 1-6 🙂

Ищу джунов-продактов на бесплатное обучение

Дополнение к посту о приоритетах 🙂

Демонстрирую пункт 1 в деле и ищу себе в помощь джуна. Есть несколько задач, в которые мне чисто физически не хватает времени погружаться, но проекты классные и от них отказываться крайне не хочется. Поэтому ищу себе в помощь джуниор продакт-менеджера.

О тебе:
- Ты хочешь развиваться в продакт-менеджменте в целом и в AI продакт-менеджменте в частности;
- Ты быстро соображаешь, исполнительный, проактивный, у тебя много идей и ты не боишься их предлагать;
- Ты умеешь работать с большими объемами информации, у тебя аналитический склад ума, ты умеешь находить зацепки;
- У тебя мало опыта работы или его нет совсем, но ты очень хочешь его получить, чтобы впоследствии устроиться на высокооплачиваемую работу/поднять свой бизнес.

Что нужно будет делать:
- Работать напрямую со мной, начнем с задач уровня джуна, в большинстве своем это будут кабинетные исследования, затем – кастдевы, ты будешь участвовать в брейнштормах по разработке новых продуктов. Чем дольше ты будешь со мной - тем более ответственные задачи я буду тебе доверять. Не бойся ошибиться - я буду проверять твою работу, не буду карать за ошибки, напротив, я научу тебя как не совершать их в следующий раз.

Что я предлагаю:
- Свое наставничество, работу над интересными проектами, я познакомлю тебя с фреймворками, которые я использую, расскажу лайфхаки по работе с AI для продакт-менеджеров, научу тебя разрабатывать ИИ-продукты;
- Проекты для твоего портфолио, о которых можно будет рассказать на собеседовании. Ты получишь классные кейсы, о которых сможешь писать "сделал Х для проекта У, что принесло Z денег";
- Мой нетворк, рекомендации и помощь в поиске работы. За время работы я познакомился с множеством крутых людей, которым время от времени нужны специалисты, в рост которых они хотят вложиться. После работы со мной я помогу тебе прокачать свое резюме и всячески буду содействовать твоему трудоустройству;
- Если ты очень хорошо себя покажешь в первые 1-3 месяца, я готов нанять тебя и платить за каждый реализованный тобой проект.

Люди платят за курсы по продакт-менеджменту 70-120 тысяч рублей, тратят 3-6 месяцев, чтобы чему-то научиться в разных онлайн-школах, не получив в итоге реальных практических кейсов. Я предлагаю тебе получить больше знаний за аналогичный период, поработать с реальными кейсами и получить возможность заработать денег, если ты будешь действительно хорош.

Цена – твое время.

Писать мне в личку @vladkor97. Присылай свое резюме и коротко напиши, почему ты хочешь работать со мной.

OpenAI выпустили новую модель

Пока у большинства моих читателей ночь - вышла новая моделька. GPT-4o mini. Она должна заменить собой версию 3.5, которую превосходит по всем тестам в производительности.

А по цене превосходит вообще все, что есть на рынке - 15 центов за миллион токенов на вход и 60 за миллион токенов на выход. Это дешевле моделей от Google и Anthropic. Контекстное окно - снова 128к токенов.

В целом, ничего прорывного, просто дешево. Саму модель для своих задач использовать не буду, но lkz всяких чат-ботов служб поддержки с высокой нагрузкой она зайдет отлично.

Блог OpenAI

Воспитайте в себе привычку радовать себя

Экспириенс с переездом в США подчеркивает важность довольно очевидных вещей. Например, необходимости радовать себя через хобби и покупки.
Для меня это довольно обычная практика. Мы работаем, чтобы жить, а не живем чтобы работать. И именно переезд в очередной раз подсветил мне важность данного тезиса.

До переезда в перерывах между работой я активно использовал свои хобби чтобы расслабиться и переключить мозг. В целом, я всегда мог выбрать себе какую-то активность из перечня покататься на велосипеде/поиграть в игры/поиграть на гитаре, чтобы переключиться. Источников получения дофамина было много, необходимости покупать что-то еще не было.

Переезд заставил избавиться от части вещей, так как их проблемно перевозить (например практически все мое гитарное оборудование) и отказаться от покупки нового на какой-то период, так как ехали мы в практически неизвестность, лишние вещи - ни к чему, лишние траты - тоже. В общем, из доступного досуга у меня сейчас остался только велосипед.

Немного о влиянии переезда на финансы и как это связано с желанием радовать себя
Переезд высасывает деньги много и быстро:
- покупка билетов до Армении, где мы получали визу;
- аренда жилья на период получения визы, который растянулся с 1 недели до 3;
- покупка билетов до США в последний момент, из-за косяков с визами, из-за чего мы переплатили за билеты порядка $800;
- плата за 1 месяц аренды + залог за бронирование, который потом замораживается на счету;
- всякие мелкие поборы, типа страховок, взносов и прочих штук;
- расходы на первичное обустройство квартиры, в США их сдают без мебели и посуды, поэтому пришлось потратить 1000 баксов на покупку кухонной утвари, стола для работы и места для сна. Условия пока неидеальные, но жить можно 🙂

В общем, по чуть-чуть набирается солидная сумма.

Пока переезжали вышло, что больше 2 месяцев я не занимался гитарой, не играл в игры, а только периодически катался на велосипеде. Чем это плохо? Велосипед требует минимум 1.5 часа времени, а в условиях высокой занятости их невсегда возможно выделить. А вот 15 минут в перерыве между звонками достаточно для того, чтобы поиграть на гитаре.

Вы скажете, в чем проблема, купи себе гитарное оборудование или что там тебе надо для диверсификации развлечений. Но в дело вступают санкции (задержки платежей и сложности с тем, чтобы гнать деньги из РФ) и американская бюрократия. Поэтому приходится избегать лишних трат.

Кстати о бюрократии. Например, чтобы подключить интернет, тут просят предоставить свой социальный номер, на который можно заявиться только через 2 недели с момента приезда. Сам номер делают где-то неделю. Этот же номер нужен для открытия местных банковских счетов, на которые Насте должна будет поступать зарплата. Но даже как только счет откроют, бухгалтерия не сможет перевести ей средства сразу, так как есть определенные дни выплат и нужно будет ждать следующих. Все скатывается к тому, что единственным источником оплаты всего и вся здесь остается моя карта 😅

Параллельно с этим с каждым днем у меня усиливалось поганое ощущение того, что вот я работаю, неплохо зарабатываю, даже трачу не так много, но полного удовлетворения не получаю. Я достигаю каких-то целей, получаю какие-то деньги, но чего-то не хватает. Начал чувствовать, как сама мотивация работать падает. Немного порефлексировав, я понял, что сейчас я работаю просто ради работы. С малым количеством активных хобби и без внешних мотиваторов, которые можно купить за деньги.

Раньше это так не ощущалось, потому что со мной были все те вещи, которые пришлось продать при переезде,тот же усилитель, без которого моя электрогитара бесполезна. Все время только кататься на велосипеде - это скучно. В общем, было разнообразие. Я мог радовать свой мозг дофамином через хобби, даже ничего не покупая. В общем, нашел корень проблемы, понял, что это может все привести к выгоранию и заказал крутой усилок для электрогитары.

Чеклист создания этических AI-продуктов: компас в мире AI-этики 🧭

Образовательный пост! Продолжая исследовать влияние AI на продуктовую работу, мы все больше убеждаемся, что большая технологическая сила влечет за собой еще большую этическую ответственность. Сегодня делюсь расширенным этическим AI-чеклистом для продакт-менеджеров, который не только поможет пройти по основным этическим вопросам, но и углубиться в нюансы, возникающие в жизненном цикле продуктов на базе AI.

📋 Этический AI-чеклист:
Чувствительные данные и их защита: Работая с конфиденциальными данными, обязательно соблюдайте законные и этические права на их использование и применяйте строгие меры для защиты этой информации. Конфиденциальность должна быть основой, а не второстепенным вопросом при разработке продукта.

Уважение к разным точкам зрения: Помните, что не все могут быть готовы работать с AI или рядом с ним по разным причинам, от личных убеждений до культурных норм. Обеспечьте инклюзивность, предлагая выбор и альтернативы.

Добровольное участие в AI-наблюдениях: В ситуациях, когда AI учится на взаимодействии с людьми, убедитесь, что участники полностью осознают и соглашаются на наблюдение со стороны AI-систем. Прозрачность — ключ к доверию.

Бдительность в отношении предвзятости: Активно выявляйте и устраняйте предвзятость в ваших AI-системах. Это касается не только данных, но и самих алгоритмов, чтобы обеспечить справедливость и отсутствие дискриминации.

Постоянный контроль: Не доверяйте AI слепо. Регулярно оценивайте и контролируйте его работу, чтобы выявлять и исправлять ошибки, обеспечивая надежность и доверие.

Учет возможного сокращения рабочих мест: Не забывайте о людях, которых могут заменить AI-инновации. Постарайтесь найти способы смягчить такие последствия, например, переобучение или перевод на другие должности.

Комплексный анализ влияния: Оценивайте не только непосредственные преимущества, но и потенциальные краткосрочные и долгосрочные недостатки, включая социальные последствия. Учитывайте такие сценарии, как потеря работы и рост недоверия к технологиям. Подумайте, как ваш продукт может усугубить эти проблемы, и постарайтесь предложить решения, а не только инновации. Экология - это то, про что кричат и что всем надоело. Но посмотрите, сколько СО2 выделяют датацентры и как оно влияет на глобальное потепление.

✍🏼 Размышления и действия:
Внедрение этого обновленного чеклиста требует глубокого и комплексного подхода к этической разработке AI. Он заставляет нас думать не только как инноваторов, но и как чутких людей, которые предвидят более широкие последствия своих творений.

А что вы думаете по поводу AI-этики?

В тему книг - вот классная подборка. В целом, очень люблю читать, но сейчас времени на это остается не так много. В следующих постах сделаю подборку от себя

Знаю, что многие из вас интересуются не только ресерчем, но и AI с продуктовой точки зрения.

Поэтому, вот, ловите список книг для вкатывания в тему, где сливается AI и бизнес: https://t.iss.one/ainastia/23

#книги
@ai_newz

В ближайшие недели будет много контента

Переехав в США я активно начал использовать функционал автопостинга в канал здесь. Сегодня у меня состоялся очередной мозговой штурм на тему того, о чем писать будущие посты. Вот несколько тем, которые я освещу в течении последующих недель. Порядок не конечный. Между ними будут вклиниваться новости и какие-то спонтанные комменарии. Осталось сесть и написать сами посты, чем я займусь в выходные 🤪

1. Как мы внедряли ИИ для HR-отбора в Skeyng - этическая сторона вопроса
2. Книги от меня - что читать AI-продакту
3. Каким должен быть ML-инженер в команде AI-продукта
4. Почему я люблю джунов
5. Почему я играю в приставку в рабочее время?
6. Как преодоление себя помогает в работе продакт менеджера
7. Почему большинство курсов по AI-продакт менеджменту отстой
8. Почему я использую Gemini AI, а не что-то другое в своей работе
9. Что такое ChatbotArena
10. Как собрать команду под проект за неделю?
11. Gemini Flash 1.5 vs Gemini 1.5 Pro для создания ботов
12. Как быстро протестировать AI-гипотезу - кейс
13. Почему инженеры - самые важные в команде
14. Учитесь у заказчиков: как можно использовать консалтинг для самообразования

Open AI создали свой Google!

Или Perplexity :) В общем, ребята решили сделать свой поисковик это очень, прямо ОЧЕНЬ интересно!

Во-первых, чем на это ответят Perplexity, аналог которого по-сути сделали OpenAI?
Во-вторых, что будет делать Google, у которых, сейчас в бете есть AI Overview, который очень плохо встроен в интерфейс и который я пропускаю 😅
В-третьих, насколько хорош будет этот поиск?

В общем, подписаться в лист ожидания можно тут, я это уже сделал и вам советую!
Доступ будет у малой группы пользователей. Обещают следующие функции:
- перенаправление сразу на сайт-источник (а-ля ссылки)
- возможность задавать уточняющие вопросы (как у Perplexity)
- партнерство с создателями контента и издательствами - тут непонятно, но очень интересно, видимо, есть какая-то индексация поиска

В общем, интересное обновление, лично для меня одно из наиболее значимых за последнее время, так как напрямую влияет на оптимизацию моей работы.

Источник - блог OpenAI

Как мы внедряли ИИ для HR-отбора в Skeyng - этическая сторона вопроса

Чуть выше я уже рассказывал про этот кейс, последний мой пост был про этику и в данном контексте я хочу сделать этический разбор данного кейса. Но ни одна технология, на мой взгляд, не должна создаваться без мыслей об этике и сегодняшний пост как раз об этической стороне создания ИИ-продуктов!

Напомню, что наша цель была простой, но амбициозной: создать инструмент на базе искусственного интеллекта, способный оценивать аудио-резюме кандидатов на должность учителя английского языка. Этот инструмент должен был анализировать произношение, грамматику, словарный запас и другие языковые навыки. Важно отметить, что речь шла не о замене наших методистов, а об оптимизации процесса найма и освобождении их времени для более важных задач.

🤔 Этический вызов №1: сохранение роли человека
Первый этический вызов заключался в том, чтобы убедить наших методистов, что новый инструмент не заменит их экспертизу, а дополнит ее. Важно было привлечь их к разработке на раннем этапе, показав, как автоматизация может улучшить их работу, а не обесценить ее. Создавая атмосферу сотрудничества, мы стремились не только разработать лучший инструмент, но и укрепить командный дух.

🤖 Этический вызов №2: прозрачность и справедливая оценка
Несмотря на все свои плюшки, ИИ не идеален. Серьезной этической проблемой было сообщить учителям, что оценка их аудио-резюме ИИ может быть несовершенной. Это означало открыто говорить о возможности ошибок и убедиться, что кандидаты понимают, что автоматический "отказ" не является окончательным приговором их потенциалу как педагогов. Мы хотели создать атмосферу доверия и открытости, где кандидаты чувствовали бы себя уверенно, чтобы запросить разъяснения или обжаловать автоматические решения.

👀 Заглядывая в будущее: оценка видео-резюме
Когда мы задумались о расширении инструмента для оценки видео-резюме, этические вопросы стали еще более острыми. Сложности варьировались от выбора подходящего набора данных (избегая тех, которые увековечивают предвзятость) до обеспечения того, чтобы модель не дискриминировала по расовому признаку или внешности. Идея использования "фотографий без одежды" для обучения ИИ вызвала серьезные дебаты о конфиденциальности, уважении и этических границах. Мы должны были тщательно взвесить преимущества таких функций по сравнению с потенциальным вредом или злоупотреблением, подчеркивая необходимость этической бдительности на каждом этапе разработки ИИ.

💡 Выводы и этические императивы
Этот опыт преподал нам ценные уроки об интеграции ИИ в процессы, ориентированные на человека. Он подчеркнул критическую важность:
📍 Сотрудничества и коммуникации: Раннее вовлечение всех заинтересованных сторон и поощрение открытого диалога об изменениях и преимуществах, которые приносит ИИ.
📍 Прозрачности: Четкое понимание ограничений ИИ и мер, принимаемых для устранения потенциальных ошибок или предвзятости.
📍 Этичного развития: Тщательная оценка каждого технологического достижения на предмет его этических последствий, особенно в отношении конфиденциальности, предвзятости и возможности злоупотребления.

Инновации, особенно основанные на ИИ, обладают огромным потенциалом для преобразования и улучшения процессов. Однако, как мы убедились, они также требуют сознательной приверженности этическим принципам. Поставив эти соображения в центр нашего процесса разработки, мы стремились не только улучшить наш процесс найма, но и сделать это таким образом, чтобы он соответствовал нашим основным ценностям уважения, прозрачности и справедливости.

#кейсы

Делать лекцию по AI в медицине?

Вижу, что на мой канал после вчерашнего Настиного поста подписалось довольно много людей, прежде всего, из медицинской сферы. Рад вас видеть, друзья! Также мне в директ поступило несколько сообщений в стиле “А есть ли запись”. Но, к сожалению, записи нет. Но у меня осталась презентация и информация, которую я я представлял вчера.

По этому поводу вопрос: сделать онлайн-лекцию по AI в медицине? Предварительная дата - следующее воскресенье в 14 00 по МСК.

Опросник выше, будет запись!

Google наконец сделали доступной для файн-тюнинга Gemini Flash
Сегодня утром в очередной раз залез в AI Studio. Зашел во вкладку файн-тюнинга и заметил, что туда добавилась Gemini Flash 1.5!

Что это значит? Это значит, что можно самостоятельно, без каких-либо инструментов программирования создавать тонко настраивать очень мощную модельку от гугла. Достаточно иметь табличку со 100-500 примерами того, что вы хотите настроить. Но основная киллер-фича здесь - это что у Gemini Flash контекстное окно вмещает в себя все тома войны и мира.

Загружаем материалы, загружаем примеры вопросов - ответов, делаем еще пару штук и получаем мощного чат-бота на базе Gemini 1.5 Flash. Очень круто!

P.S. Для доступа нужен желательно Американский ВПН, про доступность с ВПН других стран сказать не могу пока ничего, ее только добавляют

Лекции по AI в медицине быть!
Как показал опрос - есть спрос - значит будет и предложение.

В следующее воскресенье в 14 00 по МСК буду проводить открытую лекцию по AI в медицине.

О чем буду рассказывать:
- Что такое AI, какой он бывает и почему это важно знать каждому;
- Какие есть области применения ИИ в медицине сегодня: наиболее актуальные примеры того, как что представляет из себя МедТех сейчас;
- Какой у меня был опыт взаимодействия с AI в медицине: расскажу как меня практически наняли в компанию (я тогда сам не пошел), занимающуюся разработкой систем поддержки принятия медицинских решений, покажу пару кейсов из околомедицинских стартапов;
- Как можно использовать AI медикам сегодня: от оптимизации рутины до чего-то более серьезного.

Где будет проходить:
На платформе Google Meet. Вам нужно записаться и приглашение должно само отправиться в календари.

Бонус:
Если у вас есть какие-то вопросы по теме - пишите сюда в комментарии. Постараюсь найти на них ответы.

Ссылка на лекцию онлайн

Развитие канала как преодоление пропасти

Друзья, в последнее время вкладываю очень много сил и времени в развитие этого канала. Вчера написал 6 постов и поставил их на автопостинг. Сегодня продолжаю это делать. Впереди еще порядка 10. Попутно с этим будут новости и всякое интересное.

Очень много идей и контента, которые хочется дать во вне. Веду этот канал активно с мая и хочется больше роста. В ближайшее время хочу взять рекламу, однако, как мне кажется, что лимит органического роста еще не исчерпан и вот почему.

В телеграме есть функция общих папок и есть вариант сделать так, чтобы этот канал в эти самые папки попал. Нахождение в подобной папке зачастую бесплатно и может дать спокойно прирост в 500-1000 подписчиков. Однако владельцы папок зачастую ставят требования к каналам, чтобы у них было минимум 100 человек аудитории.

Увеличение числа подписчиков и количество реакций действительно мотивирует создавать новый контент, публиковать какие-то новости. По реакциям и комментариям я вижу, какой контент у вас больше резонирует. А рост аудитории показывает, что мои посты здесь находят полезными.

Однако каждый канал, как продукт, попадает на такую стадию, когда нужно "преодолеть пропасть", чтобы привлечь не только ранних последователей, коими являются те 79 человек, что сейчас на меня подписаны, которых я очень ценю, но и раннее большинство, которое еще не нашло этот канал :)

Поэтому я прошу вас, друзья, поддержать канал в его росте, сделать это можно двумя способами:
- реагируйте на контент. Реакции и комментарии не только сигнализируют мне о том, что вам нравится, но и будут помогать в продвижении канала, а также ориентироваться в нем людям, только что в него попавшим.
- делитесь ссылкой на канал с теми, кому он может быть потенциально интересен.

Это два маленьких действия, которые вам практически ничего не стоят в плане времени, но которые очень помогут развивать Next G-Innovation и за которые я буду вам очень благодарен :)

Что такое Chatbot Arena

В мире AI все меняется очень стремительно. Сегодня доминирует одна модель - завтра другая. И довольно сложно самостоятельно уследить за всем. Для этого есть специальный ресурс - Chatbot Arena.

Работает он по следующему принципу. Модели тестируют на случайных запросах пользователя. Место в рейтинге определяется путем “поединков” моделей друг с другом. Принцип довольно простой: две модельки под маской анонимности дают пользователям ответы на вопросы, а пользователь выбирает лучший, на свой взгляд.

После этого используется система ELO (она же используется в шахматах) и по ней определяются модели с лидирующими позициями.

Текущий рейтинг можно посмотреть тут.

И хотя в последнее время многие говорят о том, что модели специально тренируются специально чтобы победить на арене, окончательный выбор все равно за человеком, да и, к тому же, все модели из топа действительно находятся там по праву. А 1, 2 или 3 место - это не важно. Используйте каждую для своих задач и решите для себя сами. Что именно нравится вам. Лично мой фаворит - Gemini, которая, кстати, сейчас на первом месте 🙂

Почему я использую Gemini AI, а не что-то другое в своей работе

Логическое продолжение предыдущего поста 🙂
За время работы с AI я попробовал очень многое. Были какие-то инхаус разработки, опенсорсные решения и гиганты вроде ChatGPT, Gemini, Claude.

У меня и сейчас есть доступ ко всем трем. Один клиент платит за ChatGPT, другой дал ключ к Claude, а вот сам я плачу за Google Gemini. И в данный момент это единственная LLM, за доступ к которой я готов платить из своего кармана по 20 баксов каждый месяц. Почему?

Первая причина - экономическая. 20 баксов - это стандарт за доступ к LLM. В случае Claude и GPT за эти деньги я получаю только LLM. В случае с Gemini - мне в довесок идут 2ТБ облака, интеграция с сервисами гугла, поддержка гугла, глубокая интеграция в ОС моего телефона Google Pixel, который тоже разрабатывается гуглом.

Во-вторых, это выше упомянутая интеграция. Большая часть работы продакт-менеджера - это различные гугл доки, таблички и прочее. Gemini интегрирован в почту, интегрирован в таблицы. Я имею к нему доступ прямо оттуда. Google AI Studio интегрирован с Google Drive, которым я пользуюсь для хранения файлов. В общем, это просто удобно и я не трачу время на загрузку файлов, на копирование из одного документа в другой. Мне нужен ИИ - я вызываю его из боковой панели.

В-третьих, огромное контекстное окно. Специфика моих задач такова, что мне нужно большое контекстное окно. Многие свои задачи я передаю ИИ. Я не хочу вычитывать отдельные исследования, аналитику, я не хочу переслушивать часовые видео или интервью, которые проводил с пользователями. В Gemini я могу загрузить много информации сразу. Это будут записи интервью, мои заметки, контекстная информация по проекту и я могу сразу работать со всем этим, получая максимально точные ответы на свои вопросы.

В-четвертых, точность экстракции информации из загруженных файлов. В начале мне чисто по моим субъективным ощущениям показалось, что если в Gemini загрузить какой-то файл и задать вопрос по нему - модель ответит максимально точно и четко. Позже я наткнулся на какое-то исследование, которое говорит, что у Gemini точность экстракции информации близка к 100%. Да, ошибки случаются, особенно с обработкой аудио. Но мне гораздо проще написать что-то в стиле “Gemini, ты не прав, там говорили вот так, а не так”, чем переслушивать полуторачасовое аудио или перематывать его туда-сюда.

В-пятых, я верю, что путь гугла в развитии ЛЛМ более правильный, чем у других. Тут мое личное убеждение, исходящее из того, как я вижу развитие продукта как пользователь. Никто, вообще никто не работает с таким большим контекстным окном, как гугл. Все зациклены на скорости моделей, игре мускулами, прохождении каких-то бенчмарков. Но мне как пользователю важно, чтобы ИИ был в контексте моих задач. Чтобы я не тратил каждый раз время на объяснения, а интеграция источников информации в сочетании с контекстным окном как раз это и обеспечивают.

В-шестых, Gemini можно использовать бесплатно прямо из AI-studio практически без ограничений.

В общем, вот такие у меня причины 😁 А какую LLM используете вы?