https://youtu.be/dn9UfBglUKI

Сегодня выпуск про карьеру и стартапы в web3, обсуждаем что там происходит с биздевом и автором канала @Pestov_Crypto Виталием Пестовым.

Тезисно: денег там платят больше чем в обычном айти, техстек имеет свою специфику, но некритичную для того чтобы поднять. Количество скама кратно уменьшается, несмотря на приколы типа мемкоинов, там вполне себе есть серьезные инфрастурктурные проекты, абсолютно белые с юридической точки зрения. Для стартапов там тоже интересно, ведь можно выпускать токены!

В общем заинтересованным рекомендую посмотреть, если кому-то понравится и кто-то заинтересуется идеей карьеры там - следующий выпуск будет с web-3 рекрутером.

В общем, по итогам опросов выше можно сделать следующие выводы:

1. Правило “победитель получает всё” во многом работает и на рынке LLM. Самый известный, самый первый, самый популярный - GPT.

При этом лишь небольшое число людей делают выбор в пользу платного GPT осознанно, сравнив несколько платных моделей. Большинство сравнивают бесплатные модели или не сравнивают вовсе. Это можно понять: результаты моделей, при первом приближении, слишком похожи и чтобы понять разницу моделей нужно поработать с ними много, над специфическими задачами, постоянно сравнивая. Этим будут заниматься немногие.

2. Если пристрастие к Claude и Gemini можно объяснить какими-то личными предпочтениями перед GPT, то тот факт что среди технической аудитории Cursor набрал всего лишь в районе 11% показывает, что в принципе базовые LLM модели могут писать годный код и он устраивает людей в целом.

3. Удивила непопулярность Grok и Perplexity. Несмотря на то что обе площадки активно вкладываются в промо и в целом стараются быть на слуху. Рискну предположить что репутация Маска в моменте работает против Grok, хотя скорее реалистичная причина в том что обе платформы поздно пришли на рынок.

4. Mistral, несмотря на то что это европейский проект и туда вкладываются серьёзные ресурсы, неизвестен аудитории от слова совсем. Ребятам нужно серьезно подумать над своим промо, потому что про DeepSeek знают все, а про Mistral - только спецы, которые непосредственно связаны с разработкой и внедрением моделей.

5. Я по результатам опроса склоняюсь в сторону подписки на Gemini. В первую очередь, потому что Google имеет максимально развитую экосистему, имеет кучу своей даты со своих продуктов и инженерную команду широкого профиля, что даст не только разработку Core LLM, а и достойный уровень сопутствующих продуктов в комплексе. Хотя Grok, за который я проголосовал, тоже мне симпатичен, в первую очередь производительностью (у меня есть гипотеза что популярные модели экономят на производительности, в то время как менее популярные с одной стороны обслуживают меньше юзеров = больше ресурсов на юзера, с другой стороны вынуждены давать больше, чтобы захватить долю рынка). Посмотрим что у них выйдет в коллаборации с телеграмом.

https://youtu.be/M4fMewOqUiU

Продолжаю копать тему Web3. Почему? Потому что очень интересная ветка айтишной индустрии, которая развивается в некотором роде в параллельной реальности. Например, сегодня у нас тема фандрайзинга в крипте. Тема не для всех, но мне было очень интересно узнать ответ на вопрос - чем принцип работы криптофондов отличается от аналогичных фондов в венчуре? Если вкратце - всем. Это огромный и интересный мир, который работает по несколько иным законам.

Сегодня в гостях управляющий Family Office фонда Jets Capital Данил, который любезно согласился исчерпывающе ответить на все мои вопросы. Если у вас стартап ранней стадии - полезно будет послушать, возможно вам есть смысл пойти по этой ветке.

P.S. Очень хочу записать выпуск с инженером/менеджером/hr из топ-контор, занимающихся разработкой LLM. Если кто-то может пошарить контакт - отзовитесь.

Специальное предложение для подписчиков из Европы!

Если вы живете в одном из этих городов:

Germany: Berlin, Munich, Hamburg, Dusseldorf
Italy: Milan, Verona
Spain: Madrid
UK: London, Manchester, Cambridge, Coralville, Edinburgh

И у вас в подъезде есть видеодомофон, то вы можете получить 40$ за заполнение 4-х минутного опроса и можете протестировать новый девайс от Amazon для домофонов, получив за это 130$ сверху!

Опрос занимает 4 минуты, вот ссылка на опрос: https://testio.typeform.com/to/CwPrywcc

Написал давеча статью про то как я вижу будущее аишки в разработке ПО. Слог непривычен, но что поделать - еще не научил ллмку моему стилю, надо ей подкинуть текстов. Спойлер: все недостатки купируются феноменальной работоспособностью моделей, которые могут работать 24/7.

Вот версия на русском:

https://telegra.ph/Ot-prototipa-k-prodakshenu-Prakticheskij-vzglyad-na-AI-agentov-v-razrabotke-PO-07-16

https://telegra.ph/Budushchee-raboty-ZHizn-posle-revolyucii-AI-agentov-v-razrabotke-PO-07-21

Вторая часть статьи. Решил порассуждать про будущее рынка труда. Тут важно отметить что процесс будет идти плавно и то что я написал - это лишь один из вариантов попыток предугадать как оно будет выглядеть. Поскольку сами модели меняются в динамике и пока еще не вышли на плато производительности, то ситуация может быть сильно другой: этот этап возможно пролетит быстрее чем кажется к условно "коробочной" сборке нетехнарями, возможно он наступит не так быстро если появятся реальные бенчмарки по внедрению аи и модели будут улучшаться не так быстро. Но в целом направление вижу такое: "слесаря-фрезировщика" заменит "оператор ЧПУ".

Проблема в реальной аналитике оценки перформанса AI тулов лежит в том, что мы до сих пор реально не можем корректно померять перформанс людей.

Большинство систем оценки перформанса людей строится одном из двух принципов: 1) Human-based 2) Data-based. На практике оба принципа имеют фундаментальные проблемы.

В первом случае оценку работы выставляет человек. Проблема здесь в том что любой человек субъективен и может ставить оценки через призму своих когнитивных искажений. Например, ставить более высокие оценки тем людям, кто "чаще мелькает", недооценивая тех кто более невзрачен в аспекте презентации своих результатов.

Во втором случае вопрос в качестве собранных данных и в том насколько эти данные реально отражают производительность. Например мерять производительность разработчика по критерию "количество строк кода" - это безумие, потому что хороший инженер может писать мало строк, но код будет более производителен, в то время как неопытный разработчик может строчить полотна для реализации той же функции. Мерять сторипоинты тоже идея так себе - во-первых оценка не всегда совпадает с реальной сложностью задач, во-вторых её тоже ставят люди. И если в голове команды хоть на секунду возникнет мысль что их карьера или зарплата зависят от количества сторипонтов, то команда с производства продукта перефокусируется на производство сторипоинтов, т.е. на максимальное раздутие трудозатрат на функционал.

Гипотетически проблему качества данных могут решить трекеры. Но здесь есть два момента - во-первых, трекеры никто не любит. Во-вторых, все равно понятие "производительность труда" в интеллектуальной работе гораздо шире, чем просто доставка каких-то артефактов. Одна строчка кода может стоить месяцы работы и ресерча, если идет речь о больших системах, если это правильная строчка кода, например правильно выбранный новый фреймворк или библиотека.

Со студентами проще - у них типовые задачи. С любыми рабочими задачами сложно, потому что все они хоть и похожи, но отличаются в той степени разницы чтобы между ними нельзя было бы однозначно поставить знак тождественности с точки зрения оцениваемых трудозатрат.

Производительность команд довольно неплохо видна крупным планом, с точки зрения производства больших систем и проектов. Внутри команды интуитивно-субьективно она тоже видна, но см. п. 1.

Когда мы говорим про аналитику производительности AI все эти вопросы обостряются в новом виде. Мы можем сравнить производительность двух моделей/архитектур для решения типовой задачи. Это аналогично сравнению работы двух студентов. Но для больших проектов нужно время, чтобы можно было взглянуть на картину целиком.

И это время сейчас стартует во многих компаниях. Через год-два появятся бенчмарки по производительности агентов на больших цифрах. И вот именно тогда, когда эта аналитика ляжет на стол корпоративным боссам, на рынке труда могут начаться титанические сдвиги.