Ого, в профункторе мем на любимую тему @cryptovalerii :)

Что учить в университете
Вчера записывал интервью с очень крутым разрабом из Яндекса. Обсуждали (уже ближе к концу записи), что нужно учить в университете, а что можно и потом. Прозвучала гениальная по своей простоте и железобетонной логике аксиома: в универе надо учить то, что потом уже не выучишь, например математику и прочую фундаментальщину. Нефундаментальщина через 5-10 лет изменится

Там вышла ллама 3.3
Но самое интересное - цена

По метрикам ± как GPT-4o, но в 25 раз дешевле

Заставляет задуматься

Есть ли отечественные генеративные нейросети на самом деле?

В соцсетях сейчас вирусится видео, прикрепленное к посту: молодой человек рассказывает о том, как отечественные нейросети выдают крайне подозрительный результат по запросу нарисовать «родное».

Первое, что думают люди, видя такое, это что отечественных нейросетей на самом деле нет и они просто перенаправляют запросы в апишку Midjourney и им подобных зарубежных оригиналов.

Те, кто более прошарен, думают, что наши компании просто берут зарубежный опенсорс, разворачивают у себя, а русские запросы обрабатывают после перевода на английский.

А кто еще более прошарен, знает, что опенсорс в целом поддерживает и русский язык. Остается вопрос: так как же все-таки работают отечественные нейросети?

Зачем гадать, если можно спросить эксперта в области технологий AI, который сам имеет отношение к теме генеративного ИИ — Александра Абрамова. См. ответ у него в канале или репост ниже 👇

Вы спросили —Дядя отвечает. Истина находится где-то по середине. Действительно на нашем рынке можно встретить множество решений вокруг открытых моделей с huggingface или же апи модных нынче Midjourney.  Это может работать по принципу перевел с ру на ен и вкинул в апиху, далее выдал результат. Обычно, на старте, это было уделом малых команд, стартапов и пр.

На самом деле, ничего в этом зазорного нет, те же ребята с Perplexity строить свое решение начали именно вокруг топовых апи LLM (OpenAI, Google, Anthropic и т.п.).  Но при этом perplexity имеют свою доп. логику с поиском, линковкой фактов и пр. Что делает ее решение аналогом поисковика "в кармане".  После, они еще и собственные тюны моделей Llama like завезли, благо лицензия открытая позволяет. И это имеет спрос.
Т.е. более крупные игроки, стараются использовать такие решения для холодного старта или во все опираясь на открытые сеты , модели или архитектуры делать собственные решения/тюны/модели. И я думаю, что крупные игроки нашего рынка достигли уже того уровня зрелости, когда могут позволить себе свои исследования, и как следствие, свои решения в виде моделей и сервисов.

Вопрос остается только в источниках данных. Такое поведение, как мы видим на видео, может быть обусловлено, влиянием сетов обучения. Т.к. на рынке множество открытых сетов на английском языке для задач text2image, а для русского языка примеров много меньше. Создание таких ру-ен данных требует затрат на написание/генерацию и чистку. А в открытых сетах для обучения может возникать дисбаланс по ру-ен паре и как следствие превалирование этики из сетов коих больше. Поэтому тот же native/родной после предобучения на таких примерах будет носить знания культуры того языка коего больше. Тк в основном это все переводы с ен языка на ру как есть, да ещё к релевантным для ен языка картинкам. Для того, чтобы решить проблему "перекоса", не достаточно балансировки знаний, надо писать/матчить именно опорные ру тексты с "правильными" картинками к ним,а также придется, скорее всего, прибегнуть к выравниванию поведения — привет alignment/ human feedback и тп. А далее, вооружившись всем этим, нужно будет решать вопросы тюна с эмбеддером text2image, чтобы для языковой пары запрос сводился к "правильной картинке". Именно его представления будут использоваться диффузией как базой генерации. И в тч над этим, думаю, работают исследовательские команды крупных игроков.

Но нет предела совершенству, это непрерывный процесс дообучения и отлова "черных лебедей". Вот как-то так.

На поиск нужных каналов в Telegram может уйти очень много времени, поэтому ловите очередную папку каналов, на этот раз про ИИ:

https://t.iss.one/addlist/pqfkNeFjRnU5NDFi

Особенно мне нравятся ребята Tips AI - там не про внутрянку ИИ (этого мне итак в жизни хватает), а посты про очередные нейросетевые сервисы, которые могут ускорить выполнение ваших задач

Ну и, конечно, куда без Саши Dealer.AI :)

Если вы хотите узнать о том, что происходит в сфере IT-менеджмента, как на самом деле создают продукты и прокачивают команды, то загляните на канал «Кем я хочу стать, когда вырасту».

Автор канал с 10+ опытом тимлидства в IT в формате заметок честно делится наблюдениями, успехами и провалами:
- о работающих методах мотивации команд
- стоит ли стремиться в руководители на самом деле
- почему на рынок выходит так много слабых продуктов

Реклама. ИП Миронова Надежда Олеговна, ИНН: 772985604739 erid:2VtzqvK2rLg

Как я учился ML

В новом ролике на канале MLinside рассказал, как я учился машинному обучению и что могу посоветовать тем, кто хочет научиться ML сейчас.

Меньше 15 минут видео (а на х1.5 даже 10 минут), и вы узнаете, хорошо ли идти за ML в университет, какие университетские курсы самые классные, а также в чем плюсы и минусы самообразования и коммерческих курсов :)

Кратко по сути: компании нанимают супер-дорогих технарей не для того, чтобы их календарь превращали в зебру, после которой ничего толкового сделано не будет. Если вы менеджер, и у вас есть опция поставить разрабу или DSу две встречи подряд либо две встречи с интервалом в час - выбирайте пожалуйста первое, иначе вы будете просто сжигать деньги бизнеса напрасно только потому что вы тупой 🫶🏼