Военный синус

Истории, которые я так люблю и сам находить, и читать, потому что это про мои любимые плюсы и его безграничные возможности выстрелить себе в ногу😀.

В главных ролях:
— пространство имён;
— библиотека cmath;
— собственно сам std::sin.

Рассказ собственно о том, как неожиданно std::sin(0.5) стал равен 1.5❓!!!

Читать можно здесь: https://github.com/dasfex/articles/blob/trunk/sin.md

VLM на PML

Простите, я сегодня разошёлся в постах, но дело безотлагательное 😍. У нас завтра состоится PML. Белой завистью завидую тем, кто будет оффлайн — мы (как программный комитет) и организаторы подготовили для вас очень классную программу!

Но сейчас не об этом. Практически в самый последний момент к нам в онлайн секцию залетел Даня Кашин. Это мегакрутой человечек, который руководит командой претрейна VLM и он расскажет в 13:45 про "практические аспекты претрейна мультимодальных LLM"!

Я слушал этот доклад — и это было сочно 🌿! Лишь малая часть инфы для вас не будет новой, если слушали мои доклады на разных конференциях, будет много нового и полезного (чего мы наделали за последнее время).

Ну а еще спалим некоторые наши чиселки 🔼!

Если не регистрировались, срочно делайте это здесь (доступен только онлайн): https://pmlconf.yandex.ru/2025/

Ну, а если зарегистрировались на онлайн — приходите слушать всех (ну и Даню в особенности в 13:45 по Мск) 😍!

A-players

Наверное, каждый уже слышал про концепцию 10x инженеров 🤓, ну и про A-игроков тоже, должно быть, слышали. Не люблю я особо категоризировать людей, но когда тебе нужно расставить какие-то фокусы — приходить работать и с этим.

На днях послушал интереснейший подкаст как раз-таки про этих самых A-players 😍. В пордяке заметок пишу то, что у меня отозвалось.

Кто это такие?
Люди, которые самостоятельно готовы закрывать направление собой, т.е. самостоятельные и ответственные. Они пойдут, порешают поставленную задачку, и по пути еще решать 10 проблем (о которых тебе даже и не скажут, зачем?) и вообще задача итого будет решена выше ожиданий. Не стоит их путать с senior — эти ребята в первую очередь супер-опытные.

Как жить с такими ребятами?
Если сейчас junior в команде — это A-игрок, то через годик-полтора уже будет синьором и куда расти?
В программировании много областей, где можно развиваться и расти очень долго и интересно, более того не многим интересен сам менеджмент, как ветка развития. Другой разговор про другие профессии (А-игроки бывают не только в разработке).

Есть A-игроки, значит есть и B, C и т.д.?
В целом, да. Большая часть людей — это B-players. Это не плохо — это просто факт. Эти ребята просто делают свою работу и делают её хорошо. А вот C-players — это те, кто могут и подрывать ход задачи.

Как можно человека определить, кто он?
Универсальной таблетки нет. Но! Допустим, у вас есть какой-то процесс, который явно может быть плохим. Обычно B-игроку не будет ни холодно, ни жарко от этого. А вот А-player'у будет очень не всё равно, он будет стараться что-то с этим сделать.

Почему A-игроки важны и нужны?
Созвон с А-игроком выглядит так: смотри, сделали такое такое такое, порешали всякие вопросики. Вот нужен ответ здесь здесь здесь. Всё что мне нужно сказать в этом разговоре, как руководителю — это да или нет на предложения человека.

Он может сказать, что у нас была такая проблема, но не будет погружать в детали и говорить, кто с кем там поругался, потому что он понимает, что нет смысла меня грузить этой инфой, мне просто нужно решить , всё остальное уже сделано.

Представляете как разгружается твоя жизнь 😍? Ты и правда можешь думать о другом, например, о команде, о процессах, о новых задачах.

Итог: концепция интересная, считаю таких ребят мега полезными и нужными. Но мне остались не понятными фазовывые переходы A<->B, B<->C. И насколько такая категоризация актуальная к самому человеку, а не роли, которая делает конкретные задачи здесь и сейчас, которые не всегда могут быть мега интересные.

Сама ссылка на подкаст: https://music.yandex.ru/track/142109957

Интересно, а чего вы вообще думаете про эту концепцию? Дичь/не дичь?

Выпрямись!😀

5-9 трёхдневки в Стратоплане

Как-то давно я не писал про трёдневки 😍. И дело, не в том, что мне было лень, а просто объёма материала было настолько много, что я даже не знал, как написать. И как-то решил для себя, что напишу про всё остальное в конце очень сжато.

Для тех, кто не в курсе или подзабыл: я учусь быть руководителем лучше в школе Стратоплан. Прошлые серии можете почитать здесь: первая, вторая, третья, четвёртая.

5ый модуль
Здесь мы говорили про инструменты управления командой. Смотрели на разные модели категоризации людей (Ленсиони, Адизеса, Белбина). Модель Адизеса мне была уже известна очень давно, Белбин показался интересным с точки зрения формирование климата в команде. А также рассаматривали, как сохранять вовлечённость, как работать с разным перфоманосом, как делать PIP, давать обратную связь по перфомансу.

6ой модуль
Классный модель про то, как именно ставить задачи и рулить процессами. Разговаривали про то, как нужно погружать людей в задачи, какой тип контороля нужно использовать исходя из понимания человеком области. Много говорили про методологии ведения проектов. Если в методологиях следить за метриками — и правда может быть толково их использовать в зависимости от ситуаиции.

7ой модуль
В рамках этого модуля мы разговаривали про продактов и пытались понять, как они работают. Мне было невероятно полезно, потому что с недавних пор в моей жизни появилось очень много продуктовой разработки и модуль был кстати. И пусть я не очень много запомнил, но главное суть уловил.

8ой модуль
Один из сложных модулей всего курса. Разговаривали про то, как дистрибуцировать изменения в командах и по всей компании. Разбирали модель Коттера и ADKAR. Говорили про майндсет, и что оказывается он бывает очень разный и каждый нужно развивать.

9ый модуль
Закончился буквально вот-вот. Учились принимать решения: самостоятельные, с помощью команды. Смотрели на такие инструменты, как мозговой штурм, Pre-Mortem (очень топ, рекомендую). Разговаривали про зоны отвественности на примере RACI, а также про самоиндетичность. Вышел очень душевный модуль, с большим количеством рефлексии.

Итог: кратко — это 🌿. И даже для тех, кто управляет командами уже много-много лет.

Подробнее: уверен, что 80% я уже если не забыл, то плохо помню. Это и не проблема: явно не каждый день ты смотришь на модель Такмана, внедряешь крупные изменения по Коттеру, пытаешься расписать DISC. Главное, что ты помнишь, что это можно использовать.

Я невероятно рад, что знаю про эти инструменты, что я практиковался их использовать. Полученные материалы можно будет пересматривать, если вдруг чего вспомнить нужно. Большим плюсом, лично для меня, является наличие огромного числа практики даже на самих лекционных занятиях.

Как же я заебался

Знакомо? Часто такое бывает? Расскажу, что я делаю в таких случаях. Не инструкция, просто то, что мне помогает 😍.

Я нарочно употребил именно мат, потому что устал или нет больше сил — это не та степень. Вот ты прям конкретно заебался. Но и не та степень, когда пора к врачу.

В общем, первое, что не нужно делать — это выяснять причины, почему так произошло. Вот сначала отдохнуть нужно, потом на свежую голову ретроспективу устраивать. Максимально перестать слушать свой мозг 💯.

Для людей с офисным режимом (типа меня), часто это возникает из-за слишком большой когнитивной нагрузки: сложные задачи каждый день, большое число трудных (правда трудных) решений, много стресса, печальных новостей. И это не норма для любого человека.

Потому нужно постараться переключить свой фокус на физические нагрузки 🌿. Чем больше моментов, когда надо сосредоточиться на упражнениях, переключить дыхание — тем лучше. После таких нагрузок — банька, сауна, спа или любое другое релаксирующее для тела действо будет только плюсом. Далее не задерживаемся в девайсах, сразу постараться добраться домой и лечь спать. Как правило утром ты уже бодрячком. Если всё ещё есть усталость, то нужно постараться разгрузить свой день.

Трюк с физическими нагрузками я не сам придумал, но у меня работает. Чаще всего этот совет я слышу от людей, которые занимают высокие позиции в компаниях: как минимум хорошая пробежка/тренировка — это часть их вечерней рутины, чтобы просто переключиться.

А что вам помогает справиться с тяжелыми буднями? Буду рад почитать ваши истории 😍!

Утро понедельника начинается с неожиданного пакета мерча от Y&&Y.

Это что, я теперь снова стажёр?😀

llm-as-a-judge

Ни для кого не секрет, что LLM достаточно часто использую в качестве судьи. Это очень удобно: можно оценивать произвольный вход, делать бинарные или численные оценки, просить LLMку объяснить своё решение. Но есть и нюансики 👨‍🦳. 

Зачастую, когда мы только начинаем разрабатывать бенчмарки, то судьи выдают качество 60-70%. Это крайне низкое качество, с которым замеряться нет смысла. Это ни плохо, ни хорошо — просто факт. 

Из опыта хороший судья — дообученная LLMка на задачу оценки 🤓. Да, конечно, можно запромптить модель, и если у неё OOD +- ок, то вероятно, промпт поможет выжать качество до 90%+. Но ни разу не видел качество выше 95%, что может быть критично для маленьких бенчей (где доверительный интервал супер широкий). 

Но даже если обучили судью — иногда это оборачивается коллапсом невероятного масштаба ❓. Если ваша модель стала отвечать сильно по другому, отлично от всего того, что вы видели раньше (естественно, не только на своих моделях), то неожиданно судья начинет... галлюцинировать.

И жизнь MLщика устроена таким образом, что он не будет в каждом эксперименте проверять выходы модели на десятках бенчмарков. Ну просто потому что бенчмарки созданы чтобы в том числе как-то упрощать работу (ну и для оценки качества, естесна). А потому однажды в какой-то момент ты можешь понять, что у тебя чего-то развалилось просто в бенчмарке (обычно сильно позже, чем хотелось бы).

Потому я предпочитают рядом с llm-as-a-judge держать какую-то dummy метрику, которая является градусником 🤨. Она не не показывает действительную картину, но является неплохой апроксимацией. Например, когда нужно в тексте что-то проверить, то можно написать dummy парсер и сравнивать ANLS. Будет работать криво/косо, но работать. Главное чтобы метрика корреллировала с судьёй.

В этом случае появляется отличный градусник, который показывает, что судья-то ненастоящий 🏥!

А что вы думаете про LLM-оценщиков?

Алиса AI

У нас сегодня мега крупный запуск 🤔. Мы представили нашего обновлённого ассистента и семейство моделей, сидящих под капотом!

Мы шли к этому многие месяцы, кучу компьюта было потрачено на бесчисленные эксперименты. Безумно рад за свою команду: труды абсолютно каждого человек поучаствовали в нём, чтобы сделать ассистента полезнее для наших пользователей!

Все новшества и улучшения сложно описать в посте, да и не нужно.

Всё есть на лендосе здесь — https://alice.yandex.ru/about!

Ну и давайте накидаем тут 🔥, мы все очень сильно старались!

LaTeX и ентот ваш produnction

Я наконец-то расквитался со всем запусками и релизами за последнее время и готов чего-то написать. Кстати, кто не знал, последний релиз был в прошлую пятницу в Маркете 🤔.

Давеча я просматривал ML Party в Белграде, и наткнулся на упоминания себя примерно здесь: https://www.youtube.com/watch?v=b4p38qdguis&t=2141s (таймкод важен). И могло показаться, что я разломал прод 👨‍🦳! И да, и нет — давайте разбираться. Спойлер — меня ещё не уволили 😀

Важная ремарка: хоть и в ролике говорится про "меня", но на самом деле идёт речь про нашу команду. Я, конечно, ещё достаточно много чего делаю своими руками, но куда больше и значительнее делают ребята!

В действительности, в определённый момент мы готовы были выкатить модельку в прод. Как и полагается, покатили на тестовый стенд и получили безумие! И это подтверждает некоторые байки о кровавом produnction (олды помнят).

Дело обстояло так: мы всё отлаживали в одной поверхности (и тестировали, и людьми смотрели) — всё было хорошо. Какого было наше удивление, когда всё разломалось в другой поверхности. И сначала, конечно же, гнали на то, что с моделью как-то не так, и она вообще какая-то не такая. Но на самом деле, всё немного на так 😊.

Представим себе, что у вас есть множество фронтендов: пару приложений (а на самом деле больше), несколько веб-поверхностей, ещё что-нибудь в придачу. Вы, конечно, можете с помощью системного промпта придумать, как удовлетворять формату каждого фронтенда, но в реальности — это безумие! Я просто даже не хочу писать про то, какой ад с тестированием начнётся, сколько всего вам нужно будет перепроверять, каждый раз переобучая модель 🔥.

Другой разговор, когда у вас всё же модель отдаёт единый формат. И каждый фронтенд разбирает по-своему то, что ему прислал бекенд (в нашем случае модель), исходя из своих правил. У вас есть большой плюс с точки зрения обучения модели: нужно тестировать только один формат, а не большое множество. В нашем случае так и оказалось — нужно было сделать некоторые правки в парсинге и всё встало на свои места 🤨.

"Кровавость" produnction'а в большей части состоит из таких моментов. Ты приходишь со своим ноу-хау в большую систему и нужно учесть иногда то, что ты даже не знаешь 🏥. И вот сколько вещей получится узнать — большую роль имеет опыт, насмотренность на системы, когда на уровне интуиции имеешь представление, что может пойти не так.