Приходите сегодня на подскаст, задавайте вопросики в комменты к посту https://t.iss.one/bashnya_education/518 😍
Выберу самый интересный вопрос и чего-нибудь подарю тому человечку (менторская сессия, тг-премиум на полгода или чего-нибудь из нашего мерча) 🔼

В общем — Ж Д У

Допустим 😀

Техрепорт GPT-5: https://cdn.openai.com/pdf/8124a3ce-ab78-4f06-96eb-49ea29ffb52f/gpt5-system-card-aug7.pdf

GPT-5 is a unified system (не одна модель).

Надеюсь, за мной не придут 😍

Про канал

Когда я затевал свой канал 3 года назад, я даже не и мечтать не мог о том, что нас здесь станет так много. Спасибо, что всё это время вы меня читаете, поддерживаете, пишите комментарии и ставите реакции! 😍

Мой канал претерпел множество изменений 😊. Из технического-бэкендового он сначала превратился в MLный, а затем стал больше менеджерским. Знаю, что некоторых стало расстраивать уменьшение числа технических постов здесь, а кому-то наоборот заходят топики про личное и управленческое. Это происходит просто с течением моей жизни и сменой ролей, ведь блог больше про меня самого, мой опыт и находки здесь и сейчас.

В последнее время частота моих постов снизилась 🥺. И не потому, что у меня как-то времени уменьшилось на канал, вовсе нет. Я просто временно потерял интуицию, что интересно моей аудитории, чем бы я мог быть вам полезен. У меня есть десятки идей, о чём можно было бы написать, но каждый раз я думаю, что это будет не интересно. И как бы я не эксперементировал с форматами, пока что-то как-то не заходит. Я создавал этот канал не только для того, чтобы делиться какими-то новостями про себя, но быть полезным вам. ☺️

Я очень не хочу скатываться в формат новостей, для этого есть десятки-сотни других каналов, которые делают это и вы на них подписаны. Не хочу превращать канал во флуд, коих тоже приличное множество. Хочу его оставить самобытным, где мы с вами можем друг другу полезны.

Я бы хотел сделать новую рубрику — вопросы от подписчиков. Раз-два в неделю я буду выпускать посты, в котором буду отвечать на любой ваш вопрос в развёрнутом виде. Это может быть любой вопрос, но в каких-то рамках (не смогу ответить про NDA, похейтить какую-то компанию, дать реакцию на какое-то событие или рассказывать подробности личной жизни).

Вы можете присылать свои вопросы либо в сообщения канала, либо ко мне в личку — она всегда открыта для вас 🤯!

Между рубрикой я продолжу вести канал в его привычном режиме, делиться разными мыслями и событиями из жизни. Очень надеюсь на вашу поддержку и я буду счастлив, если рубрика вам зайдёт 😍!

P.S. ну и напишите в комментарии, что думаете про идею? может быть я не прав и она не нужна?

окак 😂

Заметки про руководство — самостоятельность команды

Недавно в разговоре всплыла тема самостоятельности команды. Я немного об этом подумал — и вот к чему пришёл.

Классическая схема устройства команды: есть несколько разработчиков и тимлид 🙂. Последний принимает кучу решений, знает про всё и всех. А ещё часто самый сильный технарь становится руководителем (по крайней мере в РФ).

В силу неопытности, тимлид начинает адаптировать инженерное прошлое к реалиям руководителя. Раньше все задачи решал сам, умел продумать до мелочей любую задачу 🤓. Как итог, почти всё, что делает команда, — это продукт раздумий тимлида. Решения (в том числе, как именно делать) рождаются не в команде, а у одного человека. И в этом есть как плюсы, так и минусы.

Плюсы, кажется, очевидны 🧠:
— Больший контроль. Как тимлид ты понимаешь, что происходит в команде до мелочей;
— Ты способен в любой момент помочь любому человеку в команде, потому что ты шаришь (что может неплохо влиять на авторитет крутого технаря);
— Все решения принимать тебе куда легче, потому что всё у тебя в голове.

Минусы, к сожалению, более весомые 🤔:
— Твои подходы могут быть старомодны, и вообще можешь не быть в теме так глубоко, как кажется. Ты уже не инженер, да, скорее всего, есть какие-то мелкие задачи, которые ты делаешь руками, но нужно принять тот факт, что люди в твоей команде будут ловчее тебя, потому что занимаются этим каждый день;
— Люди в команде не набираются опыта принимать решения самостоятельно, а ты становишься главным bottleneck. Банально, если ты за них всё думаешь, а им просто сделать надо — они и критическое мышление начнут отключать в скором времени. А вообще это вредно для их карьерного роста (и для твоего тоже);
— Ты не развиваешь команду, она стоит на месте. Вместо того, чтобы решать технические задачи, можно заняться развитием сотрудников, команды и процессов, подумать про стратегию, или вообще помечтать о новых проектах, а потом защитить их у руководства.

Как водится в управлении людьми, всегда есть нюансы 😊. Конечно, минусы значительные, но если твоя команда ещё не зрелая (не путать с людьми), то конечно, придётся думать о техническом больше. Но со временем нужно приходить к тому, что ты учишься приносить задачи в команду, доверять ей, а ребята уже самостоятельно придумывают пути решения. И в этом случае тебе нужно будет уже только принять какой-то вариант, что, пожалуй, вызов для начинающего тимлида: уметь отпустить детали и довериться команде 😍.

А что ты думаешь про самостоятельность команд? Твоя команда сейчас какая? Почему?

Как инферятся LLMки под капотом?

Совершенно случайно наткнулся на блогпост про инференс LLMок. Речь именно про реализацию движка на C++ своими ручками, с использованием CUDA и без каких-либо других сторонних библиотек. Я прочитал пост залпом, объяснения очень понятные и глубокие 🤓.

Всё, конечно, же игрушечное: single batch, single gpu, completion only (без prefill).

В посте идёт повествование про следующие топики:
— Пишем наивную реализацию под CPU (и ускоряем за счёт SIMD);
— Переносим на CUDA;
— Думаем, как работает GPU и ускоряем matmul;
— Фьюзим операции и еще ускорения matmul;
— Профилируем attention и ускоряем его, включая длинные генерации;
— Квантование и какие грабли подкидывает нам nvcc.

Определённо полезно будет тем, кому интересны топик инференса. Мне понравилось то, как автор показывает, что можно использовать различные инструменты профилировки и какие выводы из них можно сделать 🔼. Кайфанул с того, как пришлось упороться, чтобы повторить анролинг для FP16 ядер, по аналогии, как это делает комплиятор для FP32 ядер автоматически (ох уж эта боль) 🏥.

Ссылочка на пост: https://andrewkchan.dev/posts/yalm.html

Выезд службы и 3 года

У нас в службе уже третий год подряд происходят выезды в одно единое пространство 😍. Два года подряд мы ездили в Турцию, в этом году посетили Армению!

Для меня это событие в первую очередь про общение с людьми. Редко увидишь так много лиц в одном помещении, потому что команда распределена по разным странам. И конечно, же у меня был календарь каких-то обсуждений, 1-1, просто попить кофе, а где обкашлять вопросики.

Между этим у нас были стратсессии, а после основной части мы тусовались 🙂. Кто-то ходил в бары и разные заведения, а часть ребят ходили в караоке прямо в офисе! Давно я так не отжигал до четырёх утра два дня подряд!

Ереван нас встретил своим радушием и гостеприимством. Я, честно говоря, не видел последний офис, а в этот раз удалось его лицезреть, и надо бы сказать, что очень круто! Особенно удивил меня кинотеатр прям в офисе 🤔 (нам бы такое в Питер). Про рестораны и кафешки промолчу: там всегда много, вкусно и просто душевно — если не верите, вам просто нужно запланировать съездить на недельку!

А ещё буквально вчера стукнуло ровно 3 года, как я в Яндексе работаю 🤯! И просто спасибо всем, с кем я работал и работаю: вы невероятно талантливые люди, у которых я многому учусь!

P.S. Я хотел написать какой-то большой пост про поездку и про три года работы. Но вышло как-то сумбурно, странно и немного не в моём духе. Это от того, что эмоции от прошлой недели меня до сих пор переполняют! Если у вас есть вопросы про что-то, то приходите в комментарии и давайте обсудим 😍

Широта кругозора

Последние пару недель мне пришлось прыгать между разными задачами разработки в параллель с основными: от фиксов во фронте до ковыряния в бэкенде 🔥. И на этих выходных я поймал себя на мысли, что именно широта кругозора помогла справиться быстрее со всеми проблемами.

В универе я щупал всё подряд: фронт на React+Node, мобилки на Objective-C/Swift, бэкенды на Python, C++ и PHP, разные базы (от MSSQL до Mongo), и даже RabbitMQ зачем-то трогал 😀.

На текущий момент я могу сформировать два утверждения про технологии выше:
1. я не эксперт . Честно, как писать конкретный код для использования фреймворков я забыл;
2. я +- понимаю, зачем всё это нужно;

За второй факт я, собственно, и благодарен себе. Только потрогав технологии, в разных ситуациях, краевых случаях, начинаешь понимать зачем оно нужно. Более того, это позволяет тебе выходить на такой уровень абстрактного мышления, когда тебе в целом всё равно на конкретную реализацию, ты начинаешь понимать как оно работает, просто верхнеуровнево посмотрев на доку (не всегда, но часто) 🌿.

Сейчас всё стало проще, можно спросить у AI-помощников, что лучше заиспользовать, но в основе своей будет поверхностная информация. Но если знаешь, что искать — работа становится значительно быстрее. Я думаю, потратил бы куда больше времени, если помощников не было (как минимум, я очень давно не трогал TypeScript, после Python и С++ немного не привычно было).

Что касается первого факта, то как инженеру, мне, конечно же, очень грустно! Хочется быть экспертным экспертом во всём, но для этого нужно много работать непосредственно с самими технологиями, чего на позиции руководителя не сделаешь. Да и что там говорить, даже на позиции инженера это крайне сложная задача, далеко не каждому под силу осуществить.

Так что, пока есть время (в школе, универе, в свободное время) — щупайте технологии, играйтесь, ломайте. Через пару лет вы скажете себе спасибо 😍!

P.S. Глубина важна. Но широта — это тот навык, который однажды вам поможет решить задачу с большом стеке разнородных технологий.

Когда готовишься к алгособесу 😊