Технический долг: искусство брать в долг у самого себя

Сегодня я сознательно скатываюсь в банальность. Да, я буду говорить про технический долг в разработке софта, и да — проводить параллели с жизнью. Но погодите уходить, давайте хотя бы сделаем вид, что это свежая мысль.

В программировании технический долг — это не всегда «криворукие разработчики написали говнокод». Иногда это осознанное решение: сделать быстро, но с долгом, потому что идеально, но нескоро — не вариант. Главное — этот долг учитывать, записывать и гасить, иначе через год код превращается в археологические раскопки, где вместо документации — магические заклинания в комментариях 🧙‍♂️.

Но технический долг есть не только в коде, а везде. Например, вот этот легендарный шкаф, в который мы годами запихиваем вещи, а когда он перестаёт закрываться — просто подставляем перед ним стул. Всё, фикс готов. До момента, когда нам вдруг срочно нужен этот стул, и вот мы уже стоим под лавиной зимних курток, старых зарядок и «ну вдруг пригодится» 🎭.

И в жизни у нас всё по той же схеме:

Здоровье? Ну да, пару недель без спорта и нормального сна — не страшно. Через полгода мы уже как багованная версия самих себя, но ничего, однажды это обязательно само исправится (спойлер: нет) 🏴‍☠️.

Финансы? Ну кто вообще разбирается в этом бюджете? У нас есть гибкий подход: тратим, пока не кончится, а потом удивляемся, как это произошло 💸.

Отношения? «Потом поговорим», «как-нибудь выберемся», «не сейчас». Всё нормально, пока однажды не приходит «ну, вообще-то, уже поздно» 💔.

Карьера? «Ну да, новые технологии, новые тренды... ладно, потом разберусь». Потом — это когда вдруг выясняется, что наш стек знаний поддерживает только исторический музей IT 📜.

Но, честно говоря, это не катастрофа. Технический долг в разработке — нормальная вещь, если его записывать, отслеживать и разбирать по приоритету. В жизни тоже: пока мы хотя бы понимаем, где у нас шкаф со стулом, это ещё не безнадёжно. Главное — не забыть, что если слишком долго тянуть, однажды вся эта конструкция рухнет нам на голову 🎢.

Поэтому записываем, фиксируем, приоритизируем. Потому что тупой карандаш всегда острее самой острой памяти ✍️.

…А если вдруг вам показалось, что я сегодня слишком уж скатился в банальность — так это потому, что у меня накопились технические долги...и их меньше всего в софте…

🔍 Хобби по выходным - большие языковые модели вообще и трансформеры в частности

Сегодня весь день писал неформальный крэш-курс по генеративному ИИ. Выйдет он через несколько недель… ну или месяцев, как пойдёт. 😅 Kурс я пишу в первую очередь для себя — чтобы самому разобраться во всех тонкостях языковых моделей и трансформеров. И чем глубже копаю, тем больше вопросов у меня самого!

Сегодня разбирался с механизмами внимания (self-attention). Если коротко: всё, что мы подаём на вход большой языковой модели, превращается в векторы в многомерном пространстве (это те самые эмбеддинги, про которые я тут уже много писал).

Главное, что нужно знать: слова, близкие по смыслу, будут иметь похожие векторы.

Например:

«кот» → [0.5, 0.2, -0.3, ...]
«собака» → [0.6, 0.1, -0.2, ...]

Оба — домашние животные, их векторы близки. А вот у слова «машина» вектор совсем другой, потому что его смысл далёк от животных.

Но что делать со словами с несколькими значениями, и вообще с зависимостью от контекста, дискурса, аллюзиями и т.д.? например «замoк»:

- «Вчера мы посетили старинный замок» 🏰
- «На амбаре висел ржавый замок» 🔒

Здесь на помощь приходит механизм самовнимания — он помогает модели понять контекст. Логично ожидать, что «замок» в первом предложении будет ближе к «средневековью», а во втором — скорее к «смазке».

Решил проверить это на коде и… внезапно словил баг. По какой-то причине модель разбила «смазка» на два токена — «смаз» и «ка». 🤦‍♂️ Хотя, например, «средневековье» почему-то один токен.

Теперь понимаю, что токенизации текстов и предложений надо уделить в курсе больше внимания. Многие специалисты жалуются, что в ней много хаоса, а Google и Meta уже уходят от работы со словами и строят модели на уровне битов. В принципе, логично и в какой-то степени фундаментально: вся информация — это 0 и 1, даже у элементарных частиц спин либо "+", либо "-", a человеческие языки это лишь частный случай … но это уже совсем другая история. 😁

А пока вопрос вам, друзья: как думаете, в представлении языковой модели слова «Аннушка» и «масло» будут близки? 😉

Настроение 23 февраля: Ура!

Дмитрий Бивол и Артур Бетербиев: Слова после боя

👆👆👆

Неоспоримый чемпион в полутяжах определился? )

Оба русскоговорящие, один гражданин Канады, второй гражданин Киргизии хотя сам из Питера. Обходит санкции, и это хорошо. Два сильнейших полутяжа планеты в боксе.

Искусственный интеллект, тестируемый журналом The Ring и Турки Аль аш-Шейхом насчитал 116-112 в пользу Бивола.

Также у него Карлос Адамес победил Хамзу Шираза (судьи-люди, напомним, дали спорную ничью), а Каллум Смит победил Джошуа Буатси (здесь он солидарен с людьми)

Радовались ли вы, коллеги, хоть раз в своей жизни так, как вчера радовался Эдди Хирн?

Атмосфера там вчера была 🔥

Майрис тоже вчера от души поболел:

Что-то я немного постеснялся сегодня выкладывать свою пробежку, напоминает сами видите что 😂

Юль, прокомментируй как так получилось 😂

Саудиты быстро научились делать спортивные шоу лучше чем американцы, не находите? 👇👇👇

Прохладное февральское утро понедельника , коллеги, самое время налить чашечку Руссиано (две порции эспрессо с одной порцией воды или сгущенки) и посмотреть красивое итоговое видео вечера бокса The Last Crescendo:

Настало время удивительных историй, коллеги:

Помните же британца Джоша Падли, который закончил смену электрика, а на следующий день вылетел в Эр-Рияд, где дрался с Шакуром Стивенсоном и уступил TKO 9?

Выдержка Падли привлекла всеобщее внимание и какова, спросите вы, была его награда?

По слухам, которые транслируют британские СМИ, ему заплатили 500 тысяч долларов, а Турки Аль аш-Шейх помимо этого подарил ему дом.

Красиво-красиво

Несколько занимательных фактов, коллеги:

Родившийся в Киргизии в 1990 году и в возрасте одиннадцати лет переехавший в Санкт-Петербург ЗМС России по боксу Дмитрий Юрьевич Бивол:

1️⃣ Один из всего двух российских боксеров, получивших награду "Боксер года" по версии The Ring Magazine (второй — Сергей Ковалев в 2014 году) и единственный "Боксер года" по версии BWWA (пишущих о боксе американских журналистов)

2️⃣ Стал единственным из российских боксеров, который победил действующего первого номера рейтинга P4P (Канело)

3️⃣ Стал единственным из российских боксеров, который победил двух бойцов из TOP-5 P4P (Канело и Бетербиев)

4️⃣ Является одним из всего двух российских боксеров, который стал обладателем четырех основных поясов своего веса (вместе с Артуром Бетеребиевым)

5️⃣ Победил двух на момент боя с ним действующих абсолютных чемпионов мира (Канело и Бетербиев)

6️⃣ Имеет победу над ныне действующим объединенным чемпионом мира в первом тяжелом весе (Хильберто Рамирес)

7️⃣ 23-й абсолютный чемпион за всю историю полутяжелого веса и всего четвертый за последние 40 лет (Спинкс, Джонс, Бетербиев, Бивол)

8️⃣ Вошел в число абсолютных чемпионов мира в эпоху четырех поясов (их в истории было всего десять)

На полноту списка не претендуем, но даже и так он выглядит весьма выдающимся.

Также стоит отметить, что для таких достижений мало быть элитным боксером, нужно также иметь и элитную команду (тренера, менеджера, промоутеров и тд)