Технический долг: искусство брать в долг у самого себя

Сегодня я сознательно скатываюсь в банальность. Да, я буду говорить про технический долг в разработке софта, и да — проводить параллели с жизнью. Но погодите уходить, давайте хотя бы сделаем вид, что это свежая мысль.

В программировании технический долг — это не всегда «криворукие разработчики написали говнокод». Иногда это осознанное решение: сделать быстро, но с долгом, потому что идеально, но нескоро — не вариант. Главное — этот долг учитывать, записывать и гасить, иначе через год код превращается в археологические раскопки, где вместо документации — магические заклинания в комментариях 🧙‍♂️.

Но технический долг есть не только в коде, а везде. Например, вот этот легендарный шкаф, в который мы годами запихиваем вещи, а когда он перестаёт закрываться — просто подставляем перед ним стул. Всё, фикс готов. До момента, когда нам вдруг срочно нужен этот стул, и вот мы уже стоим под лавиной зимних курток, старых зарядок и «ну вдруг пригодится» 🎭.

И в жизни у нас всё по той же схеме:

Здоровье? Ну да, пару недель без спорта и нормального сна — не страшно. Через полгода мы уже как багованная версия самих себя, но ничего, однажды это обязательно само исправится (спойлер: нет) 🏴‍☠️.

Финансы? Ну кто вообще разбирается в этом бюджете? У нас есть гибкий подход: тратим, пока не кончится, а потом удивляемся, как это произошло 💸.

Отношения? «Потом поговорим», «как-нибудь выберемся», «не сейчас». Всё нормально, пока однажды не приходит «ну, вообще-то, уже поздно» 💔.

Карьера? «Ну да, новые технологии, новые тренды... ладно, потом разберусь». Потом — это когда вдруг выясняется, что наш стек знаний поддерживает только исторический музей IT 📜.

Но, честно говоря, это не катастрофа. Технический долг в разработке — нормальная вещь, если его записывать, отслеживать и разбирать по приоритету. В жизни тоже: пока мы хотя бы понимаем, где у нас шкаф со стулом, это ещё не безнадёжно. Главное — не забыть, что если слишком долго тянуть, однажды вся эта конструкция рухнет нам на голову 🎢.

Поэтому записываем, фиксируем, приоритизируем. Потому что тупой карандаш всегда острее самой острой памяти ✍️.

…А если вдруг вам показалось, что я сегодня слишком уж скатился в банальность — так это потому, что у меня накопились технические долги...и их меньше всего в софте…

🔍 Хобби по выходным - большие языковые модели вообще и трансформеры в частности

Сегодня весь день писал неформальный крэш-курс по генеративному ИИ. Выйдет он через несколько недель… ну или месяцев, как пойдёт. 😅 Kурс я пишу в первую очередь для себя — чтобы самому разобраться во всех тонкостях языковых моделей и трансформеров. И чем глубже копаю, тем больше вопросов у меня самого!

Сегодня разбирался с механизмами внимания (self-attention). Если коротко: всё, что мы подаём на вход большой языковой модели, превращается в векторы в многомерном пространстве (это те самые эмбеддинги, про которые я тут уже много писал).

Главное, что нужно знать: слова, близкие по смыслу, будут иметь похожие векторы.

Например:

«кот» → [0.5, 0.2, -0.3, ...]
«собака» → [0.6, 0.1, -0.2, ...]

Оба — домашние животные, их векторы близки. А вот у слова «машина» вектор совсем другой, потому что его смысл далёк от животных.

Но что делать со словами с несколькими значениями, и вообще с зависимостью от контекста, дискурса, аллюзиями и т.д.? например «замoк»:

- «Вчера мы посетили старинный замок» 🏰
- «На амбаре висел ржавый замок» 🔒

Здесь на помощь приходит механизм самовнимания — он помогает модели понять контекст. Логично ожидать, что «замок» в первом предложении будет ближе к «средневековью», а во втором — скорее к «смазке».

Решил проверить это на коде и… внезапно словил баг. По какой-то причине модель разбила «смазка» на два токена — «смаз» и «ка». 🤦‍♂️ Хотя, например, «средневековье» почему-то один токен.

Теперь понимаю, что токенизации текстов и предложений надо уделить в курсе больше внимания. Многие специалисты жалуются, что в ней много хаоса, а Google и Meta уже уходят от работы со словами и строят модели на уровне битов. В принципе, логично и в какой-то степени фундаментально: вся информация — это 0 и 1, даже у элементарных частиц спин либо "+", либо "-", a человеческие языки это лишь частный случай … но это уже совсем другая история. 😁

А пока вопрос вам, друзья: как думаете, в представлении языковой модели слова «Аннушка» и «масло» будут близки? 😉

Настроение 23 февраля: Ура!

Дмитрий Бивол и Артур Бетербиев: Слова после боя

👆👆👆

Неоспоримый чемпион в полутяжах определился? )

Оба русскоговорящие, один гражданин Канады, второй гражданин Киргизии хотя сам из Питера. Обходит санкции, и это хорошо. Два сильнейших полутяжа планеты в боксе.

Искусственный интеллект, тестируемый журналом The Ring и Турки Аль аш-Шейхом насчитал 116-112 в пользу Бивола.

Также у него Карлос Адамес победил Хамзу Шираза (судьи-люди, напомним, дали спорную ничью), а Каллум Смит победил Джошуа Буатси (здесь он солидарен с людьми)

Радовались ли вы, коллеги, хоть раз в своей жизни так, как вчера радовался Эдди Хирн?

Атмосфера там вчера была 🔥

Майрис тоже вчера от души поболел:

Что-то я немного постеснялся сегодня выкладывать свою пробежку, напоминает сами видите что 😂

Юль, прокомментируй как так получилось 😂

Саудиты быстро научились делать спортивные шоу лучше чем американцы, не находите? 👇👇👇

Прохладное февральское утро понедельника , коллеги, самое время налить чашечку Руссиано (две порции эспрессо с одной порцией воды или сгущенки) и посмотреть красивое итоговое видео вечера бокса The Last Crescendo:

Настало время удивительных историй, коллеги:

Помните же британца Джоша Падли, который закончил смену электрика, а на следующий день вылетел в Эр-Рияд, где дрался с Шакуром Стивенсоном и уступил TKO 9?

Выдержка Падли привлекла всеобщее внимание и какова, спросите вы, была его награда?

По слухам, которые транслируют британские СМИ, ему заплатили 500 тысяч долларов, а Турки Аль аш-Шейх помимо этого подарил ему дом.

Красиво-красиво

Несколько занимательных фактов, коллеги:

Родившийся в Киргизии в 1990 году и в возрасте одиннадцати лет переехавший в Санкт-Петербург ЗМС России по боксу Дмитрий Юрьевич Бивол:

1️⃣ Один из всего двух российских боксеров, получивших награду "Боксер года" по версии The Ring Magazine (второй — Сергей Ковалев в 2014 году) и единственный "Боксер года" по версии BWWA (пишущих о боксе американских журналистов)

2️⃣ Стал единственным из российских боксеров, который победил действующего первого номера рейтинга P4P (Канело)

3️⃣ Стал единственным из российских боксеров, который победил двух бойцов из TOP-5 P4P (Канело и Бетербиев)

4️⃣ Является одним из всего двух российских боксеров, который стал обладателем четырех основных поясов своего веса (вместе с Артуром Бетеребиевым)

5️⃣ Победил двух на момент боя с ним действующих абсолютных чемпионов мира (Канело и Бетербиев)

6️⃣ Имеет победу над ныне действующим объединенным чемпионом мира в первом тяжелом весе (Хильберто Рамирес)

7️⃣ 23-й абсолютный чемпион за всю историю полутяжелого веса и всего четвертый за последние 40 лет (Спинкс, Джонс, Бетербиев, Бивол)

8️⃣ Вошел в число абсолютных чемпионов мира в эпоху четырех поясов (их в истории было всего десять)

На полноту списка не претендуем, но даже и так он выглядит весьма выдающимся.

Также стоит отметить, что для таких достижений мало быть элитным боксером, нужно также иметь и элитную команду (тренера, менеджера, промоутеров и тд)

Перепост из фейсбука от Михаил Бернштейн, 22.03.22. Город Мариуполь.

Я выхожу на улицу в перерывах между бомбежками. Мне нужно выгулять собаку. Она постоянно скулит, дрожит и прячется за мои ноги. Мне все время хочется спать. Мой двор в окружении многоэтажек тихий и мертвый. Я уже не боюсь смотреть вокруг.
Напротив догорает подъезд сто пятого дома. Пламя сожрало пять этажей и медленно жуёт шестой. В комнате огонь горит аккуратно, как в камине. Черные обугленные окна стоят без стекол. Из них, как языки, вываливаются обглоданные пламенем занавески. Я смотрю на это спокойно и обречённо.
Я уверена, что скоро умру. Это вопрос нескольких дней. В этом городе все постоянно ждут смерти. Мне только хочется, чтобы она была не очень страшной. Три дня назад к нам приходил друг моего старшего племянника и рассказывал, что было прямое попадание в пожарную часть. Погибли ребята спасатели. Одной женщине оторвало руку, ногу и голову. Я мечтаю, чтобы мои части тела остались на месте, даже после взрыва авиабомбы.
Не знаю почему, но мне это кажется важным. Хотя, с другой стороны, хоронить во время боевых действий все равно не будут. Так нам ответили полицейские, когда мы поймали их на улице и спросили, что делать с мертвой бабушкой нашего знакомого. Они посоветовали положить ее на балкон. Интересно на скольких балконах лежат мертвые тела?
Наш дом на проспекте Мира единственный без прямых попаданий. Его дважды по касательной задело снарядами, в некоторых квартирах вылетели стекла, но он почти не пострадал и по сравнению с остальными домами выглядит счастливчиком.
Весь двор покрыт несколькими слоями пепла, стекла, пластика и металлических осколков. Я стараюсь не смотреть на железную дуру, прилетевшую на детскую площадку. Думаю, это ракета, а может мина. Мне все равно, просто неприятно. В окне третьего этажа вижу чьё -то лицо и меня передёргивает. Оказывается, я боюсь живых людей.
Моя собака начинает выть и я понимаю, что сейчас снова будут стрелять. Я стою днём на улице, а вокруг кладбищенская тишина. Нет ни машин, ни голосов, ни детей, ни бабушек на лавочках. Умер даже ветер. Несколько человек здесь все же есть. Они лежат сбоку дома и на стоянке, накрытые верхней одеждой. Я не хочу на них смотреть. Боюсь, что увижу кого-то из знакомых.
Вся жизнь в моем городе сейчас тлеет в подвалах. Она похожа на свечку в нашем отсеке. Погасить ее - нечего делать. Любая вибрация или ветерок и наступит тьма. Я пытаюсь заплакать, но у меня не получается. Мне жаль себя, моих родных, моего мужа, соседей, друзей. Я возвращаюсь в подвал и слушаю там мерзкий железный скрежет. Прошло две недели, а я уже не верю, что когда-то была другая жизнь.
В Мариуполе в подвале продолжают сидеть люди. С каждым днём им все тяжелее выживать. У них нет воды, еды, света, они даже не могут выйти на улицу из-за постоянных обстрелов. Мариупольцы должны жить. Помогите им. Расскажите об этом. Пусть все знают, что мирных людей продолжают убивать.


#политика #война #Украина