Кейшон Дэвис попал в четверку боксеров, которым понадобилось меньше всего боев, чтобы завоевать титул чемпиона мира в легком весе.

Но это по версии телеканала ESPN, которая кажется довольно спорной, потому что Джимми Брит владел специальным чемпионским поясом для белых, а общепризнанным чемпионом мира в легком весе в то время был Джо Ганс, которому он проиграл.

Первая пробежка после 2,5 лет безделья: камбэк 🏃‍♂️🔥

Сегодня, на расслабоне (но с героизмом в сердце 💪), пробежал 9 км по горкам за 1 час.

📊 Статистика великого возвращения:

➡ Максимальная скорость – 14 км/ч (почти как Усэйн Болт… если бы он бежал в гору с рюкзаком картошки) 🏎️
➡ Перепад высот – 140 метров (чувствовал себя как альпинист, но без кислорода и смысла) 🏔️
➡ Средний темп – 6:51 мин/км (чуть быстрее, чем если бы я просто быстро шёл в магазин за пивом) 🍺

Конечно, результаты могли быть лучше, если бы было перед кем попонтоваться. Но так чё – на релаксе, без лишних нервов. Следующая пробежка – либо быстрее, либо с оператором, чтобы хоть кто-то заценил! 🎥😂 Но пару видео добавлю в комментариях 👇

🔻 Апдейт спустя пару часов: 🔻
Ноги уже болят, спина завтра будет болеть… 😅

#Running #Sport

Так выглядит рай для нейросетей 😍🤖🔥

💀 Видеокарты на пределе, электричество плавит провода, но это не ад – это рай!

На таком звере можно спокойно обучать модели в 200B+ и запускать сотни 7B одновременно. 😏

🚀 LLaMA 3 70B? Запускаем в десятках экземпляров.
🤖 GPT-4o-класса модели? Fine-tune без проблем.
🎥 Генерация видео уровня Sora? Вообще не вопрос.
🧠 Модели в 200B+? Обучаем с комфортом.

А я на своём Mac с 32 ГБ RAM радуюсь, что у меня влезает LLama 7B. 😆

Каждая NVIDIA B200 жрет до 1000 Ватт ⚡, а их восемь! В итоге этот сервер может тянуть до 8 кВт, что сравнимо с зарядкой электромобиля 🚗.
В моменте этот сервер может жрать до 8 кВт — это как если бы ты включил сауну, плиту и кондиционер одновременно. 😅🔥

А все ради чего? Чтобы разогреть видеокарты и тренировать 70B+ модели без плясок с бубном.

Угадайте, сколько такое удовольствие стоит без расходов на электроэнергию?

3000$ -🙂
40000$ - 😀
500000$ - 😂
6000000$ - 🤣

что мы вступили в новую эру и гонку, объяснять никому уже не надо, итак всё понятно :-)

Сегодня пол дня в онлайн-митингах. Когда работать? :-)

Технический долг: искусство брать в долг у самого себя

Сегодня я сознательно скатываюсь в банальность. Да, я буду говорить про технический долг в разработке софта, и да — проводить параллели с жизнью. Но погодите уходить, давайте хотя бы сделаем вид, что это свежая мысль.

В программировании технический долг — это не всегда «криворукие разработчики написали говнокод». Иногда это осознанное решение: сделать быстро, но с долгом, потому что идеально, но нескоро — не вариант. Главное — этот долг учитывать, записывать и гасить, иначе через год код превращается в археологические раскопки, где вместо документации — магические заклинания в комментариях 🧙‍♂️.

Но технический долг есть не только в коде, а везде. Например, вот этот легендарный шкаф, в который мы годами запихиваем вещи, а когда он перестаёт закрываться — просто подставляем перед ним стул. Всё, фикс готов. До момента, когда нам вдруг срочно нужен этот стул, и вот мы уже стоим под лавиной зимних курток, старых зарядок и «ну вдруг пригодится» 🎭.

И в жизни у нас всё по той же схеме:

Здоровье? Ну да, пару недель без спорта и нормального сна — не страшно. Через полгода мы уже как багованная версия самих себя, но ничего, однажды это обязательно само исправится (спойлер: нет) 🏴‍☠️.

Финансы? Ну кто вообще разбирается в этом бюджете? У нас есть гибкий подход: тратим, пока не кончится, а потом удивляемся, как это произошло 💸.

Отношения? «Потом поговорим», «как-нибудь выберемся», «не сейчас». Всё нормально, пока однажды не приходит «ну, вообще-то, уже поздно» 💔.

Карьера? «Ну да, новые технологии, новые тренды... ладно, потом разберусь». Потом — это когда вдруг выясняется, что наш стек знаний поддерживает только исторический музей IT 📜.

Но, честно говоря, это не катастрофа. Технический долг в разработке — нормальная вещь, если его записывать, отслеживать и разбирать по приоритету. В жизни тоже: пока мы хотя бы понимаем, где у нас шкаф со стулом, это ещё не безнадёжно. Главное — не забыть, что если слишком долго тянуть, однажды вся эта конструкция рухнет нам на голову 🎢.

Поэтому записываем, фиксируем, приоритизируем. Потому что тупой карандаш всегда острее самой острой памяти ✍️.

…А если вдруг вам показалось, что я сегодня слишком уж скатился в банальность — так это потому, что у меня накопились технические долги...и их меньше всего в софте…

🔍 Хобби по выходным - большие языковые модели вообще и трансформеры в частности

Сегодня весь день писал неформальный крэш-курс по генеративному ИИ. Выйдет он через несколько недель… ну или месяцев, как пойдёт. 😅 Kурс я пишу в первую очередь для себя — чтобы самому разобраться во всех тонкостях языковых моделей и трансформеров. И чем глубже копаю, тем больше вопросов у меня самого!

Сегодня разбирался с механизмами внимания (self-attention). Если коротко: всё, что мы подаём на вход большой языковой модели, превращается в векторы в многомерном пространстве (это те самые эмбеддинги, про которые я тут уже много писал).

Главное, что нужно знать: слова, близкие по смыслу, будут иметь похожие векторы.

Например:

«кот» → [0.5, 0.2, -0.3, ...]
«собака» → [0.6, 0.1, -0.2, ...]

Оба — домашние животные, их векторы близки. А вот у слова «машина» вектор совсем другой, потому что его смысл далёк от животных.

Но что делать со словами с несколькими значениями, и вообще с зависимостью от контекста, дискурса, аллюзиями и т.д.? например «замoк»:

- «Вчера мы посетили старинный замок» 🏰
- «На амбаре висел ржавый замок» 🔒

Здесь на помощь приходит механизм самовнимания — он помогает модели понять контекст. Логично ожидать, что «замок» в первом предложении будет ближе к «средневековью», а во втором — скорее к «смазке».

Решил проверить это на коде и… внезапно словил баг. По какой-то причине модель разбила «смазка» на два токена — «смаз» и «ка». 🤦‍♂️ Хотя, например, «средневековье» почему-то один токен.

Теперь понимаю, что токенизации текстов и предложений надо уделить в курсе больше внимания. Многие специалисты жалуются, что в ней много хаоса, а Google и Meta уже уходят от работы со словами и строят модели на уровне битов. В принципе, логично и в какой-то степени фундаментально: вся информация — это 0 и 1, даже у элементарных частиц спин либо "+", либо "-", a человеческие языки это лишь частный случай … но это уже совсем другая история. 😁

А пока вопрос вам, друзья: как думаете, в представлении языковой модели слова «Аннушка» и «масло» будут близки? 😉

Настроение 23 февраля: Ура!

Дмитрий Бивол и Артур Бетербиев: Слова после боя

👆👆👆

Неоспоримый чемпион в полутяжах определился? )

Оба русскоговорящие, один гражданин Канады, второй гражданин Киргизии хотя сам из Питера. Обходит санкции, и это хорошо. Два сильнейших полутяжа планеты в боксе.

Искусственный интеллект, тестируемый журналом The Ring и Турки Аль аш-Шейхом насчитал 116-112 в пользу Бивола.

Также у него Карлос Адамес победил Хамзу Шираза (судьи-люди, напомним, дали спорную ничью), а Каллум Смит победил Джошуа Буатси (здесь он солидарен с людьми)

Радовались ли вы, коллеги, хоть раз в своей жизни так, как вчера радовался Эдди Хирн?

Атмосфера там вчера была 🔥

Майрис тоже вчера от души поболел:

Что-то я немного постеснялся сегодня выкладывать свою пробежку, напоминает сами видите что 😂

Юль, прокомментируй как так получилось 😂