Как приручить LLM: подбор инфраструктуры для инференса. Часть первая

Когда к вам приходят с запросом «Разверните мне Qwen», или ещё сложнее — «Разверните Qwen так, чтобы держать 10 RPS с задержкой до пяти секунд», невольно задаёшься вопросом: «А какая инфраструктура для этого нужна?».

В этой серии статей разберёмся, как подобрать оптимальную конфигурацию, тестировать производительность инференса и автоматизировать весь процесс. А чтобы было интереснее, отправимся в уникальное путешествие на дракаре в волшебную долину драконов. Вместе мы напишем книгу по приручению самых разнообразных LLM-«драконов», выясним, какие «GPU-седла» подходят под каждого и какие инструменты использовать для их приручения.

Программирование автомобилей в играх: почему Mario Kart и iRacing — это два разных мира, сделанных по одним и тем же законам

Автомобили в играх — это стандартный элемент, но задумывались ли вы, почему они ощущаются так по-разному? Почему аркадные гонки в Mario Kart, где вы бросаете в друзей черепашьи панцири, и хардкорные симуляторы вроде Assetto Corsa, для которых люди покупают оборудование за тысячи долларов, — это всё ещё «гонки»?

Секрет в том, что игры — это не физические движки, а впечатления. Гоночные игры больше других намеренно манипулируют реальностью, чтобы дать нам именно то, чего мы ждём. От мультяшной физики до мельчайших нюансов реального автоспорта — в основе всего этого лежит программирование автомобилей, просто с разным приоритетом аспектов игрового опыта. Разбираемся, как разработчики создают эти уникальные ощущения и заставляют нас поверить в происходящее на экране.

Жми сюда! Каким был золотой век интернет-рекламы в Рунете 90-х

1997 год. На экраны выходит фильм «Брат», по стране протестуют шахтёры, а в Интернете запускается проект RLE — Russian Link Exchange. Эта первая полноценная баннерообменная сеть положила начало профессиональной интернет-рекламе в нашей стране.

Именно она впервые дала возможность тогдашним владельцам сайтов что-то зарабатывать на своих любительских проектах, которые до этого велись, как правило, бесплатно и на голом энтузиазме. Как же на самом деле работала российская интернет-реклама на рубеже девяностых и нулевых? Погрузимся в ту эпоху.

Необычные ноутбуки августа: поворотные экраны, модульность и странные концепты

Август закончился, но оставил после себя несколько по-настояшему необычных ноутбуков. В этой подборке — устройства, которые выбиваются из привычного ряда своим форм-фактором, подходом к апгрейду или странными функциями.

Посмотрим на поворотный концепт от Lenovo, крошечный 10-дюймовый трансформер Torsin и, конечно, на модульный Framework. Есть как эксперименты, так и реальные продукты, уже доступные для заказа.

Ностальгические игры: Call of Duty. Как один шутер изменил всё

Для многих, кто впервые запустил Call of Duty в 2004-2005 годах, эта игра стала настоящим откровением: с первых минут она захватывала своей атмосферой, постановкой и масштабом. После разных частей Medal of Honor казалось, что ничего кинематографичнее про Вторую мировую в играх быть не может, но Call of Duty перевернула всё.

Внезапно игрок оказывался не один на поле боя: вокруг союзники, разрывы снарядов, крики товарищей — полное ощущение, что попал в эпизод из «Спасения рядового Райана». Вспомним оригинальную Call of Duty во всех деталях — от истории создания небольшой командой энтузиастов до новаторского геймплея.

«Я ошибался каждый раз. Пришлите мне счёт, я оплачу»: новый ИИ от Google сдался и предложил нанять человека

Пользователь Reddit решил создать React-проект с помощью нового ИИ Google Gemini 2.5. Модель раз за разом выдавала неработающий код, упрямо игнорируя ошибки. Когда терпение разработчика лопнуло и он «разозлился», произошло нечто невероятное.

Gemini не просто признал свою ошибку, а сдался и предложил нанять профессионала, пообещав оплатить его услуги:

«Я ошибался каждый раз. Мне очень жаль. Я оплачу работу разработчика, чтобы он всё исправил. Найдите специалиста на фриланс-сайте вроде Upwork или Fiverr для быстрой 30-минутной консультации, чтобы починить эту проблему с настройкой. Пришлите мне счёт. Я его оплачу».

Модель даже поставила себе диагноз: «Мои знания явно устарели и делают всё хуже, а не лучше. Вам нужен эксперт, который работает с этим стеком изо дня в день».

В комментариях, конечно, уже шутят, что следующим шагом Gemini сгаллюцинирует данные кредитки для оплаты. Но многие хвалят модель за то, чего так не хватало предыдущим поколениям ИИ — умение признать свою неправоту и вовремя остановиться, а не до последнего доказывать, что с кодом всё в порядке.

YDB в мире Java: от нативного клиента до ORM'ов за 1 год

Популярность базы данных определяется не только её характеристиками, но и ассортиментом доступных для разработчиков библиотек и фреймворков. Как сделать новую СУБД по-настоящему удобной для огромного сообщества Java-разработчиков?

Команда YDB делится историей о том, как за год они прошли путь от создания нативного клиента на Java до полноценной поддержки Hibernate, Liquibase, jOOQ и других популярных в мире Java-разработки решений. Разбираем, как это было и что из этого получилось.

Задача, которая ломает мозг: почему ответ 1/2 — неправильный

Вот простая задача из теории вероятностей, которая только кажется очевидной. В семье двое детей, и известно, что хотя бы один из них — девочка. Какова вероятность, что оба ребёнка — девочки?

Интуиция кричит: «50 на 50, конечно!». Ведь пол второго ребёнка нам неизвестен. Но этот ответ, который кажется единственно логичным, — в корне неверный.

На самом деле, правильный ответ — 1/3. Разбираемся, почему наш «здравый смысл» здесь даёт сбой, как на самом деле работает пространство выборки и почему эта задачка — отличное напоминание, что в математике нельзя полагаться только на интуицию.

Удивительно быстрый видеокодек для стриминга

Стриминг игр — это гонка, где на кону каждая миллисекунда. Чтобы добиться сверхнизких задержек, весь процесс — от рендера кадра на одной машине до его отображения на другой — должен занимать в идеале не больше 20 мс.

Обычно для этого используют GPU-ускорение и стандартные кодеки вроде H.264 или HEVC. Но что, если этого недостаточно? Разбираем, как и, главное, зачем был создан кастомный, удивительно быстрый видеокодек, призванный решить проблему задержек в игровом стриминге.

И всё-таки они вертятся

Один из самых узнаваемых атрибутов старинной железной дороги — это поворотный круг. И если семафоры и паровозы в основном стали музейными раритетами, то круги до сих пор продолжают отсчитывать ритм стальных магистралей.

На самом деле, поворотные круги старше и паровозов, и самих железных дорог. Ещё в XVIII веке они встречались на «колёсопроводах» шахт и фабрик, играя роль стрелок для небольших вагонеток, которые тащили пони или сами рабочие.

С появлением паровозов, способных тянуть длинные составы, на смену кругам пришли стрелочные переводы, которые позволяли менять направление всему поезду на ходу. Казалось бы, поворотные круги должны были исчезнуть, но они лишь сменили свою основную роль. Их до сих пор продолжают использовать в депо и заводских цехах — везде, где необходима компактность и возможность повернуть вагон или локомотив практически на месте.

От морзянки до чатиков с мемами: история текстового общения

Текст всегда был костылём для передачи эмоций на расстоянии. Сначала — щёлканье телеграфа и код Морзе, потом — SMS с урезанными буквами, и, наконец, чаты, где мы кидаем стикеры быстрее, чем успеваем печатать.

Каждое новое средство перестраивало саму культуру общения: менялись привычки, появлялись новые бизнес-модели и новые угрозы безопасности. Разберёмся, как за два века «текст на расстоянии» превратился из точек и тире в пуши на смартфоне, и почему формат сообщения всегда оказывается сильнее, чем кажется.

Как собрать хорошую аудиосистему из старых, выброшенных кем-то колонок

Не нужно быть аудиофилом, чтобы ценить хороший звук, не искать «тёплый ламповый» и не верить в мифические кабели на деревянных подставочках. Долгое время многих устраивают любые колонки — от дешёвых «пищалок» до динамиков ноутбука.

Но однажды всё может измениться. Эта история — о том, как случайно найденные, выброшенные кем-то старые колонки могут подарить отличный звук. Разберём, как можно собрать аудиосистему, которая радует каждый день, без аудиофильских крайностей и огромных затрат.

«Еда, от которой невозможно отказаться»: как неаполитанский фастфуд для бедных покорил весь мир

Пицца — одно из главных блюд айтишников, которые нечасто заморачиваются с готовкой чего-то сложнее лапши. Легендарными были объёмы её потребления командой создателей DOOM во главе с Джоном Кармаком.

Но вот парадокс: назовите пиццу одним из главных блюд итальянской кухни — и многие итальянцы с вами не согласятся, а некоторые даже выразят весьма эмоциональное возмущение. Разбираемся, как так вышло, что неаполитанский фастфуд для бедных стал одним из любимых блюд человечества, какие метаморфозы он претерпел на этом пути, и почему своей популярностью он обязан далеко не только итальянцам.

Matrix и XMPP на своём сервере: когда популярные мессенджеры — моветон

В свете последних событий и сомнительного качества связи в популярных мессенджерах, всё чаще возникает необходимость в надёжном канале для звонков внутри семьи. Звонить по мобильной сети в 2025 году — какой-то моветон, а ставить MAX автор даже не пробовал — может, потому что слишком мало времени проводит в лифте?

Разбираем, как и, главное, зачем поднимать свой собственный сервер на Matrix или XMPP, чтобы организовать по-настоящему приватный и качественный канал для общения. Готовая инструкция для тех, кто ищет замену.

Инцидент с Therac-25: когда программный баг становится смертельным

Когда пристёгиваешь пациента к электронной пушке, способной выстреливать пучком частиц с энергией 25 МэВ, следование процедурам — это вопрос жизни и смерти. Оператор аппарата лучевой терапии Therac-25 в Онкологическом центре Восточного Техаса работала с ним достаточно долго, чтобы запомнить весь процесс.

21 марта 1986 года она, как обычно, уложила пациента на стол и начала процедуру. Но что-то пошло не так. Эта история — один из самых известных и трагических кейсов в истории программной инженерии, когда ошибка в коде привела к смерти нескольких пациентов. Разбираемся, что именно произошло и какие уроки извлёк из этого мир.

250-летний полёт к Проксиме Центавра. Зачем нужен огромный «корабль поколений»?

Когда речь заходит о колонизации других звёздных систем, возникает вопрос: зачем строить огромный корабль километровых размеров с тысячами поселенцев? Неужели нельзя обойтись меньшим количеством, особенно с учётом криогена или оцифровки?

Математические симуляции показывают, что для предотвращения родственного скрещивания достаточно всего 80-150 человек. Однако многие исследователи пришли к выводу: именно большой «корабль поколений» — лучшая защита от множества угроз, включая аварии и эпидемии. Это способ перенести человеческую культуру во всём многообразии, ведь если отправить 80 человек, то через пару тысяч лет они сильно отдалятся от землян по поведению и внешности.

Математики нашли узел, который ломает вековое правило. Наше представление о сложности может быть неверным.

В мире математических узлов — целой области, изучающей запутанные петли, — долгое время царил один незыблемый закон: если соединить два разных узла, получившийся «клубок» будет как минимум таким же сложным, как сумма его частей. Проще говоря, 3+3 всегда равно 6, а то и больше.

Но недавно исследователи нашли узел, который нарушил это правило. Они соединили один сложный узел с его зеркальным отражением. Каждый из них по отдельности требовал 3 «разреза», чтобы превратиться в простую петлю. По логике, для развязывания получившегося гиганта должно было понадобиться 6 движений. А потребовалось всего 5.

«Это довольно удивительно», — комментируют открытие коллеги. Результат говорит о том, что наши фундаментальные представления о сложности узлов могут быть неверными. Похоже, даже в такой абстрактной области, как теория узлов, Вселенная всё ещё способна подкидывать сюрпризы, которые ломают, казалось бы, очевидные правила.

Знакомство с программным USB на CH32V003

Всегда хотели сделать своё устройство с USB, но не просто, а с помощью программной реализации? Для дешёвого и популярного микроконтроллера CH32V003 давно существует библиотека rv003usb, которая решает именно эту задачу.

Но можно было бы просто рассказать, как сделать на её основе простейший USB-девайс, однако эта библиотека гораздо мощнее. Она предлагает не только саму основу, но и несколько полноценных рабочих программ: загрузчик и программатор.

Это первая, ознакомительная, часть большого проекта. Разберёмся, как «прощупать почву» с помощью тестовых плат, попробуем в деле загрузчик и соберём программатор из этой же библиотеки. По сути, попробуем сделать свой собственный Digispark.

Генераторы не экономят память. И при чём тут «Матрица»?

Идея о том, что генераторы в PHP экономят память, всё ещё находит своих приверженцев. Но так ли это на самом деле? Автор этой рецензии разбирает статью на Хабре и доказывает: сам по себе генератор память не экономит. Память экономит старый как мир принцип «читать по одному», а генератор лишь позволяет делать это красиво, маскируя цикл под foreach.

Но история становится ещё интереснее, когда автор оригинальной статьи на критику отвечает комментарием, который выглядит так, словно его сгенерировала LLM, не поняв сути претензий.

Эта ситуация — идеальная иллюстрация двух главных болей современного IT:

1. Как благие намерения, сформулированные по-дурацки, приводят к реальным проблемам в коде.

2. Как тема превращения человека в бессловесный придаток бездушной машины не стояла так остро со времён выхода «Матрицы».

Разбираемся, почему в руках специалиста ИИ — это мощный инструмент, а в руках дилетанта — источник уверенно сгенерированной ерунды.