📌Baseten выпустила бесплатный учебник по инженерии инференса

Платформа, которая хостит модели Cursor, Notion и Harvey, выложила в открытый доступ книгу Inference Engineering за авторством Филипа Кайли. который четыре года работает в Baseten и написал её по интервью с инженерами компании и собственным докладам.

Среди рецензентов - автор FlashAttention Три Дао.

Книга собирает в одном месте путь от выбора модели и GPU до мониторинга работающего сервиса.

Baseten основана в 2019 году тремя выходцами из Gumroad, четвёртым сооснователем стал Панкадж Гупта из Uber.

Компания продаёт выделенные развёртывания открытых и собственных моделей клиентов, готовые Model APIs и инфраструктуру для дообучения, а также развивает открытый фреймворк упаковки моделей Truss.

Восемь глав объясняют, как сформулировать требования к продукту, как устроены модели и где они тормозят, прежде всего в механизме внимания, разбирают GPU NVIDIA поколений Hopper и Blackwell и программный уровень, от CUDA и PyTorch до движков vLLM, SGLang, TensorRT-LLM и Dynamo.

Отдельные главы посвящены методам ускорения, моделям для речи, изображений и видео, а также эксплуатации - от автомасштабирования и батчинга до постепенной выкатки новых версий.

Новичку книга даёт карту области и порядок действий - как определить задачу, бюджет задержки, стоимости и подобрать модель, а в последующем заняться оптимизацией.

Базовые понятия вроде предзаполнения, декодирования и KV-кэша объяснены с нуля, а незнакомые термины можно найти в глоссарии.

Опытным инженерам будут интересны пороги и практические правила. Для каждой техники ускорения автор объясняет, как она устроена, при каком трафике и размере модели окупается и чем рискует качество ответов.

Отдельно сравниваются движки инференса и разобраны задачи эксплуатации, которые обычно приходится решать методом проб и ошибок.

Последний раздел посвящён продуктам компании, а оборудование рассматривается почти целиком на примере NVIDIA, другим ускорителям отведено около двух страниц.

🔜 Запросить книгу бесплатно в форматах PDF, EPUB или аудиоверсию


@ai_machinelearning_big_data

#AI #ML #Inference #Book #Baseten

Зачем готовиться к собеседованию вслепую, если можно заранее посмотреть, какие будут вопросы и задачи?

Ребята из Поступашек уже 6 лет собирают реальные задания и разборы собеседований в BigTech. Там можно найти не только сами вопросы, но и разборы технических секций, критерии оценки и рекомендации по подготовке.

Собрали подборку полезных материалов под разные направления:
➡️ Аналитикам:
— Собеседования на продуктового и бизнес-аналитика в Т-Банке 🟨
— Что спрашивают по A/B-тестированию в X5 🌿 , разбор собес на DS в Яндекс 🟥

➡️ Разработчикам:
— Go и System Design в Ozon 🔵, GO в Авито😎
— Банк алгоритмических собеседований из BigTech

➡️ ML/AI-инженерам:
— Все вопросы на ML-собеседование в Яндексе 🟥 и ML в Авито 😎
— 10 кейсов по ML System Design в Т-Банке 🟨

➡️ Тем, кто ищет первую стажировку:
— Как получить стажировку в 2026 году
— Где взять опыт, если его нет

В Поступашках регулярно выходят новые разборы собеседований, карьерные гайды, стажировки и инсайды о найме в BigTech.
Лучше увидеть эти вопросы до собеседования, чем узнать о них после отказа

ПОСТУПАШКИ ПОДПИСАТЬСЯ