📈 Гайд по продвинутым вопросам для разработчика LLM

Собеседования на позицию разработчика больших языковых моделей (LLM) в топовых AI-компаниях предъявляют высокие требования к знаниям.

Кандидату необходимо понимать устройство архитектуры трансформеров, владеть методами эффективного обучения и инференса, разбираться в оптимизациях памяти и скорости (таких как LoRA, FlashAttention, vLLM, ZeRO), знать тонкости распределённого тренинга, принципов LLMOps (MLOps для больших моделей) и нюансов продакшн-развертывания LLM.

Также часто проверяют умение решать реальные задачи: от проектирования пайплайна для Sparse MoE до анализа проблем с памятью на GPU, понимания различий между методами обучения с подкреплением (RLHF vs DPO) и способов масштабирования моделей.

Этот гайд структурирован по ключевым темам, соответствующим областям знаний, которые обычно проверяются на собеседованиях. Для каждой темы мы рассмотрим, что пытаются проверить интервьюеры, приведём пример формулировки вопроса и дадим подробный разбор ответа с обсуждением трэйд-оффов, примеров кода или схем, где это уместно. Вы можете изучать материал по разделам, чтобы сфокусироваться на интересующей области.

👉 Гайд

🖥 Полный гайд по реальным SQL-вопросам с собеседований

Введение. Собеседования на позиции, связанные с данными (аналитики, инженеры, ученые данных), всё чаще включают нестандартные и продвинутые вопросы по SQL.

Большие технологические компании (Google, Amazon и др.) предъявляют высокие требования: важна не только правильность запроса, но и умение оптимизировать его и разбираться в реальных бизнес-данных.

В этом гайде мы разберем категории наиболее распространенных сложных SQL-задач с реальных собеседований – от платформ вроде DataLemur, LeetCode, StrataScratch – и подробно поясним решения.

Каждая задача сопровождена анализом: условие, оптимальный подход, используемые SQL-конструкции, возможные ошибки и финальное решение (для PostgreSQL и MySQL, с указанием различий где необходимо).

В конце добавлен отдельный раздел о современных базах данных, включая векторные БД (Pinecone, Weaviate, Milvus и др.), с примерами того, что могут спросить про них на собеседовании и как выглядят SQL-подобные запросы для работы с векторами.

📌 Читать гайд

⚡️ Tencent представили Youtu-GraphRAG — систему, которая объединяет построение графов знаний и их поиск в единую архитектуру.

Раньше методы улучшали либо построение графа, либо поиск по нему — но не оба сразу. Здесь же оба этапа связаны: они корректируют друг друга и устраняют лишние затраты.

Как это работает:
- Всё начинается со схемы — набора правил с допустимыми типами сущностей, связей и атрибутов. Благодаря этому извлекается только релевантная информация без шума.
- Факты сохраняются в виде триплетов (сущность → связь → сущность). Если новые паттерны повторяются часто, схема расширяется.
- Чтобы граф не разрастался в хаотичную сеть, система группирует связанные узлы в сообщества, формируя 4-уровневое дерево знаний: от атрибутов внизу до сообществ наверху.
- Для запросов агент разбивает вопрос на подзапросы в рамках схемы, применяет разные методы поиска параллельно и корректирует ошибки до получения согласованного ответа.

Главное преимущество: одна и та же схема используется и для извлечения знаний, и для разбора вопросов. Это делает рассуждения чище, снижает расход токенов и повышает точность.

Результаты: на бенчмарках — до 90,7% меньше токенов и +16,6% к точности по сравнению с сильными базовыми методами.

Статья: https://arxiv.org/abs/2508.19855

📈 Название это статьи просто топ

“Does Language Model Understand Language?” (*«А понимает ли языковая модель язык?»*) поднимает важный вопрос: действительно ли LLM понимают язык.

Авторы показывают, что даже самые большие модели остаются уязвимыми к тонким особенностям речи:
- некорректно обрабатывают отрицания
- путаются при смене времён
- испытывают трудности с низкоресурсными языками, например бенгали

Авторы предлагают метрикауHCE accuracy, которая показывает, насколько часто предсказание модели укладывается в рамки вариации человеческой оценки (т.е. не требует абсолютной точности, но близкости человеческому восприятию).

Некоторые системы работают надёжнее, но в целом разрыв остаётся значительным. Вывод ясен: масштабирование моделей не решает фундаментальных проблем понимания языка.

arxiv.org/abs/2509.12459

Startup technical guide

📕 Read

@machinelearning_books

❔ Хотите разобраться, как устроены рекомендательные системы «под капотом»?

💻 На открытом уроке разберём:

- идею метода и функцию потерь;
- как работает попеременная оптимизация;
- почему ALS выигрывает у SVD;
- практику: от подготовки данных до получения реальных рекомендаций.

Урок будет полезен дата саентистам, ML-инженерам, разработчикам и аналитикам, которые хотят углубить знания и научиться создавать эффективные рекомендательные системы, способные реально влиять на бизнес-метрики.

⏺Встречаемся 2 октября в 20:00 МСК. Открытый урок пройдёт в преддверие старта курса «Рекомендательные системы», и все участники получат скидку на обучение.

Запишитесь прямо сейчас и сделайте шаг к профессиональному росту: https://otus.pw/D8Bs/


Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ", ИНН: 9705100963

✔️ Alibaba открыла исходный код модели Qwen3-VL.

Это vision-language модель, которая умеет управлять графическими интерфейсами, писать код, строить диаграммы в Draw.io по макетам и распознавать объекты в самых разных областях - от повседневной жизни до узкоспециализированных сфер. Среди ключевых возможностей: точное определение событий в видео продолжительностью до двух часов, расширение поддержки OCR с 19 до 32 языков с улучшением качества на редких символах и наклонном тексте, работа с контекстом длиной 256 тысяч токенов с возможностью увеличения до миллиона, а также высокая точность в задачах обнаружения рисков в реальных условиях.
HF

✔️ Google Research представил новую работу о моделях для временных рядов.

Исследователи показали, что foundation-модели могут обучаться в стиле few-shot, то есть адаптироваться к новой задаче прямо «на лету», без отдельного переобучения.

В основе подхода лежит TimesFM, расширенный методом in-context fine-tuning (TimesFM-ICF). Модель получает несколько примеров вместе с историей данных и учится делать прогнозы более точно. В экспериментах на 23 датасетах точность выросла на 6,8% по сравнению с базовой моделью, при этом качество оказалось сопоставимо с версиями, обученными специально под каждый набор данных.

Теперь модели временных рядов можно использовать как LLM: им достаточно нескольких примеров в контексте, чтобы подстроиться под задачу. Это открывает путь к более гибкому и простому применению таких систем в бизнесе, финансах, энергетике и других областях.
Google

✔️ Исследователи из MIT, OpenAI и Sakana AI предложили новый метод ASAL (Automated Search for Artificial Life), который автоматизирует поиск «искусственной жизни» с помощью foundation-моделей.

Главная идея в том, что вместо ручного конструирования симуляций теперь можно задавать цель в виде текста, а модель будет находить или создавать такие системы, где возникают жизнеподобные явления.

ASAL работает на разных субстратах - от классических Boids и Game of Life до Lenia, Particle Life и нейронных клеточных автоматов. В ходе экспериментов метод открыл новые формы поведения в Lenia и Boids, а также клеточные автоматы, способные демонстрировать открытое и сложное развитие, сравнимое с «Жизнью» Конвея.

Это открывает путь к ускоренному исследованию искусственной жизни и автоматическому открытию новых «жизнеподобных» систем, которые раньше приходилось искать вручную.

✔️ Еще Qwen представила свою новую флагманскую модель Qwen3-Max, сразу доступную без ограниченного превью. Линейка включает две версии: Qwen3-Max-Instruct, ориентированную на кодинг и агентные задачи, и Qwen3-Max-Thinking, оснащённую инструментальным использованием и «heavy mode» для сложных сценариев.

По результатам тестов Qwen3-Max выходит на уровень топовых моделей на таких бенчмарках, как SWE-Bench, Tau2-Bench, SuperGPQA, LiveCodeBench и AIME25. Модель построена на масштабном датасете и опирается на значительные вычислительные мощности как в предобучении, так и в RL.

Компания позиционирует Qwen3-Max как новый флагман и открывает доступ сразу на нескольких платформах: в Qwen Chat, через API Alibaba Cloud и в блоге разработчиков.
X

✔️ Отчёт Google DORA показал: 90% IT-специалистов уже используют ИИ в работе, что на 14% больше, чем год назад. В опросе участвовало почти 5 тысяч разработчиков, и в среднем они тратят около двух часов в день на взаимодействие с AI-инструментами.

Доверие остаётся ограниченным: 46% доверяют «отчасти», 23% — «немного», и только 20% - «сильно». Это объясняется частыми мелкими исправлениями после автогенерации. Влияние на качество кода оценивается сдержанно: 31% видят лёгкое улучшение, 30% — «без изменений». Зато ощутим рост скорости за счёт снижения рутины.

На рынке труда обстановка сложнее: вакансии для новичков сократились на 71% с 2022 года, а кандидаты подают сотни заявок, прежде чем получить работу.
Report

@ai_machinelearning_big_data

#news #ai #ml