эт встроенный модуль, который позволяет сохранять aka сериализовать объекты в файл и затем загружать aka десериализовать их обратно в программу ex. ниже👇

import pickle
animal_records = [
    {'animal_id': 101, 'pet_name': 'Whiskers'},
    {'animal_id': 102, 'pet_name': 'Mittens'}
]

with open('animals_db.pkl', 'wb') as db_file:
    pickle.dump(animal_records, db_file)

with open('animals_db.pkl', 'rb') as db_file:
    loaded_records = pickle.load(db_file)

списки дают O(n), т.к. проверяют элементы последовательно, пока не найдут нужный, а словари - O(1): они находят элементы благодаря хеш-таблицам

модуль — файл/набор файлов, импортируемых вместе
import math
а пакет — каталог с модулями
from sklearn import cross_validation

dict в питоне— это неупорядоченный набор пар ключ-значение, тогда как JSON представляет собой строковый формат для передачи данных

она возвращает итератор, который применяет заданную функцию к каждому элементу последовательности, после чего итератор можно преобразовать в список

def foo(x):
    return x * 2
arr = [4, 5, 6]
list(map(foo, arr))
#[8, 10, 12]

рекомендательные системы работают в два этапа:
1.генерация кандидатов: отбор потенциально релевантных товаров/постов
2.ранжирование: сортировка по вероятности взаимодействия:р,p(click)
Генерация кандидатов использует коллаборативную фильтрацию или легковесные модели, а ранжирование предсказывает p(click|user, item) на основе неявных сигналов (клики, просмотры)
К проблемкам можно отнести: холодный старт: когда новые элементы не имеют истории → используются текстовые/визуальные эмбеддинги или графовые методы (анализ соцсвязей)+логируются фичи и метки (клик/не клик) во избежание training/serving skew.
методы:
матричные разложения (MF) устарели → заменены нейронками
гибридные подходы: ручные фичи aka handjob разработки + графовые методы и dl + это эксперименты: анализ данных и A/B-тесты, оптимизация идёт под прокси-метрики

можно внедрить гибридную систему: 1) для холодного старта пользователя: короткая анкета о интересах + демографические данные (если есть) + рекомендация популярного/трендового в его сегменте. 2) для item cold start: контентная фильтрация (атрибуты товара: категория, бренд, цена) + похожие товары по описанию (NLP эмбеддинги). 3) для активных пользователей: усилить user-based коллаборативную фильтрацию на основе implicit feedback (просмотры, время, корзина, wishlist) и explicit feedback (рейтинги, отзывы)+ввести re-ranking по цене/прибыльности для повышения среднего чека. Ну и важно тестировать через A/B тесты на метриках: например, CTR, CVR, средний чек, diversity.

1.добавим context-aware рекомендации: учитывать время (утро/вечер), день недели, устройство (мобильное/ТВ) при выборе модели
2.внедрим sequence modeling (RNN, Transformers) для session-based рекомендаций, предсказывая "следующий трек/фильм" в сессии
3.боремся с пузырем фильтров: явно добавлять diversity в выдачу (новые жанры, локальный контент) через re-ranking с penalty за слишком похожие items
4.используем dl для оптимизации долгосрочного engagement (время просмотра, возврат)
по метрикам: время сессии, глубина просмотра (кол-во контента), retention rate, serendipity

Анкетирование: Задать вопросы о предпочтениях при регистрации или первом входе
Демография: Использовать известные данные (ex., пол, возраст) для рекомендаций, популярных среди похожих пользователей
Популярный контент: Показывать топ товаров, пока не накопится пользовательская история

Collaborative filtering (user-based) не подходит, т.к. требует данных о связях и сходстве между пользователями, которых у нового юзера нет
Контентная модель (похожие товары по картинкам) не работает, т.к. нужны истории просмотров/покупок для анализа, которой опять-таки нет
LFM предпочтительна. Эта модель, основанная на скалярном произведении эмбеддингов пользователей и товаров, лучше справляется с отсутствием истории. Для новичка можно подставить:1.эмбеддинг, сгенерированный на основе анкеты или демографии; 2.усредненный эмбеддинг его демографической группы;3.общий "стартовый" вектор эмбеддинга, что даёт релевантные рекомендации сразу, даже без собранных данных

Обнаружение одежды — YOLOv8 детектирует предметы гардероба на фото (штаны карго, спортивки, свитшоты и другой модный зумерский шмот)
Поиск аналогов — CLIP/ConvNeXt преобразует кропы в эмбеддинги, а FAISS ищет топ-k похожих товаров в базе Wildberries
Визуальное сравнение — LPIPS/SSIM оценивает сходство изображений
Ранжирование — финальный рейтинг: 60% вес эмбеддингов + 40% визуальная схожесть (соотношение определяется ручками)

Метрики: [email protected] для YOLOv8, Top-k Accuracy , среднее время ответа

Интеграция:
Telegram-бот возвращает: список найденных вещей на фото, ссылки на Wildberries (например: "Куртка из вашего фото ≈ модель за 5 490 ₽ в на складах в SPb")
Допопции: «Подобрать капсулу», «Похожие»

Деплой:
FastAPI на VPS, ежедневное обновление базы товаров

построим ML-модель, предсказывающая справедливую цену на основе данных Авито:

Парсинг — сбор параметров: район, площадь, этаж, ремонт
Фичи — One-hot для категорий, гео-расстояние до Эрмитажа, ключевые слова («евроремонт»)
Модель — CatBoost с кросс-валидацией по округам

Метрики: MAE, R², средняя ошибка

Интеграция:
Пользователь отправляет боту ссылку и приходит ответ:
ex.
«/predict https://www.avito.ru/rent/babka_sraka_flat/123456»
Ответ:
Справедливая цена: 65 000 ₽/мес (текущая цена завышена на 17%)
Центральный район, 7 мин до метро "Гостиный Двор"
Характеристики: 2 комнаты, евроремонт, высота потолков 3.2 м

Деплой:
FastAPI + Docker на Railway, мониторинг через Prometheus, кэширование данных по ID объявлений

Прежде чем рассматривать конкретные роли, важно понять:
Вам интересна теоретическая или прикладная работа?
Предпочитаете ли вы работу с данными, моделями или бизнес-аналитикой?
Насколько для вас важна инженерная составляющая?

یک
ב
س
ד
پنج
ו

что такое Docker и зачем? платформа для создания или запуска контейнеров - изолированных сред с приложением и зависимостями, обеспечивает консистентность окружения и переносимость

ограничения Docker?
меньшая изоляция чем у VM (общее ядро, риски безопасности), нельзя запустить приложение под другое ядро ОС без доп. усилий, сложности с GUI, данные по умолчанию непостоянны (нужны volumes)

что такое манифест?
файл (YAML/JSON), декларативно описывающий желаемое состояние объекта в кластере (ex., Deployment с числом реплик и образом)

как k8s взаимодействует с Docker?
k8s командует container runtime (Docker/containerd/CRI-O) через CRI, где и когда запускать или останавливать контейнеры на нодах

зачем Ingress?
для управления входящим внешним трафиком: маршрутизация на основе хоста/пути (L7) и TLS-терминация (реализуется Ingress Controller'ами типа Nginx, Traefik)

зачем балансировщики?
распределять нагрузку между репликами сервиса и предоставлять единую точку входа для клиентов (внутри кластера - Service, снаружи - Service типа LoadBalancer или Ingress)

провайдеры k8s кластеров?
управляемые облачные (GKE, EKS, AKS), он-премис (kubeadm, OpenShift), дистрибутивы (RKE)

как взаимодействуют ML модели и k8s?
модель упаковывается в Docker-контейнер с serving-кодом; деплоится в k8s (Deployment для реплик и отказоустойчивости, Service для доступа); обеспечивает масштабируемость, отказоустойчивость и управление версиями моделей

разница многопоточность vs многопроцессорность?
потоки легковесны, делят память, но ограничены GIL
процессы тяжелее, изолированы, обходят блокировку

Airflow: платформа для оркестрации, планирования и мониторинга рабочих процессов, описываемых как код (DAG), состоящих из задач с зависимостями

MLflow- управление ML lifecycle: Tracking (логирование экспериментов), Projects (упаковка кода), Models (формат + Registry для управления версиями) и Serving

как Airflow и MLflow работают вместе?
Airflow задаёт пайплайн (запуск обучения, деплой), MLflow- отслеживает эксперименты и управляет моделями; задачи Airflow взаимодействуют с MLflow Tracking/Registry

выбираешь задачу -> загружаешь данные
->получаешь ответ

Как я готовился к собеседованию на позицию Senior ML Engineer

Как понять, что твой мидл готов стать сеньором? Гайд для тимлида (и не только)

В чем разница между мидлом и сеньором

Карьерный рост в Data Analytics: какие скиллы нужны для перехода на следующий грейд