➡️ Задание Diginetica

В данном ноутбуке содержится код алгоритма предсказания поисковой выдачи. Алгоритм довольно простой:

на исторических запросах строится TF-IDF индекс слов, биграмм и триграмм
описание товаров и значение их атрибутов объединяются в одно суммарное описание
суммарное описание каждого товара прогоняется через построенный индекс
к каждому запросу ищутся топ-25 релевантных товаров по скалярному произведению векторных представлений
Данный код не идеален и ему требуется внимание знающего человека. Подробнее об этом в каждом из пунктов этого ноутбука.

nB! Для выполнения данного задания должны быть установлены библиотеки numpy, pandas, matplotlib, joblib, а так же scikit-learn. Версии указаны в requirements.txt.

Данный ноутбук может быть выполнен в его текущем состоянии от начала и до конца, поэтому пункты можно решать не последовательно.

Однако для того чтобы приступить к некоторым пунктам, сначала необходимо прогнать ячейки с кодом предыдущих.

Все ячейки кроме пустых заблокированы для редактирования, не стесняйтесь создавать новые.

➡️ Task

@machinelearning_interview

🖥 Google ML engineer interview: the only post you’ll need to read

Подробнная статья о собеседование инженера-программиста по машинному обучению в Google. Собеседование действительно сложное. Вопросы комплексные и специфичные для Google и охватывают широкий круг тем.

Правильная подготовка может иметь большое значение и может помочь вам получить работу по машинному обучению в таких компаниях как Google. В статье приведено полное руководство по прохождению интервью, чтобы помочь вам максимально увеличить ваши шансы на успех.

➡️ Читать статью

@machinelearning_interview

💨 Что такоее Тензор ?

Ответ
Это еще один вопрос, который регулярно задают на собеседованиях по глубокому обучению. Тензор — это математическое понятие, которое визуализируется как многомерные массивы.

Те́нзор (от лат. tensus, «напряжённый») — объект линейной алгебры, линейно преобразующий элементы одного линейного пространства в элементы другого. Частными случаями тензоров являются скаляры, векторы, билинейные формы и т. п.

Звучит непросто для тех, кто не разбирается в математике!

К счастью, на практике намного проще понять, что такое тензор и как он используется в науке о данных.

Я предпочитаю изображать тензор в виде вложенных “списков” чисел с любым количеством “уровней”. Другой способ представления: ячейка в электронной таблице Excel, содержащая все данные из другой таблицы. Во второй таблице каждая ячейка связана с другой таблицей и так далее. Каждую таблицу можно рассматривать как дополнительное “измерение”.

Тензор первого порядка имеет только одно измерение. В компьютерных науках это можно назвать вектором или упорядоченным набором чисел. Тензор второго порядка будет матрицей, как электронная таблица в Excel, то есть двумерным. С ростом числа измерений можно рассматривать информацию как векторы, матрицы или массивы, вложенные в массивы, с любым числом измерений (n-мерные).

С помощью Python и Numpy создадим массив числовых данных из примера:

from numpy import array
T = array([
[[111,121,131], [211,221,231], [311,321,331]],
[[112,122,132], [212,222,232], [312,322,332]],
[[113,123,133], [213,223,233], [313,323,333]],
])

При таком кодировании нам доступно любое количество измерений, что имеет колоссальное значение при работе с гигантскими объёмами сложных данных!

@machinelearning_interview

➡️ Задание БКС банк

Цель банка: Увеличение продаж новым клиентам инвестиционных продуктов

Описание стратегии: Стратегия состоит в предложении депозита с повышенной ставкой, значение которой существенно выше рыночной. Но после окончания депозита клиентам предлагается приобрести менее доходный инвестиционный продукт.

Входные данные (считаем постоянными для всех временных периодов):

- Ежемесячное открытие новых вкладов - 1000 клиентов
- Отток новых клиентов после прихода в среднем происходит через 30 месяцев
- Выручка, полученная от банковских активов после экспирации, от средних активов по банку составляет 0.05%
- Выручка, полученная от инвестиционных активов после экспирации, от средних активов по инвестиционным продуктам составляет 3%
- Затраты на депозит со стороны банка равны 0.06%
- Отток клиентов после окончания высокодоходного депозита может быть равен равновероятно 35%, 50% или 70%.
- Средняя сумма первоначального вклада может быть равна равновероятно 500 или 700 тыс. руб.
- Довнесение активов после окончания высокодоходного депозита оставшимися клиентами составляет равновероятно 50% или 100% от первоначальной суммы.
- Доля инвестиционных активов после экспирации может быть равной 20% или 40% с одинаковой вероятностью

Задание: Необходимо рассчитать для каждого сценария значения следующих показателей через Т лет (Т=1,2,3):

1. количество новых клиентов
2. объем новых активов
3. выручка
4. затраты
5. рентабельность

В качестве возможных сценариев необходимо рассмотреть все комбинации входных данных, а именно все комбинации различных значений показателей оттока клиентов, величины средней суммы первоначального вклада, объема довнесения активов и доли инвестиционных активов. Таким образом количество сценариев составляет 3х2х2х2=24.

➡️ Данные
📌 Решение

@machinelearning_interview

⭐️ Собеседование на вашу первую работу Data Scientist'ом: чего ожидать и к чему готовиться

Виды собеседований на должность Data Scientist'а, их течение и советы для успеха.

Если вы ошеломлены подготовкой к собеседованию на должность Data Scientist'а, вы не одиноки. Поиск "собеседование в Data Science" вернет вам бесконечное количество ссылок, включая статьи о Python, R, статистике, A/B тестированию, машинному обучению, Big Data. Вам посоветуют прочитать бесконечное количество книг. К сожалению, мы и сами давали такие же обширные рекомендации другим.

В реальности вам не нужно готовиться ко всему, чтобы получить свою первую работу Data Scientist'ом.

В этой статье мы расскажем вам о четырех ключевым вещах:

- Виды должностей Data Scientist'ов.
- Виды собеседований, к которым вы должны приготовиться.
- Чего ожидать в процессе собеседования.
- Что оценивают собеседующие.
Давайте погрузимся в эти темы.

➡️ Читать дальше

@machinelearning_interview

💨 Тест на позицию DS от Uber

Время на выполнение примерно час, онлайн тест.

Примеры вопросов и описание позиции.

Тест
Датасет 1
Датасет 2

@machinelearning_interview

✔️Руководство по собеседованию Data Scientist в Facebook

Интервью Facebook по науке о данных состоит из нескольких технических вопросов и бизнес-кейсах, в значительной степени сосредоточенных на применении технических знаний к сценариям бизнес-кейсов. Ожидается, что специалисты по данным Facebook будут работать в разных направлениях и исследовать, анализировать и агрегировать большие наборы данных.

➡️ Читать статью

@machinelearning_interview

🖥 Каковы последствия установки неправильной скорости обучения

Если скорость обучения слишком мала, обучение модели будет слишком медленным, поскольку веса будут изменяться ненамного. Однако, если скорость обучения слишком велика, это может привести к тому, что функция потерь будет беспорядочно прыгать вследствие сильных изменений весов. Модель может не сойтись в какой-то одной точке или даже отклониться от минимума, если данные слишком хаотичны для обучения нейронной сети.

@machinelearning_interview

✅ #вопросы_с_собеседований
Что такое проблемы взрывающегося и затухающего градиента?

Градиент — это вектор частных производных функции потерь по весам нейросети. Он показывает вектор наибольшего роста функции для всех весов.

В процессе обучения при обратном распространении ошибки при прохождении через слои нейронной сети в элементах градиента могут накапливаться большие значения, что будет приводить к сильным изменениям весов. Это дестабилизирует алгоритм нейросети. Эта проблема называется взрывающимся градиентом.

Аналогичная обратная проблема, в которой при прохождении ошибки через слои градиент становится меньше, называется затухающим градиентом.

Чем больше количество слоев нейросети, тем выше риски данных ошибок. Для решения сложных задач с помощью нейронных сетей необходимо уметь определять и устранять её.

@machinelearning_interview

➡️ Задание Zyfra (Цифра)

Описание процесса
Есть производство некотрого продукта посредством электролиза (нагреваемый ящик, стоит в неотапливаемом помещении). Заглядывать в ящик часто нельзя - лабораторный сбор по уточнению процентного содержания в смеси происходит дважды в день, хотелось бы делать замеры еще реже и в перспективе полагатсья только на модель - отсюда и задача. Требуется предсказать по данным (до 2018-10-18) с различных датчиков процентное содержание продукта в смеси файл target.csv.

В качестве данных доступны
Файл 3min Series (00sec) Outer new:

- Шум в электрике
- Обратная ЭДС сети устройства
- Ср.прир.напр Средний прирост напряжения в сети
- Сум.доз АПГ Сумма доз АПГ (происходит периодичный вброс катализатора в ящик - это число соответствует кол-ву раз которое производилось вбрасывание за промежуток времени)
- Температурные датчики (ящик прямоугольной формы, они рсполагаются по всему периметру, см boards.png - схематическое расположение, нумерация вдоль длины ящика дана как пример)
- Board Temp. {i} - датчики температуры по длинне ящика с обоих сторон
- Board Face Temp. {1,6} - датчики с лицевой стороны
- Board Deaf Temp. {1,6} - датчики с тыльной стороны
Файл Средняя масса доли АПГ New : массовые доли каждого из вбросов показателя Сумма доз АПГ. То есть можно понять сколько массы было вброшено в период Итог масс АПГ = Сум.доз АПГ * avg_mass_apg.

Критерии успешности выполнения задания:
- Получение инсайтов по данным
- Обоснованное построение модели
- Оценка полученной модели
- (Доп.) Запаковка в функцию / модуль / сервис / приложение

✔️ Данные
📎 Решение

@machinelearning_interview

⭐️ 20 вопросов и ответов на собеседовании по Azure Machine Learning.

Подготовьтесь к типам вопросов, которые вам, вероятно, будут задавать при собеседовании на должность, где будет использоваться Azure Machine Learning. Вопросы и ответы

✔️ Статья

@machinelearning_interview

🖥 Что делать, если классы не сбалансированы? Что делать, если групп больше двух?

Двоичная классификация включает классификацию данных в две группы. Например, независимо от того, покупает ли клиент определенный продукт (Да / Нет), модель строится на основе независимых переменных, таких как пол, возраст, местоположение и т. д.

Поскольку целевая переменная не является непрерывной, двоичная модель классификации предсказывает вероятность того, что целевая переменная будет Да / Нет. Для оценки такой модели используется метрика, называемая матрицей путаницы, также называемая классификацией или матрицей совпадений. С помощью матрицы путаницы мы можем вычислить важные показатели эффективности:

- True Positive Rate (TPR) or Recall or Sensitivity = TP / (TP + FN)
- Precision = TP / (TP + FP)
- False Positive Rate(FPR) or False Alarm Rate = 1 - Specificity = 1 - (TN / (TN + FP))
- Accuracy = (TP + TN) / (TP + TN + FP + FN)
- Error Rate = 1 – Accuracy
- F-measure = 2 / ((1 / Precision) + (1 / Recall)) = 2 * (precision * recall) / (precision + recall)
- ROC (Receiver Operating Characteristics) = plot of FPR vs TPR
- AUC (Area Under the Curve)

@machinelearning_interview

📎 Подробный план обучения для интервью по машинному обучению

🖥 Github

@machinelearning_interview

✅ Amazon Data Scientist Interview Guide

Это руководство содержит подробные сведения о подготовке к различным собеседованиям с Amazon Data Scientist.

https://faangpath.com/blog/amazon-data-scientist-interview/

@machinelearning_interview

💨 Руководство по проведению технических интервью по машинному обучению (компании FAANG)🤖

Этот репозиторий призван служить руководством для подготовки к собеседованию инженера по машинному обучению (ИИ) для работы в крупных технологических компаниях (в частности, в FAANG).

🖥 Github

@machinelearning_interview

✅ Data science interview questions with answers.

🖥 Github

@machinelearning_interview

✔️ Рекруты Microsoft назвали 5 правил идеального резюме

https://incrussia.ru/news/5-resume/


@machinelearning_interview

✔️ Как я готовился к собеседованию на позицию Senior ML Engineer

Расскажу, как я выстроил стратегию подготовки, с чем столкнулся на собеседованиях в разных компаниях и какие выводы из этого сделал. Суммирую свой опыт в эту и прошлые итерации поиска работы, опыт моих знакомых и коллег, а также рекомендации, которые я находил в интернете. Не претендую на универсальность, но мне бы такой рассказ помог.

➡️ Читать дальше

@machinelearning_interview