💫 Что такое Q-обучение ? Как применяется в сфере оптимизации бизнес-процессов ?

Q-обучение (Q-learning) — метод, применяемый в искусственном интеллекте при агентном подходе. Относится к экспериментам вида oбучение с подкреплением. На основе получаемого от среды вознаграждения агент формирует функцию полезности Q, что впоследствии дает ему возможность уже не случайно выбирать стратегию поведения, а учитывать опыт предыдущего взаимодействия со средой. Одно из преимуществ Q-обучения — то, что оно в состоянии сравнить ожидаемую полезность доступных действий, не формируя модели окружающей среды. Применяется для ситуаций, которые можно представить в виде марковского процесса принятия решений.

Q-Learning в сфере оптимизации бизнес-процессов

@machinelearning_interview

✔️ Что такое смещение в датасетах? Приведите пример смещения.

Смещение в датасетах (артефакты) – нежелательные взаимосвязи между входными и выходными данными, в частности, между признаками и метками, которые могут эксплуатироваться моделями машинного обучения в качестве опоры при предсказании. Часто они возникают там, где совсем не ожидаешь.

Простой пример смещения можно представить следующим образом: нам нужно определить оскорбительные посты в социальной сети. Высока вероятность, что оскорбительные посты будут содержать нецензурные слова и модель будет опираться на них при принятии решения. Некоторые пользователи могут использовать нецензурные слова и в обычных, нейтральных постах. Те же нецензурные слова могут быть использованы и для выражения позитивных эмоций. В результате, модель, обученная на датасете, в котором мало других примеров: нейтральных или позитивных, будет считать пост оскорбительным, когда в нем есть нецензурные слова. Если тестирование модели провести на похожей тестовой выборке, где нецензурные слова представлены только в оскорбительных постах, то тест подтвердит высокое качество модели. При реальном использовании эта модель будет давать ложно положительные срабатывания. Из-за смещения складывается ложное чувство, что модель работает хорошо, но это происходит ровно до того, как она начинает использоваться в реальности.

Можно посмотреть на эту проблему с другого ракурса. Всем бы хотелось иметь натренированную на определенном количестве данных модель, которую можно было бы использовать везде с высоким качеством работы. При составлении датасета все возможные случаи учесть невозможно, поэтому мы опираемся на способность моделей к генерализации – обобщению опыта, – чтобы делать предсказания на неизвестных данных.

Области, ограниченные какой-то особенностью, называют доменами. Например, медицинским доменом назовут датасет, который содержит медицинские тексты. Использование модели внутри домена называется in-domain, а за его пределами – out-of-domain. Часто получается, что модели хорошо работают внутри домена, но плохо вне его. Это происходит из-за смещения модели в сторону домена, на котором она обучалась, относительно теоретического общего домена, который покрывал бы все возможные варианты.

Пример: модель обучили на комментариях пользователей в социальных сетях, она не учитывает лингвистические особенности языка как глубокие признаки и опирается на словарь. Такая модель будет работать плохо для задачи по классификации научных статей. Минимизация смещения позволяет добиться качественной работы модели при ее обучении на конкретном датасете и, как следствие, лучшей ее генерализации.

В теории сейчас нет строгой классификации факторов, влияющих на появление смещения. На мой взгляд, есть несколько причин появления смещения в данных:

- Разметчики – при разметке люди могут руководствоваться внутренними шаблонами, пропуская важные отличительные детали в данных. Часто люди сами склонны формировать предвзятые, то есть смещенные, мнения .

- Отсутствие баланса – если в датасете примеров одного класса значительно больше, чем другого, то модель, скорее всего, выучится именно на мажорном классе, не принимая во внимание признаки минорного.

- Нерепрезентативность – ситуация, когда в датасете слабо представлены разные случаи. Яркий пример, представленный выше, – с нецензурными словами. Это означает, что в датасете появляется перекос в сторону какого-то класса по определенному признаку.

- Неправильный режим обучения – косвенный фактор, при котором смещение проявляется, когда модель недообучается.

- Отсутствие негативного множества - частный случай нерепрезентативности, при котором в датасете слабо представлено то, чем классифицированное явление не является.

@machinelearning_interview

20 вопросов (с ответами) от ChatGPT для выявления фейковых поддельных специалистов по данным.

https://www.kdnuggets.com/2023/01/20-questions-detect-fake-data-scientists-chatgpt-1.html

@machinelearning_interview

📌 S7 Тестовое задание для кандидата DS.

Кандидатам предоставлены данные о продажах в сети магазинов в одном городе за несколько лет. В магазинах периодически проводятся рекламные акции. Решение лучше присылать в виде jupyter notebook’а.

Задача:
● Построить прогноз продаж за год, при условии известного графика рекламных акций
● Сделать анализ того, насколько реклама влияет на продажи в магазинах

Данные: ● Данные для обучения:
○ sales_train.csv - индексы продаж по дням(все начинаются с 1).
○ advert_train.csv - рекламные акции в магазинах (обозначены 1 в соответствующую дату)

Данные для проверки:
○ advert_test.csv - рекламные акции на тестовом периоде
○ deploy_example.csv - формат данных в котором нужно построить прогноз продаж

Оформление результатов:
● Подготовить прогноз продаж в формате deploy_test.csv
● Прислать оформленный код в виде ipython ноутбука или R sweave документа
● Оформить исследование влияния рекламных акций в формате презентации (2-3 слайда максимум)

@machinelearning_interview

📌 Тестовое задание для кандидата Revo:Mokka.

В файле revo_ds_test_task.csv собраны данные по повторным займам текущих клиентов компании.

По имеющемуся набору данных, необходимо построить модель, которая будет прогнозировать значение целевой переменной 'bad_flag'. Подготовить небольшую презентацию (1-2 слайда), в которой аргументируется выбор модели и показан предполагаемый уровень дефолтности при различных уровнях одобрения.

Расчеты желательно предоставить в виде python-скрипта / jupyter ipythone notebook.

Решение

@machinelearning_interview

📌 Тестовое задание

Задача
Требуется: предложить модель, сегментирующую окурок сигареты на фотографии.

Вход: фотография 512x512x3.
Выход: маска окурка сигареты 512x512.
Метрика: Dice coefficient.

Данные
Ссылка на скачивание данных: link.

Данные представляют из себя набор синтетически сгенерированных фотографий окурков сигарет и маски, определяющей их на фотографии, а также координаты ограничивающего их бокса.

Доступные данные разделены на несколько папок:

- real_test содержит фотографии 512x512x3;
- train/images содержит фотографии 512x512x3;
- train/coco_annotations.json содержит аннотации в формате COCO;
- val/images содержит фотографии 512x512x3;
- val/coco_annotations.json содержит аннотации в формате COCO.

Результаты
Для лучшей модели требуется создать 2 файла, которые необходимы для валидации Вашего решения:

- сохраненные маски для картинок из valid в формате pred_valid_template.csv (в архиве с data) и залить его с тем же именем (см. notebooks/GettingStarted.ipynb);
- html страницу с предсказанием модели для всех картинок из real_test и папку с используемыми картинками в этой html странице для её просмотра. Создать zip файл c html и изображениями и залить его в папку results.

Также необходимо:

- подготовить код (сам репозиторий) для проверки (докстринги, PEP8);
- создать отчет (можно прямо в ноутбуке) с описанием Вашего исследования, предобработки, постобработки, проверямых гипотез, используемых моделей, описание лучшего подхода и т.п. (он должен лежать в папке notebooks);

Рекомендуемый pipeline решения:
Предполагается следующий pipeline решения поставленной задачи:

- fork данного репозитория;
- ознакомиться с критериями;
- скачать данные;
ознакомиться с notebooks/GettingStarted.ipynb;
ознакомиться с данными, разобраться с их форматом;
ознакомиться с базовой статьей;
- провести анализ данных;
- написать методы аугментации данных;
- реализовать нейросеть/нейросети (необязательно с нуля);
- провалидировать модели;
- выбрать лучшую модель на val и посчитать для нее метрики;
- получить результаты на реальных изображениях real_test и сохранить их;
проанализировать результаты, сформулировать проблемы модели.
Критерии
При оценке решения этой задачи акцент будет делаться на (в порядке приоритета):

1. Качество исследования в jupyter notebook и чистота кода. В этот критерий входит читаемость и адекватность кода, содержательность комментариев, правильное оформление графиков (если таковые будут), отсутствие смысловых ошибок в коде. Наличие docstrings к написаным функциям приветствуется. Также будет оцениваться демонстрация предпринятых шагов и структурирование кода (разные по смыслу куски кода разделены по пакетам).

2. Анализ данных и подходы к аугментации. Оригинальность, эффективность и количество идей. Использование неочевидных шагов в решении, которые улучшают качество, будет хорошим плюсом. Наличие нескольких подходов также будет ценится выше, чем один подход.

3. Значение метрик на контрольной выборке и общая адекватность модели.
4. Обоснование выбора моделей (процесс выбора моделей).
5.Анализ результатов итоговой модели.

@machinelearning_interview