Что общего у осьминога и ML-алгоритма, который помогает проверять гипотезы?

Многовато рук.

Казино, A/B-тестирование, policy для «бандитов»… О том, как все это связано между собой, как простой алгоритм помогает найти неэффективные предложения в CRM и вырастить конверсию в три раза, — в новой статье на Хабре «Многорукие бандиты: когда классическое тестирование не работает» от наших DS Дмитрия Тимохина, Василия Сизова, Александра Лукашевича и Егора Суравейкина.

Приятного чтения!

4 июня двое наших коллег — Андрей Бояренков и Александр Громов — выступали на Форуме риск-менеджеров с докладами про математические модели, которые лежат в основе эффективного скоринга.

Андрей рассказал про модель precollection, которая позволяет предсказать риск невозврата кредита и возникновения просрочки свыше 5 дней. Подробнее о том, как она устроена, можно почитать на Хабре. Спойлер: внутри — пайплайн моделирования, методы интерпретации фичей и подходы к оптимизации гиперпараметров.

Александр рассказал про модель оценки дохода розничных клиентов. Она позволяет определять кредитный лимит и оценивать ПДН клиента точнее, чем с помощью других разрешенных ЦБ подходов к выдаче кредита без потверждения дохода. Александр также рассказал о том, как в банке ограничивают издержки от возможных ошибок моделей и как можно оптимизировать расходы на данные внешних партнеров. Главный вывод: для ПДН результат работы модели оценивается как положительный (но зависит от доли выдач с ПДН 50+), а при определении лимита модели помогают в предварительных расчетах, но на финальном этапе их роль сокращается.

Что можно поисследовать в скоринге в ближайшем будущем? Вот короткое саммари от Андрея:

«Обратил бы внимание на следующие темы: перестройка ПВР-моделей с учетом макрофакторов по новым правилам ЦБ 845-П (выступление

Юрия Полянского

), необходимость обогащения данных для полноценного мониторинга (доклад

Алексея Чебыкина

) и поиск новых методов интерпретации (по этой теме есть много новых статей — отсылаю вас к выступлению

Александра Дьяконова)

. Понравился вывод коллег из

Альфа-банка

: модельные риски при правильном управлении и контроле в целом снижают риски банка».

Отвечаем на вопросы, которые не успели разобрать на Data Fusion. Начнем с Retrieval-Augmented Generation

🗯 Какие плюсы и минусы моделей, объединяющих традиционные генеративные и поисковые компоненты, наблюдаются на практике?

Попросили ответить Льва Меркушова, модератора сессии RAG:

💬 «Модели, объединяющие как традиционные векторные, так и полнотекстовые поисковые компоненты, позволяют использовать преимущества как семантического понимания, так и точных совпадений ключевых слов.

Полнотекстовый поиск хорошо справляется с точными совпадениями слов и фраз. Векторный поиск находит документы, близкие по смыслу, даже если дословного совпадения нет. В общем, гибридные системы дают повышенную релевантность поиска, так как обрабатывают как простые, так и неточные/абстрактные запросы.

Среди минусов — более сложная реализация и необходимость настройки баланса между двумя типами поиска».

Если вы не успели посетить сессию лично, делимся полезными ссылками:

Запись сессии с участием ключевых экспертов в области

Презентация к выступлению Алексея Незнанова «Мечтают ли андроиды о большом и чистом эксплицитном знании?»