#ML

Если вдруг кто-то пропустил МТСные курсы по RecSys на ODS и не знает как BigData МТС связана с рекомами, то вдогонку скажу что мы в МТС продолжаем развивать свою библиотеку для рекомендашек RecTools.
За эти году в либу успели законтрибьютить 20+ классных MLE) -- и сейчас ее развитие драйвит Даша Тихонович со своей командой

Новости о либе в канале

Звезды в гитхабе тоже приветствуются 😊

Итак, встречайте -- новый релиз 0.11.0 -- Трансформеры в RecTools!

BERT4Rec и SASRec в fit / recommend парадигме, без необходимости в специальной подготовке данных.

Поддерживают сборку с конфигов, кастомизацию, коллбэки, чекпойнты, логи, кастомную валидацию и мульти-гпу обучение.

Архитектура:
- Dot product связывание (+ можно кастомизировать свою логику)
- Из коробки используют в эмбеддингах категориальные фичи айтемов (+ можно подключать и отключать эмбеддинги на айди айтемов) (+ можно кастомизировать свою логику для эмбеддингов)
- Поддерживают softmax, BCE и gBCE лоссы с варьируемым количеством негативов (+ можно поддерживать кастомные лоссы)
- MLM и Shifted Sequence задачи обучения (+ как и всё остальное можно кастомизировать)

Все актуальные туториалы тут:
- Теория и практика
- Обучение с кастомной валидацией
- Модульная кастомизация моделей

Результаты на публичных бенчмарках против других имплементаций: наш BERT4Rec выиграл 2 из 4 датасетов, SASRec на софтмаксе 3 из 4.

Также в релизе:
- from_params метод для моделей и общая функция model_from_params для инициализации моделей с "плоского" словаря
- обучение на GPU для PureSVD
- TorchRanker для ранжирования айтемов по полученным скорам от моделей

#ML

Через час опубликую ссылку для подключения на обсуждения XAI (правда более чем уверен, что все забыли 😂), а пока откопал статью 2016 года с супер-известным первым автором Visualizing and understanding recurrent networks

UPD Сорри, сносим на время пораньше и другой день -- давайте выберем в комментариях, ориентировочно понедельник , 16 мск (в комментах под постом решим)

Приходите сегодня послушать Диму, топ спец во временных рядах и не только )

Когда с подачи Виктора https://t.iss.one/kantor_ai начинали в декабре 23го — еле-еле 15 чел набирали , на онлайн приходило 4 , теперь нам аудитории не хватает 😂 будем стараться бронить потоковую 🤷‍♂️

#ML

Раз уж мы коллективно перенесли XAI-созвон на сегодня на 16 -- пытаюсь найти что-то релевантное и интересное.

Вот, например, в статье недельной давности TOWARDS MECHANISTIC INTERPRETABILITY OF GRAPH TRANSFORMERS VIA ATTENTION GRAPHS пытаются интерпретировать графовые трансформеры путем построения графов внимания.

А как представляются графы? Матрицей связности) Итого получаются картинки, безумно похожие на attention maps, которые к интерпретации GNN в бизнес-смысле не приближают от слова совсем 😔

UPD:
а вот gui для интерпретации , который прям совсем приятный и кликабельный

UPD2:
жду вас по ссылке https://meet.google.com/qjm-yzdu-qxf

спасибо пришедшим! записал идей, копаю дальше)

#корпжиза

Интересный опыт -- расшифровали выступление в ВШЭ и опубликовали, набросил немного про DS-центричность , но в обработке пиарщиков вышло почти безобидно 😆

Привет всем! Тех, кто не дойдет до нас оффлайн — ждём на трансляции в 17:30!

А вот состав докладов ребят

Спасибо всем пришедшим сегодня на митап, были классные доклады, не менее классные вопросы и живые дискуссии после основной сессии! Обязательно повторим! Фоточки выложу как будут готовы)

Мне даже особо добавить нечего) Огромное спасибо Жене и ребятам из Альфы что откликнулись , и особое нашему деврелу Лене Гусаровой -- и ее команде конечно -- за организацию — получилось круто 🙌

Фоточки

Попробуем новый жанр по просьбе хорошего товарища

Ребята из Solva открывают банк в Казахстане, ищут четверых DS / DA в риски (позница и SME)
Если интересно — пишите Диме @viktorovd напрямую, если хотите чтобы ответили быстро — сошлитесь на канал
Локация на выбор – Алматы, Москва или полностью удалённо.
Вилки примерно 400 000 – 500 000 рублей Net + бонусы
Ниже формальные описания

UPD: длинные описания вакансий перенес в комменты под постом

#корпжиза

Трусость в карьере DS

Несколько лет собирался с силами сделать операцию на перегородку, лор-врачей трусил с детства – правда было с чего – на картинке почти такая же сцена как мне аденоиды удаляли в горбольнице Твери в 1994 году (только там ремни были на подлокотниках, ноги привязывали простынями, а тазик для крови не висел на шее, а держала медсестра).

Вот сделал (кстати, если кому вдруг нужно – поделюсь контактом топового хирурга) и задумался насколько страх двигатель карьеры – и тут к месту пришелся относительно недавний кейс.

Дано – Middle+ DS, которого зовут на два проекта: первый про LLM-агентов, там сделано несколько прототипов, много хаоса и менеджеров в 4 раза больше чем трудяг (у семи нянек дите без глазу). Второй – в технически зрелую команду разбираться с новым доменом данных.

2 варианта – 2 FOMO – в первом очевидно легко быстро дорасти до руководящей позиции – новое хайповое направление, у бизнеса большой аппетит – точно можно расти вместе с командой. Когда еще такая возможность представится? Бонусом идет хорошее повышение со старта.

А во втором можно серьезно прокачаться (под чутким и внимательным руководством) и в NLP и в написании продового кода, и тоже боязно, что если пойти по первому треку – не у кого будет hands on учиться. Здесь повышение вроде тоже возможно, но не так определенно. И рост в синьора а не лида.

Что сам выберешь, что DSу посоветуешь? Пишите в комментарии – будет любопытно обменять мнениями.


PS:
Как по мне,страх – главная причина неудачи в карьере.
И он же главный двигатель вперед.

Очень боишься потерять работу – собери портфель, который платит тебе твой же оклад дивидендами / купонами. Или собери ачивок чтобы ее легче находить – места на Kaggle, публикации. Или другие активы – свои проекты / продукты, доли в стартапах, курсы и т.д.

#ML

Вот смотрю на micrograd и думаю — может быть это и есть лучшая задача на собеседовании на MLE?

Сразу и кодинг проверяет и backprop, меньше ста строчек кода

Что думаете?

Для ленивых: 👍 -- хорошая идея, 🤔 -- плохая

UPD: А почему? неужто задачки с литкода лучше?

#кейсы #ML

Когда у меня бессоница и закончился Мелаксен, я не считаю овец и не втыкаю в шортсы.

Таймкиллер должен быть каждый раз разный, вот сегодня вернулся к тому посту и поискал еще компаний, они с годами регистрации в ФНС:

ООО «Адзип» 2010
ООО «Онвог» 2003
ООО «Куни» 2005
ООО СПК «Анал» 2009
ООО «Чорт» 2024
ООО «Тудранктуфак» 2008
ООО "Нли Ю" 2016
ООО «Эс как доллар» 2017
ООО "ПОЦ" 2009
ООО "СИК" 2014 (азерб.)
ООО "Сиким" 1999 (азерб.)

а вот другое ООО "Сиким" 2012 года, просуществовавшее меньше суток: дата регистрации 15.10.2012, дата ликвидации 15.10.2012, потому их однодневками и называли

UPD чет вспомнился похожий кейс с физиками, на днях расскажу

#кейсы #ML

О чем был пост выше?
Сейчас объясню на другом кейсе

Итак, в лучших традициях «продуктовой культуры» корпораций в одной компании по схеме MVP (как ее понимал корпоративный PO) запускался продукт — продажа неких предметов по схеме BNPL = buy now, pay later (в рассрочку в бытовом ее понимании – формально эти понятия часто разделяют по тому кто на себя берет кредитный риск дефолта покупателя – сервис или кредитная организация, но сейчас не об этом).

Деньги имеют свою стоимость, поэтому маржа должна стоимость фондирования перекрывать.
Такие продукты содержат, очевидно, еще и кредитный риск -- ведь клиент может перестать выплачивать деньги, и такой долг придется отдавать на взыскание (тоже косты, которые надо бы заложить).

А еще в продукте операционные косты и косты на маркетинг 🤓

А маркетинг штука недешевая
И вот приходит PO в панике:

“Деньги на маркетинг в песок уходят, приходят заявки, но по 80% приходит отказ от провайдера скоринга (причину в ответе не сообщают — просто refuse). Скоринг мы закупаем у внешнего поставщика — потенциальный клиент заполняет паспортные данные и телефон, через API от поставщика получаем решение — отказ или аппрув (даже не скорбалл и не PD !!!). Cделайте быстренько свою скоринговую модель чтобы отказов было в разы меньше. Вот прям щаз!!!!”

🤡🐓😱

Задачка на арифметику (числа относительно условные) – если тысяча показов баннера стоит в среднем 30 рублей, конверсия в клик 0.3%, а в покупку 1% от кликов, сколько стоит один лид?

1000 рублей. Со ста тысяч показов (3 000 рублей) будет 300 кликов и 3 покупки.
На тысяч лидов нужен миллион рублей рекламы

Начинаю разбираться, и понимаю что аналитика в продукте нет.
Почему?

Да потому что ФЛК нет
ФЛК – это формат-логический контроль – то есть проверки на поля формы.
Например, что в поле с типом date нельзя строку вписать.
Для ДУЛ (документ, удостоверяющий личность) эти проверки легко гуглятся

Итак, что же собрали за первую тысячу заявок:
▪️Имя и отчество в поле “имя” (вроде Егор Егорович)
▪️Не сходится контрольная сумма паспорта
▪️Паспорт выдан в день рождения – например, BirthDate 1954-06-13 и IssueDate 1999-06-13 – такой паспорт считается недействительным
▪️В поле “фамилия” указан телефон или “5рапр”
▪️Несуществующий номер телефона
▪️Орган, выдавший паспорт гражданина РФ (тип документа) – “Мвд”, “ЕАС”, “ТП 16”
▪️Дата выдачи и дата рождения – одна и та же дата
▪️Латиница в ФИО в общегражданском паспорте (Vasiliy, Ruslan,etc)
▪️Серия паспорта 9876, остальные поля заполнены нормально
▪️Число вместо имени
▪️и всякое нецензурное 🤡

Как мог бы выглядеть процесс, если бы не сэкономили на консультации кредитчика (хотя бы знакомому пивка бы поставили):

1. Верификация ДУЛ и полей ввода (ФЛК)
2.Проверка в стоп-листах (террористы, обнальщики, судимость и пр.)
3. Модели определения мошеннических заявок
4. Модели вероятности дефолта (PD), размера убытка – Loss Given Default (LGD) – предмет все же можно изъять при неплатеже, и Residual Value Prediction (RVP) – цена будет зависеть и от износа и от рыночных условий
5. Проверка на открытые дела о банкротстве ФЛ
6. Данные по кредитной нагрузке и просрочкам (бюро кредитных историй)
7. Определение предельной долговой нагрузки
8. Вычисление EL (expected losses)=PD*LGD*EAD
9. Сравнение EL + Costs vs Profit
10.Политики управления портфелем, кредитной нагрузкой, графиком погашения, мониторинг портфеля и пр


Вот уж MVP так MVP 😆
И не стоит бросаться делать модель если ломается совсем в другом месте

#ML

Чем мне нравится преподавать на физтехе и в вышке — студенты могут задать вопрос, на который сходу и не ответишь.

Вот и сегодня c семинара по рекомендашкам я ушел с домашним заданием —

«есть ли теоретические предпосылки к тому что оптимизируя BCE мы растим nDCG?»

При том что рассказать про связь BCE с ROCAUC, Precision и Recall проблем не составило, здесь я задумался.

Сначала сделаю оговорку, что можно оптимизировать сразу аппроксимацию nDCG:

ApproxNDCG
NeuralNDCG

Для торча оба лосса есть в allRank
Для любителей TF

Итак, ответ на вопрос студента в этой статье с NIPS 2009 года

В уравнении (2) pointwise loss чуть в более общем виде написан, но сразу после формулы указано что функцией ф может быть и сигмоида (что и приводит нас к BCE), а далее несколько страниц доказательства связи минимизации лоссов с максимизацией ранжирующих метрик (для примера в статье взяли MAP и nDCG) -- ровно то что нужно!.

Приятного вечернего чтения!
Под формулы так хорошо засыпается 😴