Утром пятницы все мысли только про работу 🙈

К нам в BigData МТС в команду Dynamic Pricing ищем крепкого DS-мидла

Classic ML / Статистика / Оптимизация
Spark / SQL — будет плюсом

Что делать: модели ценообразования, много бандитов, много Causal Inference и A/B, развивать внутреннюю библиотеку

Ниже формальное описание вакансии и контакты Тани (рекрутера)

Так на сайте

А так постом в тг:

Мы ищем Middle Data Scientist в команду Dynamic pricing
🥚Компания: МТС (Big Data)
📍Локация: Россия
🕞 График: 1 день в неделю в офисе

Команда Dynamic pricing занимается созданием комплексного решения, которое позволяет гибко управлять ценами товаров/услуг/подписок в зависимости от профиля клиента/характеристик товара для достижения различных бизнес-целей. В рамках продукта предстоит не только строить точные ценовые модели, но и встраивать их в операционные процессы компании.

Что мы ищем в кандидате:
• Глубокое понимание статистических подходов и методов (регрессия, свойства распределений, оценка максимального правдоподобия, проверка гипотез и их правильное использование), опыт их применения
• Коммерческий опыт применения классических алгоритмов машинного обучения, их калибровки, понимание преимуществ, недостатков и ограничений
• Хороший уровень SQL (не критично -- если по остальным параметрам ок, то SQL вы за пару вечеров освоите)
• Опыт проведения A/B тестов

Что нужно делать:
• Исследовать наборы сырых данных для поиска нужных фичей
• Строить модели персонализации параметров предложения (look-alike, multiclass) для абонентов b2c на всех этапах их жизненного цикла: привлечение, адаптация развитие, работа с оттоком
• Строить классические модели спроса и response-модели
• Оценивать эластичность спроса и подбирать оптимальную цену для достижения различных бизнес целей компании
• Выполнять сегментацию пользователей и товаров для различных задач
• Поддерживать текущие решения на продукте, сопровождать постановки на регламент процессов в airflow и A/B-тесты моделей

Что предлагаем:
• ДМС, куда включены: стоматология, страхование жизни и страховка при поездках за рубеж
• Корпоративный психолог и карьерный коуч
• Бесплатная сотовая связь, выгодные тарифы для ваших близких, промокод на онлайн-кинотеатр KION и бесплатная подписка на МТС Premium
• Программа «Invite IT» (реферальная программа поощрения за рекомендацию ИТ-специалиста) и многое другое

Кому интересно -- пишите Тане @TatianaEllington

По собеседованиям:

1) блиц-опрос из 10 коротких простых вопросов на звонке сТаней
2) Собеседование по стастистике и Classic ML
3) Раунд про python / sql
4) Раунд с продактом и HR -- рабочие кейсы

Число постов в канале упало не просто так (о, великий султан, на то была тысяча причин).

И основная — нам с ребятами очень хотелось систематизировать наработки по мультиагентным системам (мы строим их уже полтора года) и поделиться этими знаниями с миром.

Мы запустили курс по ИИ-агентам, не супер большой, но, надеюсь, достаточно емкий.

Я расскажу (и покажу) базу — токенизация, LLM, SFT, PEFT, локальный инференс + RAG и как оценивать его качество.

Диана — как строят мультиагентные системы, какие есть паттерны проектирования и библиотеки.
Макс — про инференс в проде + разберет CoPilot, соберет с вами из кусочков свой копайлот, а затем его сломает через prompt injection. // Макс фанат autogen (а если нет -- он вас разубедит в своем классном канале)
Финальным аккордом Дима углубится в MCP и соберет несколько кейсов повзрослее. // Дима юзает qwen-agent

Надеюсь, мы смогли поймать баланс между обзорным курсом на 5 живых вебинаров, базой, практикой и способностью студента на выходе не просто собрать очередной прототип, а выстроить систему, которая в каждой точке оценивается и понятно как ее развивать, масштабировать, делать точнее.

Если вдруг кто захочет поучиться — есть промокод, datarascals

Давно не было про манагеров-каналий

Вот топ фраз, которые я услышал только за эту неделю 😱:

Мы не смотрели в дашборд, ограничились своими ресурсами но <…> Мы совершенно не понимаем что происходит!!!! 😡

Мы запустили рекламу на всю базу (XX млн), но что-то конверсия низкая 🤔

— У нас есть look-a-like модель, мы ее пару лет развиваем, которая предсказывает срабатывание триггера к покупке (но что это триггер к покупке — наша гипотеза).
— Мб будем строить look-a-like таргетируясь на саму покупку? Искать похожих на тех, кто купил?
— Вау, точно, как-то в голову не приходило! Дайте два! 😍

Мы запускали рекламу на огромном сегменте, но 90% отсекла контактная политика. Как так?! 😡🤬

Наконец-то выложили запись разговора с Александром Рыжковым -- уникальным 4x Kaggle GM
Мой первый опыт в роли интервьюера)

Ниже анонс от коллег:

Что ждет AutoML и как побеждать на Kaggle? 🔥

На недавней конференции MTS True Tech Day состоялось крутое интервью, которое нельзя пропустить! Никита Зелинский (CDS MTS) пообщался с Александром Рыжковым — ex-руководителем LightAutoML, а ныне Avito R&D unit lead.

Обсудили самое мясо:
🏆 Победа на Kaggle AutoML Grand Prix 2024: инсайты и стратегии от победителя.
🚀 Будущее AutoML: куда движется индустрия и какие тренды нас ждут?
🤖 AI-агенты: как они уже меняют нашу работу и жизнь.

Получился концентрированный разговор о передовых технологиях и практическом опыте. Очень рекомендуем к просмотру!

▶️ Смотреть запись интервью: тыц

Друг поделился ссылкой на классику, которая играет у него в голове при встрече с "обладателями приятных софтов" и прочими канальями -- рассказчиками о светлом ai-будущем. Пятый раз клип пересматриваю и вам рекомендую )

PS Хотя есть гипотеза что это рекомендашка под меня -- не зря же они сегодня 2-е место на RecSysChallenge взяли, поздравьте ребят! 🍾🍾🍾

Меньше всего в серьезном статистическом журнале ожидаешь увидеть статью, в которой почти половину составляет такая вот картинка в жанре дидактической графики.

На этом конечно юмор авторов не заканчивается, когда речь о строгой математической формулировке -- парни ссылаются на статью Крамера:

As did Cramer, we leave the proof of the above relation as an
exercise for the reader.

😄😂
Ах да, речь о доказательстве тривиального факта -- если нужно описать распрделение одним числом с минимальной асболютной ошибкой (MAE), то этим числом будет медиана (а если с минимальным MSE -- среднее).

PS В Conclusion крик души преподавателя:
Most mathematical statistics students prove this property of the median as an exercise at some stage in their training, but soon forget it. Thus, the long-term impact of the exercise is less than it could be (someone once de¢ned education as “what remains after one has forgotten what one has learned”). Later, many of them, and many nonstatistical studentstoo, would, if asked, argue that the average distance is minimized by the mean. We suggest that it is time to “move up” from the proofs in mathematical statistics texts to more instructive ones which, using concrete examples, allow one to show visually what makes the median such a central location.

Сегодня в программе небольшое расследование

Прошлой осенью начал понемного вовлекаться во всероссийскую олимпиаду школьников по ИИ.
Да-да, парни 10-11 класс вполне бодро решают задачки, которые не всякий мидл осилит.
Но всеросс всероссом, есть же еще и межнар.

И судя по победным заголовкам, наши ребята впереди планеты всей и на них:

Вот что пишет РИА:

"В Болгарии подвели итоги первой Международной олимпиады по искусственному интеллекту (IOAI) среди старшеклассников, которая прошла с 9 по 14 августа 2024 года. Сборная России показала лучший результат в научном туре конкурса и завоевала золотые медали, завоевала серебро в практическом этапе и стала первой по сумме баллов за оба этапа конкурса", — рассказали агентству.
Известия:

Восемь школьников представят Россию на Международной олимпиаде по искусственному интеллекту в Пекине, сообщили «Известиям» в Альянсе в сфере ИИ 12 мая. Соревнования состоятся 2–9 августа.
Но

последние годы жизнь научила фактчекингу, полез искать эту олимпиаду

Нашел такую
https://www.iaio-official.org/ — под эгидой UNESCO и ACM

И такую

https://ioai-official.org/board/

Признаков сборной России ни там ни там не нашел, зато во второй вот такой список стран-фаундеров:

Australia, Bangladesh, Brazil, Bulgaria, Canada, China, Colombia, El Salvador, Estonia, Hong Kong, Hungary, Iran, Isle of Man, Japan, Jordan, Kazakhstan, Kyrgyzstan, Macau, Malaysia, Mongolia, Nepal, Netherlands, Poland, Letovo, Romania, Singapore, Sweden, Chinese Taipei, Tunisia, Turkey, United Arab Emirates, United States, Vietnam.

Судя по наличию в списке террористического Ирана (спонсора Хезболлы и Хамаса, устроивших теракт 7 октября 2023), каких-то политических ограничений на страны не было, но вы разве знаете такую страну — Letovo? Мб речь о Лесото?
Вот и я нет, решил написать секретарю олимпиады -- что же это за страна такая, неужто она у нас в Подмосковье.

Ииииии

Секретарь олипиады -- сотрудница Центрального Университета (который судя по публикациям и готовит школьников на эту олимпиаду, причем очень успешно -- респект преподавателям!).

Друзья, мб не будем стесняться своей страны? Другой у нас нет

UPD
После поста в личку пришли ребята из пары других университетов (не ЦУ) -- сказали что подавали заявки от РФ, но оргкомитет олимпиады не ответил 🧐

UPD 2
В личке выяснилось как в итоге случился прошлый год. Один из школьников нашел Олимпиаду, собрал команду, подключились родители и ребята начали писать в ВУЗы -- ЦУ были единственные кто откликнулся и согласился помочь -- подготовкой и финансами, так что получилась команда школьники -- родители (даже визы делали они) -- преподаватели -- университет которая в итоге и затащила, а ЦУ вошли в оргкомитет уже после первой олимпиады. И в том году не было формального отбора (который бы признали орги) на нац уровне -- так и получилась команда от Летово. Такая вот история, надеемся что в этом году сборная уже будет под своим флагом

Когда меня посещает синдром самозванца, я иду на архив в поисках статьи, которая соберет комбо из кринжовых утверждений.

Вот статейка 23го года — парни ищут фрод в банкоматах

Судя что фамилия одного из авторов Naidu, успех был предопределен!

ATM fraud detection that is built on Spark and trained with a variety of machine learning (ML) models including Naive Bayes (NB), Logistic Regression (LR), Support Vector Machine (SVM), Decision Tree (DT), Random Forest (RF), Gradient Boosting Tree (GBT), and Multi-layer perceptron (MLP).

Ну допустим, дальше интереснее:

We also employed several balancing techniques like Synthetic Minority Oversampling Technique (SMOTE) and its variants, Generative Adversarial Networks (GAN), to address the rarity in the dataset. In addition, we proposed a streaming based ATM fraud detection in the streaming context.

Но:

Our sliding window based method collects ATM transactions that are performed within a specified time interval and then utilizes to train several ML models, including NB, RF, DT, and K-Nearest Neighbour (KNN).

И оглушительный успех:

RF obtained the best mean AUC of 0.975 in the static context and mean AUC of 0.910 in the streaming context.

Но есть нюанс:

𝐴𝑈𝐶 = (𝑆𝑒𝑛𝑠𝑖𝑡𝑖𝑣𝑖𝑡𝑦 + 𝑆𝑝𝑒𝑐𝑖𝑓𝑖𝑐𝑖𝑡𝑦) / 2

Просто туз на ривере пришел )

По-моему, если это не роял флеш-стрит, то как минимум фулл-хаус ♣️♦️♠️♥️♠️

На картинке один из вариантов машины Руба Голдберга
И она тесно связана с историей создания этого канала.

Представьте, воскресенье, вас внезапно добавляют в чатик с внешними консультантами, работающими над дата-стратегией одной большой компании (к счастью не той, в которой работаю). И просят срочно прокомментировать какая инфраструктура понадобится для такого процесса:

1. Учим RecSys-модели
2. Берем эмбеддинги пользователей
3. Скармливаем их специально обученной LLM
4. Специально обученная LLM по этим эмбеддингом генерит текстовый портрет клиента
5. По текстовому портрету клиента определяется потребность в продуктах
6. Дальше клиенты сегментируются для массовых рассылок рекламных предложений
7. На выходе — сегменты (🤡) по склонности к покупке

Более сложного пути построить look-a-like (LaL) вроде и не придумать 😆

Подгорело у меня тогда настолько знатно, что на следующий день я отвел дочь в школу, вернулся, налил кофе и запилил первый пост

Воскресный статистический баян

Друзья ищут любителя восточной экзотики — DS-контрактора на год в Саудовскую Аравию

По условиям: платят в валюте, помогают с жильем, мобилкой, перелетами и пр.

Ниже формальное описание вакансии:

🔥 Senior Data Scientist (Banking) | Эр-Рияд | Контракт 12 мес. | Работа в офисе крупного банка

🚀 О проекте:
Работа с ключевым заказчиком — одним из ведущих банков Саудовской Аравии. Реальные задачи, где твои модели и аналитика данных будут влиять на бизнес-решения.

💡 Ты идеальный кандидат, если:
✔️ Опыт 5+ лет в Data Science, включая опыт в банковской сфере (не только кредитный скоринг).
✔️ Полный цикл разработки моделей: от сбора данных и feature engineering до пилотирования и продакшн-внедрения.
✔️ Умеешь переводить бизнес-задачи в технические требования и наоборот — объяснять сложное просто.
✔️ Разбираешься в метриках оценки моделей (как технических, так и бизнес-ориентированных).
✔️ Английский C1+ и soft skills: умеешь слушать, задавать правильные вопросы и адаптироваться под аудиторию.

🔧 Что будешь делать:
▪️ Разрабатывать ML модели и анализировать данные для реальных банковских процессов.
▪️ Работать с данными end-to-end — от сырых данных до работающего решения.
▪️ Тесно коммуницировать с заказчиком, выявляя скрытые потребности и предлагая DS-решения.

💎 Что предлагаем:
▪️ Контракт до 12 месяцев с возможностью продления.
▪️ Работа в офисе банка
▪️ Проживание в компаунде в Эр-Рияде
▪️ Возможность влиять на масштабные проекты на динамично развивающемся рынке.

📌 Как попасть в команду:

Техническое собеседование (проверим hard skills).

Собеседование с Заказчиком проекта (оценим soft skills).

Оффер — и переезд в Эр-Рияд!

❗️ Важно: Только для готовых к релокации в Саудовскую Аравию (или уже находящихся там).

Закидывать резюме и / или атаковать вопросами Сашу

Команда Superintelligence в Meta, согласно большому паблику.

Почему там столько выходцев из MTS?

Как обладатель годовой подписки на Replit -- напрягся 😂

Про внутреннюю конкуренцию пост

Иногда канальи развлекаются тем что одну и ту же задачу решают 2 команды из разных бизнес-вертикалей — ну-ка посоревнуйтесь, и в результате конкурса поймем кто круче хитрее

Но есть нюанс, канал же про каналий 🤡

В одной далекой-далекой компании стояла задача по фото товара (которое делает сотрудник склада) определять номенклатуру.
Делалось это так:
1) на фото детектилась этикетка
2) OCR (а судя по тому что в 2025 выходят статьи про альтернативы Tesseract — побить его по сочетанию бесплатность-производительность-качество все же сложно)
3) матчинг изображения и текста на каталог
Никаких Visual Transformers, сложных моделей — но работает, качество хорошее, ну и ладно. Назовем эту команду П (первая, без отсылок к Пелевину или нездоровых корпоративных ассоциаций)

Но в недрах бизнес-вертикалей всегда находятся люди, которые прослышав про зп в ML внезапно вспоминают что кончали КБГТУ (как бы где-то там учился) по специальности «подставка арифмометра» -- она же связана с математикой, верно?, назовем эту команду С (самозванцы 😄). Как в корпорациях доказывают свою ценность? Два варианта — делать что-то полезное (редко) либо объявив коллег дураками (часто). Здесь же сходу не прокатило -- биг босс сказал «а докажите».

Не мудрствуя лукаво вторая команда стала отправлять запросы в gpt 4o и намеряла в офлайне точность в 85%+. Первая команда закономерно на разборе получила люлей 🤕 (потому как текущее решение было в районе 80%) и отправилась готовиться ко второму периоду.

Покрутили-поучили, добили до 90%, и вот уже во втором периоде гнев босса обрушился на команду самозванцев. Что было дальше?

Следите за руками словами лидера самозванцев:
1) Уважаемый Иван Иванович, А/Б провести не можем (да и зачем компании терять деньги тратясь на заведомо проигрышный вариант), давайте сравниваться оффлайн
2) Тестовую выборку разделим на 2 — по одной прогоним одну модель, по второй другую (ловкость рук)
3) Этот тяжкий труд по сплиту теста берем на себя, заодно и результат посчитаем 🤣🤣🤣👏

По итогам следующего теста у команды С точность 99%, у команды П — в районе 20%. Счет на табло стал уж совсем разгромный 😰

Вот сейчас не стоит сразу кликать на спойлер, не лишайте себя удовольствия подумать что могло пойти не так 🤔🤫

Парням из первой команды подсунули фото, где либо товара либо этикетки в кадре не было.
Мораль истории как в избиркоме — не важно как работает ваше решение, важно кто считает результат.
А вообще если вы видите 8 команд в компании, которые занимаются одним и тем же — я бы советовал выбрать либо другое направление либо другую компанию.