Tender Hack: Нижний Новгород

😎 За 3 дня заняли 1️⃣ место

👉 Проходил в оффлайн формате, кормили вкусно, в самом начале вручили мерч. Отмечу, что этот хак был не про то как "сделать презентацию и выиграть", а про то как сделать действительно рабочее решение. Только топ 5 команд по тех части проходили на финальную защиту.

Задача была такой же как и на Zakupki.Hack, но в этот раз мы хотели рассмотреть более стабильные подходы, больше углубиться в детали.

Наш аналог озон'а для поставщиков умеет:
1) Семантический поиск
2) Частичная мультиязычность (ru-en)
3) Лексический поиск (лемматизация)
4) Поиск с учетом характеристик
5) Поиск сопутствующих товаров
6) Автодополнение
7) Автокоррекция
8) Транслитерация
9) Анализ рынка

Как решали?
Взяли LABSE (дистиллированную на ru-en) из-за того, что она лучше чем rubert-tiny v1/2 работает с токенами на английском, а это зачастую названия продуктов. В ходе тестирования заметили, что модель все ещё помнит что tea-чай, laptop-ноутбук, т.е. получили адаптацию под английский без тренировки под него.

К выдачи нейронки добавляли BM25, поиск который применяют в системах Lucene, Sphinx, помогло исправлять краевые случаи когда модель плохо работала.

Выдачу алгоритмов ранжировали, для этого применяли:
1) Схожесть строк jaro-winkler
2) Максимальная последовательная схожесть КПГЗ кодов.
3) Количество общих характеристик

Для сопутствующих товаров учитывали, что при применении нейронок у нас получится ситуация, когда для "ноутбук asus" в рекомендации попадет "ноутбук hp", а это не то что нам надо.

Починили тем, что выводили все результаты != кпгз товара, для которого искались сопутки. Вдобавок к этому у нас была история закупок на портале поставщиков, смогли вытащить информацию что, с чем покупают. Это значительно улучшило качество выдачи.

Презентация
Репозиторий

System Design

Как инструмент повышения квалификации.

Проектирование систем устойчивых к сбоям, высокой нагрузке, способных масштабироваться на новые мощности.
К нам пришли ребята из Karpov.Courses с предложением пройти обучение в течение месяца, мы решили не отказываться.

Курс состоит из 4-х основных тем: сбор требований, модульный дизайн, повышение отзывчивости, хранение данных. В каждой присутствуют лекции, временами вставки из практики Бабушкина и конспекты с заданиями.

Авторы рекомендуют курс для middle, senior, team lead. Сложность в течение курса растет, с каждым уроком прибавляются термины вплоть до дизайна полноценного сервиса. Схемы, таблички, всё по фэншую.

Могу выделить:
1) Ёмкие конспекты, удобно когда нет времени.
2) Разделение знаний для интервью и практики.
3) Два типа заданий: тестовые и с развернутым ответом.
4) Поэтапный разбор популярных сервисов: такси, мессенджеров, облачных хранилищ.

Для себя я открыл новые алгоритмы по типу quadtree, geohash, wildcard matching (неточный поиск). Узнал про CAP и PACELC теоремы распределенных систем и главное, наконец-то понял зачем (в каких случаях) использовать ту или иную БД.

Если вы хотите расширить свои знания в области высоконагруженных систем и структурировать существующие, то стоит обратить внимание на этот курс: новый поток стартует 7 ноября.

Kaggle Accelerator

Ещё неделю назад заметил новую фичу на Kaggle, помимо конфигураций P100 (16 гб), TPU v3-8, теперь доступны T4×2 (15 + 15 гб видеопамяти).

P100 они не заменят и будут уступать, но позволят:

1) При должном желании (сложно) запускать 2 эксперимента вместо одного, при этом недельная квота GPU (30-40 часов) общая для T4×2 и P100, а это дополнительные гпу часы.

2) Ускорить инференс/обучение (в некоторых случаях).

3) Тюнить параметры параллельно.

4) Запускать большие модели (до 30 гб).
Кажется что это самый большой плюс.
Да, все ещё неудобно, но лучше чем zero-offload.

Training using 2 T4 with Pytorch DataParallel
Single-Machine Model Parallel Best Practices

Title: Probabilistic embeddings

Идея probabilistic embeddings заключается в том, что вместо стандартных эмбеддингов, которые отображают точку в точку, предлагается отображать точку в некоторое распределение. В чем плюсы использовать такого подхода?

- Мы расширяем пространство возможных решений (можно сказать, что детерминированный вектор это вектор нормального распределения, но с нулевой дисперсией).
- Дисперсия может использоваться как мера уверенности, а подсчет расстояний между распределениями более устойчив, так как случайный неуверенный объект попавший в окрестность другого объекта не будет считаться слишком близким.
- Использования вероятностных лоссо делает модель более устойчивой к шуму.

Отдельно хочется выделить эффективность probabilistic embeddings при построений представлений, учитывающих различные модальности. В этом случае одной картинке может сопоставляться несколько текстовых описаний и наоборот. "Трамвай на улице" может иметь несколько различных картиночных представлений.

Links: https://arxiv.org/pdf/2202.06768.pdf | https://arxiv.org/pdf/2101.05068.pdf
Video: https://www.youtube.com/watch?v=J_DaqSLEcVk
Code: https://github.com/naver-ai/pcme

Интерпретируемость моделей

Некоторая абстрактная оценка с которой человек может быть уверен в предсказаниях модели. Она позволяет выявить взаимосвязи в реальных данных и описать больше чем стандартные метрики.

Необходимость интерпретируемости возникает из-за неполноты формализации проблемы, потому что предсказание лишь частично решает исходную проблему.

И наоборот, в случаях когда проблема хорошо изучена и ошибка не оказывает существенного влияния, можно пренебречь объяснениями.

@gradientdip

Интересно, что интерпретируемость можно разделить на внутреннею и внешнюю. Внутренняя - веса модели, сводная статистика за цикл обучения. Внешняя - анализ объектов на входе и выходе после обучения.

При этом мы можем пытаться рассматривать прогноз как на уровне всей модели, её частей/модулей, так и на конкретном примере, с усреднением на весь набор данных.

Единичные предсказания иногда способны объяснять прогноз лучше, чем обобщенные, т.к. в них содержится информация о локальной группе.

Но как же нам оценивать саму интерпретацию? Можно выдать группе и оценить изменения (профессионалы или непрофессионалы), либо оценивать на уровне функционала задачи без участия человека (корреляция между численным значением интерпретируемости и других важных параметров).

Интерпретация обладает свойствами:
выразительность, прозрачность (черный ящик), переносимость (специфика метода), вычислительная сложность.

Характеристика хороших предсказаний: контрастность (каким было бы предсказание, если бы входные данные были другими), короткость (никто не ожидает полный список объяснений, достаточно 1-3 причин), социальный характер (группа людей для которых делается предсказание), аномальные или вероятные объяснения.

@gradientdip

Более подробные разборы конкретных кейсов, алгоритмов и статей по теме можно найти в книге (советую к прочтению):

Molnar, C. (2022). Interpretable Machine Learning

Kandinsky2.0

Теперь можно попробовать в HF Spaces.
Один запрос - 4 фотки. Бегом пробовать -> тык

@gradientdip

10 месяцев

Именно столько мы шли к цифре в 2к подписчиков. Чудесный день, не иначе. Спасибо всем тем кто помогал нам репостами.

Пройдя рубеж в 1к, мы обещали "радовать постами", что же, самое время собрать обратную связь.

Расскажите, что нравится или не нравится в нашем контенте, что стояло бы улучшить.

Вы также можете задавать свои вопросы к нам в комментариях, мы постараемся ответить.

Нашел прикольную штуку для создания дата-пайплайнов прямо из интерфейса JupyterLab - Elyra.

Причем интересно, что собирать их можно не только из готового кода, но еще и из самих ноутбуков, а также каких-то базовых действий над элементами (скачать, сгруппировать, разделить, соединить файлы и тому подобное).
А еще можно пробросить выполнение пайплайна в оркестраторы вроде Airflow или даже (прости, господи) Kubeflow.

Кажется перспективной штукой, буду подробнее изучать.

В статье ниже можно посмотреть как это выглядит в интерфейсе.

🔗Ссылка

#инструменты