Компьютерное зрение и генерация изображений — важные инструменты в арсенале дата-сантистов, которые способствуют более глубокому анализу данных и созданию инновационных решений.

На AiConf будет отдельная секция, посвященная этой теме. В этом посте рассказываем про следующие доклады и мастер-класс из секции «Компьютерное зрение и генерация изображений»

1) 3D pose estimation объектов фиксированной геометрии для складских роботов. Aлександр Тимофеев-Каракозов (Яндекс)

Александр расскажет про end-2-end-пайплайн обучения и работы складских роботов Яндекса от 3D-локализации коробок с товарами для складской робототехники через keypoints estimation и instance segmentation к финальному решению, базирующемуся на active learning в среде активно меняющихся доменов.

2) Мягкая модерация изображений: скрыть нельзя блокировать. Юрий Батраков (Авито)

Модерация UGC-контента — огромная головная боль для бизнеса и огромный простор для ML-решений. Постоянное желание пользователей обойти автоматические проверки, и высокая нагрузка рождают элегантные инженерные системы, о которых вы узнаете из доклада Юрия.

3) Побеждают ли диффузионные модели генеративные состязательные сети в задаче повышения разрешения? Денис Кузнеделев (Яндекс)

Доклад посвящён построению ряда экспериментов по сравнению диффузионных и GAN-подходов в задаче повышения разрешения при одинаковых условиях в смысле обучения/тестирования моделей. Авторы ставят эксперименты, фиксируя данные, размеры моделей, что позволяет проводить корректное сопоставление.

4) Мастер-класс «Получение высококачественных данных для обучения ИИ-моделей». Олег Секачев (Яндекс)

Если вам предстоит собирать много данных с помощью людей, а раньше вы такую разметку не организовывали, то воркшоп строго рекомендован к посещению. Там вы узнаете, как разметчики косячат, как они жульничают и что со всем этим делать вам как заказчику разметки.


Присоединяйтесь к нам 26 и 27 сентября на AiConf 🙌

✅ Посмотреть программу конференции и купить билет можно на сайте

Ozon едет на AiConf

В новом выпуске «Рандомных дров» обсудили доклады и сделали такие спойлеры, что теперь их ещё больше хочется послушать.

⭐️ Иван Антипов пояснил за трёхэтапный пайплайн матчинга, при котором находятся не пары, а целые группы товаров. Этого удалось добиться за счёт внедрения подхода кластеризации на графах. Такой алгоритм может быть полезен не только в матчинге, но и, например, в задачах антифрода.

⭐️ Алексей Гурьянов рассказал, как команда перешла на нейросетевые модели в рантайме сервисов товарных рекомендаций и добавила туда тяжёлые трансформенные сетки.

⭐️ Также Лёша поделился идеей, как среди миллионов товаров уложиться в ограничения рантайма при подборе кандидатов.

Про трансформеры, графы, кластеризацию и рекомендации за миллисекунды Ozon Tech like — слушайте на удобной платформе:

Яндекс Музыка
Apple Podcasts
Castbox
Mave

#ozontech_podcast #ML

Понимание обработки естественного языка становится все более важным для дата-сантистов, особенно с учетом растущего объема текстовых данных и потребности в их анализе. Будем погружаться в тему на докладах из секции «Обработка естественного языка». Ловите вторую часть, первая здесь

1) От промпта к агентной системе: как превратить LLM в высококачественный сервис. Никита Венедиктов (Raft)

Агентные LLM-фреймворки выглядят сейчас тем инструментом, который способен продвинуть генеративные сценарии до нужных SLI в проде. В отечественном сегменте подтверждений этому пока не так много. Тем ценнее реальный кейс на примере задачи анализа Q&A в СМБ. Результаты подтверждены метриками.

2) Визуальные языковые модели: от разбора архитектуры до запуска. Эмиль Шакиров (SberDevices)

LLM обрастает разными модальностями, одной из которых является зрение. Эмиль расскажет об архитектурах визуальных LLM, о том, какие вызовы стоят перед инженерами в создании мультимодальных архитектур. Будет интересно!

3) Генеративные модели для работы с кодом. Как мы из 0 сделали 1. Евгений Колесников (Yandex Infrastructure)

Доклад посвящен подходам к обучению больших языковых моделей для работы с кодом, а также сбору данных, анализу результатов и оценке качества генерируемых подсказок для inline code completion.


Встречаемся 26 и 27 сентября на AiConf — независимой крупнейшей офлайн-конференции по Data Science, присоединяйтесь 🙌

✅ Программа конференции, расписание и билеты на сайте

Стать более ценными дата-сантистами на рынке труда и прокачаться в решении реальных задач бизнеса поможет погружение в тему рекомендательных систем и поиска 😎. И у вас будет такая возможность на докладах секции «Рекомендательные системы и поиск».

Знакомим вас со второй частью докладов секции, первая здесь

1) Нейросети в рекомендациях: от идеи до продакшна. Любовь Куприянова (Ozon)

Любовь расскажет о том, как интегрировать нейросетевые подходы в рекомендательные пайплайны, с какими проблемами можно столкнуться и как их избежать. Данный доклад, основанный на реальном опыте — это гайд для тех, кто хочет использовать нейронные сети для задач рекомендаций.

2) Less is more: как уменьшить отправку пушей и вырастить DAU. Дарья Никанорова (VK, Одноклассники)

В своем докладе Дарья делится трудностями работы с рассылками, про сложность оценки изменений и тем, как перейти от наивного подхода к более продвинутому. Даша расскажет про то, как получилось преодолеть эти челленджи в Одноклассниках и улучшить бизнес-метрики.

3) ML на графах в e-commerce: как эффективно собирать группы на миллионах товаров. Иван Антипов (Ozon)

Community Detection — нечастый гость в бизнес-задачах. Однако в Ozon он улучшил качество склейки похожих товаров, да еще и вычисляется распределенно на графе из многих миллионов вершин. Доклад будет интересен тем, кто устал от засилья нейросетей и ностальгирует по старым добрым графовым алгоритмам.


Встречаемся уже совсем скоро на AiConf, у вас ещё есть возможность к нам присоединиться в Москве или онлайн по всему миру 🙌

✅ Программа конференции, расписание и билеты на сайте

Развитие нейросетей способствует шквальному развитию инструментов для них и даже появлению новых языков программирования.

Давайте посмотрим, чем Mojo отличается от Python, какие у них преимущества и недостатки. И сделаем всё это с помощью экспериментов на основе стандартных наборов данных: MNIST и Housing Prices Dataset. Обучим простую сверточную нейронную сеть, а заодно разберём один из методов машинного обучения — линейную регрессию.

✅ Подробности в статье: https://habr.com/ru/companies/oleg-bunin/articles/843044/

Оптимизация использования железа — важная задача для data-science инфраструктуры, которая позволяет:

- снизить расходы на оборудование и его обслуживание;
- увеличить производительность;
- снизить потребление энергии;
- увеличить скорость разработки;
- улучшить масштабируемость;
- укрепить устойчивость к сбоям.

В программе AiConf вас ждут два классных доклада с реализованными задачами ⤵️

1) Устройство и перспективы использования ML-компиляторов. Виталий Шутов (VK, ВКонтакте)

Доклад Виталия охватывает эволюцию компиляторов машинного обучения от Theano до современных решений. Рассматриваются ключевые технологии: MLIR, XLA и IREE. Подробно обсудим, как MLIR улучшает гибкость и совместимость, позволяя переиспользовать оптимизации, и как XLA ускоряет вычисления и повышает производительность моделей, учитывая гетерогенную природу вычислений. Рассмотрим конкретные примеры оптимизаций, а также перспективы и текущие исследования в области ML-компиляторов.

2) Что такое ML-платформа на базе K8s? и как в ней решены разнородные требования к квотированию и шедулингу. Тимофей Разумов (Т-Банк)

ML-платформа все чаще становится обязательной частью инфраструктуры для крупных big-tech-компаний. Тимофей расскажет, какие фреймворки помогают оркестрации и квотированию железа под обучение и инференс и почему из коробки оно не всегда оптимально.


До встречи 26 и 27 сентября в Москве на AiConf 🙌

✅ Программа конференции, расписание и билеты на сайте

Привет, друзья! Знакомим вас со следующей подборкой докладов AiConf, в которых эксперты поделятся актуальными темами в области Data Science и AutoML.

Узнайте о проблемах feature engineering и решениях Upgini, создании AutoML-сервисов, важности качественной разметки данных для мультимодальных моделей и о том, как LLM трансформируют поисковые алгоритмы.

1) AutoFE-сапёр: укрощаем взрыв размерности в автоматической генерации признаков. Валерия Дымбицкая (Upgini)

Есть проблемы модные, а есть постоянные. Генерация и отбор признаков на табличных данных — одна из последних. Приходите узнать, как при помощи ML и эвристик можно сократить количество потенциальных фич еще до их расчета.

2) Как AutoML- и AutoDL-сервисы улучшают реальную разработку. Евгений Смирнов (Альфа-Банк)

AutoML, как мёд у Винни-Пуха, теоретически вроде есть, а на практике обычно нет. Евгений расскажет, как удалось добиться практической применимости AutoML-инструментов в Альфа-Банке.

3) Разметка датасетов в эпоху мультимодальности: проблемы, вызовы, решения. Дмитрий Антипов (Сбер / абт)

Дмитрий проведет слушателей через систему подготовки размеченных мультимодальных данных. От парсинга интернета через кейсы мультимодальной разметки; через использование вспомогательных моделей, в том числе LLM; через бизнес-процессы и контроль качества разметки к финальным метрикам моделей.

4) Где и как использовать LLM в задачах поиска. Валерия Гурьянова (SberDevices)

Казалось бы, что может быть более проработано и изучено, чем задача поиска? Но вот появились LLM, и пришло время освежать свои знания в этой области. Доклад от Валерии покажет, как большие модели улучшают классические области поиска — разметку, ранжирование, индексы и семантический поиск.

До скорой встречи на AiConf — прикладной конференции по Data Science 🙌

✅ Программа конференции, расписание и билеты на сайте

В этом видео Роман Поборчий (self-employed), руководитель программного комитета AiConf, поделился почему он участвует в организации конференции.

Роман работал в разработке в Intel, в поиске Яндекса, в маркетинге JetBrains, занимался аналитикой пользовательского поведения и метриками качества ВКонтакте. Сейчас основная деятельность — помогать докладчикам конференций выступать интересно и полезно.

Встречаемся 26 и 27 сентября в Москве на AiConf, у вас ещё есть возможность к нам присоединиться 🖐️

✅ Посмотреть программу конференции и купить билет можно на сайте

Какие возможности есть у LLM-архитектур в аудиодомене? Что за «зверь» такой «Писец» и как он создавался?

Об этом два доклада из секции «Работа со звуком» в программе AiConf:


1) LLM говорит: мультимодальные задачи в речевом домене. Борис Жестков (SberDevices)

Современные LLM умеют отвечать текстом, визуальные LLM умеют понимать и рисовать картинки, а как заставить LLM говорить и слышать? Борис расскажет о возможностях LLM в домене аудио — распознавание, генерация речи, клонирование голоса, инструктивная генерация голоса.

2) Как «Писец» на «Тотальный диктант» ходил, или Пара слов о робастном распознавании речи. Иван Бондаренко (НГУ)

Иван коснётся современных методов распознавания речи (для русского языка в том числе) и сделает это на симпатичном практическом примере. Как современная модель сравнится с людьми в тотальном диктанте?

До конференции осталась неделя, но ещё можете к нам присоединиться 🙌

✅ Программа AiConf , расписание и билеты на сайте

Сегодня рассказываем о двух докладах из секции «Умные механизмы», которые вдохновляют переосмыслить привычные процессы производства и разметки данных, делая их более точными, быстрыми и экономичными.


1) Система управления процессом окомкования железорудных окатышей. Андрей Голов (Северсталь Диджитал)

Чугун, бентонит, шихта, окатыш… Все мы наслышаны об успехах ML в финансах, маркетинге и e-com. Но тяжелая промышленность — это другая вселенная. Андрей расскажет, как в условиях сурового производства умные алгоритмы работают в тандеме с технологами и операторами, повышая производительность линии окомкования «Карельского окатыш» на 11% с сохранением качества продукции. Доклад окунает в нюансы реальных физических процессов. А еще знакомит с парой новых слов 😎


2) Разметка будущего: как GPT помогает обучать модели? Герман Ганус (Яндекс Крауд)

Герман предлагает взглянуть на будущее разметки данных с помощью GPT. Он расскажет о том, как крупные языковые модели преобразуют подходы к разметке данных, делая их более эффективными и менее затратными. Будут представлены различные стратегии, описывая их преимущества и ограничения, а также продемонстрировано, как искусственный интеллект может решать сложные задачи в таких областях, как оптическое распознавание символов (OCR), компьютерное зрение (CV) и автоматическое распознавание речи (ASR).

🖐️ До скорой встречи на AiConf — прикладной конференции по Data Science.

✅ Присоединиться к нам ещё можно, билеты на сайте