Рад поделиться с вами хорошей новостью. Наша команда (я, Степан Конев и Кирилл Бродт) заняла 3-е место на Waymo Motion Prediction Challenge 2021.

Чтобы спланировать безопасный и эффективный маршрут, автономное транспортное средство должно предвидеть будущие движения других агентов вокруг него. Прогнозирование движения - чрезвычайно сложная задача, которая в последнее время привлекла значительное внимание исследовательского сообщества. Мы предлагаем простой, но довольно мощный метод для прогнозирования сразу нескольких траекторий движения. Наш метод основан исключительно на сверточных нейронных сетях (всё очень просто), в отличие от других методов которые используют self-attention и графовые нейронные сети.

Задача на соревке была следующая: учитывая траекторию агентов за последнюю 1 секунду (с координатами на карте), мы должны были спрогнозировать позиции агентов на дороге на 8 секунд в будущее.

Наша модель принимает растровое изображение с целевым агентом (тот, для кого идет предсказание) в центре на вход и напрямую предсказывает набор возможных траекторий вместе с их уверенностью (confidence). Растровое изображение получается растеризацией сцены и истории всех агентов. См. пайплайн нашего подхода в посте ниже↓.

То есть мы решаем задачу регрессии, но так как нужно предсказать несколько возможных вариантов траектории, то лосс нужен более хитрый, чем просто MSE (Mean Squared Error): мы предсказываем распределение траекторий в виде смеси из K Гауссиан, и максимизиуем функцию правдоподобия этого распределения при условии, что GT траектория была сгенерирована этим распределением.

Несмотря на то, что предлагаемый подход прост в реализации, он показывает сравнимые результаты с SOTA методами на Waymo Open Dataset Motion Prediction Challenge (2021): наша модель занимает 1-е место по метрике minADE (minimum average displacement error) и 3-е место по метрике mAP (mean avarage precision).

Мы написали небольшую статью про нашу модель и зарелизили код!

#personal #мойпуть

Схема нашей модели. Удивительно (или нет), но одна такая простая модель может бить ансамбли более сложных архитектур.

Nvidia запартнерилась с Google Cloud для того чтобы чипировать всех через 5G объединить две хайповые технологии - AI и 5G. Насколько я понял, они хотят соединить вместе миллиарды устройств c помощью 5G, расширяя охват приложений AI на все подключенные объекты. Nvidia+ Google CLoud создадут даже целую лаюбу AI-on-5G, которая будет разрабатывать новые приложения искуственного интеллекта для работы в сети 5G.

Только не понятно, зачем им именно 5G? Сейчас, кажется, если взять миллиард датчиков, то и пропускной способности 4G хватит за глаза, чтобы генерить больше данных в секунду, чем это может обрабатывать огромный кластер. Видать, готовят инфраструктуру для будущего скайнета 🌚.

​​Параллельные книги

Если вы когда-нибудь задумывались об изучении иностранных языков, то наверняка знаете, что такое параллельные книги. Это когда оригинал и перевод выровнены между собой и можно переключаться с изучаемого языка на родной и обратно. Выбор таких книг не велик и найти чтиво по душе гораздо сложнее чем два текста по отдельности.

Я наткнулся на классный открытый проект под названием Lingtrain Alignment Studio, который позволяет создавать красивые многоязычные книги с подсветкой соответствующих предложений. Под капотом используются модели машинного обучения, а именно sentence transformers и гугловая Language-Agnostic BERT Sentence Embedding. Последняя из коробки поддерживает более сотни языков.

Выравнивание происходит на основе эмбеддингов предложений (под этим странным термином скрываются всего лишь вектора чисел), которые выдает модель, и рассчета близости между ними. Дополнительные алгоритмы обрабатывают случаи, когда одно предложение было переведено как несколько и наоборот, что является камнем преткновения для подобных проектов.

На выходе можно скачать книгу, настроить для нее стили и сохранить в pdf формате. Также есть возможность выкачать чистый параллельный корпус и дообучать на нем уже свои языковые модели. Код проекта открыт, про проект есть статья на хабре и видео о том, как им пользоваться. Наконец-то я выучу немецкий до уровня C1 (нет)!

​​Есть байка, что 99% процентов кода, который вы производите каждый день, уже кем-то написан. Так вот, Gitub в сотрудничестве с OpenAI выпустил убийцу профессии кодера — GitHub Copilot. Не зря же Microsoft купил GitHub.

Copilot использует контекст кода, над которым вы работаете, и дописывает вам целые строки или целые функции. Теперь писать тесты и изучать новые API можно без утомительного гугления. По мере того, как вы кодите, система адаптируется к вашему стилю.

Под капотом у Copilot - модель OpenAI Codex, которая обладает обширными знаниями о том, как люди используют код, и значительно более эффективен, чем GPT-3, в генерации кода. Всё это дело было обучена на открытых исходниках с GitHub. Соответственно, Copilot умеет работать со многими фреймворками и языками (Python, JavaScript, TypeScript, Ruby, Go, и т.д.). API к внутренней модели Codex ребята из OpenAI обещают зарелизить до конца лета, и можно будет строить свои приложения для работы с кодом на базе этой модели.

Я даже стал в очередь на демо-доступ к Copilot, сделать это можно на странице проекта. Интересно только, где Copilot инференс гоняет? Думаю, что пока на серваках OpenAI.

Возвращаясь к Copilot. Челик в твитторе затестил его на Pytorch-е. Запрос был написать модуль AGI (Artificial general intelligence). Так вот Копайлот выдал LSTM с одним FC-слоём сверху. Видимо, слишком много обучали на статьях Шмидхубера 🤡.

P.S. Переписал пост, сначала не к тому сообщению реплай сделал.

Наткнулся на несколько хороших ресурсов по подготовке к Machine Learning/Data Science собеседованиям, которые можно использовать как стартовую точку. Выношу вам на обозрение.

1. Сборник ссылок и ресурсов по основным темам в ML, включая ML System Design
https://github.com/khangich/machine-learning-interview
2. Еще один компактный сборник ссылок и подкастов по темам связанным с Data Science/Data Engineering.
https://github.com/andkret/Cookbook

#ликбез #interviewprep

Я тут осознал, что не все подписчики знают о существовании такого крутого сообщества как Open Data Science. Это уникальное русскоязычное Slack-сообщество людей, заинтересованных в анализе данных, машинном обучении, дип лернинге и во всем что с этим связано. Всем новичкам очень советую туда вступить. Люди там делятся свои путем становления в сфере ML, объединяются в команды для совместных проектов и т.д. Там можно спросить любые вопросы (и на многие уже есть ответ) о том как начать изучать и как вкатиться поглубже в ML. Ребята там очень отзывчивые. Чтобы вступить туда — нужно указать реферала, можете указать меня @asanakoy.

Немного красоты вам на ночь! VQGAN + CLIP по запросу "matte painting of the shire at dusk;trending on artstation; hyper realistic, ray tracing, fine detail, ultra settings" + 3D photo inpainting. Да — это такой длинный текстовый запрос, который подавался на вход сетке CLIP. Поразительно, но добавление в текстовую строку таких ключевых слов как "hyper realistic, ray tracing, fine detail, ultra settings" улучшает качество генерируемой картинки 🤡.

Есть бот в дискорде, где можно сгенерировать свои картинки по любому запросу.

UPD. Бот в дискорде сейчас погибнет от нагрузки. Плиз используйте лучше колаб ноутбук.

Голосование за сгенеренные картинки в посте выше ↑.

Ушлые типы используют AI, чтобы находить новые музыкальные таланты

Интернет и социальные сети позволили музыкальным талантам проявиться таким образом, что раньше было невозможно — любой мамкин репер может загрузить трек на YouTube, SoundCloud или TikTok и начать собирать аудиторию. Для крупных звукозаписывающих компаний и скаутских агентств, которым необходимо выявлять тенденции и следующих звезд, этот поток контента трудно анализировать вручную. В последнее время для составления таких рекомендаций и выявления потенциальных талантов стали использоваться алгоритмы на базе искусственного интеллекта. Некоторые алгоритмы сосредотачиваются на самой музыке, анализируя саундтрек, чтобы увидеть, насколько хорошо он соответствует определенным жанрам, и прогнозируя, насколько он может быть популярен среди определенных групп аудитории. Другие алгоритмы фокусируются на контексте — сколько прослушиваний у трека на стриминговой платформе, насколько популярен профиль исполнителя в социальных сетях и т.д.

Применение аналитики для выбора талантов не ново, применение в спорте, например, было показано в фильме "Человек, который изменил всё". Однако, не все уверены, что принятие аналогичных решений на основе аналитики может оказать устойчивое влияние на музыку. Правила в спорте меняются редко, а тренды и направления в музыке и поп-культуре более динамичны и непредсказуемы.

В общем-то сейчас AI находится на стадии зародыша, и он может предсказывать только то, чему его научили. И понятно, что какой-нибудь новый, ранее неизвестный жанр музыки может быть воспринят неадекватно такой системой. Хотя в случае нового жанра, AI может попытаться сказать, что это что-то новенькое, непохожее на все известное, что тоже может являться полезным сигналом для музыкальных лейблов.

Вот это крутая вещь (пост снизу)! Представьте дальнейшее развитие этой технологии. Анализ ваших болячек с помощью AI и вывод всех неполадок на телефон, по аналогии с приборной панелью автомобиля, где горят лампочки, если что-то неисправно.

Сейчас подкину вам немного мяса. Боюсь, что поймут только те, кто владеет терминологией и немного знаком с Трансформерами (нет, не роботами).