Немцы заявляют, что строят европейский аналог OpenAI

Немецкий стартап Aleph Alpha, который базируется в Хайдельберге (городе, где я писал диссер), на днях поднял $27M в раунде A. Задачу, они себе ставят амбициозную (даже слишком) - они хотят создать очередной прорыв в AI, что-то похожее на OpenAI GPT-3.

Фирма работает с 2019 года, и странно, что я узнал о ней только сейчас. Прошерстил их сайт, посмотрел, кто у них работает. Так вот, я не увидел ни одного серьёзного имени или человека с какими-то крупными научными достижениями. Раздосадовался. Из тех, кто разбирается в ML, у них есть 3 недавних PhD студента и Connor Leahy, который известен тем, что соосновал EleutherAI. EleutherAI - это некоммерческая организация, которая изначально создавалась для воспроизведения результатов GPT-3 с открытым исходным кодом. Возможно вся ставка у них на Коннора, но, будем откровенны, Коннор ничего прорывного не сделал, он не имеет научных публикаций, а в в EleutherAI они с командой просто воспроизводят статьи от OpenAI. Когда основывали OpenAI, было сразу понятно, что команда там звездная собралась, и они уж точно сварят нечто крутое.

Впечатление у меня сложилось спорное. У Aleph Alpha есть партнерства с немецкими госорганизациями. Пиарятся они в стиле "мы — последний шанс Европы занять свою нишу в области AI", "мы будем базироваться сугубо в Европе и продвигать европейские ценности и этические стандарты". Также обещают быть более открытыми чем OpenAI (кек) и комитить в open-source. Хотя, возможно, они просто будут пилить какую-то большую платформу с AI решениями и сидеть на господрядах. Этакий консалтинг с выездом к заказчику в сфере AI, у них на сайте уже даже висит ваканисия под это дело - AI Delivery & Consulting. Слегка попахивет мутными делишками Palantir-а.

Я не эксперт в области стартапов, но, кажется, Европа очень изголодалась по инновациям. Хотят угнаться за США и Китаем. Поэтому и раздают бабло при первом удобном случае, особенно, если фирма обещает плотно работать с государством. А вы что думаете по этому поводу, господа хорошие?

Распознавание алфавита американского языка жестов.

StyleGAN-NADA: CLIP-Guided Domain Adaptation of Image Generators

NVIDIA показывают как конвертировать натренированный StyleGAN (к примеру, на людях), чтобы он начал генерировать картинки из нового домена. Если в двух словах, то на вход мы берем текстовое описание конверсии, например "человек ➜ зомби", и инициализируем два идентичных натренированных на людях генератора StyleGAN, причем один из них мы замораживаем, а другой будем тренировать. Затем мы используем общее embedding пространство CLIP для того чтобы вычислить вектор разницы delta между проекциями слов "человек" и "зомби". После этого мы конструируем лосс таким образом, что он заставляет тренируемый генератор выдавать такие картинки, что вектора разницы между ними и выдачей замороженного генератора (после проецирования в пространство CLIP) коллинеарны с delta. То есть вектор разницы между картинками произведенными двумя генераторами из одного и того же входного кода должен быть похож на вектор разницы между словами "человек" и "зомби".

Подробнее тут

Apple заявил, что теперь они будут сканировать содержимое ваших девайсов на предмет наличия материалы о сексуальном насилии над детьми. Сhild porno (CP) - Это большая и серьезная проблема, с которой важно и нужно бороться. Новые фичи вступят в силу начиная с iOS 15, iPadOS 15, watchOS 8 и macOS Monterey. Однако, с момента анонса в интернете и медиа появилось много обсуждений, и много негативных отзывов.

Почему? С одной стороны вы же не против когда антивирус сканирует файлы на вашем компьютере, либо поиск по файлам индексирует все ваши данные. Почему все так встрепенулись против действий Apple? Apple будет запускать ML модели на девайсе и детектировать CP - вроде бы ничего плохого. Вот только есть несколько скользких моментов: (1) точность алгоритмов детекции не достигает 100%; (2) при позитивном срабатывании детектора данные с вашего аппарата буду передаваться сотрудниками для дальнейшей ручной перепроверки.

Что важно: сканировать устройство — это ОК, а копировать файлы с вашего девайса и показывать третьим лицам — это нарушение приватности! Что если таким образом третье лицо прочитает некую корпоративную/личную конфиденциальную информации. Подумайте о следующей интересной аналогии: хозяин квартиры, которую вы арендуете, не может внезапно нагрянуть к вам в квартиру в любое время без уведомления. А уж тем более он не может прийти к вам с обыском или украсть ваши вещи — это будет откровенным преступлением.

Подробный анализ и критику можно почитать тут.

Есть новости и похлеще. На волне борьбы с детским порно Евросоюз планирует обязать все корпорации давать доступ ко всем чатам и переписками пользователей для парсинга, анализа и ручной проверки на предмет наличия "подозрительного контена" (что бы это не значило). Надеюсь, закон не пройдет.

https://t.iss.one/addmeto/4284

Paint Transformer: Feed Forward Neural Painting with Stroke Prediction

Ранее я писал о стайл трансфере, который вместо оптимизации пикселей, оптимизирует напрямую параметризованные мазки кисти. Вышла новая работа, которая использует архитектуру Трансформеров, чтобы предсказывать параметры мазков за один (ну, или почти один) форвад-пасс сети. На самом деле, тут трансформер сделан в стиле рекурентной сети. Делается 4 прогона исходной картинки через сеть в разных разрешения, от уменьшенной в 16 раз до исходной. При каждом следующем прогоне на вход кроме исходной картинки в большем разрешении идет и отрендереный холст с мазками, предсказанными на предыдущих прогонах. Таким образом сеть постепенно добавляет на холст новые мазки, начиная с больших (они рисуются на малом разрешении холста), и заканчивая мелкими (на холсте высокого разрешения).

Есть код на гитхабе. Я бегло просмотрел его, сеть тренируется на синтетических данных, которые генерируются на лету. Также можно поиграться с уже натренированной моделью.

Еще одна генерация к посту выше.

О, круто. Яндекс тут рассказали об их письменной службе поддержки на нейронках SupportAI. Оказывается, около 80% сообщений обрабатывает именно она: алгоритмы могут не просто отвечать на вопросы, но и автоматически корректировать стоимость поездки или отправляют сообщение водителю. Они даже рассказали, сколько сэкономили на всём этом.

Почитайте статью.

Жиза

Если вас тоже трясет от ноутбуков, то есть отличный способ получить недорогой доступ к машине с GPU. Можно подключиться к Google Colab через православный ssh.

https://t.iss.one/partially_unsupervised/112

Ещё появился новый тариф Google Colab Pro+ за $50/мес. Основная фича - это то, что теперь ноутбук будет работать даже после закрытия браузера.
Берём?

https://colab.research.google.com/signup/pricing

Новость от Boston Dynamics. Spot теперь умеет бегать по стройке, гонять SLAM и сканировать текущее состояние объекта.

В Snapchat появляются full-body маски. Это здорово, но пока это выглядит как какая-то поделка. Фон блюрится автоматически, чтобы совсем крипово не выглядело.

Протестил на себе 🤡. Ждем улучшения!

Маска