Я так и не дописал статьи для графовой аспы, но не работать уже невыносимо. Хочется снова заниматься зрением, а именно лицевыми ганами.

Очень много думал, хочу ли я в лабу. Раскопал, что в науке меня привлекает не возможность открывать что-то новое, не публикации и не хирш. На самом деле мне просто хочется делать крутую задачу. Просто в нашей технически ёмкой области так совпало, что команды, делающие крутые задачи – публикуются. Пересечение с ноукой у меня здесь.

Много думал об эмиграции. Тома сейчас не готова уезжать, а уезжать без Томы есть смысл только ради какой-то уникальной возможности. Найти работу можно везде и всегда, но вот податься на рисёч стажировки/AI residency я могу только находясь в аспе. Такая стажировка позволила бы написать еще один нормальный пейпер по зрению, укрепить меня как CV рисёчера. Но похоже я уже опоздал и этот путь закрыт: FAIR мне написал, что после летней стажировки я должен вернуться в академию, а я к тому времени уже её закончу. Видимо это какое-то общее правило для стажировок, основанное на эмиграционной политике стран. Например, в Америку на стажировки ездят по студенческой визе J1. Её сделать проще, чем H1B/L1/O1, но надо быть студентом) Похоже, я уже стар для этого дерьма и можно уже никуда не спешить.

Так что пока остаюсь в России! В России среди всех задач самым интересным проектом мне показалась генерация лица голосового ассистента в SberDevices. Генерировать реалистичное видео говорящего человека, имея только текст – это сложная, нерешённая задача. Непонятно, как рендерить: в 2d, в 3d? сетками или игровым движком + рефайн? Непонятно, откуда брать информацию о движении, если на вход поступает только текст/голос: нужно ведь ещё реалистично двигаться, показывать эмоции и т.д. В целом про всё это я видел пейперы, но что из этого реально подойдёт?

Круто, что здесь есть команда (в т.ч. продуктовая!) и вера в проект. Круто, что не придется разрабатывать в стол: технология необходима для ассистента и есть внешние заказчики. В общем, выхожу уже завтра, буду лидом мл команды =) Надеюсь, получится реально хорошее решение сделать.

Друзья, я разведал что там в сбере и это реально сильный проект.
Мы делаем собственную платформу для генерации новостных/образовательных видеороликов из текста. Это значит, что нужно рендерить реалистичные говорящие головы в большом разрешении и реалистично ими управлять. Есть много ресурсов, сильная продуктовая команда и вера в проект. А вот мл команду нужно усиливать, так что сейчас мы активно набираем.

Похожий проект – synthesia.io (у них кстати был крутой ролик про Бекхема, который с помощью липсинка начал говорить на 9 языках youtu.be/QiiSAvKJIHo). Мы на пути к тому чтобы сделать хороший липсинк и реалистичную генерацию в 4к, делаем попытки учить full-body, добавлять эмоции, жесты. Можно очень круто прокачаться в ганах, face reenactment, face swap, прочитать кучу пейперов. Может даже напишем свои, как минимум на KDD =)

Если вы (или ваши друзья) занимаетесь зрением, всё еще живете в России и хотите делать ёмкую задачу – напишите пожалуйста мне. В России не так много сильных проектов по зрению, тем более – по генерации лиц. У нас есть ресурсы, поставленная (но ещё никем в мире не решенная!) задача и продукт, которому нужны наши наработки.

Ниже – текущее качество пайплайна. Видно, что это начало пути и можно гораздо лучше сделать. Думаю, через полгода у нас будет уже совсем другой уровень генерации =)

Кому нужен этот киберпанк, когда через три дня выходит настоящий шедевр https://youtu.be/Z6xA9vXPl4c

В Алисе теперь тоже есть нейромаски! Появились они благодаря @iviazovetskyi и сделаны на основе нашей с ним и @digitman статейки на ECCV’20! Оч рад, что докатили =)
Чтобы активировать навык, нужно сказать/написать в Алисе “Измени меня”

🔥 У Алисы появился новый навык — теперь она умеет изменять внешность людей на фотографиях. Алиса может вас состарить или, наоборот, омолодить, поменять вам пол, сделать из вас героя аниме или превратить вас в эльфа, орка или вампира.

Просто запустите приложение Яндекс и скажите: «Алиса, измени меня» или «Алиса, преврати меня в эльфа» и покажите фото — такое, чтобы на нём было хорошо видно лицо.

Что я вообще делал в 2020.

В начале года поработал в калифорнийском стартапе 3 недели и после этого почти весь год сидел без работы. Получил визу в штаты, съездил в Будапешт, дописал в Яндексе первую полноценную статью по зрению, выступил на SIGBOVIK. В начале локдауна прожил два месяца в Йошкар-Оле, и вплоть до сентября писал вторую статью по графовой аспе. Переболел короной. Поработал в Avatarify, вместе со Стасом выпустили desktop версию под винду. Когда прогресс замедлился, понял, что пора пойти поработать, пошел делать говорящие головы в SberDevices.

Опыт фэйла в стартапе оказался очень травирующим, но в то же время очень полезным. За кучу времени без работы я о многом успел подумать, отдебажить. Пытался работать над собой, начинал бегать, медитировать, занимался английским, послушал тренинг по психологии, сделал 50/100 дней воркаута =) В прошлом мои цели в работе всегда были тактические – выложиться вот сейчас, в итоге я каждый раз выгорал, работал неэффективно. Да и вообще казалось что надо вот-вот добиться чего-то и тогда можно уже жить нормально. Оказывается, на опредленном этапе такой план перестает работать. Нельзя просто херачить и каждый раз выбирать то, что вызовет одобрение пацанов. Надо знать, чего хочешь, работать в режиме, поддерживать тело и мозг в достойном состоянии. Понимать, какие компетенции надо растить, и реально их растить.

План на следующий год именно такой: больше отдыхать, больше осознанности в штуках которые не получаются, не закапываться в узкие задачи. Ходить в отпуск каждые 3 месяца. Ходить в бассейн, написать третью статью для аспы, купить вэн весной, заняться настоящим рисечем в зрении.

Всех с наступающим 🎉! Желаю не выгорать, не охреневать от экзистенциального кризиса, в новом году найти себя, своё дело и правильное место, и комфортно развиваться.

у меня реджект на ICLR

Я нв самом деле в Калифорнии!

Я приехал из Америки неделю назад, но решил взять немного времени на осмысление, прежде чем написать свою Аналитику. Рассказываю на карточках.

Что произошло?

Хотел поработать в Калифорнийском Стартапе, грезил Калифорнией, вел Калифорнийский Инстаграм. А сам-то в Калифорнии не был!

Артем обратил внимание на то, что моя туристическая виза истекает, новые не выдают, а на небе только и говорят что о Калифорнии. Было принято Решение ехать.

А что там в Америке?

За две недели побывали довольно много где: Нью-Йорк -> Филадельфия -> Пуэрто-Рико (это какая-то колония короче остров) -> Орландо (это во Флориде) -> Лас-Вегас -> Лос-Анджелес -> Сан-Франциско -> Нью-Йорк.

Ел настоящую америанскую кухню, пил американо блин, смолтолкался с нэйтив спикерами и эмигрантами, спал в самолетах, поездах и в тачке, купался в море, обгорел, сходил в парк развлечений, фоткался со всем подряд. Посмотрел на Калифорнию своими глазами! И работал на удаленке еще параллельно =)

Ну и что?

Очень хотелось посмотреть самому и дополнить свою картину мира. В детстве смотришь голливудские фильмы, потом видишь как люди уезжают Туда, читаешь как Там создаются Вещи. Тем более, так сложно получить визу – значит там настолько круто что таких как я туда не пускают. Создается ощущение идеального и недостижимого. И хоть мозгом понимаешь, что картинка неадекватная, но веришь всё равно.

Америка оч похожа на Россию на самом деле, такая чисто Россия без Путина. Огромная империя, половина страны не заселена, большое расслоение, большая разница между демократами и республиканцами (а у нас – оппозиционеры и ватники). Мне показалось, что самая большая разница в том, что у местных нет ощущения забитости, вторичности. Смотришь на то, как всё чистенько на фермах, на организацию всяких там нацпарков, и кажется что разница как будто даже не в деньгах, а в отношении к тому что вокруг тебя, какая-то вера в то что это твоё, а значит надо держать это в порядке.

Города очень похожи на то, как в моем воображении должны выглядеть 80е. Лас-Вегас наверное как 60е. Видимо тогда был расцвет их цивилизации, который машины навсегда запечатлели в Матрице. И теперь каждый раз воспроизводят при перезагрузке.

Знал что еда будет невкусной, что везде гамбургеры, тяжелая жирная еда. Ну в общем-то да, я прям подорвал пищеварение, залечил только уже на Брайтон-Бич, бахнув борща.

Очень боялся за язык. Раньше я почти никогда не общался с нейтивами, и у меня было ощущение, что я знаю какой-то ненастоящий английский. Что настоящие нейтивы будут говорить на неразборчивом и переспрашивать то что я им отвечаю. На уроках английского пугают: “ууу, а вот в Америке даже северяне не понимают что говорят южане, а есть рэднеки которые вообще хер поймешь”. Оказывается, большинство людей нормально понятно разговаривает) Бомжи непонятно разговаривают иногда, но особо и не надо. Формулировать мысли быстро на английском у меня не получается, но мне их и на русском формулировать сложно есчестно

Калифорнийская ли Калифорния?

Не-а.

1/ Бесконечные таунхаусы, города, перетекающие друг в друга. Я не очень понимаю такие пространства, не понимаю, как этим пользоваться, не могу прочувствовать. Осознание не умеет мчаться как электричка, тем более как тачка. Не знаю как объяснить, но осталось ощущение, что я не прочувстовал суть городов здесь. Похожее ощущение было в Дубай: город для тачек, где игроделы прорисовали только несколько зданий, а в остальные зайти нельзя – двери не открываются.

2/ Калифорния – самый закрытый на карантин штат из всех, где мы были. Хотя казалось бы непонятно как при такой плотности населения они вообще могут заражаться. Я укрепился в мысли, что в целом ковид – это лучшая находка для армии чиновников, которые хотят принимать Меры. Например, почему бы не сделать проезд в нацпарки по записи, ведь в лесу людей обычно столько, что невозможно соблюдать дистанцию в 6 футов.

3/ В Лос-Анджелесе реально нечего смотреть. Знак Голливуд, аллея со звездами, виды как в гта, ну и всё. Но честно говоря в Сан-Франциско тоже не то чтобы было что посмотреть. Ну, мост)

4/ Не нашли приличную еду, нашли более-менее приличный кофе, даже авокадо по пути не получилось зацепить. Надо наверное было целенаправленно знать места, но так я и в Москве могу. Я представлял какой-то SOTA сервис, какие-то угарные штуки, до которых мы тут в России еще не доросли. Ну типа йога на каждом углу, авокадо боул, реклама про коучей по кето-диете я не знаю) Даже вот смотришь – билборд про психологические темы. Думаешь – ну наверное это про подбор психолога, а что довольно калифорнийская тема. Присматриваешься – а это про гадание по руке

5/ То есть литерали деревня, посередине стоит Apple Park, но зайти туда нельзя и сверху посмотреть неоткуда. Приезжаешь в Visitor Center, тебе говорят – вот смотри у нас тут обычный эплстор, можешь посмотреть. Но только снаружи, потому что корона)))

6/ Видимо, Калифорния – это прежде всего люди. Невероятный нетворк, где ты выходишь на правильных людей, которые помогают твоему бизнесу. Эта область для меня так и осталась покрыта туманом войны, потому что корона и потому что я не предприниматель. Буду еще разбираться.

7/ Как пространство мне Нью-Йорк понравился гораздо больше. Это понятный нормальный город, где есть общественный транспорт, где алкаши и голые гитаристы тусят на Таймс-сквер и чувствуется жизнь. Всё плотно расположено и можно ходить пешком. Но Нью-Йорк кажется устаревшим по сравнению с той же Москвой. Ну и он даже не в Калифорнии, так что тем более не считается

Мысли о России

* В Москве реально есть всё, это оч крутой город для жизни и для работы

* Даже непонятно как будто, почему тогда все Айфоны придумывают Там, а не у нас

* Но на самом деле понятно, почему.

* И в общем-то это немного грустно. Россия начинала очень бодро развиваться после развала совка, но после 2014 мы – это такой медвежий угол, про который никто особо и не знает. А ведь у нас огромный потенциал. В Москве можно заказать что угодно 24/7, вкусная еда, офигенный кофе, кальяны, куча специалистов, дешевая рабочая сила. В стране очень крутая природа, есть классные необычные города, можно было бы развить очень сильный туризм. Но душат(

* В России никто из больших контор не умеет делать продукты на внешний рынок. У стартапов работает такая схема – руководство сидит в долине, а разработка ведется в России. В целом, это кажется мне очень патриотичным, и возможно самым важным делом сейчас: связывать долину, её нетворк и деньги, с разрабами из России. Наверное, это то, чем я хотел бы заниматься. Не знаю пока правда в какой роли.

* Хочу ли я уехать туда? Нууууу сложно сказать. Больше никакого пиетета, никаких ожиданий, никакой зависти. Если будет рационально туда ехать (напрмер, закончится интересная работа в России) – то ок, поеду с кайфом. Какая по-большому счету разница, где сидеть за компом.

Написал утилиту для раскидывания gpu-heavy задачек равномерно по видюхам: GPUParallel

Эта штука создает воркеры по числу видеокарт, в каждом из них инициализирует нужные сетки, а потом раскидывает по воркерам задачки до тех пор, пока они не кончатся.

Зачем?
Вот например есть массив картинок, его надо прогнать через говнокод из сеток на серваке из 16 видюх. Раньше я бы побил датасет на 16 чанков и запустил 16 процессов с CUDA_VISIBLE_DEVICES={idx}. А теперь можно просто закинуть список из имен файлов в приблуду и она будет освободившимся воркерам новые задачки закидывать. Красота ведь!

Или вот другой случай. Нужно прогнать dlib на датасете, но если его объявить до создания воркеров, то память будет течь. Выходит, нужно каждый раз создавать детектор в каждой задаче заново, а ведь это огромный оверхед! Правильно было бы создавать детектор один раз при ините воркера, а не в таске, но тот же joblib такой возможности не дает (а моя штука именно так и делает если что!)

Поставьте звезд, если не жалко!
🌐 https://github.com/vlivashkin/gpu_parallel

Интересно было бы на видео посмотреть, в частности — на соотношение сторон =)