⚡️ Meta AI только что зарелизила модель LLaMa 2, которая теперь еще и доступна для коммерческого использования!

Первая модель LLaMa и так навела много шума (я писал о ней тут) и за несколько месяцев стала go-to языковой моделью в коммьюнити, а теперь на ее основе еще и можно будет создавать продукты!

https://ai.meta.com/llama/

🎉 На прошлой неделе мы наконец зарелизили проект, над которым я работал полгода!

Мы задизайнили модель для трекинга любого пикселя на видео.

Cайт проекта ➡️ co-tracker.github.io
Код ➡️ github.com/facebookresearch/co-tracker

Модель трекает одновременно от одного до нескольких тысяч пикселей даже через окклюжены (когда пиксель не виден из-за перекрытия другим объектом или выхода за границы) и работает сильно лучше, чем бейзлайн методы.

Мы собирались релизить метод в июне, но за неделю до этого дипмайнд зарелизил свой похожий метод для трекинга с результатами чуть лучше наших 🤯

Мне пришлось потратить несколько недель, чтобы улучшить алгоритм и частично переписать статью перед релизом, но похоже, что оно того стоило!

У нас получилось попасть в топ “trending research” на
https://paperswithcode.com

Чтобы там оставаться, нужно постоянно получать звезды на гитхабе. Так что буду благодарен звезде ⭐, это мне очень поможет! Звезду можно поставить здесь.

Записали с подругой видео-тур по офису мечты Меты + про мою работу там!

https://t.iss.one/alexsandraorlova/1697

На прошлой неделе мы зарелизили мою последнюю статью на PhD - CoTracker3, следующую версию модели для трекинга точек на видео CoTracker (не спрашивайте где CoTracker2 - мы сами не поняли).

TLDR такой: мы сильно упростили архитектуру модели и дообучили ее на реальных видео с помощью псевдо-лейблинга другими моделями (прошлая модель обучена только на синтетических данных). У нас получилось обойти конкурирующую модель от DeepMind с X1000 раз меньше реальных видео, чему мой научрук был очень рад.

Нас даже успели потроллить по поводу того, что мы сами не знаем, кому и зачем эта модель нужна. Изначально это было слабо понятно, сейчас чуть лучше - трекинг точек оказался полезным для обучения роботов с помощью imitation learning. Тут, тут и тут используют нашу первую модель как раз для этого. Еще одно неожиданное применение - контролируемая видео генерация: раз, два, три.

https://www.linkedin.com/feed/update/urn:li:activity:7252361677868826624/?actorCompanyId=35482514

Также неделю назад был мой последний день в Мета (я ушел спустя 2 года и 9 месяцев, хотя контракт у меня был на 4 года). Я недавно рассказывал об этой PhD программе в нашем стриме с Артемом и Настей.

Я ушел, потому что давно хотел стартануть компанию, а тут появилась хорошая возможность и мы с кофаундером Юрой решили как можно быстрее доделать нашу статью в Мете и уйти в свободное плаванье.

С PhD я буду выпускаться в следующем году, а пока мы с Юрой пару месяцев поиграем в доту порефлексируем и будем готовиться к нашей январской поездке в Сан Франциско (мы прошли в топовый акселератор, расскажу об этом подробнее, как только до нас дойдет барсетка с кэшем).

Сейчас Мета активно набирает на PhD программу, которую я заканчиваю.
В недавнем стриме мы обсуждали как на нее попасть, а также ее плюсы и минусы. Вот выжимка того, что мы обсудили на этот счет:

Как попасть на PhD в Meta?
- Статьи. Большим плюсом будет наличие статей на топ конфах (NeurIPS, CVPR, ICLR,...), но у меня их на момент подачи не было. С каждым годом усиливается ощущение, что без статей теперь уж совсем никак не попасть на хорошее PhD, и так уже лет 8, а людей без статей все равно берут.

- Нетворкинг. Если подаваться без статей, стоит писать конкретному человеку, с которым хотите работать, как сделал я. Я познакомился со своим будущим менеджером на конференции, где она выступала, и спросил ее про стажировки и PhD. Затем я написал ей письмо, и это сработало - меня позвали на собесы. Многие из PhD студентов в Meta прошли туда благодаря нетворкингу, в том числе парижские студенты Яна Лекана (не ЛекУна!), которых ему порекомендовали их преподаватели во время учебы.

- Open source проекты. При подаче без статей крайне желательно иметь свои опенсорсные проекты или контрибьютить куда-то. Хоть у меня и не было статей, в свое время я реализовал и выложил на гитхаб сетку для классификации пойнт клаудов, а также написал туториал по ее имплементации на медуме. Проект тогда собрал 200 звезд на гитхабе. Не знаю, как это повлияло, но думаю, что такие проекты повышают шансы получить собес. Соревнования на Kaggle тоже могут быть хорошей практикой и строчкой в резюме.

В следующем посте расскажу про плюсы и минусы по сравнению с обычным PhD.

Плюсы и минусы PhD в Meta
по сравнению с "обычным" PhD (на примере Оксфорда)

Продолжение прошлого поста, где мы обсудили как попасть на эту программу.

Плюсы

- Можно работать над топовыми проектами FAIR и GenAI. Мой однокурсник из Парижа работает над DINO, собственно сам DINO — это проект PhD студентки из Парижа. Студенты Яна Лекана в Париже работают над JEPA (Жёпа?🤔). В Лондоне можно работать на Llama

- Ресурсы — в Мете за раз можно использовать 100+ GPU, тогда как в Оксфорде 16 максимум, в среднем 4. У меня все лето 24/7 использовалось около 100 GPU.

- Зарплата — в Лондоне она порядка £5к в месяц до налогов, торговаться нельзя (Мета еще платит ~£50к в год Оксфорду за саму программу). Для Лондона не очень много, но сильно больше, чем стипендия в Оксфорде (стандартно £1500 в месяц). В Париже условия лучше из-за местного законодательства — там такая же зарплата в евро, но еще ежегодный бонус порядка €20к. В Париже к тому же это считается хорошей зарплатой ML инженера

- Также есть все плюшки фултайм работы в Мете кроме акций компании (например, релокация, откуда можно вывести £15к)

Минусы

- Во время программы нельзя делать стажировки. Стажировка — это хороший способ посмотреть изнутри на другую компанию и поработать с другими людьми. При устройстве на работу после PhD проще выбрать компанию и команду при наличии разных стажировок

- Нельзя приостановить программу, чтобы заняться чем-то другим. Например, этим летом студент из моей лабы в Оксфорде поставил PhD на паузу и поехал в Y Combinator, с Метой такое бы не сработало. Этот студент в итоге вернулся заканчивать PhD в Оксфорде после YC

Другой вопрос - а нужно ли вообще идти на PhD? Это обсудим позже 🙂

Инкорпорировались в UK😎