Насколько полезным сейчас является скилл программирования на CUDA? Если я хочу производительности для своих нейронок - достаточно ли пайторча? (Вопрос от подписчика)
CUDA - это довольно редкий скилл. И если ты умеешь программировать на CUDA, то без работы точно не останешься. Мало кто из ресерчеров умеет программировать на куде. А скилл очень полезный, например для оптимизирования кернелов и ускорения нейронных сеток. В больших компаниях (типа Меты) есть отдельные команды, которы умеют делать такую магию, например команды PyTorch и AITemplate. Люди там занимаются именно низкоуровневой оптимизацией.
Например, мы придумали новую архитектуру, какие-нибудь замудренные трансформеры с нестандартными блоками, и нужно, чтобы они быстро работали. Тут в первую очередь вступают в игру те люди, которые умеют в низко-уровневую оптимизацию и переписывают некоторые операции на CUDA. А вызовы нативных функций пайторча меняются на оптимизированные куда-кернелы. Это очень ценный скилл.
Еще одно применение CUDA программирования в зрении — это когда работаешь с нейронным рендрингом. Есть методы, которые полностью написаны на куде, например Instant-NGP. Либо наша статья VisCo Grids на NeurIPS 2022, где мы просто садились и писали все кернелы на CUDA для forward и backward pass нашей модели. Иначе все слишком медленно получалось. Обычным пайторчем там нельзя было обойтись.
В ноябре я рассказывал, что разговаривал с Matthias Nießner, который искал к себе в лабу в TUM студентов, которые знают CUDA, чтобы заниматься нейронным рендерингом. То есть и во время PhD это ценнейший скилл.
Я быстренько набросал небольшую статью со ссылками на материалы, которые я использовал в прошлом году, чтобы освоить CUDA программирование за неделю. Может кому пригодиться!
#карьера
@ai_newz
CUDA - это довольно редкий скилл. И если ты умеешь программировать на CUDA, то без работы точно не останешься. Мало кто из ресерчеров умеет программировать на куде. А скилл очень полезный, например для оптимизирования кернелов и ускорения нейронных сеток. В больших компаниях (типа Меты) есть отдельные команды, которы умеют делать такую магию, например команды PyTorch и AITemplate. Люди там занимаются именно низкоуровневой оптимизацией.
Например, мы придумали новую архитектуру, какие-нибудь замудренные трансформеры с нестандартными блоками, и нужно, чтобы они быстро работали. Тут в первую очередь вступают в игру те люди, которые умеют в низко-уровневую оптимизацию и переписывают некоторые операции на CUDA. А вызовы нативных функций пайторча меняются на оптимизированные куда-кернелы. Это очень ценный скилл.
Еще одно применение CUDA программирования в зрении — это когда работаешь с нейронным рендрингом. Есть методы, которые полностью написаны на куде, например Instant-NGP. Либо наша статья VisCo Grids на NeurIPS 2022, где мы просто садились и писали все кернелы на CUDA для forward и backward pass нашей модели. Иначе все слишком медленно получалось. Обычным пайторчем там нельзя было обойтись.
В ноябре я рассказывал, что разговаривал с Matthias Nießner, который искал к себе в лабу в TUM студентов, которые знают CUDA, чтобы заниматься нейронным рендерингом. То есть и во время PhD это ценнейший скилл.
Я быстренько набросал небольшую статью со ссылками на материалы, которые я использовал в прошлом году, чтобы освоить CUDA программирование за неделю. Может кому пригодиться!
#карьера
@ai_newz
Telegraph
Kickstart in CUDA (by ai newz)
I will briefly give some links that I used to learn CUDA programming (disclaimer: I had only C and C++ background). Plus I provide a short conspect of some key definitions that are somewhat not always clear from the official the docs. List of tutorials that…
Что нужно ученому для счастья
Сегодня после обеда было паршивое настроение из-за XFN партнеров. Что я сделал? Взялсамые лютые статейки по трактовке диффузионных моделей через дифференциальные уравнения (например, [ICLR21 , NIPS22 ]) и закопался в теорию. Сразу такое приятное и теплое чувство окутало, и на душе полегчало. Так что читайте побольше статей, будьте добрее:)
#карьера
@ai_newz
Сегодня после обеда было паршивое настроение из-за XFN партнеров. Что я сделал? Взял
#карьера
@ai_newz
Об авторе
В канал пришло много новых читателей. Поэтому не лишним будет ещё раз представиться.
Меня зовут Артём. Да, это тот улыбчивый чувак на фото выше. Фото сделано в 2021, сразу после того как я защитил PhD по Компьютерному Зрению в Хайдельбергском университете, чему я, как вы видите, несказанно рад.
В свободное время от чтения эйай новостей я работаю в Meta AI на позиции Staff Research Scientist в "илитном" отделе GenAI. Написал дюжину научных статей, обучаю нейросети и иногда даже комичу прямо в прод.
Вот ещё несколько постов про меня
— Мой путь самурая в AI/ML
— Работа в Facebook Reality Labs
— Мой переход в Meta GenAI
— Откуда AI хайп и как было, когда я начинал свое PhD
— Как мы засабмитили 4 статьи на CVPR 2023.
— Видео-интервью со мной
— Как мы выкатили редактирование изображений с помощью диффузии в Instagram
Буду вас развлекать и навигировать в буре AI-хайпа, облагораживая новости щепоткой своего предвзятого мнения. Спасибо, что читаете! ❤️
@ai_newz #карьера #personal
В канал пришло много новых читателей. Поэтому не лишним будет ещё раз представиться.
Меня зовут Артём. Да, это тот улыбчивый чувак на фото выше. Фото сделано в 2021, сразу после того как я защитил PhD по Компьютерному Зрению в Хайдельбергском университете, чему я, как вы видите, несказанно рад.
В свободное время от чтения эйай новостей я работаю в Meta AI на позиции Staff Research Scientist в "илитном" отделе GenAI. Написал дюжину научных статей, обучаю нейросети и иногда даже комичу прямо в прод.
Вот ещё несколько постов про меня
— Мой путь самурая в AI/ML
— Работа в Facebook Reality Labs
— Мой переход в Meta GenAI
— Откуда AI хайп и как было, когда я начинал свое PhD
— Как мы засабмитили 4 статьи на CVPR 2023.
— Видео-интервью со мной
— Как мы выкатили редактирование изображений с помощью диффузии в Instagram
Буду вас развлекать и навигировать в буре AI-хайпа, облагораживая новости щепоткой своего предвзятого мнения. Спасибо, что читаете! ❤️
@ai_newz #карьера #personal
Эфир с Артемом из Meta AI
AgileFluent: карьера на международном рынке
Запись моего вчерашнего эфира с Дашей из AgileFluent.
Поговорили про карьеру в AI:
— про то, как я попал на PhD
— про конференции и написание статей
— про знание английского языка
— про мои стажировки в Facebook AI Research
— про собеседования в DeepMind, FAIR и Meta Reality Labs
— про то, как я готовился к собеседованиям
— и ответы на вопросы от слушателей: про то как попасть в FAANG, какие требования, нужно ли PhD в ресерче и др.
Если есть ещё какие-нибудь вопросы, то можете набросать в комментах.
#personal #карьера #interviews
@ai_newz
Поговорили про карьеру в AI:
— про то, как я попал на PhD
— про конференции и написание статей
— про знание английского языка
— про мои стажировки в Facebook AI Research
— про собеседования в DeepMind, FAIR и Meta Reality Labs
— про то, как я готовился к собеседованиям
— и ответы на вопросы от слушателей: про то как попасть в FAANG, какие требования, нужно ли PhD в ресерче и др.
Если есть ещё какие-нибудь вопросы, то можете набросать в комментах.
#personal #карьера #interviews
@ai_newz
▶️ Вышла запись видео-интервью, где я в гостях у @deep_school
О чем мы поговорили:
0:00 | Вступление
0:40 | Как Артём стал автором эйай ньюз
2:44 | О ведении канала и личном бренде на русском языке
10:45 | Куда писал Артём до эйай ньюз и как его вдохновил Яник
16:12 | Плюсы личного бренда на русском языке
17:30 | О работе Артёма в Meta
21:43 | Как устроена и работает ресерч группа в Meta
30:10 | Как разделены обязанности в команде
37:05 | Какие тренды в CV сегодня?
46:10 | Куда сейчас смотреть CV инженеру, чтобы оставаться актуальным?
Вопросы из зала:
50:55 | Нужна ли RnD команда компаниям, у которых продукты связаны с ML?
52:43 | Откуда каналы узнают об интересных статьях?
54:00 | Насколько важно ресерчеру знать низкоуровневые скиллы?
55:10 | Когда беспилотные авто выйдут на дороги и будут везде?
Посмотреть и послушать можно на Ютубе.
#personal #карьера
@ai_newz
О чем мы поговорили:
0:00 | Вступление
0:40 | Как Артём стал автором эйай ньюз
2:44 | О ведении канала и личном бренде на русском языке
10:45 | Куда писал Артём до эйай ньюз и как его вдохновил Яник
16:12 | Плюсы личного бренда на русском языке
17:30 | О работе Артёма в Meta
21:43 | Как устроена и работает ресерч группа в Meta
30:10 | Как разделены обязанности в команде
37:05 | Какие тренды в CV сегодня?
46:10 | Куда сейчас смотреть CV инженеру, чтобы оставаться актуальным?
Вопросы из зала:
50:55 | Нужна ли RnD команда компаниям, у которых продукты связаны с ML?
52:43 | Откуда каналы узнают об интересных статьях?
54:00 | Насколько важно ресерчеру знать низкоуровневые скиллы?
55:10 | Когда беспилотные авто выйдут на дороги и будут везде?
Посмотреть и послушать можно на Ютубе.
#personal #карьера
@ai_newz
YouTube
Подкаст с Артёмом Санакоевым
Коротко об Артёме:
- Senior Research Scientist в Meta, подразделение GenAI
- PhD в области Computer Vision
- автор канала эйай ньюз с 34к подписчиками
Телеграм канал Артёма: https://t.iss.one/ai_newz
Курс "Ракета в Computer Vision": https://deepschool.ru/cvrocket…
- Senior Research Scientist в Meta, подразделение GenAI
- PhD в области Computer Vision
- автор канала эйай ньюз с 34к подписчиками
Телеграм канал Артёма: https://t.iss.one/ai_newz
Курс "Ракета в Computer Vision": https://deepschool.ru/cvrocket…
Media is too big
VIEW IN TELEGRAM
CVPR день четвертый: доклады, постеры и демо 🤖
Я сегодня дежурю на стенде Meta AI, болтаю с посетителями, рассказываю про наши работы.
Тем временем коллеги из команды робототехники показывают демо с робопёсиком Спотом, которого научили навигироваться в неизвестном пространстве (то есть у него нет карты помещения) и выполнять различные команды. Например собрать мягкие игрушки в комнате и закинуть их в корзину, как показано на видео. Он сам планирует, находит предметы и переносит их. И самое крутое — это то, что он был обучен только на синтетических данных.
К пёсику прикрутили языковую модель, что позволяет командовать им на английском языке (про похожую интеграцию GPT в Спота от компании Levatas я писал раньше тут).
Некоторые подробности про то, как этого пёсика дрессировали есть в блогпосте.
Как же классно, если есть возможность посмотреть как натренированные тобой нейронки работают в физическом мире. Жаль, я не занимаюсь робототехникой.
#конфа #карьера
@ai_newz
Я сегодня дежурю на стенде Meta AI, болтаю с посетителями, рассказываю про наши работы.
Тем временем коллеги из команды робототехники показывают демо с робопёсиком Спотом, которого научили навигироваться в неизвестном пространстве (то есть у него нет карты помещения) и выполнять различные команды. Например собрать мягкие игрушки в комнате и закинуть их в корзину, как показано на видео. Он сам планирует, находит предметы и переносит их. И самое крутое — это то, что он был обучен только на синтетических данных.
К пёсику прикрутили языковую модель, что позволяет командовать им на английском языке (про похожую интеграцию GPT в Спота от компании Levatas я писал раньше тут).
Некоторые подробности про то, как этого пёсика дрессировали есть в блогпосте.
Как же классно, если есть возможность посмотреть как натренированные тобой нейронки работают в физическом мире. Жаль, я не занимаюсь робототехникой.
#конфа #карьера
@ai_newz
Нетворк, нетворкинг, нетворкович или почему вам нужно посещать конференции
Вернулся с ICCV. Еще раз осознал, что самый важный ресурс в работе - это человеческий капитал. Связи и знакомства существенно влияют на то, по какой карьерной траектории ты пойдешь, позовут ли тебя на стажировку в FAANG, предложат ли тебе участвовать в стартапе на ранней стадии и т.д. Поэтому крайне важно заводить новые знакомства (мы сейчас говорим как минимум в профессиональном контектсе), и стремиться знать как можно больше людей в своей сфере.
Конечно, глубокие знания и опыт в своей области критически важны для карьерного продвижения, но владение социальными аспектами может значительно ускорить ваш рост.
А где удобнее и проще всего знакомится с топовыми людьми из сферы AI и ML? Правильно, на конференциях. Можно поболтать с авторами лучших статей на постерах, сходить на ужин с группой новых людей, познакомиться и пообщаться с сайнтистами из топовых лаб в академии или FAANG на одной из вечеринок, организуемых компаниями. Это только несколько примеров как занетворкать на конференции. Я уже не говорю о про-левеле, когда вы сами организуете воркшоп и приглашаете докладчиков, сами даете доклад либо просто нетворкаете в тусовке эйай ньюз.
Например, приглашение на свою первую стажировку в Facebook AI Research я получил именно благодаря нетворкингу на конференции. В 2018 я выступал на European Conference on Computer Vision с пленарным докладом (фото внизу). После своей презентации я подошел познакомиться с автором заинтересовавшего меня доклада про DensePose от Facebook. Это была Наталия Неверова, которая как раз искала интернов на следующий год. Если бы я к ней не подошел, то и не получил бы приглашение пройти собеседование и не попал бы на стажировку в FAIR.
Так что, друзья, гоняйте на конференции и знакомьтесь - это очень важно!
#конфа #карьера #мойпуть #personal
@ai_newz
Вернулся с ICCV. Еще раз осознал, что самый важный ресурс в работе - это человеческий капитал. Связи и знакомства существенно влияют на то, по какой карьерной траектории ты пойдешь, позовут ли тебя на стажировку в FAANG, предложат ли тебе участвовать в стартапе на ранней стадии и т.д. Поэтому крайне важно заводить новые знакомства (мы сейчас говорим как минимум в профессиональном контектсе), и стремиться знать как можно больше людей в своей сфере.
Конечно, глубокие знания и опыт в своей области критически важны для карьерного продвижения, но владение социальными аспектами может значительно ускорить ваш рост.
А где удобнее и проще всего знакомится с топовыми людьми из сферы AI и ML? Правильно, на конференциях. Можно поболтать с авторами лучших статей на постерах, сходить на ужин с группой новых людей, познакомиться и пообщаться с сайнтистами из топовых лаб в академии или FAANG на одной из вечеринок, организуемых компаниями. Это только несколько примеров как занетворкать на конференции. Я уже не говорю о про-левеле, когда вы сами организуете воркшоп и приглашаете докладчиков, сами даете доклад либо просто нетворкаете в тусовке эйай ньюз.
Например, приглашение на свою первую стажировку в Facebook AI Research я получил именно благодаря нетворкингу на конференции. В 2018 я выступал на European Conference on Computer Vision с пленарным докладом (фото внизу). После своей презентации я подошел познакомиться с автором заинтересовавшего меня доклада про DensePose от Facebook. Это была Наталия Неверова, которая как раз искала интернов на следующий год. Если бы я к ней не подошел, то и не получил бы приглашение пройти собеседование и не попал бы на стажировку в FAIR.
Так что, друзья, гоняйте на конференции и знакомьтесь - это очень важно!
#конфа #карьера #мойпуть #personal
@ai_newz
Инженерные грейды в Big Tech (ч1)
Меня часто спрашиваю про грейды в Big Tech компаниях. В MAANG и прочих Биг-Техах существует четка иерархия инженерных уровней, которая определяет ваш карьерный рост и компенсацию. Чем выше ваш грейд, тем больший масштаб импакта от вас ожидается, и тем шире должно быть ваше влияние на коллег вокруг, то есть требуется больше лидерских качеств.
В этом посте поговорим только про инженеров (SWE) и иcследователей (RS), которые, как правило, прокачиваются по одной и той же лестнице грейдов.
Система уровней в Meta и в Google считается христоматийной - она у них почти идентичная. Ее мы и рассмотрим.
E3, Junior: Начальный уровень - это джун, которого наняли без опыта после бакалавра или магистратуры. От джуна ожидается выполнять назначенные таски без большой помощи извне и не бояться задавать вопросы, если застрял. В Мете дают 2 года, чтобы запромоутиться с E3 до E4, иначе на выход.
E4, Middle: Средний уровень, на который хайрят после 1-5 лет опыта либо свежих выпускников с PhD. Мидл берет на себя отдельные фичи в проекте (много тасок) и выполняет их с минимальным руководством извне. На этом уровне ставят жесткие рамки в 3 года, чтобы стать E5.
E5, Senior: Это независимая боевая единица в компании, эксперт в своей сфере. Синьор владеет целыми фичами или системами и успешно завершает свои проекты. Это терминальный уровень в том смысле, что на этом уровне можно оставаться до пенсии. Промоушен на E6 никто обещать не может, так как прыжок с E5 на E6 на порядок сложнее чем с E4 на E5.
Про E6+ расскажу в следующем посте.
#bigtechlevels #карьера
@ai_newz
Меня часто спрашиваю про грейды в Big Tech компаниях. В MAANG и прочих Биг-Техах существует четка иерархия инженерных уровней, которая определяет ваш карьерный рост и компенсацию. Чем выше ваш грейд, тем больший масштаб импакта от вас ожидается, и тем шире должно быть ваше влияние на коллег вокруг, то есть требуется больше лидерских качеств.
В этом посте поговорим только про инженеров (SWE) и иcследователей (RS), которые, как правило, прокачиваются по одной и той же лестнице грейдов.
Система уровней в Meta и в Google считается христоматийной - она у них почти идентичная. Ее мы и рассмотрим.
E3, Junior: Начальный уровень - это джун, которого наняли без опыта после бакалавра или магистратуры. От джуна ожидается выполнять назначенные таски без большой помощи извне и не бояться задавать вопросы, если застрял. В Мете дают 2 года, чтобы запромоутиться с E3 до E4, иначе на выход.
E4, Middle: Средний уровень, на который хайрят после 1-5 лет опыта либо свежих выпускников с PhD. Мидл берет на себя отдельные фичи в проекте (много тасок) и выполняет их с минимальным руководством извне. На этом уровне ставят жесткие рамки в 3 года, чтобы стать E5.
E5, Senior: Это независимая боевая единица в компании, эксперт в своей сфере. Синьор владеет целыми фичами или системами и успешно завершает свои проекты. Это терминальный уровень в том смысле, что на этом уровне можно оставаться до пенсии. Промоушен на E6 никто обещать не может, так как прыжок с E5 на E6 на порядок сложнее чем с E4 на E5.
Про E6+ расскажу в следующем посте.
#bigtechlevels #карьера
@ai_newz
Инженерные грейды в Big Tech (ч2)
Все инженеры глобально делятся на две категории: просто инженеры (E3-E5) и Стафф+ (E6+) инженеры. Тут под инженерами я также имею в виду и сайнтистов - их глобально не отделяют и грейды у них такие же.
Когда в компании говорят про "leadership" роли, то обычно подразумевают именно Стафф+. Количество E6+ инженеров и сайнтистов в компаниях всего примерно 10%-15% .
E6, Staff: С этого уровня начинается новая игра. Стафф обладает исключительным техническим мастерством, имплементирует самые сложные фичи, решает задачи, которые мало кто может решить. Кроме того от него ожидаются еще и серьезные коммуникативные и лидерские качества. Он сам предлагает новые проекты и лидит их, ставит цели своей команде и влияет на другие команды.
E7, Senior Staff: Тут ожидают все тоже самое, что и на E6, но с еще большим импактом и ценностью для организации. Синьор стафф драйвит идеи от появления до реализации, попутно правильно расставляя приоритеты, понимая стратегию и тренды на масштабе всей компании.
E8, Principal Engineer/RS: Ты признанный эксперт в одной или нескольких областях как внутри компании так и за ее пределами. Твои проекты и идеи имеют влияние на всю компанию, а также на людей из твоей сферы в индустрии. В случае с наукой — ты исключительный эксперт, статьи которого узнают на конференциях. Как пример — Kaiming He, автор ResNet, который был где-то на E8-E9, пока не ушел из Меты в MIT.
Сложность перехода на каждый следующий уровень после Синьора (E5) растет экспоненциально, и количество людей на каждом следующем уровне убывает тоже по экспоненте.
Начиная с E6 появляются архетипы инженеров, например "фиксер", "архитектор", "тех лид", "Coding Machine" и другие. Про это поговорим позже. Но если вам любопытно, то подробнее про E6+ можно почитать на staffeng.com, там собраны истории людей на E6+ из разных крупных компаний.
#bigtechlevels #карьера
@ai_newz
Все инженеры глобально делятся на две категории: просто инженеры (E3-E5) и Стафф+ (E6+) инженеры. Тут под инженерами я также имею в виду и сайнтистов - их глобально не отделяют и грейды у них такие же.
Когда в компании говорят про "leadership" роли, то обычно подразумевают именно Стафф+. Количество E6+ инженеров и сайнтистов в компаниях всего примерно 10%-15% .
E6, Staff: С этого уровня начинается новая игра. Стафф обладает исключительным техническим мастерством, имплементирует самые сложные фичи, решает задачи, которые мало кто может решить. Кроме того от него ожидаются еще и серьезные коммуникативные и лидерские качества. Он сам предлагает новые проекты и лидит их, ставит цели своей команде и влияет на другие команды.
E7, Senior Staff: Тут ожидают все тоже самое, что и на E6, но с еще большим импактом и ценностью для организации. Синьор стафф драйвит идеи от появления до реализации, попутно правильно расставляя приоритеты, понимая стратегию и тренды на масштабе всей компании.
E8, Principal Engineer/RS: Ты признанный эксперт в одной или нескольких областях как внутри компании так и за ее пределами. Твои проекты и идеи имеют влияние на всю компанию, а также на людей из твоей сферы в индустрии. В случае с наукой — ты исключительный эксперт, статьи которого узнают на конференциях. Как пример — Kaiming He, автор ResNet, который был где-то на E8-E9, пока не ушел из Меты в MIT.
Сложность перехода на каждый следующий уровень после Синьора (E5) растет экспоненциально, и количество людей на каждом следующем уровне убывает тоже по экспоненте.
Начиная с E6 появляются архетипы инженеров, например "фиксер", "архитектор", "тех лид", "Coding Machine" и другие. Про это поговорим позже. Но если вам любопытно, то подробнее про E6+ можно почитать на staffeng.com, там собраны истории людей на E6+ из разных крупных компаний.
#bigtechlevels #карьера
@ai_newz
Staff Research Scientist: Персональный апдейт
У меня ещё есть классная новость, которой я бы хотел с вами поделиться! В понедельник я запромоутился до E6, иными словами я теперь Staff Research Scientist в Meta GenAI.
Удалось это благодаря очень широкому импакту от проекта в Generative AI, который я сам предложил, вел и завершил в прошлом году. Проект пока не публичный, поэтому я не могу рассказать о нем детально.
До этого я был на терминальном уровне - Senior Research Scientist, на котором многие застревают навсегда. Требуются дополнительные усилия и персональные качества (я о них писал тут), чтобы выйти из этого лимба и стать Стаффом. Зато теперь у меня открылся новый ladder E6+, качать таланты в котором на порядок сложнее чем между Джуном и Синьором. Но в этом есть и челлендж и возможность дальнейшего развития!
Exciting stuff!
#карьера #мойпуть
@ai_newz
У меня ещё есть классная новость, которой я бы хотел с вами поделиться! В понедельник я запромоутился до E6, иными словами я теперь Staff Research Scientist в Meta GenAI.
Удалось это благодаря очень широкому импакту от проекта в Generative AI, который я сам предложил, вел и завершил в прошлом году. Проект пока не публичный, поэтому я не могу рассказать о нем детально.
До этого я был на терминальном уровне - Senior Research Scientist, на котором многие застревают навсегда. Требуются дополнительные усилия и персональные качества (я о них писал тут), чтобы выйти из этого лимба и стать Стаффом. Зато теперь у меня открылся новый ladder E6+, качать таланты в котором на порядок сложнее чем между Джуном и Синьором. Но в этом есть и челлендж и возможность дальнейшего развития!
Exciting stuff!
#карьера #мойпуть
@ai_newz
эйай ньюз
Photo
Кстати, нашу статью Cache Me if You Can по ускорению text2img диффузии приняли на CVPR 2024!
На прошлой неделе пришли финальные рецензии, но я забыл об этом написать. Вознаграждение за работу всегда приходит с небольшой задержкой, когда выносят решения о публикации статьи на конференции :)
Надеюсь, в этом году опять слетать на CVPR, на этот раз конфа будет в Сиэттле. Если будете там тоже — пересечёмся, обсудим папиры.
#карьера
@ai_newz
На прошлой неделе пришли финальные рецензии, но я забыл об этом написать. Вознаграждение за работу всегда приходит с небольшой задержкой, когда выносят решения о публикации статьи на конференции :)
Надеюсь, в этом году опять слетать на CVPR, на этот раз конфа будет в Сиэттле. Если будете там тоже — пересечёмся, обсудим папиры.
#карьера
@ai_newz
Немного личных баек про работу. Так как я теперь Staff Research Scientist (подробнее об этом писал тут), сегодня мне пришло приглашение пройти курсы для проведения интервью на более синьорные роли в компании.
До этого я несколько лет собеседовал челов как на AI позиции (CV, NLP), так на Software Engineer (SWE) по трем типам интервью:
— Coding
— AI Coding
— AI Research Design
Теперь буду учиться собеседовать людей на AI Research Screen интервью. Это самое первое интервью, на которое кандидат попадает (разговор с рекрутером не в счёт) и по его результатам решается, приглашать ли чела на onsite раунды или нет. Скрининг дают делать только начиная со старших уровней, обычно E6+, так как тут важно уметь опытным глазом быстро оценить потенциал кандидата и насколько он подходит на выбранную роль.
Onsite интервью — это то, что раньше было полным днём собеседований, когда кандидату оплачивали билеты на самолёт и отель, чтобы он пришел в офис компании физически и попотел у вайтборда в течение 5-6 раундов собеседований, все в течение одного дня. Сейчас к сожалению такие поездки не делают, и все финальные раунды проходят по видео.
Кроме этого, меня записали на курс Behavioral интервью, что тоже обычно проводится людьми IC6+ (про уровни писал тут), где нужно оценить софт-скилы кандидата. Это также одно из решающих интервью, где всплывают сигналы, определяющие уровень кандидата, например middle vs senior.
Ну, и для полного комплекта, я зарегался ещё на тренинг для проведения ML System Design — это более прикладная штука, когда кандидату нужно спроектировать end-2-end ML систему. У ресерчеров такого интервью не бывает, а вот для ML Engineer и Research Engineer его нужно проходить.
Планирую собрать все лычки всех типов интервью🙂 . Это очень полезно как для развития своих скилов, так и при смене работы — понимаешь всю кухню оценки кандидатов изнутри.
Если у вас есть какие-то вопросы, или если что-то ещё интересует в плане карьеры — велком в комменты.
#карьера #мойпуть
@ai_newz
До этого я несколько лет собеседовал челов как на AI позиции (CV, NLP), так на Software Engineer (SWE) по трем типам интервью:
— Coding
— AI Coding
— AI Research Design
Теперь буду учиться собеседовать людей на AI Research Screen интервью. Это самое первое интервью, на которое кандидат попадает (разговор с рекрутером не в счёт) и по его результатам решается, приглашать ли чела на onsite раунды или нет. Скрининг дают делать только начиная со старших уровней, обычно E6+, так как тут важно уметь опытным глазом быстро оценить потенциал кандидата и насколько он подходит на выбранную роль.
Onsite интервью — это то, что раньше было полным днём собеседований, когда кандидату оплачивали билеты на самолёт и отель, чтобы он пришел в офис компании физически и попотел у вайтборда в течение 5-6 раундов собеседований, все в течение одного дня. Сейчас к сожалению такие поездки не делают, и все финальные раунды проходят по видео.
Кроме этого, меня записали на курс Behavioral интервью, что тоже обычно проводится людьми IC6+ (про уровни писал тут), где нужно оценить софт-скилы кандидата. Это также одно из решающих интервью, где всплывают сигналы, определяющие уровень кандидата, например middle vs senior.
Ну, и для полного комплекта, я зарегался ещё на тренинг для проведения ML System Design — это более прикладная штука, когда кандидату нужно спроектировать end-2-end ML систему. У ресерчеров такого интервью не бывает, а вот для ML Engineer и Research Engineer его нужно проходить.
Планирую собрать все лычки всех типов интервью
Если у вас есть какие-то вопросы, или если что-то ещё интересует в плане карьеры — велком в комменты.
#карьера #мойпуть
@ai_newz
Please open Telegram to view this post
VIEW IN TELEGRAM
Еще раз обо мне
В канал пришло много новых людей, решил еще раз представиться и сделать подборку интересных постов.
Меня зовут Артём, я из Беларуси. Сейчас живу в Швейцарии и работаю в Meta GenAI на позиции Staff Research Scientist. До этого сделал PhD в университете Хайдельберга, в той самой научной группе, где придумали Stable Diffusion. За время в лабе я опубликовал кучу статей на топовых конфах. В перерывах между статьями я оттачивал свои эйай навыки на практике, упарываясь на Kaggle соревнованиях (я очень азартный тип в этом плане) – добрался до Top45 в мировом рейтинге с несколькими золотыми медалями. Больше про меня есть в этом посте и по тегам #personal и #мойпуть. [Если что, то я на фотке слева]
Подборка личных постов:
▪️Рассказ о том, как я вкатился в AI/ML
▪️Откуда AI хайп и как было, когда я начинал свое PhD
▪️Видео-интервью со мной
▪️Вот здесь делюсь личной радостью, ведь мы завезли диффузию в инсту,
▪️На основе emu, которую лично я оптимизировал, чтоб вот быстро и чётко
▪️Еще про то как мы сделали и ускорили генеративные стикеры для инсты, WhatsApp и FB Messenger.
▪️Про наш громкий релиз Imagine Flash, риалтайм генерацию картинок – проект, который я вел.
▪️Моя статья об ускорении диффузии с помощью кеширования, без потери качества конечно же.
▪️Как я приделывал ноги Аватарам в метаверсе [ч1, ч2], пока работа в Meta Reality Labs.
▪️Пост-апдейт и про, то как я недавно стал стафом в Meta GenAI (ну вы поняли).
Из еще почитать:
▪️Пост про грейды в бигтехе [ч1, ч2]. Все же в курсе, что сеньор это еще не все?:)
▪️Список книг для изучения ML в 2024.
▪️Гайд по ускорению диффузии [ч1, ч2], так сказать полевой опыт.
▪️Разбор того, как дистиллировали sd3 в 4 шага, который репостнулCEO бывший CEO Stability
▪️Список лекций и туториалов про 3D Human Understanding от топовых ученых из этой сферы.
▪️Лонгрид про парижский стартап Mistral и мое знакомство с фаундером.
▪️Пост про GR00T, модельку от nvidia, которая может стать chatgpt моментом в робототехнике.
▪️Еще вот про те самые чаевые в $200 для LMM и финальный список всех трюков, чтобы вставить в промпт по умолчанию.
Недавно запустился еженедельный #дайджест с кратким обзором новостей.
А также в ленте можно найти 1000 и 1 разбор свежих пейперов с мои авторитетным мнением, еще есть рубрика #ликбез с разбором базовых тем и #карьера с моими мыслями/байками по карьере в AI/ML.
Ну что, поздравляю всех новоприбывших! Обнял ❤️
@ai_newz
В канал пришло много новых людей, решил еще раз представиться и сделать подборку интересных постов.
Меня зовут Артём, я из Беларуси. Сейчас живу в Швейцарии и работаю в Meta GenAI на позиции Staff Research Scientist. До этого сделал PhD в университете Хайдельберга, в той самой научной группе, где придумали Stable Diffusion. За время в лабе я опубликовал кучу статей на топовых конфах. В перерывах между статьями я оттачивал свои эйай навыки на практике, упарываясь на Kaggle соревнованиях (я очень азартный тип в этом плане) – добрался до Top45 в мировом рейтинге с несколькими золотыми медалями. Больше про меня есть в этом посте и по тегам #personal и #мойпуть. [Если что, то я на фотке слева]
Подборка личных постов:
▪️Рассказ о том, как я вкатился в AI/ML
▪️Откуда AI хайп и как было, когда я начинал свое PhD
▪️Видео-интервью со мной
▪️Вот здесь делюсь личной радостью, ведь мы завезли диффузию в инсту,
▪️На основе emu, которую лично я оптимизировал, чтоб вот быстро и чётко
▪️Еще про то как мы сделали и ускорили генеративные стикеры для инсты, WhatsApp и FB Messenger.
▪️Про наш громкий релиз Imagine Flash, риалтайм генерацию картинок – проект, который я вел.
▪️Моя статья об ускорении диффузии с помощью кеширования, без потери качества конечно же.
▪️Как я приделывал ноги Аватарам в метаверсе [ч1, ч2], пока работа в Meta Reality Labs.
▪️Пост-апдейт и про, то как я недавно стал стафом в Meta GenAI (ну вы поняли).
Из еще почитать:
▪️Пост про грейды в бигтехе [ч1, ч2]. Все же в курсе, что сеньор это еще не все?:)
▪️Список книг для изучения ML в 2024.
▪️Гайд по ускорению диффузии [ч1, ч2], так сказать полевой опыт.
▪️Разбор того, как дистиллировали sd3 в 4 шага, который репостнул
▪️Список лекций и туториалов про 3D Human Understanding от топовых ученых из этой сферы.
▪️Лонгрид про парижский стартап Mistral и мое знакомство с фаундером.
▪️Пост про GR00T, модельку от nvidia, которая может стать chatgpt моментом в робототехнике.
▪️Еще вот про те самые чаевые в $200 для LMM и финальный список всех трюков, чтобы вставить в промпт по умолчанию.
Недавно запустился еженедельный #дайджест с кратким обзором новостей.
А также в ленте можно найти 1000 и 1 разбор свежих пейперов с мои авторитетным мнением, еще есть рубрика #ликбез с разбором базовых тем и #карьера с моими мыслями/байками по карьере в AI/ML.
Ну что, поздравляю всех новоприбывших! Обнял ❤️
@ai_newz
Telegram
эйай ньюз
Словился со своим кентом Яном ЛеКуном на ICCV.
#personal
@ai_newz
#personal
@ai_newz
На прошлой неделе впервые слетал в Гамбург
Побывал в офисе Меты, посмотрел, как тут наш гамбургский офис. В Гамбурге сидят в основном сейлс. Тут нет технарей, инженеров. Поэтому устроиться работать туда как Research Scientist не получится, а жаль, потому что виды из окна - отличные.
Встретился с экс-CFO одного крупного немецкого банка. И заметил одну интересную вещь – люди, вне тех сектора, часто заблуждаясь, считают что проще простого нанять highly-skilled AI инженера. Он с уверенностью говорил, что банки пылесосят IT-таланты, и что там уже работают самые крутые AI спецы, потому что банки им могут хорошо платить (кек). Есть, конечно, банки-исключения, но в целом даже в Big Tech команды страдают от того, что очень тяжело даётся найм людей, тем более на высокие уровни. Людей, хорошо секущих в AI рисерче, на сегодня по моей прикидке от силы 10-20 тысяч. А в engineering допустим x2. Чем более опытного спеца ты ищешь, тем уже становится выбор. И тут одних лишь денег зачастую бывает мало, такие люди хотят еще и интересными вещами заниматься, коих в банке не всегда могут предложить. Да и в банках платят в среднем сильно меньше чем в BigTech или OpenAI, конечно если ты не CFO.
Мои впечатления о городе:
Город прикольный, что-то между Берлином с ультралевыми вайбами и Амстером, потому что в Гамбурге тоже есть квартал красных фонарей, бордели, очень много секс-театров и прочих удивительных вещей в этом духе. Есть там как трэшовенькие квартальчики, так и очень красивые. Фан факт: в Гамбурге живет самое большое количество миллионеров в Германии. Еще здесь много вкусных морепродуктов, я случайно нашел целую улицу португальских ресторанов и очень хорошо там покушал.
А есть у нас тут в канале люди из Гамбурга?
#personal #карьера
@ai_newz
Побывал в офисе Меты, посмотрел, как тут наш гамбургский офис. В Гамбурге сидят в основном сейлс. Тут нет технарей, инженеров. Поэтому устроиться работать туда как Research Scientist не получится, а жаль, потому что виды из окна - отличные.
Встретился с экс-CFO одного крупного немецкого банка. И заметил одну интересную вещь – люди, вне тех сектора, часто заблуждаясь, считают что проще простого нанять highly-skilled AI инженера. Он с уверенностью говорил, что банки пылесосят IT-таланты, и что там уже работают самые крутые AI спецы, потому что банки им могут хорошо платить (кек). Есть, конечно, банки-исключения, но в целом даже в Big Tech команды страдают от того, что очень тяжело даётся найм людей, тем более на высокие уровни. Людей, хорошо секущих в AI рисерче, на сегодня по моей прикидке от силы 10-20 тысяч. А в engineering допустим x2. Чем более опытного спеца ты ищешь, тем уже становится выбор. И тут одних лишь денег зачастую бывает мало, такие люди хотят еще и интересными вещами заниматься, коих в банке не всегда могут предложить. Да и в банках платят в среднем сильно меньше чем в BigTech или OpenAI, конечно если ты не CFO.
Мои впечатления о городе:
Город прикольный, что-то между Берлином с ультралевыми вайбами и Амстером, потому что в Гамбурге тоже есть квартал красных фонарей, бордели, очень много секс-театров и прочих удивительных вещей в этом духе. Есть там как трэшовенькие квартальчики, так и очень красивые. Фан факт: в Гамбурге живет самое большое количество миллионеров в Германии. Еще здесь много вкусных морепродуктов, я случайно нашел целую улицу португальских ресторанов и очень хорошо там покушал.
А есть у нас тут в канале люди из Гамбурга?
#personal #карьера
@ai_newz
И самая главная новость Imagine Flash – это проект который я вел, и модель, которую я лично тренировал. Мы дистиллировали и ускорили нашу text2image модель Emu, да так, что генерация работает в риалтайме пока вы печатаете промпт! Я очень горжусь тем, что мой проект, который я начал в конце прошлого года вылился в такой мощный релиз – круто видеть реальный импакт своей работы.
Модель Imagine Flash интегрирована в LLaMa. Нужно только начать печатать "Imagine ..." и моментально будет показано превью того, что вы пишете, обновляя генерацию с каждым символом.
А после отправки сообщения можно кликнуть "animate" и быстро анимировать картинку – я и моя команда, конечно, тоже ускорили эту модель для анимации. Еще можно создать видео, где показано как меняется финальный результат во время того, как вы печатали промпт.
Уже доступно в WhatsApp и meta.ai (Flash только в СШA).
Блогпост
#карьера
@ai_newz
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Лучше поздно, чем никогда 😀– наконец делюсь своими впечатлениями от поездки в Калифорнию после нашего успешного апрельского релиза Imagine Flash в Meta-ai.
Я уже писал про то, как я организовал там тусовку с подписчиками в апреле. На самом деле у нас было даже две тусовки: одна маленька в грузинском ресторане в Менло Парк, другая в доме у одного из подписчиков недалеко от СФ.
Теперь хочу поделиться впечатлениями от поездки с точки зрения работы в Мете – ведь это и было моей основной целью поездки. У меня был план встретиться с коллегами и со всеми боссами лично, а так же отпраздновать успешный релиз.
Заранее назначил 1:1 встречи с четырьмя босами в цепочке от меня до Марка. Чем выше двигаешься по цепочке, тем больше разговоры удаляются от работы руками, и тем больше фокуса на стратегию и high-level цели. Со старшим VP у меня был всего 15-минутный митинг, но было очень круто поговорить с ним о стратегических планах в Gen AI, а также было приятно услышать от него лично, как он оценил мой проект Imagine Flash.
Почему такие встречи важны? Когда говоришь с топами напрямую, о тебе узнают и больше ценят твою работу и твой вклад, плюс всегда можно получить какой-нибудь нетривиальный совет по карьере от более опытных людей. Поэтому я всегда стараюсь выбивать время, чтобы пообщатсья c ними вживую.
Кроме запланированных встреч я всю неделю общался с людьми из своей команды (мы тренируем модели Emu и занимаеся visual synthesis) и с ребятами из соседних команд о смежных проектах. Дни были максимально плотные - митинги и кодинг. Я даже наладил режим, вставал в 6 утра, плавал в бассейне, затем завтракал и к 8 ехал офис, а завершал день после 18.
Так прошла вся неделя, кроме четверга. В этот день я впервые увидел Марка Цукерберга в живую, он делал Q&A для сотрудников на открытой сцене и отвечал на вопросы. Эх, жаль лично пообщаться не удалось 🙂
[продолжение в следующем посте]
#personal #карьера
@ai_newz
Я уже писал про то, как я организовал там тусовку с подписчиками в апреле. На самом деле у нас было даже две тусовки: одна маленька в грузинском ресторане в Менло Парк, другая в доме у одного из подписчиков недалеко от СФ.
Теперь хочу поделиться впечатлениями от поездки с точки зрения работы в Мете – ведь это и было моей основной целью поездки. У меня был план встретиться с коллегами и со всеми боссами лично, а так же отпраздновать успешный релиз.
Заранее назначил 1:1 встречи с четырьмя босами в цепочке от меня до Марка. Чем выше двигаешься по цепочке, тем больше разговоры удаляются от работы руками, и тем больше фокуса на стратегию и high-level цели. Со старшим VP у меня был всего 15-минутный митинг, но было очень круто поговорить с ним о стратегических планах в Gen AI, а также было приятно услышать от него лично, как он оценил мой проект Imagine Flash.
Почему такие встречи важны? Когда говоришь с топами напрямую, о тебе узнают и больше ценят твою работу и твой вклад, плюс всегда можно получить какой-нибудь нетривиальный совет по карьере от более опытных людей. Поэтому я всегда стараюсь выбивать время, чтобы пообщатсья c ними вживую.
Кроме запланированных встреч я всю неделю общался с людьми из своей команды (мы тренируем модели Emu и занимаеся visual synthesis) и с ребятами из соседних команд о смежных проектах. Дни были максимально плотные - митинги и кодинг. Я даже наладил режим, вставал в 6 утра, плавал в бассейне, затем завтракал и к 8 ехал офис, а завершал день после 18.
Так прошла вся неделя, кроме четверга. В этот день я впервые увидел Марка Цукерберга в живую, он делал Q&A для сотрудников на открытой сцене и отвечал на вопросы. Эх, жаль лично пообщаться не удалось 🙂
[продолжение в следующем посте]
#personal #карьера
@ai_newz