В машинном обучении есть несколько направлений, в которых людям интересно и комфортно жить и развиваться. С одной стороны, можно делить всё по области применения ML (обработка текстов на естественном языке, компьютерное зрение, и так далее). Другой вариант - делить по целям. Например, у индустриального анализа данных, науки и «хайповых» применений машинного обучения цели заметно различаются. Ближайшие несколько постов будут как раз на эту тему.

Итак, сначала об индустриальном машинном обучении. Здесь речь идет не о ML на заводах (хотя этот случай тоже сюда входит), а о применении ML на пользу компаниям. Внутри индустриального ML тоже бывают разные предпочтения: одни предпочитают улучшать алгоритмы в массовом продукте (например, повышать качество ранжирования выдачи в поисковике), а других больше вдохновляет создавать новые модели, которые сэкономят или заработают много денег компании. Например: научиться прогнозировать эффект рекламной кампании и начать подбирать параметры кампании так, чтобы эффект проседал не больше чем на 2-3%, а денег на кампанию тратилось на 10% меньше (что при миллиардном бюджете будет регулярно экономить сотни миллионов - намного больше, чем потребуется на разработку модели). Или, стандартный пример - разработать для магазина рекомендательную систему, которая на несколько процентов увеличит доход с продаж (кстати, обязательно напишу в другой раз, в чем проблемы таких проектов).

Мне всегда больше всего нравились проекты именно про сэкономить/заработать денег с помощью машинного обучения. В основном потому, что при разработке продукта на основе ML играешь «в долгую» и год за годом делаешь улучшения, реальная польза которых не всегда очевидна, а когда у тебя есть понятный проект на полгода-год с понятно спланированным экспериментом для оценки качества в конце - все-таки сроки чуть поменьше и быстрее видишь результат работы. Впрочем, не все так радужно - проекты затягиваются, задачи изначально ставятся неверно, так что получить два года вместо 5 месяцев и не достигнуть результата - вполне возможная ситуация и переживается гораздо тяжелее, чем год за годом копаться в продукте и верить, что улучшение каких-то побочных метрик качества принесет пользу компании.

Еще одна вещь, которую важно понимать об индустриальном ML - это не единственное, что существует на свете. К сожалению, мы часто легко судим и оцениваем других людей, поэтому эксперты из индустрии иногда смотрят на ученых как на людей без конкретных прикладных результатов, тратящих время непонятно на что (я и сам высказывал такое мнение, когда меньше разбирался в вопросе). А ученые смотрят на специалистов из индустрии как на тех, кто не создает ничего нового (ведь индустриальный ML скорее про прикладное применение уже придуманного, чем про разработку новых алгоритмов)

В продолжение прошлого поста, поговорим теперь о научной части мира машинного обучения. Прежде всего замечу, что специалисты из индустрии тоже могут разрабатывать новые алгоритмы. Говорю обтекаемо «специалисты» (хоть за это слово и ругает glvrd.ru :), т.к. с одной стороны есть часто употребляемое "Data Scientist", а с другой стороны бывают и Data Engineer, и Data Analyst, и другие загадочные названия (при случае поговорим о том, какой смысл в это вкладывают). Кроме того, не стоит забывать и олдскульных разработчиков, знающих машинное обучение. Такие могут и высоконагруженный сервис разрабатывать, и модели строить, и в продакшн алгоритмы внедрять, а на новомодных «Дата саентистов» небезосновательно смотреть как на избалованных детишек, которые даже программировать нормально не умеют. Так что буду и дальше расплывчато говорить «специалисты», чтобы объединить всех этих людей одним словом. Так вот, специалисты из индустрии могут разработать новый алгоритм или создать новый инструмент для машинного обучения, но их поделки будут заточены под практическое применение уже сегодня.

А вот исследователь может себе позволить более смелые вещи. Например, постоянно используемые для работы с изображениями свёрточные нейронные сети впервые предложены Яном Лекунном в 1988 году. А популярность эти методы приобрели в середине 2000-х годов, причем далеко не сразу начали использоваться в индустрии. Только подумайте: прошло чуть меньше 20 лет! Конечно, для коммерческой компании редко интересно разрабатывать то, что будет полезно через 20 лет. Но Лекунн - тоже нетипичный пример. Дело в том, что на одного Лекунна или Хинтона приходятся десятки тысяч исследователей, которые пишут статьи, выступают на конференциях, но не придумывают алгоритмы, которые потом включают в курсы машинного обучения и используют в каждой первой компании, занимающейся ML.

Когда я работал в ABBYY, от одного из технических руководителей департаментов я услышал поучительные слова: работа в R&D (на всякий случай, т.к. среди подписчиков есть люди из разных сфер, R&D = Research & Development) требует готовности очень долго получать негативный результат и не терять мотивации. Так вот, в науке это чувствуется особенно остро.

Стоит заметить, что не всё это безумное количество исследователей придумывает новые алгоритмы. В общем-то и цели-то такой нет: есть цель завтра уметь делать то, что человечество не могло делать вчера или делало хуже, чем можно теперь. На этом пути возникает много вопросов: и как алгоритмы настраивать, и как использовать, и как развить идею так, чтобы получать более высокое качество в прикладных задачах. И про все это люди пишут статьи. Отличие от индустрии здесь в том, что статьи не обязаны преследовать интересы каких-то коммерческих компаний, но обязаны создавать что-то новое и расширять границы наших возможностей. С индустриальным ML наоборот: главное - принести пользу компании, а вот придумали ли вы что-то новое или применили давно известное - не так важно. Последнее даже лучше, т.к. проще использовать готовые инструменты, чем разрабатывать их и только потом использовать.

Сегодня небольшое отступление от серии постов, т.к. есть любопытная новость. Спасибо Роме Халкечеву (Chief DS Яндекс.Такси) за наводку. Кстати, наводка была в рабочем чатике для мемов, если кто-то в курсе недавней новости про увольнения из Тинькова (если нет - ещё напишу об этом).

Так вот, новость. Amazon попробовал продвигать свою систему распознавания лиц для поиска преступников на улицах в видеопотоке с камер наблюдения (вот это уже совсем киберпанк :).

Продолжение у истории вышло забавное (цитата из статьи):
«Американский союз гражданских свобод (American Civil Liberties Union, ACLU) продолжает кампанию против использования систем распознавания лиц федеральными агентствами и полицией. ACLU настаивает, что качество этих систем слишком низкое для реального использования. В результате будет много ложных срабатываний, из-за чего пострадают невинные люди. Пытаясь убедить Конгресс США запретить использование этих систем, правозащитники предприняли дерзкую, но эффективную акцию: они прогнали через систему распознавания лиц Amazon Rekognition всех американских конгрессменов. Результат оказался немного предсказуем: система распознала 28 конгрессменов как преступников.»

Если что - с точки зрения ML это ок. Конгрессменов достаточно много, чтобы пару десятков случайно распознать неверно. С точки зрения эмоционального восприятия - не ок, этим ACLU и пользуется. Но это не делает для меня их позицию менее обоснованной - ложные срабатывания классификатора и правда неприятная вещь, и нужно понимать, готовы ли мы ими расплачиваться за возможность таким образом бороться с преступностью, да и будет ли это вообще эффективно.

Статья на Хабрахабре: https://m.habr.com/post/418509/

Когда я анонсировал темы постов в канале, среди них была в том числе такая: "Какие есть нюансы в обучении DS’ов: в какой момент стратегия "просто начитать каких-то лекций» перестала быть крутой». Об этом, о том, зачем нужны теоретические занятия и какими могут быть практические, об исследователях и инженерах в Data Science, а также о том, как быть с тем, что многие люди могут остаться «без работы» из-за развития технологий, пост в канал я все еще не подготовил 🙂

Но зато рассказал в интервью Виктору Рогуленко на его youtube-канале: youtube.com/watch?v=ymSqI0hVj-Q

Виктор работал консультантом в McKinsey, затем начал вести свои курсы и канал на YouTube ( https://on.fless.pro/subscribe ), на котором можно найти весьма любопытные интервью и рассказ о том, как поступить в Стэнфорд и в ШАД (кстати, в том же канале Виктор рассказывает, почему решение бросить Стэнфорд было одним из лучших в его жизни).

В этом Telegram-канале я обязательно еще вернусь к обещанным темам, но интервью можно посмотреть уже сейчас. Рекомендуемая скорость воспроизведения - х1,5 (на ней просмотр займет примерно полчаса).

Так выходит, что одним людям приходится сначала на экзаменах, а потом на собеседованиях «доказывать, что не верблюд», а других априори воспринимают как «шарящих».

Один мой друг давно занимается машинным обучением, но до сих пор избегал обстоятельной оценки знаний по ML. Не специально, так получалось. Когда еще учился в МФТИ и сдавал мне экзамен по ML, мы быстро пообщались, мне сразу стало все ясно, и он ушел со своим «отлом». Потом вместе с ним и его однокурсниками мы делали проект по машинному обучению, после статьи о котором на vc.ru с нами связались ребята из крутого ML стартапа. Так друг без собеседований попал в эту команду. Проработав там с год, друг перешел уже в большую, но тоже крутую компанию, причём на работу его зазывали, а после отказа позвали поговорить на тему «мы не поняли, тебе что не так?» и всё же уговорили пойти к ним. Жизнь в большой компании складывалась уже сложнее, но в итоге очень удачно, пусть и не сразу.

Примечательно в этой истории то, что его, специалиста по машинному обучению, ни разу толком не экзаменовали и не собеседовали по его предмету.
Вы спросите: «как же так получилось?». Ответ прост и ожидаем. Те вопросы, которые он задавал экзаменатору или работодателю, и те темы, которые он обсуждал, сразу выдавали уровень экспертизы. Причём это не об умничании и сыпании терминами, а просто о действительно важных вещах, касающихся рабочих задач, не все из которых придет в голову обсудить новичку. Лучший способ для эксперта «продать» себя другому эксперту — поговорить по делу. Говоря «продать» я конечно лукавлю: не продать, а представить, ведь нужно правда «шарить». Но пытаться показать себя лучше, чем на самом деле, в принципе опасная затея — потом же еще и работать будет нужно 🙂