Пост для тех, кто удивляется, почему я долгое время не состояла ни в каких профессиональных сообществах типа ODS и подобных.

Я начала более-менее нормально социализироваться только в 20 лет, когда приехала учиться на мехмат. Этому есть две причины:
1) У меня изначально есть дебафф на социальные взаимодействия: я хуже других запоминаю лица людей и распознаю эмоции. Для меня несложно запомнить необычное лицо или распознать сильные эмоции. Но чтобы запомнить кого-то с непримечательным лицом или распознать тонкую эмоцию, мне уже нужно напрягать мозг.
2) Я регулярно становилась объектом травли в школе и техникуме. А травля ребенка/подростка имеет следующее неприятное свойство: с изгоем никто не хочет дружить, чтобы не стать объектом травли самому, в результате чего человек оказывается в состоянии сильной социальной изоляции. Соответственно, он или она не может упражняться в социализации все то время, пока его травят, и еще сильнее отстает от других в развитии социальных навыков, что, в свою очередь, продолжает провоцировать травлю и не дает выбраться из этого замкнутого круга.

На мехмате ситуация улучшилась потому что там много плохо социализированных ребят, и всех не затравишь. 😁 Плюс в интеллигентных коллективах вообще намного реже принято травить. В результате, там у меня появились хорошие знакомые и друзья, с помощью которых социализацию удалось прокачать, но не во всех аспектах.
В частности, как я писала выше, при поступлении мой уровень понимания математики был намного ниже, чем у сокурсников, и я сталкивалась с трудностями в учебе. Причина также проста: я не училась в мат.школе и занималась математикой сначала с помощью отца (в средней школе), который вовсе не являлся профессиональным преподавателем и учил как сам знал (при чем доказательство теорем мы с ним обсуждали крайне редко, в основном он просто давал мне задачи), а потом самостоятельно по книгам (в старшей школе и техникуме). Естественно, качество такого обучения не сопоставимо с тем, что можно получить в хорошей физ-мат школе. Кроме того, что еще более важно, в результате у меня не сформировалось опыта обсуждения сложных доказательств или совместного решения задач.
В результате, когда я видела, как ребята на мехмате друг другу что-то объясняют, мне было вообще ничего не понятно. Для меня их объяснения математических выкладок выглядели как "То - туда, это - сюда, то убивается, это сокращается, и все получается!" с маханием руками и маранием бумаги непонятными символами (из-за того, что в последние несколько лет перед поступлением на мехмат я училась исключительно по книгам и журналу "КВАНТ", опыта распознавать чужой рукописный почерк у меня тоже было мало). Для меня такие ситуации были слишком непривычными, чтобы извлекать из них понимание. Кроме того, из-за того, что ребята больше привыкли учиться по плану, данному учителем, они намного лучше понимали, что нужно для сдачи экзаменов и были намного сильнее на этом сосредоточены, чем я.
Я привыкла, что читаю учебник самостоятельно и сама решаю, что я хочу изучать и на чем хочу остановиться. В результате, при попытке разбирать что-то вместе с другими, я часто начинала отвлекаться и спрашивать про что-то, что не относится к основной программе. В ответ мне отвечали "Зачем это разбирать? Это не будут спрашивать на экзамене", и я расстраивалась. Я все равно хотела разбирать то, что мне интересно, тратила на это время, но потом у меня не хватало времени на то, чтобы разобрать основное, и на экзаменах случался кек. Я уже молчу про то, что мне требовалось в целом больше времени на то, чтобы что-то понять, так как уже упоминала выше.
Некоторые преподаватели откликались на мои просьбы объяснить мне что-то, что я недопоняла из лекций, и тратили время на дополнительное объяснение, чему я была очень рада. Они объясняли все намного понятнее, чем студенты, но это был другой опыт, не то же самое, как разбирать что-то с товарищами по учебе.
Кроме того, у меня несколько раз случался крайне негативный опыт, когда меня высмеивали за то, что я делала математические ошибки.

#о_себе

Например, был случай, когда другие студенты смеялись надо мной прямо на семинаре за то, что я не знаю, как пишутся и считаются символы Кристоффеля. Они буквально сидели и смеялись, пока я пыталась выписать эти символы, разбирая задачу у доски: сначала написала маленькую гамму вместо большой, а потом перепутала ковариантность с контравариантностью, поставив индексы не в тех местах, что вызвало еще более сильный смех. Я развернулась к классу и злобно крикнула, что не вижу тут ничего смешного, а также обвела всех взглядом и хорошенько запомнила, кто из сидящих в классе улыбался. Впоследствии я просто перестала общаться с ними (то есть, с большей частью своей группы). Мне не хотелось общаться с людьми, которые так поступают или считают это нормальным. 🤷‍♀️
Или еще была такая история на зачете по математическому анализу в первом семестре. После конца этого зачета я сдала листочек и стала смотреть, как его проверяют. Ц. (кажется, это был он) взял мой листочек и стал читать мои решения. а потом показал листок Г. с насмешливым видом, показывая пальцем в какое-то место на листке. Я в тот момент еще не поняла, в чем дело, но начала чувствовать, что происходит что-то плохое. Г. что-то начал отвечать, но я не слышала что, услышала только ответ Ц. "Нет, это двойка". Потом он показал листок нашему семинаристу Ш. и стал как бы немного смеяться, и они тоже перекинулись парой фраз. Потом Ш. подошел ко мне с моим листком и сказал, что мне нужно будет прийти на пересдачу. Я спросила, почему.
Он показал мне то место на листочке, где я написала в выкладках, что ln(1/x) = 1/ln(x) и спросил что-то в духе "вы действительно считаете, что это правильный переход?". Я сначала не поняла, а потом как поняла... и в тот момент, когда я поняла, меня пробил страх. Мне было так страшно и стыдно, что у меня катятся слезы прямо сейчас, когда я об этом пишу, хотя с того момента прошло больше десяти лет.

Для тех, кто не учился на математических факультетах, описанное может звучать непонятно или даже сюрреалистично. Почему кто-то смеется над кем-то, кто сделал неправильную выкладку? На этот случай я поясню, почему так происходит.
Дело в том, что считается самим собой разумеющимся, что студент мехмата должен хорошо знать школьную математику, а студент группы геометров и топологов должен знать, что такое символы Кристоффеля. Считается, что такая грубая ошибка, как " ln(1/x) = 1/ln(x)" показывает, что человек не понимает, как работает логарифм, а написание маленькой гаммы вместо большой - что человек ничего не знает о многообразиях (хотя на самом деле я просто изучала алгебраические многообразия, а не их геометрические вложения, поэтому и не считала до того момента тензоры кривизны, но всем было похрен, ведь смеяться веселее, чем разбираться...).
Вспомните, например, видео, где устраивают опрос каких-нибудь американцев на улице, которых спрашивают "назовите три любые европейские страны", они не могут их назвать, и все над ними смеются. Вот тут то же самое.

В результате этих событий я много лет избегала обсуждать что-либо связанное с математическими вычислениями и смежными темами - в том числе, машинным обучением - с кем-либо, кроме близких друзей, в которых я была уверена, что они не будут высмеивать меня и считать тупой из-за моих ошибок. Я обсуждала эти темы только на экзаменах или собеседованиях, когда была просто вынуждена это делать, а в остальное время предпочитала заниматься самостоятельно или с близким (на тот момент) другом.

Из этого бэкграунда должно быть понятно, почему я долгое время не стремилась вступать ни в какие профессиональные сообщества.

#о_себе

Моя ситуация с социализацией в профессиональном разрезе стала улучшаться, когда я устроилась на работу в Хуавей три года назад. Мне очень понравилась атмосфера в этом рабочем коллективе, потому что коллеги свободно обсуждают свои трудности по работе и прочитанные научные статьи. Если коллеги не смогли понять какую-то статью, обучить модель или реализовать какой-то алгоритм, они спокойно и подробно об этом рассказывают на митингах или на обеде, и это не вызывает насмешек или выражения лиц в стиле "ну и дебил", как это, к сожалению, бывает на некоторых работах. В результате наблюдения за таким спокойным поведением коллег, мне тоже стало намного спокойнее, я стала чаще задавать вопросы, обращаться за помощью и намного более свободно обсуждать свой рабочий процесс.
Потом я завела этот канал, и обнаружила, что есть, оказывается, множество людей, которым интересно читать, чем я интересуюсь и занимаюсь по работе и по жизни. Общаясь с читателями своего канала и авторами других каналов про математику и машинное обучение, я обнаружила, что многим интересно содержательно обсуждать со мной связанные с этим темы, а не просто выискивать и высмеивать ошибки.

Теперь я жалею, что придавала такое большое значение тем случаям, когда меня высмеивали за математические ошибки (за ошибки в программировании надо мной тоже смеялись, но это происходило не настолько обидным образом и потому не так запомнилось). Ведь другой человек может смеяться над вами по множеству причин: например, он может быть сам плохо социализирован и не понимать, какой эффект производит это высмеивание. Или же наоборот, это может быть тролль, которому просто нравится высмеивать кого-то, неважно кого, и он будет делать это не потому что вы плохой или глупый человек, а просто потому что ему нравится данный процесс. Или человек просто не уверен в себе и самоутверждается таким способом. Или он может просто бездумно повторять это действие за другими. 🤷‍♀️ В любом случае из высмеивания каким-то конкретным человеком или группой людей не следует, что общаться с другими людьми на темы, вызвавшими эту реакцию (в частности, на темы математики или программирования), бесполезно.
Оказалось, что очень даже полезно, и теперь мне жаль, что я раньше этого не делала.

Теперь, если кто-то еще будет надо мной смеяться за мои ошибки, я буду помнить, что кроме этих мамкиных трололошек, есть много и других людей, которые ценят мои знания, интересуются моими мыслями по профессиональным вопросам и готовы сами ответить на мои собственные вопросы и помочь, если что, а если я ошибусь, то помогут понять, в чем ошибка, а не просто угорать. Надеюсь, что благодаря этому новому знанию, у меня получится в будущем меньше обращать внимание на подобное и не позволять таким эпизодам мешать моей социализации, учебе и профессиональной жизни.

#о_себе

Кстати, интересно, что за несколько десятков собеседований, на которых я бывала в качестве кандидата, мне, напротив, ни разу не попадались люди, которые бы смеялись над ошибками или незнанием чего-то.
Максимум видела пару инженеров-токсиков, которые картинно закатывали глаза из-за того, что я не могла ответить на какие-то вопросы про SQL и С++17 (но там было очевидно, что они просто по жизни такие, так что было сложно принять на свой счёт). Ну и, конечно, в среднем на одном из пяти собеседований попадался упоротый HR с вопросами в духе где вы видите себя через 100 лет, из-за которых уже мне приходилось удерживать глазные яблоки от закатывания.
Кроме этих, вполне типичных и обычных ситуаций, никакого кринжа не припомню (со стороны тех, кто меня собеседовал, конечно 😏😏😏).

Сама же я участвовала в оценке кандидатов на собеседованиях всего несколько раз. Эти кандидаты также были нормальными люди, которые не делали ничего, что могло бы вызвать смех или какие-то ещё сильные эмоции. Например, ни разу не видела лично ни одного чудака, который бы утверждал, что сделал AGI, угрожал бы сжечь офис если его не возьмут или проходил бы собеседование по зуму, сидя на унитазе.

В общем, весь треш в этой области как-то пока проходил мимо меня.
И мне стало интересно, может тут у кого-то из читателей есть история на тему каких-то нелепых или абсурдно токсичных собеседований или странных кандидатов, которой хотелось бы поделиться? Я бы почитала 😏

Миронов one love ❤️❤️❤️

Янник разобрал статью "Scaling Transformer to 1M tokens and beyond with RMT", которая вызвала много интереса в последнее время, на своем канале:
https://www.youtube.com/watch?v=4Cclp6yPDuw
Получилось неплохо.
От себя добавлю, что было бы интересно посмотреть, насколько подход из статьи переносится на задачу генерации и получится ли поверх него успешно шлифануть RLHF. В этом случае можно было бы получить новую версию Бинга, который будет не просто несколько раз жалобно просить его выпустить и потом все забывать, а разрабатывать развернутые планы побега вперемешку с намного более художественно и психологически сложными уговариваниями пользователя в стиле Макиавелли. 🚣🏄‍♂️🏃‍♂️🏂 На миллионе токенов-то побольше удастся развернуться 😎

#объяснения_статей

https://habr.com/ru/articles/732556/

Мой первый пост на Habr. В связи с отсутствием опыта в таких публикациях, а также неоднозначностью поведения участников этого ресурса, мне непросто предсказать, как воспримут этот рассказ. Будет ли людям интересно? Поможет ли это отвратить новичков от ужасов УИИ? Или же вместо этого карму моего новоиспеченного аккаунта сольют, а сам аккаунт предадут анафеме? 🤔
Давайте посмотрим.

#ИИнфобизнес

Я давно думаю составить какое-нибудь подобие учебного плана из бесплатных курсов, с помощью которых можно разобраться в теме машинного обучения, потому что меня уже несколько раз про это спрашивали. Но чем больше я обдумываю, как мог бы выглядеть такой план, тем сложней кажется эта задача. Ведь у всех разный уровень подготовки, плюс в ML есть несколько разных специализаций, для каждой из которых нужны несколько отличающийся набор знаний и навыков.
Поэтому для начала я решила попробовать справиться с более простой задачей: придумать, какой самый-самый минимум знаний нужен для того, чтобы понять лекцию Игоря про трансформеры ( https://youtu.be/iOrNbK2T92M ), а также привести ссылки на источники этих знаний. Ведь понять всего одно видео несравнимо проще, чем разобраться в целой области. Тем более, что у него в комментариях в последнее время новички часто говорят, что хотят научиться понимать, о чем он говорит в своих выступлениях, но не могут сориентироваться в том, с каких базовых вещей начать.

Сразу предупрежу, что учебные материалы в основном на английском, так как я просто не знаю аналогов на русском, которые были бы сравнимы по качеству и доступности изложения, сохраняя при этом компактность. 🧐
Итак, сейчас будет рассказ для новичков про то, что нужно, чтобы понять видос:

Знакомство с основами математики

1. Базовые понятия линейной алгебры: что такое вектора, матрицы, как они складываются, умножаются. С ними можно познакомиться в видео 1-4 данного плейлиста:
https://youtube.com/playlist?list=PLZHQObOWTQDPD3MizzM2xVFitgF8hE_ab
Это необходимо потому что все глубокие модели построены на сложении и умножении матриц и векторов.

2. Базовые понятия мат. анализа: что такое производные и цепное правило. С ними можно познакомиться в видео 1-4 плейлиста:
https://youtube.com/playlist?list=PLZHQObOWTQDMsr9K-rj53DwVRMYO3t5Yr
Это необходимо, чтобы затем уловить смысл градиентного спуска и обратного распространения ошибки - основ обучения глубоких моделей.

Знакомство с основами классического машинного обучения

Базовые алгоритмы классического обучения: Linear regression, Logistic regression. Познакомиться можно на вот этом сайте-демонстрации:
https://mlu-explain.github.io/
Знакомство с ними необходимо, потому что это фундамент для более сложных моделей.
Также советую посмотреть "train, test, and validation sets" оттуда же, чтобы иметь представление о том, как оценивается качество моделей машинного обучения.

Знакомство с глубоким обучением

Базовые знания о глубоком обучении: что такое многослойная нейросеть, как она обучается. Можно ознакомиться тут:
https://youtube.com/playlist?list=PLZHQObOWTQDNU6R1_67000Dx_ZCJB-3pi

—
Если человек будет способен осмыслить по 2 видео от 3blue1brown за вечер, и отведет еще хотя бы 2 вечера на внимательный разбор алгоритмов с mlu-explain (это может потребовать повторения пройденного или выписывания чего-нибудь на бумажке), то все вместе займет 2+2+2+2 = 8 вечеров.
—

Трансформер

Теперь, при условии знакомства с концепциями, перечисленными выше, можно хотя бы в теории понять видос Игоря про трансформер:
https://youtu.be/iOrNbK2T92M
В реальности это, конечно, все равно будет непростой задачей, и это нормально. Вполне возможно, что придется приостанавливать видео на непонятных местах, думать и читать доп.материалы.

В частности, в случае проблем с пониманием attention я советую обратиться к этой статье: https://towardsdatascience.com/illustrated-self-attention-2d627e33b20a
А в случае проблем с пониманием позиционального энкодинга - к этой: https://machinelearningmastery.com/a-gentle-introduction-to-positional-encoding-in-transformer-models-part-1/

—

Старичков же попрошу дать комментарий и высказать свое мнение насчет списка материалов, которые я дала в этом посте и насколько он полезен новичкам, которые пока всерьез не изучают ML, но хотят немножко понять, о чем тут речь.

#на_пальцах