Почему так сложно популярно рассказывать про алгебраическую топологию? (Часть 3).

Один из примеров - мостиков между аппаратом алгебраической топологии в высших размерностях и реальным миром можно усмотреть в такой концепции, как равновесие Нэша (по ссылке - видео с рассказом простым языком, что это такое). Оказывается, что доказательство существования равновесия Нэша для широкого класса игр опирается на теорему о неподвижной точке на n-мерной сфере , которая, в свою очередь, доказывается с помощью подсчета фундаментальной группы этой сферы. Правда, и здесь выходит загвоздка: если само равновесие Нэша можно понять без знания университетской математики, то доказательство существования этого равновесия и доказательство самой теоремы Брауэра можно понять только используя соответствующий математический аппарат, в чем можно убедиться, проследовав по двум последним ссылкам. 🤷‍♀️

Вот так и получается, что в алгебраической топологии происходит много всего интересного, а объяснить без сложной математики получается только ее крошечную часть, которая едва ли дает представление о богатстве этой науки. Можно сделать такое сравнение: пытаться показать, в чем прикол алгебраической топологии, пользуясь лишь повседневными терминами да двумерными рисунками - это все равно, что пытаться показать, в чем прикол небоскреба Бурдж-Халифа, пользуясь тремя камешками.
Конечно, можно положить три камешка друг на друга и сказать "Бурдж-Халифа - это очень высокое здание, в котором этажи построены друг над другом, так же, как я положила друг на друга эти камни". Но много ли особенностей удивительного здания раскроет это объяснение? Можно ли с помощью трех камешков изобразить длинные и массивные подземные сваи, на которых покоится небоскреб и объяснить, почему они нужны? Можно ли с их помощью показать, какие ухищрения придумывают во время строительства таких сверхвысоких домов и почему они получаются такими дорогими? Или показать на примере "башенки" из трех камешков, почему небоскребы делают не жесткими, а гибкими, позволяя им раскачиваться под порывами ветра, но они все равно не падают? Для таких объяснений понадобится явно больше инструментов и понятий, чем три камня.

Таково свойство самой области: основная часть алгебраической топологии уходит так же далеко от наглядных и привычных нам понятий, как башня Бурдж-Халифа - от поверхности земли, теряясь в утреннем тумане. Вдали от привычных нам повседневных образов и понятий, только очень точный математический аппарат позволяет вникнуть во все тонкости и не потеряться во всех этих высших размерностях, также, как он же помогает башне Бурдж-Халифа не упасть и не сломаться.

#математика

Кстати, появилась гипотеза, откуда берут начало эти однотипные глубокомысленные комментарии про филигранность. Возможно, это влияние того, как нас заставляют писать сочинения в школе.

Я помню, что в тех школах, где я училась, учителя считали постыдным, когда ученик говорит или пишет, что не понял литературное произведение, либо что оно ему не понравилось и ругали за это (конечно, я часто так делала и получала люлей 🤭).
Но ведь любить или не любить абсолютно любое произведение и любых его персонажей это совершенно нормально. Каждый человек имеет право на свое мнение и чувства. И ещё более нормально и естественно, что современному ребенку очень нелегко понять, что хотел сказать взрослый автор, живший пару столетий назад. Это происходит не потому что ребенок "тупой", а потому что в данной ситуации у писателя и читателя бэкграунд объективно радикально отличается, и потому задача установления понимания между ними объективно непростая (как сказали в комментариях, есть такая вещь, как границы компетентности, и понимать их довольно важно).
А что люди начинают делать, когда не могут справиться со сложной задачей, но и отказаться от ее выполнения также не могут? Конечно же, имитируют бурную деятельность. В данном случае, механически копируя в свои сочинения глубокомысленные цитаты, увиденные у литературных критиков либо услышанные от учителя (хорошо, что в наше время этот бессмысленный процесс можно автоматизировать 🤭).

Возможно, школьная привычка прудить в сочинениях глубокомысленные высказывания и воспроизводить навязанное мнение о том, что не любить или не понимать классику или артхаус это якобы нечто постыдное, как раз и приводит к тому, что комментарии на соответствующие фильмы полны "филигранности".
Кстати, может быть, я в предыдущем посте переборщила с жесткостью, с которой описала эти комментарии и их создателей. Вполне может быть, что какие-то авторы этих комментариев действительно смотрели фильм с интересом и имеют о нем какое-то свое индивидуальное мнение, но сказать не могут потому что учили другому...

#о_себе #рассуждения

Как же мне надоели насмешки над Григорием Перельманом, которые длятся годами. Сколько лет уже прошло, но люди продолжают демонстрировать свою глупость, выставляя математика сумасшедшим за его отказ от премии за доказательство гипотезы Пуанкаре, в том числе подобными дурацкими "опросами", в которых большинство вариантов по сути одинаковые, пропитанные одинаковым ядом: https://t.iss.one/obznam/1209
Григорий Яковлевич яснее ясного сказал, что не согласился с решением института им. Клэя, потому что счел, что вклад другого математика в решение данной проблемы был не меньше, чем его собственный.
Человек выразил свое несогласие с решением комитета таким образом, зачем его травить годами? Какое кому дело до того, взял он эту премию или не взял, почему человек не имеет право своего выбора и своего мнения на эту премию без того, чтобы не стать изгоем? Мне больно, очень больно видеть эту травлю в адрес этого очень достойного математика каждый раз.
Очень интересно было бы послушать больше мыслей на эту тему от самого математика. Тем более, что судя по всему, у него уже давно был конфликт с математическим сообществом. Но его уже так все достали преследованиями и бесконечными попытками выдавить из него очередные слова, которые можно будет вырвать из контекста и обсосать как очередную "сенсацию", чтобы привлечь ещё больше внимания и насмешек, вместо того, чтобы понять человека и разобраться, что, конечно, человек не хочет уже ни с кем общаться.
Если бы меня так травили и доставали годами, я бы тоже, наверное, забила на попытки что либо до кого либо донести.

#математика

Хорошо. Если для кого-то это не очевидно, давайте разберем этот опрос более подробно и поймем, почему он является примером травли Перельмана.

Заголовок:
"Ваше отношение с поступку Гриши Перельмана, отказавшегося от $1 млн."
Неуважение к ученому начинается уже с заголовка. Григорий Яковлевич говорил, что ему неприятно, когда его в прессе называют "Гришей", но, конечно, никто его не слушал. Вот цитата (источник): "Он сказал мне, что не общается с российскими журналистами из-за неуважительного к нему отношения. Например, в прессе его называют «Гришей». И эта фамильярность его обижает." Здесь же используется как раз такое произношение имени, которое неприятно ученому.

Варианты ответа:

1. "Завидую. Хотел бы тоже так знать математику, чтобы так плевать на деньги".
С чего автор взял, что Перельман "плевал на деньги", и что отношение ученого к деньгам в целом как-то связано со знанием математики?
В одном из интервью Григорий ясно сказал: "Я отказался (от премии. - "ИФ"). Вы знаете, у меня было очень много причин и в ту, и в другую сторону. Поэтому я так долго решал". Если бы он якобы "плевал на деньги", он бы не раздумывал над своим решением. Из данного высказывания очевидно, что были у него причины так поступить.
А насчет связи отношения к деньгам и знанием математики: есть много сильных математиков, которые очень охотно ищут и находят способы заработать на своих знаниях. В том числе это и лауреаты премии Филдса, и других престижных математических премий. Отсюда ясно, что знание математики само по себе не мешает любить деньги.

2. "Понимаю его. Он же внятно объяснил, что управляет Вселенной - какой еще $1 млн?"
Это ложь и клевета. Перельман такого точно не говорил. Оригинальная цитата из интервью (сама статья по ссылке, впрочем, также преисполнена глупости; я даю на нее ссылки только для того, чтобы показать, из какого первоисточника пошла цитата) Перельмана звучит следующим образом: "Я знаю, как управлять Вселенной. И скажите - зачем же мне бежать за миллионом?!" Даже про эту дословную цитату мы точно не знаем, правдива ли она в точности или журналист все-таки приукрасил; но уж про то, что Перельман "управляет Вселенной" там точно не было. Перевирать слова ученого, чтобы выставить его сумасшедшим - это травля.

3. "Уважаю поступок, но, думаю, надо было взять. Маме бы помог, сам бы получше жить стал".
Что автор вообще может знать об уважении, после того, как он придумал настолько неуважительный заголовок и варианты ответа выше, остается загадкой.

4. "Он живет в своем мире, нам не понять".
Опять попытка выставить ученого сумасшедшим.

5. "Странно отказываться от новых возможностей, не попробовав".
Дословно то же самое, что и 3 вариант.

6. "Глупо. Взял бы, да мне хотя бы отдал".
Опять то же самое, что и 3 вариант. Видимо, автору опроса настолько трудно взять себя в руки и справиться с эмоциями, что он решил написать варианты с одной и той же навязчивой мыслью аж три раза.

Варианта "Я думаю, что Перельман не сумасшедший. Раз он так поступил, значит, у него были причины." опрос не предусматривает. В третьем варианте есть слова "Уважаю поступок", но из продолжения того же самого варианта и остальных вариантов совершенно ясно, что по сути ни о каком уважении речи не идет.

Автору не интересно разбираться, в чем именно заключается открытие ученого или почему произошла эта история с премией. Ему интересно лишь обсасывать свои негативные эмоции по поводу ученого и создавать шум в интернете.
Автор не дает ученому кредита доверия. Не думает о том, что Григорий Перельман - это такой же человек, как и мы, со своими чувствами и мыслями. Что если Григорий как-то поступил, значит, есть причины, есть чувства и мысли, которые его к этому привели. Нет, такой мысли не допускается.
Это и есть травля. Когда человека перестают воспринимать как человека, как существо с мыслями и чувствами, достойными хотя бы попытки их понять и проявить хоть какое-то уважение. Перестают воспринимать как субъект - только как объект.

#математика

Автор соседнего паблика недавно завершил цикл постов про проблемы методологии в статьях, посвященных применению Reinforcement Learning в задачах построения рекомендательных систем.

Звучит, может, на первый взгляд и душновато, но на деле проблема интересная и важная. При постановке экспериментов и написании научных статей очень важно соблюдать подходящую методологию, чтобы не принять желаемое за действительное, а получить объективно полезный результат. Ну а читателям статей полезно уметь детектировать нарушения методологии в этих статьях, чтобы критически оценивать их выводы.

Вот сами посты:
https://t.iss.one/knowledge_accumulator/61
https://t.iss.one/knowledge_accumulator/63
https://t.iss.one/knowledge_accumulator/64
https://t.iss.one/knowledge_accumulator/65
https://t.iss.one/knowledge_accumulator/66

Финальный вывод:
https://t.iss.one/knowledge_accumulator/67

Я не являюсь специалистом в Reinforcement Learning, поэтому с интересом послушаю, если кто-то, кто глубже это погружен, дополнит рассказ из постов новыми наблюдениями на тему или заметит ошибку.

#объяснения_статей

Вдумайтесь: Техножрица репостит сообщение Дата-шрушера про нейрохищника...
What a time to be alive!

Кое-как доделала вторую часть презентации с планом обучения Machine Learning с нуля, за ноль рублей.

Первую часть, где рассказано про то, где можно получить базу в плане математики и программирования, можно увидеть здесь. Ну, а в только что дописанной второй части (см. вложение) раскрывается следующая часть учебного плана: а именно, какие бесплатные курсы, лекции и дополнительные материалы использовать, чтобы изучить классические алгоритмы машинного обучения (Classic ML) и глубокое обучение (DL).

#учебные_материалы

Ладно, напишу пару слов о том, почему у меня так бомбит с реакции людей на Перельмана.

Дело в том, что меня саму другие люди тоже много раз осуждали за отказ от того, что считается безусловным благом (хотя, разумеется, и в намного меньшем масштабе - миллион мне никто не предлагал). В результате, в конце концов мне это так надоело, что меня начал триггерить сам факт такого осуждения, даже если оно со мной лично уже не связано.
Например, в промежутке между 2020-2022 мне 3-4 раза писали HR из Google с новыми предложениями full-time вакансий разработчика; в других временных промежутках приходили аналогичные приглашения от HR Amazon, Apple, NVidia и т.п. Я читала описания вакансий, которые мне предлагались; они либо не соответствовали моим текущим научным интересам, либо мне не нравилась сама компания; в результате я решала, что не буду тратить время и усилия на подготовку к собеседованиям на вакансии, которые мне не нужны и писала отказ. По мне так, все логично.
Но нет, у многих из тех людей, которым я рассказывала про эти ситуации, возникало возмущение. У них не укладывалось в голове, как можно игнорировать призывы FAANG'а. Они начинали спорить, убеждать меня в том, что я идиотка, если не прихожу на эти собеседования, обвинять в снобизме и гордыне, спрашивать с издевкой "Тебе что, вообще деньги не нужны? Считаешь себя выше этого, да?".
Иногда вызывал возмущение даже мой рассказ про собеседование в Huawei. Дело в том, что я также несколько раз игнорировала их HR, прежде чем все-таки ответить, а потом, придя на собеседование, сказала, что, честно говоря, даже не знаю, хочу ли у них работать и хочу ли вообще работать в области машинного обучения... (у меня тогда был депрессивный эпизод). Тем не менее после непосредственного общения с будущими коллегами мне начала нравиться идея у них работать, и теперь я работаю у них уже три года. Кто-то из знакомых в ответ на этот рассказ просто смеялись вместе со мной над этой историей. А кто-то злился: "Так им еще и уговаривать тебя пришлось?!!".

Еще одна ситуация, которая вызывала зависть и злость, заключалась в следующем. В Лондоне я познакомилась с итальянцем, который приехал туда учиться, и у нас завязались какие-то отношения. После того, как я вернулась в Москву, он начал мне написывать и звать съездить в Италию за его счет. Я оформила Шенгенскую визу, чтобы поехать, но потом в итоге все-таки не поехала, потому что мне не удалось достичь с ним взаимопонимания по важным для меня вопросам, и общение с ним начало меня утомлять. Знакомые, с которыми я пыталась поделиться данной ситуацией, не понимали этого решения - они начинали спрашивать "Он что, для тебя недостаточно красивый? Или недостаточно умный?", на что я отвечала - мол, нет, он достаточно умный и красивый, просто мне перестало быть с ним интересно. И каждый раз начиналось одно и то же... собеседник смотрел на меня, как на сумасшедшую и спрашивал в разных формулировках: "Так если он умный и красивый, почему бы тебе не дать ему второй шанс? Тем более, что можно бесплатно в Италию слетать!", на что мне не оставалось ответить ничего, кроме как "Не хочу". Просто не хочу и, по-большому-то счету, не обязана никак это объяснять.

Самое неприятное для меня в этих ситуациях было не то, что люди озвучивали свое мнение, отличное от моего; это-то я как раз считаю абсолютно нормальным. Нет, мне было неприятно то, что они вели себя так, как будто я не имела морального права поступать так, как поступала и заслуживаю всяческого осуждения и порицания. Хотя как справедливо отметил один комментатор к ролику про Преображенского:

"Мне кажется Булгаков хотел показать, что в свободном обществе человек что-то делает или не делает из своего желания или нежелания, а не из-за призывов, агитаций и т.д. Эта женщина шокирована. Профессор говорит, что ему не жалко денег, но просто не хочет покупать. Её забитая лозунгами, песнями, призывами к свершениям голова не может понять такого простого аргумента, как "не хочу"."

#о_себе

В честь 3000 подписчиков расскажу про наш новый препринт, в котором тексты, сгенерированные ChatGPT, детектируются с помощью анализа их внутренней размерности:

https://arxiv.org/abs/2306.04723

Итак, здесь мои коллеги и я продолжили заниматься полюбившейся с 2021 года темой - детекцией сгенерированного контента. Особое внимание, конечно, уделили детекции текста, сгенерированного моделями семейства GPT-3.5 (davinci, chatgpt). А делали мы это с помощью такой интересной штуки, как дробная размерность. Первое знакомство с ней можно осуществить, посмотрев видео 3blue1brown: https://www.youtube.com/watch?v=gB9n2gHsHN4 (рассказ про размерность начинается со второй половины видео).
Хоть введенная в видео размерность и называется "фрактальной", на деле можно получать приближенные оценки такой размерности не только для фракталов, но и просто для облаков точек, если формы облаков достаточно сложные. И вот возник вопрос: а почему бы не построить облако точек по тексту на естественном языке и не посмотреть, какой будет его размерность?

Далее последовательность действий была такая:
1) Брался достаточно длинный текст (написанный человеком либо сгенерированный ChatGPT/другой моделью) с большим количеством токенов;
2) Текст подавался на вход модели RoBERTa;
3) С последнего слоя RoBERTы извлекались эмбеддинги каждого токена текста;
4) Эти эмбеддинги рассматривались как точки в многомерном пространстве - получалось облако точек;
5) С помощью нескольких довольно технически сложных процедур ( вдохновленных https://arxiv.org/abs/1808.01079 ) оценивалась дробная размерность этого облака точек.

Таким образом, каждому тексту сопоставлялось число - эта самая размерность. И - о чудо! - оказывалось, что средняя размерность текстов, сгенерированных с помощью GPT-3.5 (ChatGPT или davinci), была в среднем существенно меньше, чем размерность текстов, написанных человеком. Эта средняя размерность практически не менялась при смене домена и при замене GPT-3.5 на large GPT-2 или OPT (со стандартными параметрами генерации); даже при применении парафразера DIPPER, специально созданного для избегания детекции, размерность менялась не сильно - в среднем примерно на 3%. Благодаря этому нам удалось сделать пороговый детектор по этой размерности, неожиданно устойчивый к атакам.
Теперь любители генерировать тексты могут менять промпты, тематику или даже модель, но наш детектор не проведешь! 😈

При смене домена и модели точность детекции (true positive) по один раз зафиксированному порогу не опускалась ниже 75% при условии, что false positive rate (FPR) оставался не более 1%. При применении DIPPER к генерации GPT-3.5 точность падала до 40%, снова при FPR 1%. Но даже этот результат оказался лучше всех остальных существующих детекторов - в том числе, и от самих OpenAI. 🫡
(Пояснение: мы зафиксировали низкий FPR потому что хотели как можно меньше дискриминировать настоящих людей при детекции).

Кроме прочего, при использовании мультиязычной RoBERTы можно было получать аналогичный детектор не только для английского, но и для других языков. Средняя внутренняя размерность эмбеддингов, соответствующих текстам на других языках, менялась от языка к языку, но размерность искусственных текстов все равно оставалась в среднем ниже, чем человеческих, для каждого конкретного языка по отдельности.

Главной же слабостью нашего детектора является неустойчивость к большим температурам генерации и к примитивным генераторным моделям. У генераторов с высокой температурой (так сказать, бредящих) внутренняя размерность текстов может быть и выше человеческой, поэтому на них этот детектор сломается. С другой стороны, такие генераторы и так детектятся другими методами. Также остается открытым вопрос, является ли RoBERTa оптимальным средством для извлечения эмбеддингов текстов, ведь их можно получать и с помощью других моделей тоже.

#объяснения_статей #детекция_искусственных_текстов