Хорошо. Если для кого-то это не очевидно, давайте разберем этот опрос более подробно и поймем, почему он является примером травли Перельмана.

Заголовок:
"Ваше отношение с поступку Гриши Перельмана, отказавшегося от $1 млн."
Неуважение к ученому начинается уже с заголовка. Григорий Яковлевич говорил, что ему неприятно, когда его в прессе называют "Гришей", но, конечно, никто его не слушал. Вот цитата (источник): "Он сказал мне, что не общается с российскими журналистами из-за неуважительного к нему отношения. Например, в прессе его называют «Гришей». И эта фамильярность его обижает." Здесь же используется как раз такое произношение имени, которое неприятно ученому.

Варианты ответа:

1. "Завидую. Хотел бы тоже так знать математику, чтобы так плевать на деньги".
С чего автор взял, что Перельман "плевал на деньги", и что отношение ученого к деньгам в целом как-то связано со знанием математики?
В одном из интервью Григорий ясно сказал: "Я отказался (от премии. - "ИФ"). Вы знаете, у меня было очень много причин и в ту, и в другую сторону. Поэтому я так долго решал". Если бы он якобы "плевал на деньги", он бы не раздумывал над своим решением. Из данного высказывания очевидно, что были у него причины так поступить.
А насчет связи отношения к деньгам и знанием математики: есть много сильных математиков, которые очень охотно ищут и находят способы заработать на своих знаниях. В том числе это и лауреаты премии Филдса, и других престижных математических премий. Отсюда ясно, что знание математики само по себе не мешает любить деньги.

2. "Понимаю его. Он же внятно объяснил, что управляет Вселенной - какой еще $1 млн?"
Это ложь и клевета. Перельман такого точно не говорил. Оригинальная цитата из интервью (сама статья по ссылке, впрочем, также преисполнена глупости; я даю на нее ссылки только для того, чтобы показать, из какого первоисточника пошла цитата) Перельмана звучит следующим образом: "Я знаю, как управлять Вселенной. И скажите - зачем же мне бежать за миллионом?!" Даже про эту дословную цитату мы точно не знаем, правдива ли она в точности или журналист все-таки приукрасил; но уж про то, что Перельман "управляет Вселенной" там точно не было. Перевирать слова ученого, чтобы выставить его сумасшедшим - это травля.

3. "Уважаю поступок, но, думаю, надо было взять. Маме бы помог, сам бы получше жить стал".
Что автор вообще может знать об уважении, после того, как он придумал настолько неуважительный заголовок и варианты ответа выше, остается загадкой.

4. "Он живет в своем мире, нам не понять".
Опять попытка выставить ученого сумасшедшим.

5. "Странно отказываться от новых возможностей, не попробовав".
Дословно то же самое, что и 3 вариант.

6. "Глупо. Взял бы, да мне хотя бы отдал".
Опять то же самое, что и 3 вариант. Видимо, автору опроса настолько трудно взять себя в руки и справиться с эмоциями, что он решил написать варианты с одной и той же навязчивой мыслью аж три раза.

Варианта "Я думаю, что Перельман не сумасшедший. Раз он так поступил, значит, у него были причины." опрос не предусматривает. В третьем варианте есть слова "Уважаю поступок", но из продолжения того же самого варианта и остальных вариантов совершенно ясно, что по сути ни о каком уважении речи не идет.

Автору не интересно разбираться, в чем именно заключается открытие ученого или почему произошла эта история с премией. Ему интересно лишь обсасывать свои негативные эмоции по поводу ученого и создавать шум в интернете.
Автор не дает ученому кредита доверия. Не думает о том, что Григорий Перельман - это такой же человек, как и мы, со своими чувствами и мыслями. Что если Григорий как-то поступил, значит, есть причины, есть чувства и мысли, которые его к этому привели. Нет, такой мысли не допускается.
Это и есть травля. Когда человека перестают воспринимать как человека, как существо с мыслями и чувствами, достойными хотя бы попытки их понять и проявить хоть какое-то уважение. Перестают воспринимать как субъект - только как объект.

#математика

Автор соседнего паблика недавно завершил цикл постов про проблемы методологии в статьях, посвященных применению Reinforcement Learning в задачах построения рекомендательных систем.

Звучит, может, на первый взгляд и душновато, но на деле проблема интересная и важная. При постановке экспериментов и написании научных статей очень важно соблюдать подходящую методологию, чтобы не принять желаемое за действительное, а получить объективно полезный результат. Ну а читателям статей полезно уметь детектировать нарушения методологии в этих статьях, чтобы критически оценивать их выводы.

Вот сами посты:
https://t.iss.one/knowledge_accumulator/61
https://t.iss.one/knowledge_accumulator/63
https://t.iss.one/knowledge_accumulator/64
https://t.iss.one/knowledge_accumulator/65
https://t.iss.one/knowledge_accumulator/66

Финальный вывод:
https://t.iss.one/knowledge_accumulator/67

Я не являюсь специалистом в Reinforcement Learning, поэтому с интересом послушаю, если кто-то, кто глубже это погружен, дополнит рассказ из постов новыми наблюдениями на тему или заметит ошибку.

#объяснения_статей

Вдумайтесь: Техножрица репостит сообщение Дата-шрушера про нейрохищника...
What a time to be alive!

Кое-как доделала вторую часть презентации с планом обучения Machine Learning с нуля, за ноль рублей.

Первую часть, где рассказано про то, где можно получить базу в плане математики и программирования, можно увидеть здесь. Ну, а в только что дописанной второй части (см. вложение) раскрывается следующая часть учебного плана: а именно, какие бесплатные курсы, лекции и дополнительные материалы использовать, чтобы изучить классические алгоритмы машинного обучения (Classic ML) и глубокое обучение (DL).

#учебные_материалы

Ладно, напишу пару слов о том, почему у меня так бомбит с реакции людей на Перельмана.

Дело в том, что меня саму другие люди тоже много раз осуждали за отказ от того, что считается безусловным благом (хотя, разумеется, и в намного меньшем масштабе - миллион мне никто не предлагал). В результате, в конце концов мне это так надоело, что меня начал триггерить сам факт такого осуждения, даже если оно со мной лично уже не связано.
Например, в промежутке между 2020-2022 мне 3-4 раза писали HR из Google с новыми предложениями full-time вакансий разработчика; в других временных промежутках приходили аналогичные приглашения от HR Amazon, Apple, NVidia и т.п. Я читала описания вакансий, которые мне предлагались; они либо не соответствовали моим текущим научным интересам, либо мне не нравилась сама компания; в результате я решала, что не буду тратить время и усилия на подготовку к собеседованиям на вакансии, которые мне не нужны и писала отказ. По мне так, все логично.
Но нет, у многих из тех людей, которым я рассказывала про эти ситуации, возникало возмущение. У них не укладывалось в голове, как можно игнорировать призывы FAANG'а. Они начинали спорить, убеждать меня в том, что я идиотка, если не прихожу на эти собеседования, обвинять в снобизме и гордыне, спрашивать с издевкой "Тебе что, вообще деньги не нужны? Считаешь себя выше этого, да?".
Иногда вызывал возмущение даже мой рассказ про собеседование в Huawei. Дело в том, что я также несколько раз игнорировала их HR, прежде чем все-таки ответить, а потом, придя на собеседование, сказала, что, честно говоря, даже не знаю, хочу ли у них работать и хочу ли вообще работать в области машинного обучения... (у меня тогда был депрессивный эпизод). Тем не менее после непосредственного общения с будущими коллегами мне начала нравиться идея у них работать, и теперь я работаю у них уже три года. Кто-то из знакомых в ответ на этот рассказ просто смеялись вместе со мной над этой историей. А кто-то злился: "Так им еще и уговаривать тебя пришлось?!!".

Еще одна ситуация, которая вызывала зависть и злость, заключалась в следующем. В Лондоне я познакомилась с итальянцем, который приехал туда учиться, и у нас завязались какие-то отношения. После того, как я вернулась в Москву, он начал мне написывать и звать съездить в Италию за его счет. Я оформила Шенгенскую визу, чтобы поехать, но потом в итоге все-таки не поехала, потому что мне не удалось достичь с ним взаимопонимания по важным для меня вопросам, и общение с ним начало меня утомлять. Знакомые, с которыми я пыталась поделиться данной ситуацией, не понимали этого решения - они начинали спрашивать "Он что, для тебя недостаточно красивый? Или недостаточно умный?", на что я отвечала - мол, нет, он достаточно умный и красивый, просто мне перестало быть с ним интересно. И каждый раз начиналось одно и то же... собеседник смотрел на меня, как на сумасшедшую и спрашивал в разных формулировках: "Так если он умный и красивый, почему бы тебе не дать ему второй шанс? Тем более, что можно бесплатно в Италию слетать!", на что мне не оставалось ответить ничего, кроме как "Не хочу". Просто не хочу и, по-большому-то счету, не обязана никак это объяснять.

Самое неприятное для меня в этих ситуациях было не то, что люди озвучивали свое мнение, отличное от моего; это-то я как раз считаю абсолютно нормальным. Нет, мне было неприятно то, что они вели себя так, как будто я не имела морального права поступать так, как поступала и заслуживаю всяческого осуждения и порицания. Хотя как справедливо отметил один комментатор к ролику про Преображенского:

"Мне кажется Булгаков хотел показать, что в свободном обществе человек что-то делает или не делает из своего желания или нежелания, а не из-за призывов, агитаций и т.д. Эта женщина шокирована. Профессор говорит, что ему не жалко денег, но просто не хочет покупать. Её забитая лозунгами, песнями, призывами к свершениям голова не может понять такого простого аргумента, как "не хочу"."

#о_себе

В честь 3000 подписчиков расскажу про наш новый препринт, в котором тексты, сгенерированные ChatGPT, детектируются с помощью анализа их внутренней размерности:

https://arxiv.org/abs/2306.04723

Итак, здесь мои коллеги и я продолжили заниматься полюбившейся с 2021 года темой - детекцией сгенерированного контента. Особое внимание, конечно, уделили детекции текста, сгенерированного моделями семейства GPT-3.5 (davinci, chatgpt). А делали мы это с помощью такой интересной штуки, как дробная размерность. Первое знакомство с ней можно осуществить, посмотрев видео 3blue1brown: https://www.youtube.com/watch?v=gB9n2gHsHN4 (рассказ про размерность начинается со второй половины видео).
Хоть введенная в видео размерность и называется "фрактальной", на деле можно получать приближенные оценки такой размерности не только для фракталов, но и просто для облаков точек, если формы облаков достаточно сложные. И вот возник вопрос: а почему бы не построить облако точек по тексту на естественном языке и не посмотреть, какой будет его размерность?

Далее последовательность действий была такая:
1) Брался достаточно длинный текст (написанный человеком либо сгенерированный ChatGPT/другой моделью) с большим количеством токенов;
2) Текст подавался на вход модели RoBERTa;
3) С последнего слоя RoBERTы извлекались эмбеддинги каждого токена текста;
4) Эти эмбеддинги рассматривались как точки в многомерном пространстве - получалось облако точек;
5) С помощью нескольких довольно технически сложных процедур ( вдохновленных https://arxiv.org/abs/1808.01079 ) оценивалась дробная размерность этого облака точек.

Таким образом, каждому тексту сопоставлялось число - эта самая размерность. И - о чудо! - оказывалось, что средняя размерность текстов, сгенерированных с помощью GPT-3.5 (ChatGPT или davinci), была в среднем существенно меньше, чем размерность текстов, написанных человеком. Эта средняя размерность практически не менялась при смене домена и при замене GPT-3.5 на large GPT-2 или OPT (со стандартными параметрами генерации); даже при применении парафразера DIPPER, специально созданного для избегания детекции, размерность менялась не сильно - в среднем примерно на 3%. Благодаря этому нам удалось сделать пороговый детектор по этой размерности, неожиданно устойчивый к атакам.
Теперь любители генерировать тексты могут менять промпты, тематику или даже модель, но наш детектор не проведешь! 😈

При смене домена и модели точность детекции (true positive) по один раз зафиксированному порогу не опускалась ниже 75% при условии, что false positive rate (FPR) оставался не более 1%. При применении DIPPER к генерации GPT-3.5 точность падала до 40%, снова при FPR 1%. Но даже этот результат оказался лучше всех остальных существующих детекторов - в том числе, и от самих OpenAI. 🫡
(Пояснение: мы зафиксировали низкий FPR потому что хотели как можно меньше дискриминировать настоящих людей при детекции).

Кроме прочего, при использовании мультиязычной RoBERTы можно было получать аналогичный детектор не только для английского, но и для других языков. Средняя внутренняя размерность эмбеддингов, соответствующих текстам на других языках, менялась от языка к языку, но размерность искусственных текстов все равно оставалась в среднем ниже, чем человеческих, для каждого конкретного языка по отдельности.

Главной же слабостью нашего детектора является неустойчивость к большим температурам генерации и к примитивным генераторным моделям. У генераторов с высокой температурой (так сказать, бредящих) внутренняя размерность текстов может быть и выше человеческой, поэтому на них этот детектор сломается. С другой стороны, такие генераторы и так детектятся другими методами. Также остается открытым вопрос, является ли RoBERTa оптимальным средством для извлечения эмбеддингов текстов, ведь их можно получать и с помощью других моделей тоже.

#объяснения_статей #детекция_искусственных_текстов

Хом, экстовый, торушка, тензорушка, представушка, монадушка, предельчок, копредельчок, топос на воротничок, квазикогерентный пучок.

#предложка

Спасибо DALL∙E за картинку

#генерация