Спасибо за ссылки на учебные материалы. Постараюсь за разумное время их глянуть и может быть добавлю в список requirements к понимаю статей. Но всё-таки хочется сделать и список именно научных статей , достаточно простых для того, чтобы их можно было читать перед тем, как переходить к сложным работам по deep learning.

Т.е. чтобы был roadmap:
Учебники/курсы -> простые статьи (по категориям) -> сложные статьи (по категориям)

Artificial Text Detection via Examining the Topology of Attention Maps ( https://aclanthology.org/2021.emnlp-main.50/ ) - наша с коллегами статья на EMNLP 2021. К статье прилагается видео доклада (зеленая кнопка на сайте).
Здесь уже появились новые соавторы, которые предложили новые идеи и поставили существенно больше экспериментов, чем получалось у меня. Особенно отмечу, что мне было очень интересно обсуждать с https://scholar.google.com/citations?user=G0lCb3wAAAAJ&hl=en&oi=ao то, как выстраивается логика статей для прикладных core A* конференций. Эта логика была для меня непривычной, т.к. после мехмата хочется писать статьи совсем в другом стиле.

В этой статье рассматривается задача детекции текста, сгенерированного моделями машинного обучения GPT-2 и GROVER. Далее для извлечения топологических признаков снова бралась модель BERT, только на этот раз предобученная лишь на угадывании пропущенных слов (Masked LM), без дообучения на данной задаче. Через модель прогонялись примеры текстов (сгенерированных и человеческих), и каждому примеру сопоставлялись графы внимания, извлеченные из модели. В этот раз признаки у графов считались более сложные и разнообразные. Во-первых, кроме чисел Бетти "отфильтрованных" по порогам графов, считались и другие графовые признаки, такие, как количество ориентированых циклов и средняя степень вершины. Во-вторых, считалась степень "похожести" матриц внимания на матрицы-шаблоны из статьи https://aclanthology.org/D19-1445/ (см. Figure 1). В-третьих, бралась такая версия графов внимания, где убиралась ориентация, но не убирались веса, и по ним считались довольно сложные TDA-объекты, называемые баркодами. Очень короткое введение в то, как строятся эти объекты, можно посмотреть здесь: https://www.youtube.com/watch?v=2PSqWBIrn90&t=0s&ab_channel=MatthewWright . От баркодов, в свою очередь, считались признаки, такие, как сумма "баров" и другие. Далее все посчитанные признаки всех трех видов объединялись, и по ним производилась классификация.
Оказалось, что классификация на этих признаках (извлеченных из BERT с предобученными замороженными весами) с помощью логистической регрессии давала результат +- наравне с полностью дообученной BERT. Если же дообучать один слой-классификатор над выходом предобученного, но замороженного BERT, результат оказывается и вовсе хуже, чем обучение на наших признаках.
Особенно же интересно оказалось то, что классификатор над нашими признаками имеет бОльшую робастность по отношению к увеличению размера генерирующей модели, чем сам BERT. Другими словами, если мы, например, обучили классификатор на наших признаках и сам BERT (отдельно, нормальным способом) детектить тексты, сгенерированные моделью GPT-2-small, а затем пробуем детектировать генерацию GPT-2-medium, наши признаки дают меньшее падение качества на этой новой задаче, чем классификация по выходу самой модели BERT, даже полностью обученной. Это можно видеть на Figure 2. В наше время, когда появилось много скрытых генеративных моделей, к которым у нас нет доступа, такая робастность - очень актуальное свойство.
Другой интересный аспект - на некоторых головах модели BERT графы внимания имеют явное отличие в своей форме на "естественных" и сгенерированных текстах. Говоря упрощенно, в среднем веса матриц внимания BERT, "смотрящей" на искуcственно сгенерированный текст, более "размазаны", а веса матриц внимания модели, "смотрящей" на естественный текст, более "сконцентрированы" на структуре предложения. Впрочем, этот эффект наблюдается не на всех головах.

Один из исследователей, который прочитал данную работу, сделал замечание о том, что нужно попробовать извлекать признаки из модели RoBERTa и сравнивать результат тоже с ней, так как на тот момент она была SoTA в задаче детекции сгенерированных текстов, но мы к тому времени уже занялись новой статьей. Впрочем, если верить туториалу https://artificial-text-detection.github.io/ от бывших коллег и их новых соавторов, RoBERTa все еще популярна для решения данной задачи.

#объяснения_статей #детекция_искусственных_текстов

Прочитала в канале New Yorko посты про талант и трудолюбие. Поскольку тема - одна из моих любимых, сейчас буду критиковать и дополнять. Вот первый пост по этой теме оттуда. Рекомендую зайти и посмотреть два следующих по той же теме:

На мой взгляд, аналогия между "талантом"/"успехом" в области интеллектуальных видов деятельности и в области спорта, которая тут приводится, работает очень плохо из-за того, что определить, что есть "талантливость" в первом случае, мешает целый ряд затруднений. Чтобы не повторяться и не капитанить, сосредоточусь на самых неочевидных.
Итак, обычно "склонности" к той или иной интеллектуальной деятельности в вакууме определяются так: берем людей с одним и тем же бэкграундом, сравниваем то, насколько быстро они учатся решать такие-то задачи/усваивать такой-то материал после того, как выполняют одинаковый объем работы. У кого по итогу лучше получается, тот и более талантлив.
Но проблема в том, что в реальной жизни невозможно объективно оценить ни объем работы, проделанный над учебными материалами, ни даже бэкграунд. Ведь часть проделанной интеллектуальной работы и даже самих навыков всегда является непрямой, а часть и вовсе скрыта.
Сначала объясню, что такое непрямая работа на примере.
На первом курсе я время от времени посещала факультетские олимпиады по разным разделам математики. При этом я (из-за многолетней социальной изоляции) в принципе была не в курсе, что к олимпиадам нужно готовиться и приходила на них просто так, ничего специально перед этим не делая. Тем не менее, мне удалось занять призовые места на олимпиадах по механике, дискретной математике и геометрии. Когда знакомые узнали об этом, они очень удивились тому, что человек - тем более тот, который так плохо учится по мат.анализу и другим сложным предметам - может занять призовые места, не готовясь и сделали вывод, что имеет место какой-то необъяснимый талант к олимпиадной математике. Впрочем, эта загадка быстро разрешилась, когда я разузнала, как же именно люди готовятся к олимпиадам.
Я узнала, что для того, чтобы подготовиться к олимпиаде, люди разбирают/прорешивают олимпиадные задачи по той теме, по которой будет олимпиада. И осознала, что я-то тоже спонтанно в свободное время решаю задачи, похожие на олимпиадные, по разным темам - например, задачи из журнала "Квант", задачи из книг "Как решать задачу", "Математическое открытие" и тому подобных. Логично, что время от времени мне случайно попадались задачи по тем темам, которые пересекаются с темой мехматских олимпиад, и получалась непрямая подготовка к олимпиаде.
Более важный и распространенный пример непрямой работы - это та работа, которую человек проделывает, объясняя учебный материал другим. Обычно когда люди говорят, что они столько-то времени готовились к экзамену или к олимпиаде, они не включают сюда то время, которое потратили на то, чтобы объяснить другим то, что узнали сами в процессе подготовки. А ведь когда человек это делает, он не только улучшает свое понимание материала, но еще и хорошо тренирует свой навык рассказывать то, что знает, отчего вероятность сдать экзамен резко повышается.
Теперь к полностью скрытой работе.
Скрытая работа - это то, как человек размышляет над учебным материалом и укладывает у себя все в голове в свободное время, когда он не держит в руках учебник. Этого вообще никто не видит, но это критически важная часть учебы. Судя по моему личному опыту, чем более человеку интересна какая-то тема, тем более часто и эффективно будет происходить этот процесс. Если очень глубоко, с искренним интересом погрузиться в исследование какой-то темы, мозг в конце концов начнет работать над ней сам собой и спонтанно выдавать новые идеи в случайные моменты времени. То есть будет происходить большой пласт скрытой работы - при чем иногда сознательной, а иногда и бессознательной.
Теперь к бэкграунду. Уже из вышесказанного понятно, что даже бэкграунд двух людей, всю жизнь изучавших ровно одни и те же материалы, может быть неодинаков из-за разного количества непрямой/скрытой работы. А уж в реальной-то жизни тем более. Очень часто бывает, что в одной и той же группе в университете находятся люди совершенно разной степени подготовки, и если кто-то сдает экзамен не готовясь, с бодуна, возможно, это просто человек из очень хорошей школы, в прошлом посещавший множество занятий по схожим темам.

А вывод отсюда такой, что в приложении к математике/программированию я вообще не вижу особого смысла в размышлениях в духе "талантливый я или нет" или "какого потолка в карьере ученого/разработчика я могу достигнуть", потому что ответов на эти вопросы буквально никто не знает и знать не может. Зато впасть в депрессию, глядя на достижения других людей, не зная всех обстоятельств их жизни, конечно, очень легко.

Намного более конструктивно, на мой взгляд, подумать о том, нравится ли вам это, хотите ли вы вкладывать в это усилия и сколько именно готовы вложить. Если есть желание вложить усилия, то разобраться, что именно хочется изучить и с какой целью, как построить себе образовательную программу с учетом текущих навыков, цели, свободного времени, что получается/не получается и почему, над чем стоит особенно внимательно поработать и т.д. По крайней мере, такое мое мнение на этот счет. 🤷‍♀️🤷‍♀️🤷‍♀️

#задача , навеянная игрой Warhammer 40000: Mechanicus.

У одного техножреца было N ног. И однажды он решил отправиться в катакомбы Некронов в поисках черного камня. Для этого он проверяет комнаты в катакомбах последовательно одну за другой.
В каждой комнате есть один и только один из следующих объектов:
- Черный камень с вероятностью p. В этом случае жрец забирает камень и возвращается на корабль.
- Некрон с вероятностью q. В этом случае некрон отрывает жрецу ровно 1 (одну) ногу. Если у жреца после этого остается 1 и более нога, он тыгыдыкает в следующую комнату. Если ног становится 0, жрец отдает душу Омниссии.
- Ничего с вероятностью 1 - p - q. В этом случае жрец сразу идет в следующую комнату.
При известных N, p, q, как посчитать вероятность, что техножрец найдет черный камень и успешно возвратится на корабль?

За решение одной задачи даётся звание лексмеханик, двух - трансмеханик.

Что-то я не пойму, неужели я сюда не выкладывала свои любимые учебные материалы по теории категорий? 🤔 Если так, то давно пора это сделать.

Из учебников мне на данный момент больше всего зашел "Топосы: категорный анализ логики" (см. вложение). Несмотря на то, что главная цель учебника - познакомить с теорией топосов, начинается он с основ теории множеств и теории категорий, благодаря чему 1-3 главы можно использовать как введение в эти темы. К каждой теме даются упражнения, правда, решений нет. 😔

Параллельно с учебником смотрю этот плейлист (так сказать, серию рассказиков):
https://www.youtube.com/watch?v=US4Zr1WKD-8&list=PLCTMeyjMKRkoS699U0OJ3ymr3r01sI08l&ab_channel=RichardSouthwell
Каждое видео в плейлисте посвящено подробному разбору очередной категорной конструкции. Мне очень нравится, как автор совмещает подробный рассказ про формализм конструкции с рассказом про интуицию, которая за ней стоит. Также отдельно стоит отметить атмосферу видео: они выглядят дружелюбно и непринужденно, словно бы к тебе в гости зашел друг-математик, и вы ведете беседу возле маленькой доски за чашкой чая.
По содержанию плейлист приблизительно соответствует 3й главе учебника, но несколько менее формальный и проще к восприятию.

И учебник, и лекции на ютубе позиционируются как материалы для широкой аудитории, но похоже, для того, чтобы их хорошо понимать, нужен какой-то уровень математической культуры. Наиболее понятны они, конечно, будут для тех, кто уже прослушал хорошие курсы по основным разделам математики в старших классах/ВУЗе/самостоятельно и больше не боится сложных теорем.

#учебные_материалы

Спасибо всем, кто накидал учебных материалов по теоркату в комментариях к https://t.iss.one/tech_priestess/268 , интересующимся предлагаю посмотреть. 🤓
Если честно, при создании канала я не была уверена, что его кто-то будет читать, кроме моих друзей, но в итоге тут собралось на удивление много людей с разным бэкграундом, знаниями и интересами. Кому-то интересны более простые посты, кому-то более сложные; кому-то больше нравится математика, кому-то прикладной ML, кому-то просто рассуждения и кеки, и на каждую тему найдется кто-то, кто готов поделиться мнением или полезными ссылками. Даже по теоркату накидали кучу литературы, хотя, казалось бы, не самое распространенное увлечение. 😁
Мне кажется, это круто. 😎

Когда chatGPT ошибся при ответе на твой вопрос:
https://youtu.be/93nEe66gEWM