🎯В Вышке закончился первый учебный модуль, а значит — пройдена первая четверть курса «Компьютерный анализ текста в R». Этот курс я читаю второй год студентам магистерской программы «Цифровые методы в гуманитарных науках», и продолжаю дорабатывать.

Итак, мы прошли следующие темы.

1. Начало работы в R (текст, видео).

2. Таблицы. Опрятные данные (текст, видео). Датасет: М. Кондра, Е. Казакова, «Программы по литературе для средней школы с 1919 по 1991 гг.». Узнали, в какой год в новейшей истории России распухли школьные программы.

3. Визуализации (текст, видео). Датасет: Т. Андервуд и др., “NovelTM Datasets for English-Language Fiction, 1700-2009”. Повторили знаменитое исследование Ф. Моретти о длине названия («Корпорация стиля») и узнали, в какие года среди романистов было больше всего женщин.

4. Циклы, условия, функции (текст, видео).

5. Функционалы в анализе данных (текст, видео). Исследовали датасет Британской библиотеки, посвященный Гарри Поттеру. После хакерской атаки на библиотеку он исчез с их сайта, но у меня сохранилась копия с прошлого года.

6. Импорт: JSON (текст, видео). Датасет: «Шедевры Пушкинского музея». И небольшой датасет со списком эпизодов «Теории большого взрыва».

7. Импорт: XML (текст, видео). Датасет: Д. Скоринкин, “Персонажи «Войны и мира» Л. Н. Толстого: вхождения в тексте, прямая речь и семантические роли”. Также пригодились XML из корпуса русской драмы Dracor.

8. Публикация с Quarto (текст, видео).

📚 Под каждую тему (кроме первой) был подобран гуманитарный датасет. Причем данные пришлось искать не только для лекционной части (см. выше), но и под каждое домашнее задание (это оставлю за кадром, чтобы сохранить интригу для будущих поколений). Поиск данных оказался самой сложной частью работы, и я хочу поблагодарить коллег, которые ими делятся. Это бесценно.

💙 С проверкой домашних работ мне очень помогает студентка второго курса магистратуры София Федотова. А еще мы с Софией научились настраивать автоматические тесты и оценивание, это просто спасает, потому что группа довольно большая, около 20 человек, и кода много.

📅 Впереди еще три модуля, и, если доживем, по итогам каждого я буду делиться такими обзорами. Для меня это важно еще и потому, что сейчас деление курса на темы немного расходится с реальными темпами прохождения материала — а значит структуру курса придется еще раз перерабатывать с опорой на эти заметки.

🐈 По правде говоря, я вообще мало что успеваю помимо постоянных доработок и переработок (и поэтому нечасто сюда пишу). Но результат, кажется, неплохой: во всяком случае, недавно кто-то из студентов сказал, что уже пользуется R на работе. Для всего двух месяцев освоения — неплохо.

Идем дальше.

#tar2024

Диаграмма Ленто названа так в честь Джины Ленто, впервые применившей метод для изучения эволюции ластоногих. Диаграмма позволяет оценить достоверность филогенетического дерева на основе бутстрепа.

Топология любого дерева, построенного на основе матрицы расстояния, зависит от выбранных признаков, метода связи и метрики расстояния. Бутстреп — повторные выборки — используются для того, чтобы проверить устойчивость каждой ветви дерева. Для этого строят обычно от 100 до 1000 деревьев, для обобщения которых, наряду с консенсусным деревом, используется диаграмма Ленто.

Построить такую диаграмму можно при помощи одноименной функции из пакета phangorn в R. При сравнении текстов — а для этого в стилометрии регулярно используются деревья — никаких допущений о происхождении не делается; смотрим только на степень поддержки каждого сплита.

На картинке — небольшой пример. По оси икс — сплиты (грубо говоря, какие диалоги «сидят» на одной ветви в дереве). Они расположены по убыванию поддержки.

По оси игрек — поддержка каждого сплита в виде столбика. Положительные значения — это число деревьев, где наблюдается такой сплит. Отрицательные значения — поддержка конфликтующих сплитов, которые невозможно отразить в том же дереве.

Первые десять сплитов — тривиальные (отдельная ветвь для каждого наблюдения). Здесь конфликта быть не может, и все столбики расположены выше нуля.

Но помимо них, 100%-ю поддержку имеет сплит, включающий три книги «Законов». Это значит, что такая группа есть во всех деревьях, созданных при помощи бутстрепа. За ней следует группа «Парменид» — «Кратил» и т.д. Диалоги, включенные в сплит, обозначены ⚫️темными точками.

Диаграмма Ленто хорошо показывает, что в любом дереве есть элемент случайности. Дерево — это только гипотеза, которую можно и нужно проверять. Недостаток такой диаграммы в том, что она быстро становится нечитаемой.

P.S. Диалоги выбраны случайным образом для примера, и никаких масштабных выводов на основе этой выборки делать не стоит.

#филогенетика