✔️ Вы уже соскучились по профессору Томпкинсу? Вот вам еще одна #задачка.

🌀Известно, что Фукидид дает словесную характеристику своим героям. Алкивиад, например, очень любит паратаксис и часто начинает свои предложения с καί:

’Καὶ ταῦτα ἡ ἐμὴ νεότης καὶ ἄνοια παρὰ φύσιν δοκοῦσα εἶναι ἐς τὴν Πελοποννησίων δύναμιν λόγοις τε πρέπουσιν ὡμίλησε καὶ ὀργῇ πίστιν παρασχομένη ἔπεισεν. καὶ νῦν μὴ πεφόβησθε αὐτήν, ἀλλ' ἕως ἐγώ τε ἔτι ἀκμάζω μετ' αὐτῆς καὶ ὁ Νικίας εὐτυχὴς δοκεῖ εἶναι, ἀποχρήσασθε τῇ ἑκατέρου ἡμῶν ὠφελίᾳ. καὶ τὸν ἐς τὴν Σικελίαν πλοῦν μὴ μεταγιγνώσκετε ὡς ἐπὶ μεγάλην δύναμιν ἐσόμενον (6.17).

Снова сравним Алкивиада и Никия. У первого 28 предложений из 82 начинаются с καί, у второго — 14 из 73. Мы уже выяснили, как сравниваются пропорции, поэтому считаем быстро, не заглядывая под капот:

prop.test(x = c(28, 14), n = c(82, 73), conf.level = 0.95, correct = F, alternative = "two.sided")

✔️P-value = 0.036, результат значим, разница пропорций составляет от 0.054 до 0.31 с уверенностью 95%. Пока ничего нового: Алкивиад паратоксик, то есть, простите, -таксик. Новое начинается дальше, когда другой профессор, не выговорим его имя, сравнивает фукидидовских Никия и Алкивиада с платоновскими.

⭐️В речи Алкивиада в «Пире» 21 предложение из 136 начинаются с καί: больше, чем у кого-либо еще в диалоге. В репликах Никия в «Лахете» καί в начале предложения, напротив, очень редок: 3 из 45. Чтобы минимизировать влияние диалогического жанра, профессор С. учитывает только реплики из >2 предложений. Кстати, оба профессора считают предложением то, что оканчивается на точку, колон или знак вопроса.

📖В статье этого нет, а мы посчитали: разница между платоновскими Алкивиадом и Никием не является значимой (p-value = 0.1325). Не хватает данных, неоткуда взять.

prop.test(x = c(21, 3), n = c(136, 45), conf.level = 0.95, correct = F, alternative = "two.sided")

🌀А если сравнить Алкивиада у Платона и Фукидида?

prop.test(x = c(21, 28), n = c(136, 82), conf.level = 0.95, correct = F, alternative = "two.sided")

✔️Интересный результат: платоновский «икает» значимо меньше, чем фукидидовский, хотя и больше других персонажей. Хотя оба автора, Платон и Фукидид, очевидно вопроизводят какую-то узнаваемую черту исторического Алкивиада, делают это статистически по-разному. Это касается и двух Никиев, и снова у платоновского значимо меньше «и» в начале предложения, хотя другие черты его стиля он воспроизводит (но об этом не сейчас).

⭐️Ситуации, когда у нас недостаточная большая выборка, чтобы отвергнуть нулевую гипотезу, не редкость в антиковедении, особенно при работе с фрагментами и отрывками. Как с этим быть, подумаем в другой раз.

Снова география. Павсаний, Страбон и даже Плиний Старший тоже нанесены на карту при помощи онлайн-инструмента под названием Recogito. Разработкой и тегированием занимался тот же Элтон Баркер, который соорудил карту Геродота.

Recogito — это бесплатный, очень простой, но достаточно удобный онлайн-инструмент, в 2018 получивший приз как лучший DH-tool в Digital Humanities Awards 2018. Он позволяет работать в командах над аннотированием текстов.

Размеченные таким образом именованные сущности можно затем экспортировать в ГИС.

💡Загружаете свой текст (на любом языке) и можете — например, по мере чтения его со студентами — добавлять какую-нибудь разметку. Вот вам идея для цифровой проектной работы, которая не требует кодинга.

💡Кстати, csv или json с координатами локаций у Павсания, Страбона и Плиния вполне можно скачать и использовать в учебных целях. На картинке Страбон для привлечения внимания. #карты

❗️ Новая #задачка сегодня из рецензии Пауля Кейзера на книгу Леонарда Брэндвуда The Chronology of Plato's Dialogues (1990).

Несколько лет назад, когда я впервые прочитала эту рецензию, я почти ничего не поняла, кроме того, что Б. совершает какие-то страшные статистические грехи. Пришло время разобраться, какие именно.

Dittenberger then examined Plato’s use of comparative particles (ὥσπερ and καθάπερ), but the results are fuzzy at best (pp. 19-20). B. tries (p. 19) to make them more precise by noting a decreasing rate, counted as uses per page, from Euthd., Meno, Gorg., Crat., Phdo., Symp., Lysis (0.80) to Phdr., Rep., Theaet. (0.61), and thence to Parm., Phil., Soph., Pol., Tim., Crit., and Laws (0.40). In … comparing the three numbers [B.] claims a clear trend but he fails to determine whether it is in fact statistically significant. Briefly the uncertainty σ for each ratio would be respectively 0.80 ± 0.15, 0.61 ± 0.08, and 0.40 + 0.07, and the level of significance of the pairwise differences would be z = 1.1 (73 % ) and z = 2.0 (95 %).

Простыми словами: Б. считает, что в ранней, средней и поздней группе сравнительные наречия встречаются с убывающей частотностью (в пересчете на страницу текста): соответственно 0.80 (7 диалогов), 0.61 (3 диалога) и 0.40 (7 диалогов). Как он пишет,

Clearly there can be no doubt of the direction of the trend.

Однако сомнения есть. Кейзер считает не только среднее, но и стандартное отклонение для каждой группы: 0.15, 0.08, 0.07 соответственно. Это дает ему возможность попарно сравнить, есть ли значимая разница в средних (формула).

z1 <- (0.8 - 0.61) / sqrt( 0.15^2 + 0.08^2) # 1.1
z2 <- (0.61 - 0.4) / sqrt( 0.08^2 + 0.07^2) # 1.97

Ура, мы получаем те же значения, что и Кейзер. От них можно перейти к вероятности:

pnorm(abs(z1), lower.tail = F) * 2 # 27%
pnorm(abs(z2), lower.tail = F) * 2 # 5%

Таким образом с вероятностью 27% для групп 1 и 2 и с вероятностью 5% для групп 2 и 3 выборочные средние происходят из одной популяции. Кейзер говорит о 73% и 95% (т.е. 1 – p) уверенности, чего, с его точки зрения, недостаточно:

That is, those are the probabilities that the difference is significant—and most statisticians would consider anything less than 95% (I and most physicists prefer 99%) as insignificant. B. calculates (pp. 21-2) various ratios, which suffer from the same defect.

Очень непросто иногда читать рецензии.

🗳 Коллеги уже написали про ежегодную выставку достижений цифрового гуманитарного хозяйства, Digital Humanities Awards 2023.

А мы добавим, что в этом году в шортлисте несколькими именами ✨представлена магистратура✨ "Цифровые методы в гуманитарных науках" НИУ ВШЭ и даже, силы небесные, автор этого канала.

По ссылке можно нас (или кого-то еще) поддержать, чтобы мы и дальше вдохновенно радовали вас чем-нибудь таким эдаким.

В общем, вот наши номинации:

⭐️ BEST DH DATASET
Борис Орехов (руководитель программы), Russian-European literary relations of the 18th century – https://dataverse.pushdom.ru/dataset.xhtml?persistentId=doi:10.31860/openlit-2023.4-B003

⭐️ BEST DH TOOL OR SUITE OF TOOLS
Диана Есаян (выпускница программы), Direct Speech Extractor – https://github.com/diana-esaian/direct-speech-extractor-ru

⭐️ BEST DH TRAINING MATERIALS
Ольга Алиева (преподаватель программы), Computer text analysis with R – https://locusclassicus.github.io/text_analysis_2023/

⭐️ BEST DH SHORT PUBLICATION
Борис Орехов, Identifying the style by a qualified reader on a short fragment of generated poetry – https://arxiv.org/abs/2306.02771

⭐️ BEST USE OF DH FOR FUN
Борис Орехов, Calendarium Romanum – https://vk.com/calendariumromanum

ℹ️ Не забудьте поделиться информацией с друзьями: голосовать могут все, вне зависимости от академического статуса и отношения к DH.

⌛️ Голосование продлится до 30 марта 2024 г. Голосовать можно в нескольких номинациях.

❗️Голосовать можно только один раз, но зато сами организаторы призывают делиться информацией с друзьями и коллегами, потому что одна из идей конкурса -- популяризация DH.

🌳 Снова #филогенетика. Зачем строить несколько деревьев?

Дело в том, что результат кластеризации зависит от нескольких параметров:
📌 число предикторов (например, наиболее частотных слов для разных произведений);
📌 расстояние, которое используется для попарных сравнений (евклидово, городских кварталов, др.)
📌 метод связи при иерархической кластеризации (метод полной связи, метод средней связи, метод Уорда и др.);

Иногда добавление или удаление буквально одного слова меняет структуру дерева. Поэтому бывает необходимо сравнить разные деревья. Выше мы уже видели один способ это сделать — консенсусное дерево. Но оно дает уже результат обобщения, а иногда интересно посмотреть на исходные деревья, сопоставить их попарно.

Для этого удобно построить tanglegram, в R это проще всего сделать при помощи пакета dendextend.

library(stylo)
library(dendextend)

data("galbraith")
data <- as.data.frame.matrix(galbraith)[c(1,2, 9, 10, 16, 17),c(1:30)]
distmx <- dist(scale(data))

d1 <- as.dendrogram(hclust(distmx, method ="average")) %>% set("labels_col", value = c("skyblue", "orange", "grey40"), k=3) %>% set("branches_k_color", value = c("skyblue", "orange", "grey40"), k = 3)

d2 <- as.dendrogram(hclust(distmx, method ="ward.D2")) %>% set("labels_col", value = c("skyblue", "orange", "grey40"), k=3) %>% set("branches_k_color", value = c("skyblue", "orange", "grey40"), k = 3)

dlist <- dendlist(d1, d2)

par(family = "Arial Bold")
tanglegram(dlist, common_subtrees_color_lines = FALSE, highlight_distinct_edges  = TRUE, highlight_branches_lwd=FALSE, margin_inner=10, lwd=2, axes=FALSE, main_left = "Cредняя", main_right = "Уорд", lab.cex = 1.3)

На картинке видно, что одно из сочинений Дж. Роулинг попадает в разные кластеры в зависимости от метода связи, хотя для кластеризации использовалась одна и та же матрица расстояний.

🌳 Консенсусное дерево легко построить в пакете Stylo, в том числе используя GUI (графический интерфейс).

Нажимать на кнопки легко и приятно, но есть нюансы. Во-первых, не получится кастомизировать внешний вид дерева, а, во-вторых, в Stylo реализована достаточно специфическая процедура бутстрепа (повторных выборок).

Вот что пишут разработчики:

Under the FEATURES tab, users can define the minutes of the MFW division and sampling procedure, using the increment, the minimum and maximum parameters. For minimum = 100, maximum = 3000, and increment = 50, stylo will run subsequent analyses for the following frequency bands: 100 MFW, 50–150 MFW, 100–200 MFW, ..., 2900–2950 MFW, 2950–3000 MFW.

Для консенсуса нужно много деревьев, и Stylo будет строить эти деревья в заданном интервале. Это значит, что последние деревья будут построены уже не на основе самой частотной лексики, т.е. скорее всего на них отразится тематика текстов, входящих в корпус.

В некоторых случаях это работает неплохо. Например, для моего тренировочного греческого корпуса хватило 100-500 mfw, и почти все авторы (кроме Аристида) благополучно разошлись по своим домикам на дереве 🏡 (см. рисунок).

Но, возможно, вам понадобятся другие идеи для консенсуса. Разные расстояния. Разные методы кластеризации. Случайные выборки из первых двух сотен слов или еще что-то. Тогда придется самим строить сразу множество деревьев. Как это сделать грамотно, расскажем в следующих выпусках нашего кулинарного цифрового шоу. #филогенетика