✔️ Вот вам новая #задачка, про Фукидида.

✨Профессор Томпкинс решил узнать, кто самый сложносочиненный персонаж в «Истории» Фукидида. Для этого он взял две выборки (на самом деле больше, но у нас песочница), одну с речами Никия, другую с речами Алкивиада. В выборке Никия — 35 предложений, из них 17 имеют как минимум два уровня подчинения. В выборке Алкивиада — 38 предложений, из них лишь 11 усложнены до третьего уровня.

⭐️Необходимо вычислить стандартную ошибку пропорции для двух выборок и сделать выводы о равенстве двух пропорций.

Считаем в R:

p_nic <- 17/35
p_alc <- 11/38
sep_nicias <- sqrt((p_nic*(1-p_nic)) / 35)
sep_alcib <- sqrt((p_alc*(1-p_alc)) / 38)

В 95%-ом доверительном интервале истинные пропорции для Никия и Алкивиада составляют:

nicias_est <- p_nic + sep_nicias * c(-2, 2)
# 0.316 0.655
alcib_est <- p_alc + sep_alcib * c(-2, 2)
# 0.142 0.437

Упс, похоже, интервалы пересекаются, перепроверим. Считаем разницу в 95%-м интервале:

diff = p_nic - p_alc
term1 = p_nic*(1-p_nic) / 35
term2 = p_alc*(1-p_alc) / 38
diff + c(-1.96, 1.96) * sqrt(term1 + term2)
# -0.023 0.416

Похоже, что ноль попадает в доверительный интервал, значит не можем отвергнуть нулевую гипотезу о равенстве пропорций.

То же самое быстрее:

prop.test(x = c(17, 11), n = c(35, 38), conf.level = 0.95, correct = F, alternative = "two.sided")


Вернет:

p-value = 0.08496

95 percent confidence interval:
-0.02332456 0.41580576

Результаты теста совпадают с тем, что мы насчитали выше. Это хорошо. Но отвергнуть гипотезу о равенстве пока не получится. Хотя наше филологическое чутье говорит об обратном.

Сегодня полезная штуковина для тех, кто занимается сравнением переводов, версий документа и т.п. Выравниватель на основе алгоритма Смита — Ватермана.

library(text.alignment)  
a <- "Gallia est omnis divisa in pates tres." 
b <- "Gallia omnis divisa in partes tres"  
smith_waterman(a, b, type = "characters") 

Функция вернет оба документа с хэшами на месте расхождений в символах:

Swith Waterman local alignment score: 61 
---------- Document a ---------- 
Gallia est omnis divisa in pa#tes tres 
---------- Document b ---------- 
Gallia ####omnis divisa in partes tres

Если поменять type на words, то захэшируются целые слова.

💡 Если вы, как я, постоянно делаете ошибку в фамилии Foucault, можно быстренько проверить, все ли гласные на месте.

💡Если студент вам сдал слегка отредактированную версию прошлогодней работы, можно вполне в домашних условиях развернуть свой собственный антиплагиат.

#полезное

✔️ Вы уже соскучились по профессору Томпкинсу? Вот вам еще одна #задачка.

🌀Известно, что Фукидид дает словесную характеристику своим героям. Алкивиад, например, очень любит паратаксис и часто начинает свои предложения с καί:

’Καὶ ταῦτα ἡ ἐμὴ νεότης καὶ ἄνοια παρὰ φύσιν δοκοῦσα εἶναι ἐς τὴν Πελοποννησίων δύναμιν λόγοις τε πρέπουσιν ὡμίλησε καὶ ὀργῇ πίστιν παρασχομένη ἔπεισεν. καὶ νῦν μὴ πεφόβησθε αὐτήν, ἀλλ' ἕως ἐγώ τε ἔτι ἀκμάζω μετ' αὐτῆς καὶ ὁ Νικίας εὐτυχὴς δοκεῖ εἶναι, ἀποχρήσασθε τῇ ἑκατέρου ἡμῶν ὠφελίᾳ. καὶ τὸν ἐς τὴν Σικελίαν πλοῦν μὴ μεταγιγνώσκετε ὡς ἐπὶ μεγάλην δύναμιν ἐσόμενον (6.17).

Снова сравним Алкивиада и Никия. У первого 28 предложений из 82 начинаются с καί, у второго — 14 из 73. Мы уже выяснили, как сравниваются пропорции, поэтому считаем быстро, не заглядывая под капот:

prop.test(x = c(28, 14), n = c(82, 73), conf.level = 0.95, correct = F, alternative = "two.sided")

✔️P-value = 0.036, результат значим, разница пропорций составляет от 0.054 до 0.31 с уверенностью 95%. Пока ничего нового: Алкивиад паратоксик, то есть, простите, -таксик. Новое начинается дальше, когда другой профессор, не выговорим его имя, сравнивает фукидидовских Никия и Алкивиада с платоновскими.

⭐️В речи Алкивиада в «Пире» 21 предложение из 136 начинаются с καί: больше, чем у кого-либо еще в диалоге. В репликах Никия в «Лахете» καί в начале предложения, напротив, очень редок: 3 из 45. Чтобы минимизировать влияние диалогического жанра, профессор С. учитывает только реплики из >2 предложений. Кстати, оба профессора считают предложением то, что оканчивается на точку, колон или знак вопроса.

📖В статье этого нет, а мы посчитали: разница между платоновскими Алкивиадом и Никием не является значимой (p-value = 0.1325). Не хватает данных, неоткуда взять.

prop.test(x = c(21, 3), n = c(136, 45), conf.level = 0.95, correct = F, alternative = "two.sided")

🌀А если сравнить Алкивиада у Платона и Фукидида?

prop.test(x = c(21, 28), n = c(136, 82), conf.level = 0.95, correct = F, alternative = "two.sided")

✔️Интересный результат: платоновский «икает» значимо меньше, чем фукидидовский, хотя и больше других персонажей. Хотя оба автора, Платон и Фукидид, очевидно вопроизводят какую-то узнаваемую черту исторического Алкивиада, делают это статистически по-разному. Это касается и двух Никиев, и снова у платоновского значимо меньше «и» в начале предложения, хотя другие черты его стиля он воспроизводит (но об этом не сейчас).

⭐️Ситуации, когда у нас недостаточная большая выборка, чтобы отвергнуть нулевую гипотезу, не редкость в антиковедении, особенно при работе с фрагментами и отрывками. Как с этим быть, подумаем в другой раз.

Снова география. Павсаний, Страбон и даже Плиний Старший тоже нанесены на карту при помощи онлайн-инструмента под названием Recogito. Разработкой и тегированием занимался тот же Элтон Баркер, который соорудил карту Геродота.

Recogito — это бесплатный, очень простой, но достаточно удобный онлайн-инструмент, в 2018 получивший приз как лучший DH-tool в Digital Humanities Awards 2018. Он позволяет работать в командах над аннотированием текстов.

Размеченные таким образом именованные сущности можно затем экспортировать в ГИС.

💡Загружаете свой текст (на любом языке) и можете — например, по мере чтения его со студентами — добавлять какую-нибудь разметку. Вот вам идея для цифровой проектной работы, которая не требует кодинга.

💡Кстати, csv или json с координатами локаций у Павсания, Страбона и Плиния вполне можно скачать и использовать в учебных целях. На картинке Страбон для привлечения внимания. #карты

❗️ Новая #задачка сегодня из рецензии Пауля Кейзера на книгу Леонарда Брэндвуда The Chronology of Plato's Dialogues (1990).

Несколько лет назад, когда я впервые прочитала эту рецензию, я почти ничего не поняла, кроме того, что Б. совершает какие-то страшные статистические грехи. Пришло время разобраться, какие именно.

Dittenberger then examined Plato’s use of comparative particles (ὥσπερ and καθάπερ), but the results are fuzzy at best (pp. 19-20). B. tries (p. 19) to make them more precise by noting a decreasing rate, counted as uses per page, from Euthd., Meno, Gorg., Crat., Phdo., Symp., Lysis (0.80) to Phdr., Rep., Theaet. (0.61), and thence to Parm., Phil., Soph., Pol., Tim., Crit., and Laws (0.40). In … comparing the three numbers [B.] claims a clear trend but he fails to determine whether it is in fact statistically significant. Briefly the uncertainty σ for each ratio would be respectively 0.80 ± 0.15, 0.61 ± 0.08, and 0.40 + 0.07, and the level of significance of the pairwise differences would be z = 1.1 (73 % ) and z = 2.0 (95 %).

Простыми словами: Б. считает, что в ранней, средней и поздней группе сравнительные наречия встречаются с убывающей частотностью (в пересчете на страницу текста): соответственно 0.80 (7 диалогов), 0.61 (3 диалога) и 0.40 (7 диалогов). Как он пишет,

Clearly there can be no doubt of the direction of the trend.

Однако сомнения есть. Кейзер считает не только среднее, но и стандартное отклонение для каждой группы: 0.15, 0.08, 0.07 соответственно. Это дает ему возможность попарно сравнить, есть ли значимая разница в средних (формула).

z1 <- (0.8 - 0.61) / sqrt( 0.15^2 + 0.08^2) # 1.1
z2 <- (0.61 - 0.4) / sqrt( 0.08^2 + 0.07^2) # 1.97

Ура, мы получаем те же значения, что и Кейзер. От них можно перейти к вероятности:

pnorm(abs(z1), lower.tail = F) * 2 # 27%
pnorm(abs(z2), lower.tail = F) * 2 # 5%

Таким образом с вероятностью 27% для групп 1 и 2 и с вероятностью 5% для групп 2 и 3 выборочные средние происходят из одной популяции. Кейзер говорит о 73% и 95% (т.е. 1 – p) уверенности, чего, с его точки зрения, недостаточно:

That is, those are the probabilities that the difference is significant—and most statisticians would consider anything less than 95% (I and most physicists prefer 99%) as insignificant. B. calculates (pp. 21-2) various ratios, which suffer from the same defect.

Очень непросто иногда читать рецензии.

🗳 Коллеги уже написали про ежегодную выставку достижений цифрового гуманитарного хозяйства, Digital Humanities Awards 2023.

А мы добавим, что в этом году в шортлисте несколькими именами ✨представлена магистратура✨ "Цифровые методы в гуманитарных науках" НИУ ВШЭ и даже, силы небесные, автор этого канала.

По ссылке можно нас (или кого-то еще) поддержать, чтобы мы и дальше вдохновенно радовали вас чем-нибудь таким эдаким.

В общем, вот наши номинации:

⭐️ BEST DH DATASET
Борис Орехов (руководитель программы), Russian-European literary relations of the 18th century – https://dataverse.pushdom.ru/dataset.xhtml?persistentId=doi:10.31860/openlit-2023.4-B003

⭐️ BEST DH TOOL OR SUITE OF TOOLS
Диана Есаян (выпускница программы), Direct Speech Extractor – https://github.com/diana-esaian/direct-speech-extractor-ru

⭐️ BEST DH TRAINING MATERIALS
Ольга Алиева (преподаватель программы), Computer text analysis with R – https://locusclassicus.github.io/text_analysis_2023/

⭐️ BEST DH SHORT PUBLICATION
Борис Орехов, Identifying the style by a qualified reader on a short fragment of generated poetry – https://arxiv.org/abs/2306.02771

⭐️ BEST USE OF DH FOR FUN
Борис Орехов, Calendarium Romanum – https://vk.com/calendariumromanum

ℹ️ Не забудьте поделиться информацией с друзьями: голосовать могут все, вне зависимости от академического статуса и отношения к DH.

⌛️ Голосование продлится до 30 марта 2024 г. Голосовать можно в нескольких номинациях.

❗️Голосовать можно только один раз, но зато сами организаторы призывают делиться информацией с друзьями и коллегами, потому что одна из идей конкурса -- популяризация DH.