Студенты прислали валентинку, сделанную в {ggplot}. А вот и источник! Невероятно трогательно, спасибо 🥰🥰🥰

Как объяснить герменевтический круг аналитику данных

Герменевтический круг — это философская концепция, описывающая процесс понимания текста, явления или смысла, при котором целое интерпретируется через его части, а части – через целое. Это означает, что понимание любого отдельного элемента требует понимания контекста, а сам контекст, в свою очередь, формируется через понимание отдельных элементов.

Как правило, приступая к чтению текста, мы имеем очень отдаленное представление о «целом», и из этого несовершенного представления сооружаем такое же несовершенное понимание «частей», которое, однако, позволяет немного уточнить исходное «целое», а от него опять вернуться к «частям». Так мы двигаемся туда-сюда (или по кругу) очень долго, пока, наконец, все или почти все не складывается как надо.

Как понять, что это произошло? По-моему, так: каждая новая итерация уже не производит значительных смысловых сдвигов, плюс неземной свет.

А похоже это на алгоритм кластеризации. Сначала каждому наблюдению присваивается случайно выбранное число из интервала от 1 до K (число кластеров). Это исходные метки. Дальше вычисляется центроид для каждого из кластеров (это мы вернулись к «целому»). Центроид k-го класса – вектор из p средних значений признаков, описывающих наблюдения из этого кластера. Идем обратно к «частям»: каждому наблюдению присваивается метка того кластера, чей центроид находится ближе всего к этому наблюдению. Повторяем шаги 2-3 до тех пор, пока метки классов не перестанут изменяться.

А еще это похоже на градиентный спуск и постепенную минимизацию функции потерь, но эту метафору вы разверните сами. Правда, в искусстве интерпретации «алгоритму» бывает трудно остановиться, так что весь Google Scholar переполнен публикациями, которые уводят вас все дальше от наилучшего прочтения.

Осталось найти аналитика данных, которому это интересно.

Ютуб все понял про редактора этого канала и порекомендовал видео: НИЧЕГО НЕ ДАНО А НАДО. Красивая, кстати, задача, но лучше всего в ней название. Эпиграф к книге жизни.

Между тем, февральское обновление в пакете {ellmer}: появились долгожданные функции content_pdf_file() and content_pdf_url(). Правда, пока их поддерживают не все модели, только Gemini & Claude. Будем ждать развития событий!

одна алиева весны не делает, но надо же с чего-то начинать 😅

Дорогие друзья, сегодня в 14-00 мск презентую итоги стилометрического исследования платоновского корпуса, которым я занималась последние несколько лет.

Это последняя статья в серии, которая, по моему замыслу, должна подвести некоторый итог всей работе. После этого, надеюсь, в моей жизни наступит сплошная метафизика.

Судя по рецензии, которую я на днях получила, поспорить сегодня будет о чем. Зарегистрироваться и подключиться можно по ссылке выше.

В согласии с принципами reproducible research делюсь репозиторием с данными, кодом, а также ссылкой на сегодняшнюю презентацию: https://github.com/locusclassicus/plato_new_model_2024

Ну вот например. И это только публикации с вхождением “Платон” в названии, то есть лишь некоторая часть того, что о нем пишется.

Сравниваем тексты с {diffobj}

ed1 <- "В начале было Слово, и Слово было у Бога, и Слово было Бог."
ed2 <- "Вначале было Слово, и Слово было к Богу, и Бог был Слово."

# Визуализация изменений
library(diffobj)
diffChr(ed1, ed2, mode = "sidebyside")

Ссылка на техническую документацию. Результат можно встраивать в markdown и shiny.

p.s. первая-то редакция получше будет

Гераклит называл Пифагора κοπίδων ἀρχηγός, “предводитель мошенников”, а всякий уважающий себя философ, как говорил Ямвлих, должен взять себе в руководители “родоначальника и отца божественной философии”.

Поэтому сегодня маленькая хитрость для тех, кто уже научился реферировать статьи с чатом GPT, но еще не придумал, как безболезненно скормить ему монографию. Для этого придется разрезать ее на главы, и самый простой способ это сделать в R — пакет {qpdf}

library(qpdf)

pdf_subset(input = “book.pdf", 
           output = "chapter.pdf", 
           pages = 10:20)

Дальше вы знаете что делать 🐳 Но, как показывает практика, надо хорошо подумать над промптом, т.е. по сути сначала прочесть источник, а потом уже задавать вопросы машине. Иначе получится обо всем и ни о чем.

Вот такую чудесную мимозу подарили сегодня студенты. С радостью делюсь и желаю, чтобы всем нам удавалось, подобно мифическому Орфею, оживлять пением камни и данные. С праздником 🌼

Хорошая новость для тех, кому приходится распознавать тексты в дореформенной орфографии.

Борис Орехов опубликовал датасет, а Александра Горшенина написала под него код, позволяющий дообучать модели Tesseract для русского языка. За основу взят мастер-класс Андре Круса с примерами дообучения для распознавания математических символов.

Очень полезная в филологическом хозяйстве вещь! Спасибо коллегам.

Просто зафиксирую для истории тот день, когда GPT начал мной командовать. Раньше он все больше говорил "Рад был вам помочь" или "Могу ли еще что-то сделать?" А теперь сплошные императивы, и какие. "Отпишитесь" 😬

Из особенных достижений за этот модуль, я считаю, вот. #цифровые_этюды #pca

Осваиваю веселенький пакет FastTextR (снова неутомимый Эмиль Хвитфельдт!), позволяющий работать с предобученными эмбеддингами. Хочется, глядя на это, сказать голосом Любшина: