🖼️ В Вышке закончился первый учебный модуль, время открывать новый тег с обзором обновлений и доработок курса по R для ОП «Цифровые методы в гуманитарных науках». В прошлом году это был тег #tar2024, но, как становится понятно, это история не на один год, так что пусть будет просто #tar (=Text Analysis with R), на вырост.

🔹 Из урока по табличным данным после некоторых колебаний все же полностью убрала датафреймы, как советовал еще в прошлом году Георгий Мороз. Сразу бескомпромиссный tidyverse во всем!

🔹 Существенно переработала урок по итерациям и функциям, уделив особое внимание теме таинственного аргумента «три точки». Три точки — это сила!

🔹 Разбила на два урока единую тему структурированных данных; теперь JSON отдельно, XML отдельно. Каждый блок существенно расширила, в JSON добавила примеры запросов по API (но эту часть еще надо будет допиливать, там остались мелкие косяки).

🔹 После колебаний все же полностью перешла с пакета XML на xml2. Долго не понимала, зачем (потому что училась по этой книге), но наконец оценила его достоинства: все векторизовано, никаких sapply() и прочих сложных обходов дерева узлов. Опрятно, что и говорить. Буду дальше пользоваться.

🔹 Добавилось новое домашнее задание по мотивам проекта Tolstoy Digital! Огромное спасибо Анастасии Бонч-Осмоловской и Борису Орехову за помощь.

🔹 Экспериментировала с разными методами OCR, очень полезно, о практических результатах расскажут чуть позже коллеги отдельным постом (мы дообучили модель Tesseract!) Основная сложность для студентов пока — дообучение сложно запускать на Windows, а в облаке Posit нет прав для использования команды sudo. Все равно сделали много!

🔹 За техническую поддержку благодарю еще раз Александру Горшенину, за материал для распознавания— Анастасию Богданову, за проверку эталонных данных — Анастасию Богданову и Анастасию Орлову, за подготовку эталонных данных — студентов ОП «Компаративистика», за помощь с проверкой дз — Дарью Галкину, Владу Гурьеву и снова Настю Орлову. Скоро, надеюсь, сможем рассказать больше.

🔹В планах — переработать и остальные уроки; учесть вышедшие за прошедшие месяцы обновления (следить за ними ОЧЕНЬ помогает канал «Наука и данные» @naukaidannye ) и кое-что переделать, а также добавить несколько новых тем.

Ухожу на короткие каникулы — но не отдыхать, а писать очередную заявку, статью и курс лекций.

Сегодня у меня день рождения, и я решила для разнообразия поделать что-то для души. Посчитать, например, сколько раз упоминается мистер Дарси и Элизабет в главах “Гордости и предубеждения” (спасибо Джулии Силги за пакет janeaustenr). И в очередной раз убедилась, что симметрия — признак мастерства 🐾

аналитика in touch with feminine side

Между тем освоила и вписала в курс по R небольшой, но очень приятный пакет {text}. https://www.r-text.org/

Позволяет строить эмбеддинги с моделями семейства BERT, опубликованными на Hugging Face.

Требуется виртуальное окружение Python, которое не сложно настроить через {reticulate}, а также модули nltk и transformers.

Например, так:

emb <- textEmbed(
  texts = news_sample$text,
  # или другая модель
  model = "cointegrated/rubert-tiny2",  
  # по умолчанию 
  layers = -2,     
  remove_non_ascii = FALSE
)

Из ограничений — не подходит для моделей BERT с анализом эмоциональной тональности 💔