Между тем освоила и вписала в курс по R небольшой, но очень приятный пакет {text}. https://www.r-text.org/

Позволяет строить эмбеддинги с моделями семейства BERT, опубликованными на Hugging Face.

Требуется виртуальное окружение Python, которое не сложно настроить через {reticulate}, а также модули nltk и transformers.

Например, так:

emb <- textEmbed(
  texts = news_sample$text,
  # или другая модель
  model = "cointegrated/rubert-tiny2",  
  # по умолчанию 
  layers = -2,     
  remove_non_ascii = FALSE
)

Из ограничений — не подходит для моделей BERT с анализом эмоциональной тональности 💔

🖼️ В Вышке закончился второй модуль, для меня он стал периодом очередных доработок курса по R для ОП «Цифровые технологии в гуманитарных исследованиях» #tar2024 Все уроки курса доступны онлайн, в конце уроков есть ссылки на видео занятий.

Основные переделки коснулись уроков:

8 ) Регулярные выражения. Переделала структуру и примеры: теперь изучаем {stringr} на примере «Гордости и предубеждения».

9) В урок по веб-скрапингу добавила раздел по сетевой вежливости (кстати, проверила: работает, меня стали меньше блокировать).

10) Уроки по токенизации, лемматизации и анализу частотностей объединились и стали более насыщенными; добавлен раздел про лемматизацию по API (в первом модуле был урок про JSON, который позволяет перейти к такого рода задачам)

11) Удален урок про LSI, вся векторизация объединена в одном уроке: PMI-SVD, Word2Vec, к ним добавлен Bert и раздел про предобученные эмбеддинги. Трансформеры используются через {reticulate}.

12) В урок про сентимент-анализ тоже добавила раздел про трансформеры. Дерзко, модно, современно.

14) Дописала новый урок про контроль версий с git (это было в прошлом году, но более кратко и без отдельной главы в учебнике). Заодно и сама наконец разобралась с разными способами разрешения конфликтов. Плюс дописала по шагам инструкцию для публикации сайта на GitHub Pages. Замысел в том, чтобы студенты использовали эти знания для представления итоговых проектов.

Еще в этом модуле впервые провела минихакатон по анализу эмоциональной тональности и придумала несколько новых заданий. Кажется, всем было нескучно.

💡Общее наблюдение: по сравнению с ситуацией двух- или трехлетней давности, мелкие вопросы типа добавления геомов в {ggplot} или переименования столбцов можно давать более кратко. Смещаю акцент на общую логику, детали они все равно обсуждают с дипсиком (чей стиль кодирования я уже стала узнавать). Это значит, что мы успеваем пройти больше, надо делать зумаут на многих сюжетах. Это челлендж, но в целом полезный для расширения горизонта всех участников.

Продолжим после праздников! (До которых надо еще дожить).

Одно из моих new_year_resolutions на будущий год — потихоньку переехать в #obsidian@rantiquity , для которого решила завести отдельный тег.

Есть небольшая надежда, что это упростит рабочий воркфлоу: я стараюсь читать по 2-3 статьи (или эквивалент) по своей теме в день, не считая регулярного чтения источников, и при библиографии в сотни позиций ориентироваться в заметках и папках Zotero становится сложно.

Не говоря уже о том, что их надо как-то структурировать и создавать связи между разными записями, иначе они просто умножают количество бессмысленного текста во вселенной.

Obsidian на первый взгляд показался очень удобным. Синтаксис маркдаун уже привычен по Quarto, вызов разных команд похож на VS Code.

Сегодня разобралась с 🌐основами и 🌐 интеграцией Zotero. Плагин 🖥 Pandoc Reference List очень удобен для формирования библиографии, поддерживает стандарные стили цитирования Zotero.

Итоги года 🎄☕️

Обычно я не пишу итогов года, потому что очень плохо различаю года (ведь время - подвижный образ вечности, и меня от него укачивает). Но как не принять эстафету от Евгения Николаевича! Поэтому держите:

Слово года: пайплайн. Для всего: от уборки и пирогов до командных проектов.

Город года: Чунцин - рада, что побывала, но одного раза достаточно 🍜

Событие года: Конференция Международного платоновского общества в Мадриде. Три года готовишься, потом 30 минут выступаешь. Бонус: можно посмотреть Веласкеса через дорогу 🎨

Артефакт года: Дебра Нейлз подарила мне афинскую драхму. Настоящую из Афин, с совой, ровесницу Платона 🦉

Встреча года: В этом году я встретила команду мечты. Людей, с которыми мне даже на созвоны в Zoom приходить радостно. И мы кое-что затеяли! С нейросетями и греческой политоникой 👾

Проект года: Книга. Теперь каждое утро говорю себе, как Модест Мусоргский: "Вставай! Иди умойся, и садись дописывать свою божественную платонхованщину" 😳

Гордость года: DH Awards за лучший курс. Я больше не импостер? 🥹

Вайб года: Дрейф в метафизику.

Софт-скилл года: Не упустить возможности промолчать.

Книга года: "Война и мир" (отрывками). Поняла одну вещь: если читать каждую главу как отдельный рассказ, то Толстой -- это Чехов. Попробуйте и научите детей, так никогда больше "ВиМ" не покажется им скучной. Вот например: Наполеон в Кремле ожидает делегацию бояр. Смеялась сама, потом, обливаясь слезами от смеха, перечитывала детям. Всем вообще рекомендую, особенно если год заканчивается в миноре. 😎

Место года: Ботанический сад-ВДНХ. Лучшее место в мире, лучше с каждым годом, обожаю в любую погоду и при любом освещении. Помогает от всего, в том числе от дурных мыслей и дурного глаза. 🌷

Спорт года: Летние философские забеги. Очень просто: неспешный бег под разговоры о феноменах и ноуменах. Калокагатия. 🏃‍♀️📚

Инструмент года: Obsidian, obsession года. А про робот-пылесос можно еще скажу, да? Его зовут Биби, он глупый, но добрый. Помощи никакой, но постоянный движ.

Достижение года: сегодня вечером в эфире, stay tuned.

Передаю эстафету дорогим друзьям и коллегам Дане @fckndh и Соне @curiousonya, которые в этом году шли вместе со мной это ДХ-поприще.

С наступающим! ❤️🎄