🎓 С Днем знаний!

Коллеги, поздравляем вас с 1 сентября!
Этот день символизирует начало нового учебного и научного сезона — время свежих идей, проектов и открытий. Пусть вас ждут продуктивные исследования, вдохновляющие дискуссии и крепкие профессиональные связи.

📚 Пусть учебный год будет полон открытий — как в аудиториях, так и в лабораториях.
✨ Желаем вам энергии для смелых экспериментов, терпения для долгих процессов и радости от новых результатов.

С Днем знаний и отличного старта! 🚀

Собрание НУГ!

Вчера, 10 сентября, у нас прошла очередная рабочая встреча 💡
Делимся новостями:

🔹 Насмотренность
— Статью отправили, теперь ждём ответ (держим кулачки 🤞).

🔹 Нарративы про живопись
— Совсем скоро расскажем про новый проект, а пока можем сказать: кипит работа!

🔹 Афазии
— Начали набрасывать план новой статьи о жанровых особенностях восстановительных текстов.

Шагаем дальше и скоро поделимся новыми апдейтами! 🚀

Сложность ≠ трудность, или как отличить субъективное от объективного!

Сегодня в рамках нашей рубрики, в которой мы объясняем сложные термины простыми словами, мы расскажем, чем же отличаются сложность и трудность текста, с которыми мы столкнулись во время исследования восприятия людьми текстов в музеях.

🏋️‍♂️ Представьте, что вы пришли в спортзал.

Сложность — это свойство самого тренажера или упражнения. Например, штанга весом 100 кг — объективно «сложная». Ее вес можно измерить в килограммах (объективный параметр), и он не изменится, кто бы к ней ни подошел.
Трудность — это ваше личное ощущение от работы с этим тренажером. Для профессионала штанга в 100 кг может быть легкой (низкая трудность), а для новичка — неподъемной (высокая трудность).

📚 Сложность текста — это объективный параметр.

Это характеристики, которые можно измерить непосредственно из текста, абстрагируясь от того, кто его будет читать.

Что определяет сложность?
— Объем текста: количество слов в тексте.
— Структура предложений: средняя длина предложения в словах.
— Структура слов: средняя длина слова в буквах.
— Характер лексики: частотность используемых слов, лексическая плотность.
— Тип лексики: соотношение слов с конкретным и абстрактным значением, количество специальных терминов.
— Рассчитанные метрики: формулы читабельности (удобочитаемости).

🧠 Трудность текста — это субъективный параметр.

Это то, насколько тяжело или легко именно вам понять этот текст. Она зависит не только от самого текста, но и от читателя.

Что определяет трудность?
Субъективные (личностные) параметры читателя:
— Фоновые знания и образованность.
— Языковые навыки.
— Возраст, пол, социальное положение.
— Когнитивные особенности (наличие/отсутствие заболеваний).
— Место проживания (культурный контекст).
— Объективные (текстовые) параметры: параметры сложности текста, так как они влияют на итоговую трудность.

🔑 Важно: трудность — это комплексная категория, принимающая во внимание как объективную сложность текста, так и субъективные характеристики читателя.

#простоосложном

🤓 В среду, 10 сентября, в 16:30 по МСК с докладом «СМИНЧ VS БЯМ: экспериментальное исследование возможностей диагностики трудностей чтения у школьников с помощью сгенерированных текстов» выступит Екатерина Костина, магистрант ОП «Языковые технологии в бизнесе и образовании» НИУ ВШЭ.

🏫 Доклад посвящен экспериментальной проверке возможностей применения больших языковых моделей (LLM) для диагностики трудностей чтения у младших школьников. В качестве контрольного материала использовался текст из Стандартизированной методики исследования навыков чтения (СМИНЧ; Корнев, 1997), который был сопоставлен c LLM-текстом, наиболее близким по лингвистическим параметрам.
В исследовании приняли участие 10 учеников второго класса общеобразовательной школы, сбалансированные по уровню чтения. Каждый школьник читал два текста — оригинальный и сгенерированный; порядок предъявления был сбалансирован. Фиксировались скорость чтения, количество ошибок, понимание текста и способ чтения.
Эксперимент показал, что по основным показателям оценки уровня чтения статистически значимых различий между оригинальным и сгенерированным текстом нет. Однако LLM-текст обладает большей дифференцирующей способностью: позволяет точнее разделять учащихся по уровню беглости чтения и выявлять взаимосвязь между количеством ошибок и пониманием текста.
Полученные результаты позволяют говорить о сопоставимости оригинального и сгенерированного текста по диагностическим параметрам и о перспективности применения LLM в данной сфере. Однако исследование носит пилотный характер, и для подтверждения выводов необходимо увеличить выборку испытуемых, включив в нее группу школьников с выраженными трудностями чтения, а также расширить диапазон сложности используемых текстов.

📹 Ссылка для подключения

https://telemost.yandex.ru/j/58755049991144 s

10 сентября на первом в этом году открытом семинаре нашей научно-учебной группы магистрантка ОП «Языковые технологии в бизнесе и образовании» НИУ ВШЭ Екатерина Костина представила доклад «СМИНЧ VS БЯМ: экспериментальное исследование возможностей диагностики трудностей чтения у школьников с помощью сгенерированных текстов».

В рамках доклада Екатерина рассказала о целях и ограничениях СМИНЧ (Стандартизированной методики оценки навыков чтения): методика призвана оценивать уровень сформированности навыков чтения у детей младшего школьного возраста, однако из-за небольшого количества текстов тестирование не получается проводить так часто, как этого требует учебный процесс. Учителям зачастую приходится самостоятельно находить материал для проверки навыков чтения у школьников, но эти тексты не всегда хорошо сбалансированы, а их поиск отнимает большое количество времени. Генерация при помощи LLM позволяет создавать тексты необходимой сложности и тематики с минимальными трудозатратами.

Предыдущее исследование показало, что prompting дает более качественные результаты по сравнению с fine-tuning'ом, поэтому тексты для эксперимента генерировались с помощью промпта, задающего длину, сложность, структуру, стиль и другие параметры текста. Затем один из сгенерированных текстов был отобран в качестве материала для экспериментального исследования со школьниками, при этом отобранный текст по большей части представлял собой диалог.

В пилотном эксперименте приняли участие 10 учеников второго класса общеобразовательной школы, на основании комментариев классного руководителя из выборки были исключены дети с выраженными трудностями или высокими навыками чтения. Каждый школьник читал два текста — оригинальный и сгенерированный; порядок предъявления был сбалансирован. Фиксировались скорость чтения, количество ошибок, понимание текста и способ чтения.

Результаты эксперимента свидетельствуют о том, что оригинальный текст СМИНЧ и сгенерированный при помощи LLM не имеют статистически значимых различий по основным показателям оценки уровня (скорость чтения, количество ошибок). Однако LLM-текст обладает лучшей дифференцирующей способностью: позволяет точнее разделять учащихся по уровню беглости чтения и выявлять взаимосвязь между количеством ошибок и пониманием текста.

В ходе обсуждения Екатерине предложили несколько идей для дальнейших исследований в области оценки навыков чтения при помощи сгенерированных текстов: провести эксперимент на монологическом, а не диалогическом тексте, тестировать испытуемых на эмоциональный интеллект перед чтением, фиксировать и анализировать не только количество ошибок при чтении, но их их характер, а также попробовать генерировать тексты для оценки навыков чтения у взрослых.

Благодарим Екатерину за интересный доклад и предлагаем вам посмотреть ее выступление.

🤓 В среду, 24 сентября, в 16:30 по МСК с докладом «В мгновение ока: Окуломоторные корреляты когнитивного искажения предвзятости подтверждения» выступит Елена Дмитриевна Артёменко, кандидат филологических наук, доцент Департамента социологии, заместитель заведующего Лабораторией социальной и когнитивной информатики Санкт-Петербургского кампуса НИУ ВШЭ.

🏫 Эффект предвзятости подтверждения представляет собой хорошо изученное когнитивное искажение, оказывающее существенное влияние на процесс принятия решений. Суть феномена заключается в селективной оценке достоверности информации: конгруэнтная имеющимся знаниям информация оценивается как более убедительная, в то время как неконгруэнтная часто отвергается или игнорируется. Эта тенденция является ключевым фактором, обуславливающим возникновение устойчивых искажений когнитивно-поведенческих схем. К их числу относятся, в частности, избирательность при поиске информации (экспозиционная предвзятость) и фильтрация данных на этапах внимания и запоминания.
Ряд исследований демонстрирует, что предвзятость подтверждения ассоциирована с повышенной когнитивной нагрузкой, обусловленной, в первую очередь, необходимостью разрешения когнитивного диссонанса. Тем не менее, физиологические механизмы, лежащие в основе данного искажения, остаются малоизученными. С целью выявления поведенческих и нейрофизиологических коррелятов данного феномена была проведена серия лабораторных экспериментов с параллельной регистрацией движений глаз и ЭЭГ-активности испытуемых.
В докладе предлагается обсуждение эффекта предвзятости подтверждения, его когнитивных механизмов и физиологических основ, а также представление результатов первого эксперимента в серии, свидетельствующих о наличии связи между эффектом предвзятости подтверждения, уровнем когнитивной нагрузки и характеристиками глазодвигательной активности. Полученные данные подтверждают, что проявление эффекта предвзятости подтверждения сопровождается статистически значимыми изменениями в паттернах движений глаз.

📹 Ссылка для подключения

https://telemost.yandex.ru/j/58755049991144