🎓 8 октября состоялся очередной открытый семинар научно-учебной группы «Когнитивные исследования языка». Доклад был посвящен одному из направлений работы НУГ, билингвизму: «Как, где и зачем изучают сегодня русско-тюркских билингвов в России: библиометрический контрастивный анализ».

Спикерами выступили участники нашей научно-учебной группы: Анастасия Владимировна Колмогорова, доктор филологических наук, профессор, руководитель НУГ, и Полина Налобина, магистрантка образовательной программы «Языковые технологии в бизнесе и образовании». Модератор встречи — Елизавета Сытикова, магистрантка НИУ ВШЭ СПб

В ходе встречи обсудили актуальность, историю и тренды исследований билингвизма в целом, и русско-тюркского билингвизма в частности. Докладчики рассказали о результатах библиометрического анализа, который позволил получить представление о поле исследований по данной теме. Анализ был проведен на материале на материале статей из БД Elibrary, CyberLeninka, а также англоязычных журналов и англоязычных публикаций по билингвизму, индексируемых в БД Dimensions.

Выступление вызвало интерес со стороны коллег из Тувинского Государственного Университета, которые приняли активное участие в обсуждении.

🧠 Приглашаем лингвистов, когнитивистов, филологов и всех интересующихся когнитивными исследовании присоединиться к нашим открытым семинарам, которые проходят каждые две недели в 17:00.

Как идут наши дела — делимся результатами еженедельной встречи. Во вторник мы:

1️⃣ вычитали обзорную Маши Сергеевой и А.В. Колмогоровой о существующих опросниках для определения уровня владения билингвом вторым языком

2️⃣ устроили peer review материалов и тестов по насмотренности от Кристины Дмитриевой, Полины Колмогоровой и Лизы Сытиковой. Заканчиваем разрабатывать список художников для теста, продолжаем разработку методологии и начинаем верификацию теста вместе с методологами и искусствоведами

3️⃣ обсудили варианты привлечения информантов — тувинских билингвов — для эксперимента Лизы Куликовой (запускаем совсем скоро!)

Работа по остальным направлениям деятельности НУГа активно идёт. Следите за новостями ✍️

Во вторник, 22 октября, в 17:00 по МСК с докладом «Гибридный взгляд на познание: наличие и роль мультимодальных представлений в различных задачах и контекстах при обработке языка» выступит Оксана Викторовна Царегородцева, кандидат филологических наук, доцент кафедры общей, компьютерной и когнитивной лингвистики Томского государственного университета, научный сотрудник Миланского университета Бикокка (Università degli Studi di Milano-Bicocca | UNIMIB · Department of Psychology).
 
В последние годы накапливается все больше доказательств того, что, по крайней мере, часть наших когнитивных процессов, в особенности понимание языка, воплощена в действиях, восприятиях и эмоциях, а следовательно, имеет мультимодальный характер. Если в предыдущие десятилетия дискуссии были сосредоточены на вопросе, действительно ли семантические репрезентации являются 'воплощенными', то сегодня обсуждения больше касаются того, когда и как используются воплощенные представления, и какова их точная роль при обработке языка. Этот доклад посвящен исследованию наличия и роли мультимодальных представлений в различных задачах и контекстах с акцентом на рабочую память и внимание.
 
Модератор встречи – Елизавета Сытикова, магистрант НИУ ВШЭ СПб.  
 
Ссылка для подключения

🎓С 16 по 18 октября 2024 в Москве проходил II Международный симпозиум "Проблемы патологии речи". На секции "Цифровая трансформация диагностики и коррекции речевых нарушений" выступили две Анастасии - Анастасия Марголина, инженер машинного обучения и магистрантка программы "Языковые технологии в бизнесе и образовании" и Анастасия Колмогорова, руководитель нашего НУГа - а также наша коллега-логопед из Красноярского государственного медицинского университета Ольга Николаевна Никольская.

Это масшатбное событие объединило ведущих российских и зарубежных исследователей когнитивных механизмов речи, а также логопедов-практиков. занимающихся терапией речевых нарушений. Этот симпозиум второй, поскольку первый прошел 35 лет назад и его возглавлял основатель «Центра патологии речи и нейрореабилитации» В.М.Шкловский. Наша команда также приняла участие в Симпозиуме.

Члены НУГа рассказали о новом этапе проекта по симплификации текстов для пациентов с афазией, предполагающем привлечение Больших языковых моделей.

После доклада целую серию вопросов задала Ольга Даниловна Ларина, логопед Федерального центра мозга и нейротехнологий ФМБА России. Во-первых, коллега обратила внимание на то, что, возможно, стоит отбирать для упрощения тексты, имеющие позитивную эмоциональную тональность. Во-вторых, Ольга Даниловна спросила, есть ли в размеченном датасете предложения с метафорическими употреблениями, поскольку для пациентов с моторной афазией важно работать и над обработкой непрямых значений слов и конструкций.

🤝 По окончании работы секции Анастасия Колмогорова и Ольга Даниловна обсудили возможности апробации нашей модели и генерируемых ею текстов на площадке Федерального центра мозга и нейротехнологий. Это очень важная для нас договоренность. Это еще раз доказывает, что научное общение открывает новые возможности.

Запись трансляции выступления

Позавчера был вторник, а это значит, что мы вновь собрались обсудить наши текущие результаты, и вот что у нас на повестке:

1️⃣ Обсудили подготовку финального отчета НУГ. Уже в эту субботу встретимся для записи видео-презентации результатов НУГ за этот год и обязательно поделимся им с вами!

2️⃣ Поговорили о грядущих открытых семинарах НУГ, следите за анонсами — будет интересно!

3️⃣ Подвели промежуточные итоги по валидации методики для работы с афазией. Мы анализируем результаты и уже видим некоторые интересные выводы, которые помогут нам улучшить наши подходы к упрощению текстов.

4️⃣ Со следующей недели запускаем айтрекерное исследование тувинских билингвов! Цель — глубже понять особенности восприятия и обработки эмоциональных текстов у билингвальных респондентов. Ждём интересных данных!

5️⃣ Завершаем разработку критериев оценивания для теста на насмотренность и начинаем собирать респондентов для валидации. Этот тест поможет нам более объективно оценить наличие/отсутствие у респондентов специальных знаний в области искусства — это важно для задачи измерения трудности искусствоведческих текстов.

Следите за нашими обновлениями и новыми результатами исследований! 👀

📗 22 октября прошёл открытый семинар «Гибридный взгляд на познание: наличие и роль мультимодальных представлений в различных задачах и контекстах при обработке языка».

Оксана Викторовна Царегородцева — кандидат филологических наук, доцент кафедры общей, компьютерной и когнитивной лингвистики Томского государственного университета, научный сотрудник Миланского университета Бикокка (Università degli Studi di Milano-Bicocca | UNIMIB · Department of Psychology).

🎓 В рамках выступления Оксана Викторовна поделилась своим опытом применения экспериментальных методов для изучения роли мультимодальной информации в процессах хранения и понимания языка. Активируют ли слова модальные представления об объектах? Включают ли ментальные репрезентации объектов окружающего мира сенсомоторный компонент или же они только символьные? Исследования Оксаны Викторовны приближают психолингвистов к более глубокому пониманию этих проблем.

Оксана Викторовна рассказала о дизайне экспериментов, проведенных их исследовательской группой.

📌 В первом они объединили две парадигмы: визуальную, для исследования пространственной рабочей памяти, и парадигму для изучения явления embodied language comprehension. Это позволило проверить, влияют ли слова, которые имеют пространственную локализацию в своей семантике, на скорость или точность распознавания визуальных пространственных стимулов.
📌 Помимо пространственных модальных репрезентаций, исследователи работали с цветом: в задании на принятие лексического решения они смотрели, как влияет на реакцию информанта цветовая конгруэнтность / неконгруэнтность объекта, который обозначается стимульным словом, и кнопки с правильным ответом.
📌 К восприятию цвета исследователи подключили грамматический аспект: они проверили, может ли временная отнесенность «зеленых» и «желтых» предложений ускорить или замедлить их обработку.

Общий вывод, который можно сделать на основании полученных результатов следующий: эксперименты не показали, что сенсорный опыт является функциональным для понимания языка, а модальные репрезентации активируются только в некоторых условиях. Это свидетельствует в пользу гибридной сущности репрезентаций, хранящихся в нашем ментальном лексиконе: для понимания слов важна и модальная, и символьная информация.

В конце семинара Оксана Викторовна рассказала и о своих текущих исследованиях. Она продолжает изучать роль мультимодальных представлений, фокусируясь на описании конкретных условий, в которых они активируются.

📚 До встречи на новых открытых семинарах НУГ "Когнитивные исследования языка!

🎓Во вторник, 5 ноября, в 17:00 по МСК с докладом «Навыки чтения у детей и взрослых: особенности развития и инструменты диагностики» выступит Татьяна Еремичева, стажер-исследователь Центра языка и мозга НИУ ВШЭ (Москва, Санкт-Петербург).

Чтение является сложным когнитивным процессом, без которого нам тяжело представить ежедневную рутину. В мировой практике существует большой объем исследований, посвященных изучению различных аспектов чтения, а также процессов которые необходимы для развития такого навыка у детей. При этом гораздо меньше литературы посвящено исследованиям взрослого чтения. В связи с чем встает вопрос: насколько наблюдения, полученные в работе с детским чтением, применимы к паттернам чтения у взрослых?
В докладе мы рассмотрим особенности чтения у детей и взрослых, а также обсудим актуальные способы диагностики нарушений чтения.

Модератор встречи – Ксения Степанец, студентка НИУ ВШЭ СПб.

📹Ссылка для подключения

📢 Научно-учебная группа «Когнитивные исследования языка» собралась на масштабную съемку!

Вчера мы провели три часа в зуме, чтобы рассказать обо всех наших результатах работы в проекте «Экспериментальное изучение и моделирование когнитивных механизмов речевой деятельности».

В видео мы затронули наши основные задачи:

1️⃣ Исследование окуломоторных коррелятов когнитивной обработки эмоциональных текстов у тюркско-русских билингвов;

2️⃣ Разработка методов генерации упрощенных текстов для применения в клинической практики реабилитации пациентов с афазией;

3️⃣ Изучение специфики зрительного восприятия искусства и его влияния на речепорождение.

Сейчас мы продолжаем работать над финальным отчетом и готовим видео к выпуску, и уже совсем скоро вы сможете посмотреть его в нашем канале!

Следите за нашими обновлениями и продолжайте делать науку вместе с нами! 🍒

⏰ 4 статьи, 7 выступлений за 10 минут: подводим итоги года!

В кратком, но содержательном отчетном видео — ключевые достижения и результаты научно-учебной группы "Когнитивные исследования языка" за последний год.

Главные цифры:

4️⃣ статьи: одна статья списка B (находится на рецензировании), одна статья списка C (принята в печать), одна статья списка D (принята в печать), одна статья ВАК (находится на рецензировании);

7️⃣ выступлений на конференциях;

3️⃣ основных направления исследований: рассказываем подробности о наших экспериментах с билингвами, пациентами с афазией и когнитивным восприятием произведений искусства;

3️⃣6️⃣ рабочих встреч и открытых семинаров;

2️⃣ двухнедельные стажировки участников НУГ в Центре языка и мозга.

📹 Узнать еще больше о наших достижениях и планах на будущее, можно в видео по ссылке!

Спасибо за ваше внимание и поддержку!

📚 5 ноября на открытом семинаре с докладом «Навыки чтения у детей и взрослых: особенности развития и инструменты диагностики» выступила Татьяна Еремичева, стажёр-исследователь Центра языка и мозга НИУ ВШЭ (Москва, Санкт-Петербург).

Во время чтения мало кто задумывается о том, как происходит этот процесс. На самом деле, чтобы считать графические символы и перекодировать их в устную систему, мозг вовлекает десятки психических и физиологических операций: фонологическую и зрительно-пространственную обработку, регуляторные функции, память, внимание и многие другие.

Недостаточное развитие этих навыков — причина трудностей в освоении чтения, например, дислексии. Чтобы вовремя выявить такую трудность и подобрать программу коррекции, как ребёнку, так и взрослому важно пройти диагностику.

Татьяна рассказала о разных методах проверки и коррекции когнитивных функций детей и взрослых, в том числе о тех, которые используют в практике Центра языка и мозга НИУ ВШЭ: стандартизированных поведенческих тестах (КОРАБЛИК, ЗАРЯ, RAVLT) и «умных» играх (ТИГР, DysWebxia). Также большое внимание спикер уделила вопросу внедрения машинного обучения в исследовательскую практику изучения чтения.

На сегодняшний день почти не изученными остаются паттерны чтения и их нарушения у взрослых. Это одна из главных проблем и перспектив центров когнитивных исследований.

🧑‍🏫 Присоединяйтесь к следующему открытому семинару 19 ноября!

Во вторник у нас как обычно прошла встреча НУГ, на которой мы обсудили текущие дела и поставили новые цели. Вот что удалось сделать и запланировать:

1️⃣ Отчет сдан! Еще один шаг вперед! 🎉

2️⃣ Поиск тувинских билингвов: на данный момент удалось поработать уже с 4 людьми, но нам по-прежнему нужны ещё носители тувинского языка для полного охвата исследования. Если вы хотите поучаствовать в нашем эксперименте, пожалуйста, напишите нам!

3️⃣ Продолжаем исследовать возможности больших языковых моделей для упрощения текстов для людей с афазией. Собираемся поработать с Яндекс GPT и посмотреть, как он справляется с задачей.

4️⃣ Обсудили процедуру валидации для пациентов с афазией — проверяем результаты, чтобы сделать тексты максимально понятными, интересными и полезными.

5️⃣ Разбираем шкалу оценки теста на насмотренность — обсудили систему разбалловки и привлечённую команду экспертов, которые будут участвовать в верификации оценок.

Следите за нашими обновлениями и новыми результатами исследований! 👀

📚 Во вторник, 19 ноября, в 17:00 по МСК с докладом «Специфика когнитивной обработки эмоциональных текстов на русском языке у тюркско-русских билингвов: создание экспериментальной среды для изучения» выступит Елизавета Куликова, аспирантка НИУ ВШЭ, участница НУГ «Когнитивные исследования языка».
 
Известно, что билингвизм является одним из факторов, влияющих на характер обработки эмоциональной информации в целом и эмоциональной лексики в частности. Большая часть исследований по данной теме как раз сосредоточена на уровне обработки отдельных слов. В нашем исследовании мы рассматриваем обработку эмоций на уровне текста в особых условиях – в процессе проведения его эмоциональной разметки. В докладе будет представлена модель эксперимента, разработанная нами для изучения паттернов глазодвигательной активности тюркско-русских билингвов в процессе чтения и эмоциональной разметки русскоязычных текстов, а также описаны результаты некоторых предыдущих исследований в области восприятия эмоций текста тюркско-русскими билингвами. 
  
Модератор встречи – Ксения Степанец, студентка НИУ ВШЭ СПб.  
 
📹 Ссылка для подключения

Как обычно, во вторник прошла встреча НУГ, на которой мы собрались, чтобы обсудить наши проекты. Вот что удалось сделать и запланировать:

1️⃣ Мы медленно, но верно собираем участников для эксперимента! Уже есть целых 2 монолингва и 10 билингвов.
А ещё готовим новый опрос с картинками — для чего? Расскажем позже. 😉 
Если вы также хотите поучаствовать в нашем эксперименте, пожалуйста, напишите нам!

2️⃣ Мы придумали формулу, которая помогает оценивать сложность и «интересность» текста! Также продолжаем оценивать валидацию с реальными пациентами И(!) создали первую версию чат-бота, который упрощает тексты, и уже активно его тестируем.

3️⃣ После верификации у методистов и искусствоведов решили немного упростить задания в тесте на насмотренность: пересматриваем для него выбор материалов. Также сделали черновик субъективного опросника для теста на насмотренность и уже начинаем его финализацию!

Следите за нашими обновлениями и новыми результатами исследований! 👀

📚Во вторник, 19 ноября, с докладом «Специфика когнитивной обработки эмоциональных текстов у тюркско-русских билингвов: создание экспериментальной среды для изучения» выступила участница НУГ Елизавета Куликова.

В первой части доклада мы поговорили о существующих исследованиях в области обработки эмоциональных стимулов. Немало работ посвящено изучению обработки билингвами разных профилей и монолингвами эмоциональной лексики. Чтобы понять, есть ли разница в том, как обрабатываются эмоциональные и нейтральные слова, используются различные экспериментальные процедуры: задание на принятие лексического решения, на классификацию, Affective Simon task, тест Струпа и другие. Их результаты позволяют говорить о том, что эмоциональный компонент лексики считывается и обрабатывается автоматически, независимо от основного задания, которое выполняет информант. Работает ли это одинаково для двух языков билингва? – В зависимости от профиля (возраста усвоения L1 и L2, функциональной доминантности языков и др.) билингвы могут демонстрировать паттерны обработки эмоциональных слов, свойственные для монолингвов, не только на своем L1, но и на L2, или на L1 и L2 одновременно.

Восприятию эмоций в тексте, по сравнению с эмоциональной лексикой, посвящено не так много работ. Однако процедура, в ходе которой информант выражает свое представление о том, какую эмоцию он распознал в тексте, получила распространение в области NLP, когда производится разметка больших объемов текстовых данных для обучения моделей.

Во второй части доклада Елизавета рассказала о своем текущем исследовании, цель которого - изучить обработку эмоциональных текстов на русском языке у тюркско-русских билингвов. Основной метод, который используется в исследовании - окулографический эксперимент. Экспериментальная среда была смоделирована как раз на основе процедуры эмоциональной разметки текстов, распространенной в прикладных NLP задачах. В ходе эксперимента информанты читают короткие тексты и оценивают эмоции в них по заданной шкале, а в это время производится запись движения их глаз. Помимо данных об окуломоторной активности, собирается ряд других характеристик информантов: они заполняют анкету LEAP-Q об их билингвальном профиле, выполняют тест на алекситимию и оценивают свое эмоциональное состояние в момент разметки.

👀 Сейчас исследование находится на этапе сбора данных: эксперимент проходят русскоязычные монолингвы, тувинско-русские и якутско-русские билингвы.

🗣 Во вторник, 3 декабря, в 17:00 по МСК с докладом «Профессиональная мультимодальная коммуникация синхронных переводчиков: экокогнитивный подход» выступит Елена Викторовна Чистова, доктор филологических наук, профессор кафедры теории, практики и дидактики перевода АНО ВО «Университет мировых цивилизаций им. В.В. Жириновского».
 
Синхронный перевод является высокоинтеллектуальным и высококогнитивным видом деятельности, который осуществляется либо в специально оборудованной кабине в паре с другим синхронистом, либо удаленно посредством облачной платформы. Технологическая трансформация профессии показала значительное увеличение когнитивной нагрузки переводчика в режиме соло-синхрона или в формате видеоконференции. В этой связи интересно исследование профессиональной коммуникации синхронистов в контексте распределенной во времени и пространстве когнитивно-коммуникативной среды. В работе обсуждается соотношение средств вербальной, паравербальной и невербальной коммуникации синхронных переводчиков, на их примере систематизируется представление о специфике процесса принятия профессиональных решений в ходе развертывания диалогического взаимодействия в мультимодальном контексте.
 
Модератор встречи – Елизавета Сытикова, магистрант НИУ ВШЭ СПб.

📹 Ссылка для подключения

Как обычно, во вторник прошла встреча НУГ, на которой мы собрались, чтобы обсудить наши текущие дела и планы:

1️⃣  Закончили разработку теста на насмотренность и переходим к следующему этапу — валидации. Впереди много работы, но результат обещает быть интересным! Если вы также хотите поучаствовать в нашем тестировании, пожалуйста, напишите нам!

2️⃣  Активно ищем и выбираем журнал для публикации нашей будущей научной статьи о создании сервиса по упрощению текстов для пациентов с афазией.

3️⃣ Готовимся к предстоящей научной конференции "Язык, текст, культура через призму цифровых технологий", которая пройдет 16–17 декабря в НИУ ВШЭ Спб. Уже оформляем доклады (а от участников НУГ их будет целых 8!) и обсуждаем детали!

🧿 И, конечно, самое важное — обсудили, как понять, что тебя сглазили, а также познакомились с новейшими способами снятия сглаза. Наука — это прекрасно, но и про практические вопросы забывать нельзя! 😉

Следите за нашими обновлениями и новыми результатами исследований! 👀

Наш последний открытый семинар стал первым! Первым семинаром, на котором пошла речь о синхронном переводе 🗣️

Спикером мероприятия была Елена Викторовна Чистова, доктор филологических наук, профессор кафедры теории, практики и дидактики перевода АНО ВО «Университет мировых цивилизаций им. В.В. Жириновского». Она выступила с докладом «Профессиональная мультимодальная коммуникация синхронных переводчиков: экокогнитивный подход».

Синхронный перевод — это большая когнитивная нагрузка. Во время работы синхронист может растеряться или по-своему интерпретировать переводческий заказ, а также на него могут повлиять окружающие условия: например, напарник по кабине.
Елена Викторовна рассказала о своём исследовании, посвящённом изучению коммуникации синхронных переводчиков и мультимодальных контекстов в их деятельности. Мультимодальные контексты — это взгляды, жесты, обращения, которые в профессиональной коммуникации синхронистов помогают понимать коллегу без слов.

Для изучения процесса принятия профессиональных решений команда Елены Викторовны собрала и проанализировала корпус видеозаписей с выступлений синхронных переводчиков длиной в 1863 минуты. В результате исследования стало ясно, что:

👥 на появление и выравнивание когнитивных искажений синхрониста во время перевода влияет диалогическое взаимодействие с коллегой;

👤 изолированная работа в формате соло-синхрона или видеоконференции увеличет когнитивную нагрузку переводчика в связи с необходимостью принимать информацию одновременно и с аудиального, и с визуального каналов.

Пока на этом всё! 🙌
Следующий открытый семинар пройдёт уже в новом году. Следите за новостями!

Ваша НУГ «Когнитивные исследования языка»