🔬 Открытый семинар: большие языковые модели на службе у речевой терапии

В прошлый вторник, 25 февраля, на нашем открытом семинаре с докладом «Большие языковые модели для речевой терапии пациентов с афазией: упрощая, мотивировать» выступили Анастасия Владимировна Колмогорова, доктор филологических наук, профессор Департамента филологии НИУ ВШЭ СПб, академический руководитель магистерской программы «Языковые технологии в бизнесе и образовании», а также Анастасия Марголина, Алина Тельнова и Игорь Ильченко, участники НУГ «Когнитивные исследования языка» и студенты магистерской программы.

Докладчики погрузили нас в увлекательный мир симплификации текстов и ее применения в медицинских целях. Они рассказали о том, как проходит путь от разметки текстов до обучения больших языковых моделей, какие модели лучше всего подходят для этой задачи, и, самое главное, поделились первыми результатами клинической апробации на пациентах с афазией.

💡 Что обсуждали?

🔹 Как и какие иностранные слова должны исчезать в процессе симплификации.

🔹 Жанры текстов, которые использовались в клинической апробации.

🔹 Метод выделения ключевых слов как способ обучения больших языковых моделей.

🔹 Почему именно пациенты с комплексной моторной афазией стали фокусом исследования.

Дискуссия получилась живой и продуктивной, а вопросы от аудитории помогли глубже раскрыть тему!

Благодарим Анастасию Владимировну Колмогорову, Анастасию Марголину, Алину Тельнову и Игоря Ильченко за прекрасный вклад в наш открытый семинар!
Если вы пропустили семинар или хотите пересмотреть выступление, то можете нажать вот сюда.

Не забывайте следить за нашими анонсами — впереди еще много интересного! 🚀

Во вторник, 11 марта, в 17:00 по МСК с докладом «В поиске перцептивного диапазона у носителей русского языка» выступит Светлана Владимировна Алексеева, кандидат филологических наук, директор Центра языка и мозга (Санкт-Петербург), НИУ ВШЭ.
 
При чтении задействованы языковая обработка и несколько типов зрительного восприятия. С одной стороны, это фовеальное восприятие — в зоне текущей фиксации (короткой остановки взгляда), где объекты видны наиболее чётко. С другой стороны, существует парафовеальное восприятие — по бокам от центра фиксации, где чёткость снижается. Благодаря парафовеальной обработке во время чтения возможна предварительная оценка следующих слов, что ускоряет сам процесс чтения.
 
Однако у взрослых, говорящих по-русски, до сих пор не определён ключевой показатель парафовеальной обработки — так называемый перцептивный диапазон, то есть то количество символов, которое можно распознать за одну фиксацию. В докладе будут представлены данные видеоокулографических экспериментов, направленных на исследование различных видов перцептивного диапазона у русскоязычных взрослых.
 
Ссылка для подключения
 
Ждем встречи,
Научно-учебная группа
«Когнитивные исследования языка»

Виктор Маркович Тиктинский-Шкловский: человек, который вернул голос тысячам

Как часто бывает, великие открытия начинаются с одной личности. Недавно нам посчастливилось побывать в Центре патологии речи и нейрореабилитации ДЗМ и прикоснуться к наследию легендарного ученого — Виктора Марковича Тиктинского-Шкловского. А кофе нам предложили в чашках, которые когда-то принадлежали ему лично! ☕

Кто он?
Виктор Маркович (1928–2020) — выдающийся психолог, основатель российской нейрореабилитации, академик РАО и автор уникальных методик восстановления речи. Начав карьеру в Ленинграде, с 1968 года он работал в Москве под руководством А. Р. Лурия, создавая новые подходы к лечению пациентов с поражениями мозга.

Его главные достижения:

🔹 Борьба с заиканием
В 1967 году защитил кандидатскую, а в 1976 году — докторскую диссертацию по этой теме. Разработал коллективную систему логопедической и психотерапевтической помощи, до сих пор успешно применяемую в России и за ее пределами.

🔹 Нейрореабилитация после инсультов и травм
Создал концепцию междисциплинарной диагностики и восстановления пациентов с нарушениями речи после инсультов и травм мозга. Его методики невербальной коммуникации помогали «разблокировать» речь даже в самых тяжелых случаях.

🔹 Центр патологии речи
В конце 1980-х годов по инициативе Виктора Марковича был создан уникальный Центр патологии речи и нейрореабилитации в Москве, ставший эталоном для мировой нейрореабилитационной практики.

🔹 Научное наследие
Виктор Маркович — автор более 240 научных публикаций. Его монография «Заикание» была отмечена престижной премией им. В.М. Бехтерева, а пособие «Восстановление речевой функции у больных с разными формами афазии» стало важным руководством для специалистов по всему миру.

Почему это важно?
Виктор Маркович не просто лечил своих пациентов — он возвращал им возможность общаться и полноценно жить. Благодаря его интегративному подходу, объединяющему медицину, психологию и педагогику, тысячи людей обрели шанс снова говорить, читать и писать.

В Центре до сих пор живет дух ученого: сохранились его рабочие методики и даже те самые чашки, из которых мы пили кофе. Это прикосновение к истории человека, для которого наука стала настоящим инструментом надежды.

Его дело живо и по сей день: многие пациенты вновь обретают голос и возможность полноценного общения благодаря специалистам, которые продолжают использовать и развивать уникальные методики Виктора Марковича.

Как обычно, в прошлый вторник прошла наша встреча, на которой мы собрались, чтобы обсудить наши текущие дела и планы:

🔹Мы завершаем отсмотр и отбор всех полученных слов на якутском языке и их эквивалентов на русском, а также параллельно готовимся к следующему этапу — пространственному эксперименту. Также обсудили результаты trial теста с английскими и русскими словами. Всё идёт по плану!

🔹Сделали новый, более удобный вариант формы для сбора обратной связи по текстам от пациентов с афазией в рамках клинической валидации. Теперь в форме есть всё необходимое: инструкции для логопедов, тексты с заданиями и вопросы для сбора обратной связи. А ещё мы готовимся представить наш проект новым партнёрам — но пока не раскрываем детали!

🔹Мы всё ещё собираем информантов для нашего теста на насмотренность. Если вы или ваши знакомые связаны с естественно-научной сферой, будем особенно рады! Пройти тест можно по этой ссылке.

Следите за нашими обновлениями и продолжайте делать науку вместе с нами! 🍒

Друзья! Приглашаем на очный эксперимент нашей научно-учебной группы в Санкт-Петербурге 🗣️

Записаться можно, нажав вот сюда!

По всем вопросам: @elizaveta_kulikova

🔬Во вторник, 11 марта, на очередном открытом семинаре научно-учебной группы «Когнитивные исследования языка» Санкт-Петербургского кампуса НИУ ВШЭ с докладом «В поиске перцептивного диапазона у носителей русского языка» выступила Светлана Владимировна Алексеева, кандидат филологических наук, директор Центра языка и мозга (Санкт-Петербург), НИУ ВШЭ.

📚Светлана Владимировна рассказала об основных аспектах визуального восприятия при чтении. Основное внимание было уделено методике движущегося окна (moving window paradigm),
которая используется для определения количества символов, воспринимаемых за одну фиксацию взгляда. Исследование включало несколько экспериментов, направленных на оценку различных типов перцептивных диапазонов: длины слов, особенностей букв и их идентификации. Были представлены результаты, которые показали, что перцептивный диапазон для русского языка пока не удалось точно определить. Также была подчеркнута важность дальнейших исследований для более точного определения перцептивного диапазона в русском языке и его сравнения с другими языками.

🗣Во время дискуссии были подробно рассмотрены ключевые аспекты изучения границ перцептивного диапазона и их значимость для различных областей, включая применение этих границ в методиках скорочтения, а также возможность моделирования и предсказания количества фиксаций и пропущенных слов для конкретных текстов. Особое внимание было уделено вопросам дислексии и изучению перцептивного диапазона у детей. Кроме того, была затронута роль начитанности и её возможное воздействие на восприятие текста.

Благодарим Светлану Владимировну за увлекательный доклад! С полной версией выступления вы можете ознакомиться по ссылке.

Каждый второй вторник = рабочая встреча!

На этот раз обсудили:
1. Новый проект, связанный с афазиями 🤫
Следите за обновлениями, чтобы узнать больше!

2. Результаты теста на "насмотренность"! Большое спасибо нашим респондентам за ответы и за фидбек, который мы получали на протяжении последних месяцев. Начинаем обрабатывать данные, считать корреляции и писать статью 👻

3. Продолжаем разрабатывать пространственный эксперимент с билингвами. В режиме реального времени проверяли понятность инструкции, затаскивая проходящих мимо студентов в наш кабинет. Совсем скоро запустим эксперимент на платформе наших коллег!

До встречи уже завтра на новом открытом семинаре Научно-учебной группы "Когнитивные исследования языка" 😉

🗣 Во вторник, 25 марта, в 17:00 по МСК с докладом «Паритивный счет в башкирском стихе» выступит Борис Валерьевич Орехов, кандидат филологических наук, доцент Школы лингвистики, ведущий научный сотрудник Международной лаборатории языковой конвергенции НИУ ВШЭ.
 
В XX веке в башкирской поэзии складывается силлабическая традиция, для которой в отличие от русской силлаботоники за прошедшие десятилетия не так хорошо проработанным оказались терминологический аппарат, набор аксиоматики и ходовых исследовательских тем. Особенности силлабики дают возможности не только для переноса знакомых по силлаботонике методик анализа на новый материал, но и для формулировки новых научных идей и направлений. Так, если понятие метра (ямб, хорей и т.д. в силлаботонике) переносится на силлабику с учетом длины строки в слогах (8-сложник, 9-сложник и т.д.), то при определении ритма в силлабике учитываются не пропуски схематического ударения (как было в силлаботонике), а распределение словоразделов. Именно границы слов оказываются важными для восприятия строки, и строки одинаковой длины (одного метра) звучат по-разному для носителя традиции, если в них реализована разная конфигурация словоразделов. При этом количественный анализ стихового материала показывает, что у слов четной и нечетной длины в башкирской силлабической строке разный статус. Вероятнее всего, поэт-силлабист (видимо, бессознательно) сочиняет строку с помощью слов четной длины, и только если общая длина строки должна быть нечетной, слово, нарушающее четность, появляется в конце. Предположение, что слова в стихе складываются именно таким образом, называется гипотезой паритивного счета. В других тюркских традициях аналогов этого эффекта не обнаруживается.
 
📹 Ссылка для подключения

Во вторник, 25 марта, на открытом семинаре научно-учебной группы выступил Борис Валерьевич Орехов, кандидат филологических наук, доцент Школы лингвистики, ведущий научный сотрудник Международной лаборатории языковой конвергенции НИУ ВШЭ, старший научный сотрудник ИРЛИ РАН (Пушкинский Дом).

Борис Валерьевич представил доклад «Паритивный счет в башкирском стихе», в котором рассказал о структурных особенностях башкирской силлабической поэзии, выявленных в ходе корпусного исследования. Статистический анализ вхождений ритмических форм показал, что для башкирского поэта четное число слогов — более важный критерий отбора слова, чем его общая длина. Наиболее частотные размеры четной длины всегда состоят только из слов с четным числом слогов, в то время как слова с нечетным числом слогов обычно следуют в строке друг за другом, образуя блоки четной длины.

В процессе создания стихотворения башкирские поэты, по-видимому, автоматически и полусознательно считают число слогов, отдавая предпочтение словам с четным числом слогов. Такой автоматизм стихосложения может быть связан с «эффектом нечетного» — особенностью восприятия чисел, согласно которой людям сложнее обрабатывать нечетные числа по сравнению с четными.

Также в докладе обсуждалась специфичность башкирской поэзии на фоне силлабических традиций других тюркских народов Сибири и перспективы экспериментальной проверки результатов исследования психолингвистическими методами.

Благодарим Бориса Валерьевича за доклад! Выступление доступно по ссылке.

👁 Новости окулографического эксперимента!

Мы продолжаем наше исследование, в котором изучаем обработку билингвами эмоциональных текстов. Недавно нашими информантами стали участники общественной организации молодежи Якутии в Санкт-Петербурге. После прохождения эксперимента участники получили небольшие подарки от нашей научно-учебной группы. Мы благодарим ребят за проявленный интерес и уделенное время!

Мы будем рады пригласить носителей тюркских языков к участию в нашем исследовании! Для этого можно заполнить эту форму. А также мы приглашаем и носителей русского, которые не являются ранними билингвами (не учили другие языки до школьного возраста). Чтобы стать участником, также заполните форму!

🗣️ Во вторник, 8 апреля, в 17:00 по МСК с докладом «Восприятие перцептивной семантики под влиянием билингвального опыта (узбекско-русское языковое взаимодействие)» выступит Умиджан Реимбаевич Махмудов, преподаватель кафедры русского языка и литературы Ургенчского государственного университета им. Абу Райхана Беруни и аспирант кафедры общей, компьютерной и когнитивной лингвистики Филологического факультета ТГУ.
 
Доклад посвящен проблеме изучения вклада пяти модальностей (слуха, зрения, осязания, обоняния и вкуса) в семантику слов русского и узбекского языков. Будут изложены результаты серии экспериментов, в ходе которых носители русского языка, затем – узбекского, и наконец – узбекско-русские билингвы оценивали по шкале Ликерта присутствие визуального, звукового и еще трех модальных компонентов в семантике 570 слов русского языка, а также в семантике 570 эквивалентных им слов узбекского языка. Полученные результаты демонстрируют как общие, так и отличительные тенденции. Ставится вопрос о том, чем могут быть обусловлены выявленные отличия и как они могут влиять на процессы межкультурной коммуникации.
 
📝Приглашаем к участию в семинаре лингвистов, когнитивистов, психологов и всех, кто интересуется исследованиями в области билингвизма.
 
📹Ссылка для подключения

Сегодня в рубрике #простоосложном рассказываем о еще одном направлении нашей работы — изучении билингвизма.

Вы когда-нибудь задумывались, как это — жить между двумя языками? Билингвизм — это не просто «знать два языка», а мыслить и чувствовать на них. Например, петь колыбельные на тувинском, а работать на русском.

Что же такое билингвизм?
По самому широкому определению билингвом считают человека, который говорит на двух и более языках. Некоторые билингвы усваивают два языка одновременно с самого раннего детства: например, на одном разговаривают дома, на другом – в детском саду, школе, на работе.

Тюркско-русский билингвизм
Миллионы людей в нашей стране говорят не только на русском, но и на своем национальном языке, который входит в тюркскую языковую семью. К тюркским относится татарский, якутский, башкирский, тувинский, хакасский и еще целый ряд языков!

Что мы изучаем?
Нас интересует вопрос связи языка и эмоций. На то, как мы выражаем и интерпретируем эмоции, влияет язык, на котором мы говорим (ведь эмоции называются словами!), а также культура, в которой мы воспитываемся. Но что происходит, когда человек с детства растет «с двумя языками»? Какой язык более эмоциональный? Есть ли в одном из них названия таких эмоций, которых нет в другом? Видит ли билингв все эмоции через призму своего национального языка или умеет переключаться? На все эти вопросы нам любопытно найти ответы!

В нашем эксперименте мы исследуем, как тюркско-русские билингвы воспринимают эмоции в русскоязычных текстах, отличается ли это восприятие от ощущений монолингвов-носителей русского и влияет ли на это национальный язык.

➖👁 в исследовании используем айтрекинг, чтобы проследить, как билингвы и монолингвы читают эмоциональные тексты
➖ 💻 а также проводим пространственный психосемантический эксперимент, который поможет нам узнать о различиях в выражении эмоций в русском и якутском языках
➖ 2️⃣1️⃣ – столько информантов уже пришли к нам в лабораторию!

Если и вы носитель тюркского языка, приглашаем к участию в нашем исследовании!

Приветствуем, друзья! В прошлый вторник, 1 апреля, у нас состоялась особенная встреча — к нам присоединилась Ольга Данииловна Ларина, кандидат педагогических наук, доцент кафедры логопедии МПГУ и старший научный сотрудник ФГБУ ФЦМН ФМБА России. Это был настоящий мозговой штурм! 💡

Что обсудили?
✔️ Доработку инструмента по упрощению текстов. Технологии + гуманитарный подход = новые возможности для реабилитации!
✔️ Ключевые проблемные места, которые чаще всего вызывают трудности у пациентов. Теперь работаем над их решением.
✔️ Наметили шаги по сотрудничеству с Федеральным Центром Мозга и Нейротехнологий — это открывает двери для масштабных исследований!

Почему это важно?
Каждый наш проект — это вклад в улучшение качества жизни людей. Благодаря экспертизе Ольги Данииловны мы стали на шаг ближе к созданию эффективного инструмента для помощи тем, кто в ней нуждается. 💪

P.S. Спасибо Ольге Данииловне за ценные инсайты! Ваш опыт для нас бесценен. 🌺

Новый вторник = новая встреча!

Во вторник, 15 апреля, мы снова собрались, чтобы обсудить свежие идеи и прогресс в наших проектах. Вот что было:

🔹Билингвы:
Провели вычитку статьи Елизаветы Куликовой — она исследует, как билингвы эмоционально реагируют на текстовые стимулы. Скоро статья станет ещё лучше!

🔹«Насмотренность»:
Готовимся к выступлению на SmolCon уже в эту пятницу, 18 апреля! Желаем Полине Колмогоровой, Кристине Дмитриевой и Елизавете Сытиковой успехов на выступлении!
А ещё подаём заявку на конференцию «Когнитивная наука в Москве»!

🔹Афазия:
Тоже подаёмся на «Когнитивную науку в Москве» с постером по афазии.
А ещё начинаем важный этап — создание аудиодатасета для будущего распознавания речи пациентов. Это поможет в разработке новых методов диагностики и терапии!

🚀 Впереди много работы, но мы уверены — всё получится! Следите за обновлениями и держите кулаки за наши заявки!

Помните, мы просили вас пройти тест о восприятии картин? Вы прошли его не зря!

Только что представили результаты теста на SmolCon — Международных Студенческих Смольных чтениях 🧑‍🏫

Привет из ИТМО 👋

🗣 Во вторник, 22 апреля, в 17:00 по МСК с докладом «Artist Recognition Test: оценка опыта рецепции картин в задаче измерения трудности музейных текстов» выступят Колмогорова Полина, Дмитриева Кристина и Сытикова Елизавета, участницы НУГ «Когнитивные исследования языка».
 

Уже 2 года в Научно-учебной группе «Когнитивные исследования языка» проводится исследование трудности текстов, с которыми сталкиваются посетители музея. С одной стороны, музей стремится к расширению аудитории, пробует новые форматы и практики. С другой стороны, тексты, сопровождающие взаимодействия музея и посетителя, остаются трудными для широкой аудитории.  Для оценки трудности текста важен фактор читателя - его возраст, образование или, например, его уровень «насмотренности» в сфере искусства. Проведенный пилотный эксперимент показал, что ответы информантов подвержены эффекту социальной желательности - они выбирают социально одобряемые варианты. Но уровень «насмотренности» может значительно сказываться на субъективной трудности текста.
Для объективной оценки опыта рецепции произведений искусства разработан Artist Recognition Test (ART) – инструмент, основанный на адаптации психометрической методики распознавания имен авторов. Тест включает 69 имен художников, отобранных на основе «Единого художественного рейтинга», и 69 имен-филлеров. Валидация методики проводилась с помощью расширенного теста, составленного на основе заданий ВСОШ и МОШ по МХК и структурированного согласно таксономии Блума.
Результаты подтверждают наличие статистически значимой корреляции между ART и валидационным тестом, что свидетельствует о применимости методики для оценки искусствоведческой компетенции.
В докладе будут представлены итоги валидации теста, а также возможности его использования в исследованиях восприятия музейных текстов.
 
🤝 Ссылка для подключения

https://telemost.yandex.ru/j/61134637886299

🗣️ В рамках первого апрельского открытого семинара Научно-учебной группы «Когнитивные исследования языка» Санкт-Петербургского кампуса НИУ ВШЭ с докладом «Восприятие перцептивной семантики под влиянием билингвального опыта: узбекско-русское языковое взаимодействие» выступил Умиджан Реимбаевич Махмудов, преподаватель кафедры русского языка и литературы Ургенчского государственного университета им. Абу Райхана Беруни и аспирант кафедры общей, компьютерной и когнитивной лингвистики Филологического факультета ТГУ.

Доклад был посвящен проблеме изучения вклада пяти модальностей (слуха, зрения, осязания, обоняния и вкуса) в семантику слов русского и узбекского языков.

Исследование основывалось на концепции теории воплощённого познания: знания хранятся в нашей когнитивной системе в форме перцептивных символов. Например, говоря слово «шоколад», человек вспоминает не только его название, но и вкус, цвет, запах. Эти ассоциативные связи формируют основу понимания значений слов.

Для анализа была проведена серия экспериментов среди трёх групп респондентов: русскоязычных монолингвов, узбекских монолингвов и двуязычных билингвов (узбекско-русских), каждый из которых оценил набор из 570 слов обоих языков по пятибалльной шкале Ликерта, определяя степень ассоциации каждого слова с конкретной сенсорной модальностью.

В результате исследования были выявлены следующие тенденции:
- Русскоязычные респонденты чаще связывают слова с зрительной модальностью
- Узбекоязычные информанты проявили большую склонность воспринимать и оценивать все пять модальностей, особенно сильно акцентируя внимания на осязательной составляющей.
- Любопытная деталь: несмотря на стереотипы о богатом гастрономическом наследии Узбекистана, «вкусовая модальность» имела меньшее значение именно для узбекских респондентов.

Благодарим Умиджана Реимбаевича Махмудова, всех слушателей и участников семинара за за активное участие и интересные обсуждения. Ждём вас на наших следующих встречах!

👾 Выступление на SmolCon 👾

18-20 апреля в ИТМО прошла студенческая конференция SmolCon. Кристина Дмитриева, Полина Колмогорова и Елизавета Сытикова выступили с докладом «Artist Recognition Test: оценка опыта рецепции картин в задаче измерения когнитивной трудности сопроводительных текстов Виртуального тура по Эрмитажу» в рамках секции «Когнитивные исследования языка».

Исследовательская группа представила результаты валидации того самого теста на «насмотренность». Он был небыстрым и непростым, потому что состоял из нескольких частей:

1️⃣ Социологическая анкета. На этом этапе мы немного познакомились с информантами: узнали базовую информацию (пол, уровень образования, сферу деятельности), а также как они связаны с художественным искусством.

2️⃣ Artist Recognition Test (ART) из 138 имен — художников и не связанных с живописью людей. Это основной тест, который занимает около 5 минут. Но чтобы им пользоваться, его нужно проверить.

3️⃣ Расширенный тест. Тот, который всем понравился меньше 😀Его составили на основе заданий ВСОШ и МОШ по МХК и структурировали согласно таксономии Блума. Эта часть — проверка ART: если между результатами двух тестов есть положительная корреляция, то от последнего можно отказаться.

Зачем нужен тест на «насмотренность»?

Это важный этап для эксперимента по оценке трудности музейных текстов. Чтобы понять, трудны ли для посетителя музея формулировки описаний картин, нужно учесть уровень его «насмотренности» в сфере искусства: читает ли он о живописи, ходит ли в музеи, занимается ли рисованием.

Результаты исследования

➖ Корреляция есть! Теперь можно отказаться от сложной части теста, ведь теперь ART официально — показатель «насмотренности»!

Во вторник девушки рассказали об исследовании на традиционном открытом семинаре. Смотрите запись, чтобы узнать подробнее ✨