В продолжение темы цифрового копирования (случайно получился лонгрид, извините)

Есть такой комедийный фильм «Множество» (1996), где главный герой клонирует себя, а затем клонирует клонов, и каждая последующая реплика оказывается значительно глупее предыдущей.

Именно на этот фильм как-то сослался один из авторов исследования, посвященного проблеме «коллапса модели».

Исследование вышло еще в июне: группа учёных из Кембриджского и Оксфордского университетов показала, что обучение LLM на контете, созданном ранее другими моделями, вызывает дегенеративный процесс, который с течением времени заставляет их забывать истинное базовое распределение вероятностей (т.н. «проклятие рекурсии»).

Поэтому неудивительно, что все уже давно всерьез обсуждают тему «генеративного мусора», постепенно заполоняющего Интернет.

А примерно неделю назад многие обратили внимание на статью нейробиолога Эрика Хоэла о мутации научного языка из-за появления огромного числа текстов, написанных в соавторстве с чатботами.
Мало того, что излюбленные эпитеты ChatGPT вроде “meticulous”, “intricate”, “commendable” и др. стали появляться в научных статьях в среднем в 10 раз чаще, так еще оказалось, что некоторые коллеги не удосуживаются «вычищать» из сгенерированных текстов фразы вроде «Certainly, here is…» или «As an AI language model…», сразу выдающие авторство чатботов.

Я уж молчу про сгенерированные картинки крыс из статьи, опубликованной относительно недавно в одном из самых цитируемых журналов по биологии развития. Да, это мемный пример, который многим уже натер глаза, но суть ясна: подобного научного мусора уже достаточно много для того, чтобы не только задуматься о проблеме, но и начать предпринимать какие-то действия (какие, если рецензированием статей теперь тоже иногда занимаются LLM?).

(А тут еще и Claude-3 натренировали писать самостоятельные научные исследования..)

С явно сгенерированными научными статьями я пока лично не сталкивалась, но как человек, регулярно проверяющий студенческие работы, уже вижу, как в написание многих из них частично или полностью вмешивается СhatGPT. Поверьте, ИИ-галлюцинации, разбавленные отборной академической водой – это то еще испытание на прочность 🫠

Но я неисправима и все равно всячески поощряю любые попытки осознанного использования LLM. Предупрежден - вооружен.

#technologies

Завтра «Философская среда» на радио Серебряный дождь. Мы с философом Антоном Кузнецовым специально встанем к 9 утра, чтобы пропесочить метаверсы обсудить проблему реального и виртуального.
Подключайтесь послушать✨