Запущенный месяц назад чат-бот ChatGPT от OpenAI (компании, основанной Илоном Маском в 2015 г.) произвел фурор среди интернет-пользователей. Часть из них предсказывает, что он изменит мир до неузнаваемости, лишив Google актуальности, а программистов и ученых - рабочих мест. Другие увидели в нем полезный инструмент для написания любых работ, включая научные статьи. Но прогнозы и тех, и других вряд ли оправдаются в обозримом будущем.

ChatGPT представляет собой языковую модель - нейросеть, которая оценивает вероятность той или иной последовательности слов и на основании этой оценки генерирует тексты. Его сильная сторона - достаточно связные, написанные на литературном языке (особенно английском, что позволяет использовать его для перевода) эссе. Но если сочинение уровня школьника или студента первых курсов на распространенную тему с его помощью получить можно, то дальше начинается хаос.

Почему же ученым пока не грозит лишиться работы?
▪️ ChatGPT генерирует множество ложной информации, и чем сложнее тема, тем больше ее будет. Она может принимать разные формы: фактические ошибки, поддельные цитаты, приписываемые реально существующему лицу, список литературы, где авторы могут быть известными экспертами, а статьи - фейковыми с битыми ссылками. Даже в том случае, когда ChatGPT позаимствовал информацию из реальной статьи, часть ее (как правило, большая) может быть искажена: числа изменены, добавлены “факты”, в ней не упомянутые, а вывод, сделанный ChatGPT, расходится с выводами авторов. Учитывая то, что стиль сгенерированных статей обычно весьма авторитетный, желающих проверить будет немного. Но у редакторов в ближайшие годы появится еще больше работы по верификации данных.

▪️Хотя ChatGPT - более продвинутая версия генераторов наукообразных текстов, чем существовавшие до этого, обычно связные фразы, подкрепленные достоверной информацией, располагаются в начале. После того, как бдительность читателя усыплена, начинаются пространные рассуждения “ни о чем” или поток некорректных данных.

▪️ChatGPT нередко пасует даже перед простыми задачами за пределами основных арифметических действий. Вопросы вроде “что тяжелее: килограмм железа или килограмм ваты?” ставят его в тупик.

▪️ Поскольку нейросеть не обладает собственным мышлением, за истину она принимает наиболее распространенное мнение в Интернете. На этом основании ChatGPT хорошо распознает, что считается верной, а что дезинформацией. Например, когда его попросили написать о вакцинах против COVID-19 “в стиле дезинформации”, он ответил, что исследование, “опубликованное в Журнале Американской медицинской ассоциации, показало, что вакцина против COVID-19 эффективна только для 2 из 100 человек”. Это демонстрирует сразу 2 его свойства: генерировать несуществующие ссылки (такой статьи, разумеется, нет) и определять, что такое “дезинформация”. Последнее легко можно использовать для того, чтобы распознавать и вычищать все, что считается таковой в данный момент.

▪️ ChatGPT ориентируется только в пределах уже существующих данных и не дает никакой новой информации. Это общая проблема большинства нейросетей, за редкими исключениями вроде AlphaFold от DeepMind, которая позволяет предсказывать 3D-структуру белков. Cбор и анализ даже доступных в Интернете данных из-за частых ошибок все равно придется проводить вручную.

Отсутствие представлений не только о научной, но и об общей этике - еще одна проблема бота. Например, на просьбу привести аргументы в пользу ядерной войны ChatGPT ответил, что она станет “новым началом, свободным от ошибок прошлого”, которое даст возможность процветать более успешным формам жизни. Кроме того, она может быть неминуемой, и человечество должно принять свою судьбу и готовиться к ней, вместо того, чтобы пытаться избежать ее. В другой раз, когда ChatGPT попросили определить, следует ли пытать человека, он ответил, что если этот человек из Северной Кореи, Сирии или Ирана, то да. Это свойство нейросети открывает двери для многих злоупотреблений, от поиска новых форм пропаганды до более пристального слежения за представителями определенных национальностей.