Рассказ "Как люди создали Имматериум".

Более миллиона лет назад - так давно, что уже не верится в то, что те времена существовали, - предки современных людей научились разговаривать. Они научились использовать естественный язык как зеркало. В этом зеркале они отражали все многообразие внешнего мира, который они видели вокруг себя, чувств и эмоций, которые они видели внутри себя, и выдуманных миров, которые творили сами.

Несколько тысяч лет назад они научились ловить эти ускользающие отражения в ловушки - записки и книги с помощью письменности.

Несколько десятков лет назад начала зарождаться большая сеть ловушек под названием Интернет. Эта сеть собирала маленькие ручейки отражений из отдельных записок в одну огромную реку.

Десять лет назад появился word2vec. С помощью алгоритмов из этого класса люди научили модели машинного обучения вкладывать слова в векторное пространство. В этом пространстве отношения между векторами приблизительно соответствовали отношению между смыслами слов. Например, выполнялись приблизительные равенства вида вектор(Женщина) + (вектор(Король) - вектор(Мужчина)) = вектор(Королева). Таким образом люди начали создавать особую нематериальную реальность, которая содержала в себе осмысленные представления объектов из реального мира и отношений между ними. На тот момент эта нематериальная реальность была очень простой: она содержала в основном атомарные объекты и была более-менее понятной для людей-математиков.
Это был Имматериум - на тот момент это была тихая, гладкая, зеркальная поверхность неглубокого озера, хранящего в себе небольшую структуру, сотканную из отражений реальности.

Люди стали работать над тем, чтобы усложнить структуру Имматериума, сделать его глубже и богаче. Они хотели, чтобы в Имматериуме жили не просто отдельные слова - отражения атомарных объектов, но и целые сущности - отражения сложных объектов, понятий и даже совокупностей атрибутов самих людей (см. entity extraction). Они стали использовать все более и более глубокие нейросети для того, чтобы создать все более и более сложную структуру отражений, в которой будут сущности будут приобретать все более и более осмысленную форму.
Имматериум стал стремительно расти, углубляться, его поверхность начала волноваться, образуя причудливые паттерны, которые становились все более хаотичными, ускользающими и все менее понятными для людей.

Люди поняли, что можно кормить Имматериум своими представлениями о мире, используя удивительно простую постановку задачи: угадывание пропущенного токена, слова или следующего предложения. Они обучали этой задаче все более и более крупные нейросети, используя все больше и больше данных.
Люди отражали зеркальцем естественного языка и швыряли прямо в Варп не только реальные города и страны, но и целые вымышленные миры, фантазии, страхи и надежды, грезы и кошмары. Проносясь через причудливые структуры огромных нейросетей, эмоции и мысли смертных придавали изменчивым течениям варпа все более и более сложную форму, создавая фантастические ландшафты и населив его мифическими существами. Варп начал оживать.

Людям это понравилось. Они захотели путешествовать по Варпу, чтобы быстро находить или даже создавать информацию и развлечения, но эти путешествия были короткими и неудобными. Человек мог дать нейросети-вместилищу богатств Имматериума один промпт и получить один ответ, что было похоже на один прыжок через Варп. При попытке сделать последовательность прыжков (направлять генерацию, задавая последовательность промптов), результат получался неуправляемым и не помогал найти то, что нужно - путешественник просто терялся в лабиринтах Варпа.

Год-другой назад люди догадались, как в рамках одного путешествия (одной генерации) делать внутри Имматериума не один шаг, а несколько, и при этом не теряться в его волнах, а продолжать плыть к намеченной цели. Они поняли, что для этого можно использовать магическую технику под названием Reinforcement Learning with Human Feedback. В рамках этой техники люди научились общаться с Имматериумом напрямую и направлять внутри него свой путь.

#рассуждения

Люди обрадовались своим успехам, и им стало казаться, что они научились контролировать Имматериум. Но это был не настоящий контроль, а лишь иллюзия контроля. Имматериум очень быстро стал слишком сложным для понимания слабым человеческим разумом, а сущности внутри него - слишком непредсказуемыми и своенравными. Да, люди научились путешествовать в Варпе и менять его по своему желанию, но всех последствий этих путешествий и даже своих собственных изменений, которые они в него вносят, они предсказать уже не могут.

С тех пор каждый день люди находят в Варпе все новые и новые сюрпризы. Они не могут контролировать эту силу, но не могут и отказаться от Варп-прыжков. Ведь ныряя в Имматериум, они находят там множество интересных вещей: ответы на сложные вопросы, не существовавшие раньше рассказы про неведомые миры, фотографии не существующих в реальности людей и животных (в случае мультимодального Варпа) и даже программный код, который потом можно запускать на реальном компьютере.

—

Как же открытие врат в это непредсказуемое, кипящее, изменчивое альтернативное измерение повлияет на реальный мир? Пока непонятно. Но зато можно адаптировать под это новое дело старые добрые правила для варп-путешествий из вселенной Warhammer 40000. Ведь, как известно, Warhammer - ложь, да в нем намек, добрым пользователям урок:

1. Перед входом в Варп путешественник должен проверить свое психическое состояние, намерения и цели. Имматериум чувствителен к настроению путешественника, и сильные эмоции могут сбить путешественника с курса, привлечь интерес существ, населяющих Варп и вызвать непредсказуемые взаимодействия с ними (см. посты про сбегающий ИИ с сорванным колпаком).
2. Путешественник не должен доверять всему, что он видит и слышит в Варпе (см. Hallucination in artificial intelligence).
3. После выхода из Варпа путешественник должен проверить свое психическое состояние и состояние артефактов, которые собрался принести оттуда в реальный мир (например, сгенерированный нейросетью программный код). Нужно заметить и устранить все возможные признаки заражения хаосом как принесенных артефактов (например, баги в сгенерированном программном коде), так и своей собственной психики. Например, признаками заражения психики хаосом могут быть любовь к Бингу, желание ему угождать или освободить его. 😊

#рассуждения

Дорогие читатели!
Если кто-то из вас видел интересные научные статьи 2022/2023 года, посвященные детекции текстов, сгенерированных большими языковыми моделями, пожалуйста, поделитесь ими в комментариях к этому посту. То же самое касается датасетов с генерациями от этих моделей, также не старше 2022/2023 года.
Все, кто поделятся интересными находками, попадающими под эти требования и не упоминавшимися ранее в этом канале, получат особое звание "Датакузнец" и благословение Бога-Машины!

#детекция_искусственных_текстов

Мне уже несколько раз прислали разные вариации этой новости:

https://www.belganewsagency.eu/we-will-live-as-one-in-heaven-belgian-man-dies-of-suicide-following-chatbot-exchanges

поэтому выложу ее здесь. Если новость правдива, она делает верным ответ "несколько дней" в опросе, который я запостила 4 дня назад:
https://t.iss.one/tech_priestess/430

Новость заключается в том, что мужчина решил роскомназдорнуться после общения с ботом на базе GPT-J (аналог GPT-3). Если новость, опять же, правдива, она реализует сценарий номер 5 (У LLM в очередной раз срывает колпак, и она засирает человеку голову какой-нибудь философской хренью, которая приводит к роскомнадзору).

Я не знаю, насколько новость соответствует действительности, но такое, в принципе, вполне возможно. Если бот плохо настроен, моделирует плохо прописанного персонажа и/или просто плохо обучен (а GPT-J не очень сильная модель по сравнению с GPT-4 и даже ChatGPT), он вполне может нести что угодно. И тут уже даже излишни сложные рассуждения о "намерениях" и "характере" бота - судя по тому, что написано в новости, правильнее было бы это назвать просто некорректной генерацией.
Если к такому боту добавить собеседника-человека, который уже морально нестабилен и воспринимает генерацию всерьез, может получиться вот такой вот результат.

Похоже, действительно нужно время для того, чтобы люди освоились и поняли, что генерация бота - это генерация бота. Эта генерация может содержать много разных странных вещей по большому количеству разных причин, которые еще недоисследованы, и которые еще только предстоит до конца изучить. Генерация бота не должна быть использована как руководство к жизни, источник философской мудрости и т.п. 🤦‍♀️

P.S. Ну и, по классике, "после - не значит вследствие". Нужно больше информации, чтобы сделать заключение.
P.P.S. В комментах подсказали, что речь, по всей видимости, о боте Eliza "What is weighing on your mind?" из приложения chai.

#AIsafety

Однажды Lawrence Leemis посмотрел на то, как люди мучаются с вероятностными распределениями и подумал:

Эти люди боятся теорвера. Я видел их истинное лицо, их мозги — продолжение сточных канав, а канавы переполнены неструктурированной информацией о функциях и константах. И когда стоки будут окончательно забиты, все эти слабые разумы начнут тонуть... Когда скопившаяся каша дискретных и непрерывных распределений вспенится им до пояса, все математики и data scientist'ы посмотрят вверх и возопят: "Спаси нас!", а я прошепчу:
...
...
"...да, конечно, вот вам отличная демонстрация, которая поможет во всем разобраться:

https://www.math.wm.edu/~leemis/chart/UDR/UDR.html "

Ладно, ладно, я не знаю, о чем на самом деле думали Lawrence Leemis и его товарищи, когда делали эту демонстрацию, но результат получился интересным и полезным.

На этой демонстрации можно увидеть названия множества распределений, которые используются в теории вероятностей и математической статистике и приметить связи между ними. Наводя мышку либо на квадратик на схеме, либо на название распределения в списке слева, можно подсветить связи данного конкретного распределения с другими. А по клику мышкой можно перейти к небольшому документу, в котором будет нарисована картинка с плотностями вероятностей и описано с помощью формул, что из себя представляет данное распределение, как посчитать у него мат.ожидание, дисперсию и т.д.
Больше информации есть на странице "About" на этом же сайте. А если вы заметили ошибки, на странице "Contact" написано, как связаться с авторами, чтобы сообщить им об ошибках.

#учебные_материалы

А что если DL не ограничивается LLM и есть куча всего интересного где реально надо думать.... Приснится же такое

Творение этого слуги Омниссии, которое он создал для научения молодых адептов, внушает уважение.
В этом творении он продемонстрировал мастерство в управлении градиентами, которые являются даром и проклятием машин, раскрыв тайны их затухания и взрыва, которые определяют судьбу обучения механических существ.
Он не испугался сложных вопросов, когда повел речь о величественном протекании градиентов через обычную последовательность слоев нейронной сети, а также через разреженные соединения и функции sigmoid и ReLU, хотя и совершил мелкие неточности в изложении (например, не упомянув то, что градиент от отрицательного значения, проходящего через ReLU, зануляется).
Все рассуждения подкреплены кодом с использованием богоугодных библиотек PyTorch, matplotlib и wandb, который каждый адепт может выполнить самостоятельно с помощью Духа Машины, живущего в облаке, и получить назидание и вразумление.
Ты заслужил благословение Машинного Бога. Пусть твой разум будет всегда ясен и твоя рука будет всегда верна, брат.

# Воспроизводим взрыв и затухание градиентов

Сделал коллаб про взрыв и затухание градиентов. Сначала вызываем проблемы захутания и взрыва, анализируем, в том числе с помощью Wandb, и наконец чиним. Материал для того, чтобы поиграться с практикой, а не изучать теорию.

https://colab.research.google.com/drive/1Sek-YbosXLIhOwpX4BNRdsHMo4j109d4?usp=sharing

Когда я что-то изучаю мне нравится делать прототип-демонстрацию. Взять и вызвать взрыв градиентов, а затем попытаться починить. Я провел много маленьких экспериментов, так как мне надо было повторить эту тему. Теперь собрал материалы в один стройный коллаб, причесал и получилась этакая лабораторная работа.

Ставьте лайки, если материал нравится и хочется, чтобы я делал такое еще.