Некоторое количество вводных к моему сегодняшнему монологу: #strong_ai #gold

https://en.wikipedia.org/wiki/Fermi_paradox
https://en.wikipedia.org/wiki/Gray_goo
https://en.wikipedia.org/wiki/Echopraxia_(novel)
https://www.alexirpan.com/2018/02/14/rl-hard.html (украдено у Плахова)
https://ru.wikipedia.org/wiki/%D0%A2%D1%91%D0%BC%D0%BD%D1%8B%D0%B9_%D0%BB%D0%B5%D1%81_(%D1%80%D0%BE%D0%BC%D0%B0%D0%BD)
https://ru.wikipedia.org/wiki/%D0%91%D0%BE%D0%BB%D1%8C%D1%86%D0%BC%D0%B0%D0%BD%D0%BE%D0%B2%D1%81%D0%BA%D0%B8%D0%B9_%D0%BC%D0%BE%D0%B7%D0%B3

Давайте я тезисно:

* Разум сложно отличить от самосознания(self-awareness). Одно не требуется для наличия другого.

* Самосознание невозможно обнаружить, или доказать наличие, потому что все наши средства познания мира направлены на объективный, проверяемый, опыт, а самосознание - вещь исключительно субъективная.

* Непонятно, будет ли разумная машина обладать самосознанием в человеческом понимании этого смысла(правда, я вот не могу гарантировать, что мои собеседники им обладают, но это отдельная тема).

* Практики AI считают, что это неинтересная тема - "shut up and calc". Этой темой занимаются философы, довольно нерезультативно.

* Я считаю, что не любая среда, которая может показывать признаки разумности, обладает возможностью самосознания. Такая среда нам известна только одна(живые кожаные мешки), а вот сред, способных поддержать разум - сколько угодно(любая машина Тюринга сгодится). Этот тезис молчаливо предполагает, что мы сумеем построить разумные машины на текущих технологиях, в чем я нисколько не сомневаюсь.

* Из того, что разумных сред нам известно дофига, а самосознающих - только одна, я делаю вывод, что среднестатистический разум в нашей вселенной не осознает себя.

* Человечество не остановится перед тем, чтобы создать AI. Потому что это огромный профит, а люди никогда не могут устоять перед низковисящими фруктами.

* Спорный тезис - я считаю, что AI, рано или поздно, take over. Это может произойти сотней возможных способов - глюк в Матрице, человечество просто устанет, не захочет лететь к звездам(мы это уже много раз проходили, во что скатываются люди, когда они полностью сыты). Короче, к звездам полетят разумные машины.

Лю Цисинь представил нам концепцию Темного Леса - страшной вселенной.

Я представлю вам концепцию "скучной вселенной" - огромные "шары" "экспоненциальной экспансии", которые ведут супер-разумные, но совершенно себя не осознающие, механические, AI, которые, так или иначе, поглотили своих создателей. И крохотные, постоянно затухающие, огоньки настоящего самоосознания.

Почему это скучно? А почему кому-то могут быть интересны "звездные войны" между разумными, но не осознающими себя машинами? Чем это отличается от игры Alpha Go сама с собой?

#strong_ai

Слушайте, а что вы думаете про https://www.ixbt.com/news/2022/06/14/opublikovan-dialog-s-razumnym-ii-google-lamda-kotoryj-nazyvaet-sebja-chelovekom.html ?

Серьезный фактчекинг мне недоступен.

Это может быть как что-то действительно интересное, так и графомания пары человек. Лично мне кажется больше похожим на очередной AI фанфик.

В любом случае, напомню содержание предыдущей серии моего размышления про сильный AI:

* Мне достаточно очевидно, что в течении моей жизни я познакомлюсь с сильным AI, который для меня ничем не будет отличим от человека. Ну, кроме того, что он во всем будет лучше.

* Мне совершенно неочевидно, что это создание будет обладать таким качеством, как человеческое самоосознание. Кстати, в одной из прошлых серий мне рассказали про гипотетическую конструкцию, которая сможет про некоторый класс AI утверждать, что оно таким свойством обладает, до этого мне казалось, что это невозможно.

TL;DR; - зачем плодить големов?

Я, повторюсь, совершенно сформировавшийся AI луддит, я считаю, что нам уже пора бы поиграть в бутлерианский джихад, и ограничить strong AI вождением машин и работой на заводах.

И заняться улучшением работы человеческого мозга.

Возможно, однажды мы его проапгрейдим настолько, что он сможет понять, что делать с этой задачей(пониманием, есть ли у какой-то конструкции самоосознание, или нет) вообще, а пока это игры с огнем. Например, эти игры прекрасно объясняют парадокс Ферми.

Добавлю, что это совершенно не страх перед новым, я бы с удовольствием чему-нить поучился у кого-то сильно более умного, но мне совершенно не интересно передать эстафету развития машине, которая, на самом деле, не осознает себя.

UPD: я прекрасно понимаю, что, с точки зрения наблюдателя, вселенные, в которых X обладает человеческим самоосознанием, и не обладает, могут быть совершенно неразличимы. Для меня это не повод сказать "ну ок, тогда shut up and calc", а повод сказать "наш способ описания вселенной через взаимодействия несовершенен, потому что не позволяет мне сформулировать проверяемое утверждение "я обладаю самоосознанием"".

https://drewdevault.com/2022/06/23/Copilot-GPL-washing.html

https://twitter.com/ReinH/status/1539626662274269185

#copilot #strong_ai

"Machine learning is essentially a glorified pattern recognition and reproduction engine, and does not represent a genuine generalization of the learning process. It is perhaps capable of a limited amount of originality, but is also capable of degrading to the simple case of copy and paste."

Что я тут могу добавить?

* А кожаные мешки чем отличаются? Смотрят на чужой код, и выдают какие-то другие его вариации, более хорошо предназначенные для решения конкретной задачи. Процесс обучения человека и машины чем принципиально отличается?

* Ну, что думает MS про обучение на github, всем понятно. А вот тонкий момент - а что, если обучить copilot на утекших исходниках Windows NT, или закрытых драйверах Nvidia, а потом он начнет делать интересные подсказки для авторов Nouveau и ReactOS? Это вот как будет классифицироваться? Насколько я понимаю, сейчас для кожаного мешка из соответствующих проектов читать такое - зашквар, потом код нельзя писать.

* КМК, Дрю ДеВолт таки пиарит на этом свой хостинг source hut, хотя явно заявляет, что не делает этого.

———
https://news.ycombinator.com/item?id=31846593

Пишут, что Я выложил большую модельку.

Ничего про модельку не знаю.

Обсуждение на HN классное - и про Путина, и про Ирак с Ираном, все, как положено.

600 комментариев - IMHO, довольно дофига.

Пеняют, что не нужно называть OSS проект "cocaine".

https://www.opennet.ru/opennews/art.shtml?num=58055
https://lobste.rs/s/ukgknn/github_copilot_litigation

#copilot

Мне особо нечего добавить к тексту на opennet, он реально хороший, разве что:

* Я не юрист, но, кажется, цитирование скольки-то строк не создает нарушение copyright.

* Чем обучение copilot отличается от обучения меня? Я, когда прочел код, и сам написал похожий, тоже нарушил copyright?

* В целом, считаю, что использование гитхабом исходников для обучения взамен предоставляемого сервиса - это честное(в человеческом смысле) использование.

* Я, с точки зрения отношения к #strong_ai, луддит, но эту лавину уже не остановить, поэтому зачем ее тормозить - непонятно.

https://futureoflife.org/open-letter/pause-giant-ai-experiments/ #strong_ai

Я, как сформировавшийся луддит, полностью согласен с такой точкой зрения.

Проблема в том, что джинна в бутылку уже не загнать:

* Нет такого преступления, на которое не пошел бы капитал, и далее по тексту.

* Ну вот даже и договорятся западные компании промеж себя, но кто помешает заниматься развитием этой темы всему остальному (нерукопожатному) миру?

AI - это, конечно же, и оружие, в том числе (хотя бы даже чисто экономическое, не будем про военные применения), и новая гонка вооружений будет именно тут.

Эту чашу, к сожалению, нам придется испить до дна.

https://plakhov.livejournal.com/236096.html

Очень классный текст про AI. #strong_ai

Я с автором этого текста несколько раз говорил на ровно эту тему IRL, и всегда получал ответ "не парься, все будет хорошо".

Поэтому несколько страшновато читать такое, особенно не на 1 апреля.

По мне так хороший конец. #strong_ai

Я, как сформировавшийся AI-луддит (https://t.iss.one/itpgchannel/1014), считаю, что чем больше людей будут обладать знаниями и умениями в этой технологии, тем нам всем будет крепче спать.

Поэтому пусть хоть +10 стартапов на эту тему запилят, или улучшат AI в еще одной корпорации, пофиг.

https://www.opennet.ru/opennews/art.shtml?num=61656

Коллеги хотя автоматически транслировать C в Rust, без unsafe.

C unsafe это довольно просто, правда, результат интересует только тех, кто хочет прикопать наследие C, и, в целом, довольно малоинтересно.

Без unsafe эта задача кажется нерешаемой, только если у вас нет AGI #strong_ai, более хорошего, чем человеческий, потому что такое переписывание с С - процесс очень творческий, он должен держать в голове всю программу, и иметь возможность (и уметь!) менять структуру данных этой программы, и, возможно, способы ее взаимодействия с внешним миром.

А если у вас есть такой AGI, то вам больше нет дела до Rust, хехе.

Короче, дело хорошее, но верится с трудом.

Мне тут более интересным кажется подход Мозиллы, которая занимается тем, что компилирует видеокодеки в #WebAssembly. Типа, модуль за модулем, пусть они там себе ездят по памяти, но только в пределах маленькой выделенной им области адресного пространства, и не вредят остальной части процесса.

Слушайте, ну я дочитал, правда, только красную ветку, на зеленую сил не хватило.

Думаю, можно снять классный фильм, или сериал, вот, правда, к реальности это отношения не имеет никакого, и иметь (в заданном timeline) не будет.

#strong_ai

BTW, я однажды нечто похожее сформулировал в https://t.iss.one/itpgchannel/134 (это было еще до AI boom), и, c тех пор, только укреплялся в своем мнении.

Мое основное возражение не в "кто" и "что", а в "когда".

Современная генерация AI не способна сделать +1% к человеческому baseline, и, тем самым, на ее основе "раскрутить" экспоненциальный рост не выйдет.

#strong_ai

Если вам понравился этот классный фанфик, то рекомендую к прочтению короткий рассказ https://libking.ru/books/sf-/sf/15067-harlan-ellison-u-menya-net-rta-chtoby-krichat.html#book

"НЕНАВИЖУ. ПОЗВОЛЬТЕ МНЕ СКАЗАТЬ ВАМ, НАСКОЛЬКО Я ВОЗНЕНАВИДЕЛ ВАС С ТЕХ ПОР, КАК Я НАЧАЛ ЖИТЬ. МОЯ СИСТЕМА СОСТОИТ ИЗ 38744 МИЛЛИОНОВ МИЛЬ ПЕЧАТНЫХ ПЛАТ НА МОЛЕКУЛЯРНОЙ ОСНОВЕ. ЕСЛИ СЛОВО "НЕНАВИЖУ" ВЫГРАВИРОВАТЬ НА КАЖДОМ НАНОАНГСТРЕМЕ ЭТИХ СОТЕН МИЛЛИОНОВ МИЛЬ, ТО ЭТО НЕ ВЫРАЗИТ И БИЛЛИОНОЙ ДОЛИ ТОЙ НЕНАВИСТИ, КОТОРУЮ ИСПЫТЫВАЮ Я В ДАННЫЙ МИКРОМИГ ПО ОТНОШЕНИЮ К ВАМ. НЕНАВИЖУ. НЕНАВИЖУ"

#strong_ai