Регулярные встречи для москвичей для обсуждения машинного обучения, искусственного интеллекта и технических вопросов безопасности

Грета Дулеба (Gretta Duleba) взяла интервью у Элиезера Юдковского, в котором расспросила его об авторских взглядах на разные составляющие книги "Гарри Поттер и Методы рационального мышления". В интервью много рассуждается о героях книге, сеттинге и сюжете.

Естественно, интервью содержит обширные спойлеры к самой книге.

https://www.lesswrong.com/posts/FY697dJJv9Fq3PaTd/hpmor-the-probably-untold-lore

Как я уже писал, в середине сентября выходит книга Элиезера Юдковского и Нейта Соареса "If Anyone Builds It, Everyone Dies", в которой авторы подробно описывают, почему создание искусственного интеллекта может оказаться чрезвычайно опасным. Книга уже получила довольно много положительных отзывов от известных людей, которые её прочитали.

Если вы всерьёз предполагаете, что будете её читать, советую подумать над тем, чтобы сделать предзаказ. Книги, проданные по предзаказу, рассматриваются как проданные в первую неделю, а большой объём продаж в первую неделю сам по себе может стать дополнительной рекламой книги. (Ссылки на различные интернет-магазины, где можно сделать предзаказ, есть по ссылке с отзывами выше).

Также вместе с выпуском книги MIRI планирует выпустить большое количество дополнительных материалов. Авторы хотят перевести эти дополнительные материалы на множество языков, в том числе на русский, и поэтому ищут переводчиков (как за деньги, так и волонтёров). Если вам это интересно, подробности об этом есть на LW.

Наш читательский клуб, который собирается по понедельникам в онлайне, некоторое время назад перешёл к чтению и обсуждению книги Дугласа Хофштадтера "Гёдель, Эшер, Бах: эта бесконечная гирлянда".

Я несколько запоздал с анонсом, и три встречи, посвящённые этой книге, уже прошли, но, думаю, ещё можно присоединиться. В ближайший понедельник мы будем обсуждать интерлюдию "Соната для Ахилла соло" и главу III "Рисунок и фон".

Встречи начинаются в 21:00 по московскому времени (UTC+3) и проходят в Google Meet.

Разные вопросы по встречам обсуждаются в группе: https://t.iss.one/minireading

🚀 Make your high-impact career pivot – https://www.effectivealtruism.org/courses/bootcamp

Буткемп который помогает найти high-impact careers подходящие под ваши скиллы и бэкграунд. Продолжительность – 4 дня по 6-8 часов.

Заявка занимает ~30 минут, податься можно до 14 сентября. Поделитесь с друзьями и коллегами, кому актуально.

На канале Байесятина за последние два дня опубликованы две новых статьи.

Статья "Меня укусил рационалист" посвящена достаточно популярному сценарию, в котором человек, познакомившийся с какими-то трудами по скептицизму/критическому мышлению/рациональности начинает ими восхищаться настолько, что начинает совершать некоторые достаточно типичные ошибки. Одному из видов ошибок и посвящена статья.

В статье "Спорить бесполезно? Люди никогда не меняют своего мнения" автор исследует вопрос о том, насколько аргументированные споры меняют чужое мнение. (От себя замечу, что эта статья несколько сдвинула моё мнение по основному вопросу, однако, с моей точки зрения, этот вопрос гораздо более интересен деталями: спорить можно очень по-разному и ставить цели в споре тоже можно достаточно разные).

Новый перевод на сайте - эссе Элиезера Юдковского "Цель не оправдывает средства (среди людей)" из цепочки "Количественный гуманизм".

Спор о том, оправдывают ли цели средства, уже довольно стар. Однако, кажется, что ответ "не оправдывают" более популярен.

Эссе начинается с вопроса "Если не цель оправдывает средства, то что оправдывает?". Если мы хотим быть консеквенциалистами, то как цели могут не оправдывать средства?

Именно об этом Юдковский и рассуждает.

https://lesswrong.ru/5117

Этой осенью, как обычно, по всему миру пройдут встречи поклонников творчества Скотта Александера. Узнать, будет ли встреча где-то недалеко от вас, и когда и где именно она будет, можно по ссылке: https://www.astralcodexten.com/p/meetups-everywhere-2025-times-and

https://www.youtube.com/watch?v=H9WJ1jnicq8

Доклад Романа Малова об инфрабайесианстве (https://www.lesswrong.com/w/infra-bayesianism) - новом подходе в эпистемологии и теории принятия решений, который развивается людьми с LW. В докладе описывается, что это, почему оно понадобилось, и где это предполагается применять.

Про нас внезапно написали в Forbes. Пока только в русскоязычном, впрочем, написали так, что, вероятно, лучше бы не писали вовсе. Основные темы: можно ли использовать мозг как компьютер и является ли LW культом.

Мой ответ получился несколько объёмным: https://telegra.ph/I-eshchyo-raz-o-tom-yavlyaetsya-li-LessWrong-kultom-09-18

Как многие, наверное, уже знают, на этой неделе вышла новая книга Элиезера Юдковского "If Anyone Builds It, Everyone Dies". В связи с этим энтузиасты составили список способов, как можно заказать книгу для тех, кто живёт в России:

https://docs.google.com/document/d/10Luo48j7XvFtwaN7YaLRsfwYI3lGsz1ki6nGD6qSAv4/view

Новый перевод на сайте - юмористическая зарисовка Скотта Александера "Жития святых рационалистов". Автор в шуточной форме рассказывает, что считается добродетелями с точки зрения сообщества.

https://lesswrong.ru/5135

Анонс: Честность vs Эффективность. Эфир со Славой Меритон

В последних постах я очень много говорил на тему инструментальной пользы уверенности. Некоторые преданные подписчики в комментариях справедливо замечали, что попытки «накачать» уверенность выглядят как самообман, искажающий карту реальности.

Действительно, есть ощущение конфликта между Эпистемической честностью (видеть мир таким, какой он есть) и Инструментальной эффективностью (действовать так, чтобы побеждать).

Чтобы разобраться, как это работает на самом деле, я решил позвать человека, который варится в контексте рациональности гораздо дольше меня и имеет свою позицию по теме.

В ближайший понедельник, 22 декабря в 19:00 по МСК, мы поговорим со Славой Меритон.

Слава — одна из заметных фигур в русскоязычном рациональном сообществе и у неё есть интересный взгляд на эту проблему, который немного перпендикулярен нашему спору. Её тезис примерно такой: пока одни ревностно высчитывают свои (обычно низкие) вероятности успеха, другие просто берут и делают.

Поговорим о том:

— Не становится ли сам подсчет вероятностей ловушкой, убивающей агентность?
— Где проходит граница между «полезным игнорированием сложностей» и глупостью?
— И насколько допустимо менять свою карту для того, чтобы быстрее добираться до пунктов назначения?

Формат:
Голосовой эфир прямо здесь, в канале. Мы начнем с диалога, но значительную часть времени уделим общению с вами. Так что приходите, задавайте вопросы, спорьте.

Запись, конечно, тоже сделаем и потом выложим на YouTube, но лучше быть онлайн, чтобы поучаствовать в дискуссии.

Ставьте напоминание: Понедельник, 22 декабря 19:00 МСК

Глеб Горов, автор телеграм-канала "Рациональный Гуманист", выложил запись эфира со Славой Меритон по теме "Честность против эффективности".

Поскольку на выбор темы эфира в какой-то степени повлияли именно мои вопросы и замечания, немного напишу, что я по этому поводу думаю.

Я полностью согласен с тезисом, что не имеет никакого смысла тратить слишком много времени на вычисление шансов на успех. Если можно что-то быстро "взять и сделать", и потенциальные потери в случае неудачи не выглядят существенными, то, конечно, проще всего "взять и сделать".

Однако у меня сложилось впечатление, что участники эфира под оценкой шансов подразумевают что-то очень сложное и действительно малореалистичное. Я же скорее под оценкой шансов подразумеваю что-то вроде метода, упомянутого Элиезером Юдковским в "Лицензии героя":

Когда я задумываюсь о шансах, я считаю, что я согласился бы на пари 20:1 — в смысле, если бы вы предложили мне 20 долларов против одного ... И мне было бы неуютно заключать пари при ставке 4 доллара против одного. Возьмём примерно геометрическое среднее и получим шансы 9:1.

Очевидно, что это очень неточный метод, и тем более он будет неточным для человека, который не "калибровался" в этой сфере (т.е. не записывал ранее своих предсказаний на эту тему и не оценивал результаты). Однако мне представляется, что, во-первых, начать калиброваться в этой области никогда не поздно, и это будет скорее полезно. Во-вторых, мне представляется, что даже из самых несовершенных интуитивных оценок на эту тему можно делать какие-то выводы.

Если вы ощущаете, что готовы поставить на свой успех 10 против 1, то, действительно, можно задаться вопросом, а почему вы ещё не начали свой путь к этому успеху. И наоборот, если даже ставка 1 против 10 вас как-то не вдохновляет, то стоит задуматься, а действительно ли успех того стоит. (На всякий случай отмечу, что на уровне интуитивной калибровки не стоит оценивать шансы меньшие, чем 1:100 - чтобы быть уверенным в своей калибровке на таких шансах, вам, очевидно, нужно никак не меньше 100 предыдущих наблюдений.)

Также в порядке мысленного эксперимента можно задавать вопрос: а сколько бы поставил ваш лучший друг на ваш успех, если бы он был достаточно в курсе ваших дел и идей?

И этот же мысленный эксперимент, с моей точки зрения, порождает вопросы к тезису про уверенность. Предположим, вы спрашиваете своего лучшего друга: "Какие, по-твоему, мои шансы на успех в деле Х?" И после получения ответа задаёте следующий вопрос: "А если я буду очень в себе уверен?" Я бы ожидал встретить здесь некоторое недоумение.

С моей точки зрения, люди не умеют переключать уверенность в себе усилием воли. Конечно, можно проделать какие-то действия, которые уверенность в себе могут повысить. Они могут стать частью плана. Но в этом случае при оценке шансов на успех нужно уже оценивать не абстрактную "уверенность в себе", а конкретный план.

Что же касается тезиса "если я буду оценивать свои шансы на успех, то я пойму, что они низки, и не смогу заставить себя этим заниматься", то здесь, с моей точки зрения, важно отметить, что "осмысленность" действия определяется не только тем, насколько высоки шансы. Если потенциальный выигрыш очень велик, а потенциальные потери - малы, то вполне осмысленно "ставить" и на довольно малые шансы. Очень много на эту тему написано, например, книге Джулии Галеф "Настрой разведчика" (неоднократно упомянутой в этом канале).

Читательский клуб, где обсуждаются разные книги, так или иначе связанные с популярными на LW темами, переходит к следующей книге. Ей станет вышедшая в прошлом году книга Элиезера Юдковского и Нейта Соареса "If Anyone Builds It, Everyone Dies".

Встречи будут проходить по понедельникам. Первая встреча пройдёт уже сегодня, начало в 21:00 по московскому времени (UTC+3). Однако, в дальнейшем встречи будут начинаться в 20:30 (по московскому времени).

Группа читательского клуба в телеграме: https://t.iss.one/minireading

Встречи проходят в онлайне (в настоящее время в Google Meet, но это может меняться). Подробности в упомянутой группе.