https://www.youtube.com/watch?v=H9WJ1jnicq8

Доклад Романа Малова об инфрабайесианстве (https://www.lesswrong.com/w/infra-bayesianism) - новом подходе в эпистемологии и теории принятия решений, который развивается людьми с LW. В докладе описывается, что это, почему оно понадобилось, и где это предполагается применять.

Про нас внезапно написали в Forbes. Пока только в русскоязычном, впрочем, написали так, что, вероятно, лучше бы не писали вовсе. Основные темы: можно ли использовать мозг как компьютер и является ли LW культом.

Мой ответ получился несколько объёмным: https://telegra.ph/I-eshchyo-raz-o-tom-yavlyaetsya-li-LessWrong-kultom-09-18

Как многие, наверное, уже знают, на этой неделе вышла новая книга Элиезера Юдковского "If Anyone Builds It, Everyone Dies". В связи с этим энтузиасты составили список способов, как можно заказать книгу для тех, кто живёт в России:

https://docs.google.com/document/d/10Luo48j7XvFtwaN7YaLRsfwYI3lGsz1ki6nGD6qSAv4/view

Новый перевод на сайте - юмористическая зарисовка Скотта Александера "Жития святых рационалистов". Автор в шуточной форме рассказывает, что считается добродетелями с точки зрения сообщества.

https://lesswrong.ru/5135

Анонс: Честность vs Эффективность. Эфир со Славой Меритон

В последних постах я очень много говорил на тему инструментальной пользы уверенности. Некоторые преданные подписчики в комментариях справедливо замечали, что попытки «накачать» уверенность выглядят как самообман, искажающий карту реальности.

Действительно, есть ощущение конфликта между Эпистемической честностью (видеть мир таким, какой он есть) и Инструментальной эффективностью (действовать так, чтобы побеждать).

Чтобы разобраться, как это работает на самом деле, я решил позвать человека, который варится в контексте рациональности гораздо дольше меня и имеет свою позицию по теме.

В ближайший понедельник, 22 декабря в 19:00 по МСК, мы поговорим со Славой Меритон.

Слава — одна из заметных фигур в русскоязычном рациональном сообществе и у неё есть интересный взгляд на эту проблему, который немного перпендикулярен нашему спору. Её тезис примерно такой: пока одни ревностно высчитывают свои (обычно низкие) вероятности успеха, другие просто берут и делают.

Поговорим о том:

— Не становится ли сам подсчет вероятностей ловушкой, убивающей агентность?
— Где проходит граница между «полезным игнорированием сложностей» и глупостью?
— И насколько допустимо менять свою карту для того, чтобы быстрее добираться до пунктов назначения?

Формат:
Голосовой эфир прямо здесь, в канале. Мы начнем с диалога, но значительную часть времени уделим общению с вами. Так что приходите, задавайте вопросы, спорьте.

Запись, конечно, тоже сделаем и потом выложим на YouTube, но лучше быть онлайн, чтобы поучаствовать в дискуссии.

Ставьте напоминание: Понедельник, 22 декабря 19:00 МСК

Глеб Горов, автор телеграм-канала "Рациональный Гуманист", выложил запись эфира со Славой Меритон по теме "Честность против эффективности".

Поскольку на выбор темы эфира в какой-то степени повлияли именно мои вопросы и замечания, немного напишу, что я по этому поводу думаю.

Я полностью согласен с тезисом, что не имеет никакого смысла тратить слишком много времени на вычисление шансов на успех. Если можно что-то быстро "взять и сделать", и потенциальные потери в случае неудачи не выглядят существенными, то, конечно, проще всего "взять и сделать".

Однако у меня сложилось впечатление, что участники эфира под оценкой шансов подразумевают что-то очень сложное и действительно малореалистичное. Я же скорее под оценкой шансов подразумеваю что-то вроде метода, упомянутого Элиезером Юдковским в "Лицензии героя":

Когда я задумываюсь о шансах, я считаю, что я согласился бы на пари 20:1 — в смысле, если бы вы предложили мне 20 долларов против одного ... И мне было бы неуютно заключать пари при ставке 4 доллара против одного. Возьмём примерно геометрическое среднее и получим шансы 9:1.

Очевидно, что это очень неточный метод, и тем более он будет неточным для человека, который не "калибровался" в этой сфере (т.е. не записывал ранее своих предсказаний на эту тему и не оценивал результаты). Однако мне представляется, что, во-первых, начать калиброваться в этой области никогда не поздно, и это будет скорее полезно. Во-вторых, мне представляется, что даже из самых несовершенных интуитивных оценок на эту тему можно делать какие-то выводы.

Если вы ощущаете, что готовы поставить на свой успех 10 против 1, то, действительно, можно задаться вопросом, а почему вы ещё не начали свой путь к этому успеху. И наоборот, если даже ставка 1 против 10 вас как-то не вдохновляет, то стоит задуматься, а действительно ли успех того стоит. (На всякий случай отмечу, что на уровне интуитивной калибровки не стоит оценивать шансы меньшие, чем 1:100 - чтобы быть уверенным в своей калибровке на таких шансах, вам, очевидно, нужно никак не меньше 100 предыдущих наблюдений.)

Также в порядке мысленного эксперимента можно задавать вопрос: а сколько бы поставил ваш лучший друг на ваш успех, если бы он был достаточно в курсе ваших дел и идей?

И этот же мысленный эксперимент, с моей точки зрения, порождает вопросы к тезису про уверенность. Предположим, вы спрашиваете своего лучшего друга: "Какие, по-твоему, мои шансы на успех в деле Х?" И после получения ответа задаёте следующий вопрос: "А если я буду очень в себе уверен?" Я бы ожидал встретить здесь некоторое недоумение.

С моей точки зрения, люди не умеют переключать уверенность в себе усилием воли. Конечно, можно проделать какие-то действия, которые уверенность в себе могут повысить. Они могут стать частью плана. Но в этом случае при оценке шансов на успех нужно уже оценивать не абстрактную "уверенность в себе", а конкретный план.

Что же касается тезиса "если я буду оценивать свои шансы на успех, то я пойму, что они низки, и не смогу заставить себя этим заниматься", то здесь, с моей точки зрения, важно отметить, что "осмысленность" действия определяется не только тем, насколько высоки шансы. Если потенциальный выигрыш очень велик, а потенциальные потери - малы, то вполне осмысленно "ставить" и на довольно малые шансы. Очень много на эту тему написано, например, книге Джулии Галеф "Настрой разведчика" (неоднократно упомянутой в этом канале).

Читательский клуб, где обсуждаются разные книги, так или иначе связанные с популярными на LW темами, переходит к следующей книге. Ей станет вышедшая в прошлом году книга Элиезера Юдковского и Нейта Соареса "If Anyone Builds It, Everyone Dies".

Встречи будут проходить по понедельникам. Первая встреча пройдёт уже сегодня, начало в 21:00 по московскому времени (UTC+3). Однако, в дальнейшем встречи будут начинаться в 20:30 (по московскому времени).

Группа читательского клуба в телеграме: https://t.iss.one/minireading

Встречи проходят в онлайне (в настоящее время в Google Meet, но это может меняться). Подробности в упомянутой группе.

Для тех, кто больше любит смотреть или слушать.

В конце июля прошлого года на канале Елизаветы Осетинской вышло большое интервью с Дмитрием Волковым, руководителем исследований в Palisade Research - некоммерческой организации, занимающейся вопросами безопасности ИИ. В интервью Дмитрий рассказывает, какую опасность потенциально может представлять искусственный интеллект, какие исследования на эту тему проводятся уже сейчас и что с этим можно делать.

Интервью рассчитано на очень широкую аудиторию.

https://www.youtube.com/watch?v=au5fU-nbZmc

Читательский клуб, где обсуждаются разные книги, так или иначе связанные с популярными на LW темами, переходит к следующей книге. В ближайшее время будет обсуждаться книга Кевина Симлера и Робина Хансона "Слон в голове" ("The Elephant in the Brain") - книга о неосознаваемых или скрытых по другим причинам человеческих мотивах.

Робин Хансон в своё время вместе с Юдковским создал блог Overcoming Bias, от которого позже отделился LessWrong. Юдковский утверждал, что цинизм профессора Квиррелла из "ГПиМРМ" частично позаимствован у Хансона. Как я понимаю, в книге это будет заметно.

Встречи проходят по понедельникам, онлайн, в Google Meet (но это может измениться). Начало в 20:30 по московскому времени (UTC+3).

Подробности: https://t.iss.one/minireading

Леонид Хоменко написал серию постов про неявное знание и его важность в контексте работы с LLM.

Когда мы хорошо что-то знаем или умеем, мы часто забываем, как сложно нам было этому научиться. И когда мы пытаемся это своё знание кому-то передать, мы нередко недооцениваем количество информации, которое для этого необходимо. Леонид пишет об этом в контексте обучения и в контексте работы с LLM, однако мне представляется, что описанная идея актуальна много где.

Я не во всём согласен с автором с точки зрения практических выводов, но само понятие выглядит довольно полезным инструментом.