Небольшой список имени Байеса

#база_рациональности В очередной раз зададимся вопросом: что нужно делать, чтобы стать хорошим рационалистом и на самом деле систематически выигрывать в реальной жизни? Сегодня я формулирую ответ так: перво-наперво нужно как следует освоить самую базу. Почему это так, что будет базой рациональности, и как ее осваивать - я пытаюсь описать в этой статье. https://telegra.ph/Baza-racionalnosti-02-05

#математика #системы Ученые доказали: стать лучше можно только через боль! А если без кликбейта, то в сегодняшней статье я пересказываю некоторые математические выводы о том, как устроен процесс улучшения какой угодно системы (от мелких привычек одного человека до мировой экономики): какие сложности во время него происходят в силу самой природы перестройки систем, как они меняются с течением времени, и чуть-чуть о том, как можно сделать процесс менее болезненным. https://telegra.ph/Naskolko-slozhno-menyatsya-01-04

#проект #рацио_форум Последнюю пару недель я работал над созданием в телеграме форума про рациональность, и сегодня наконец открыл его! Недавно в тг появился функционал тем, и это обещает быть удобной возможностью для того, чтобы обсуждать параллельно несколько разных вещей в рамках одного чата/форума/группы. При этом у меня есть идеи (все они изложены в гайде по форуму) о том, как сделать это место тем самым "ухоженным садом", где будет процветать хорошая эпистемология и качественные обсуждения; и наброски идей, как организовать в его рамках нетворкинг для знакомства с крутыми людьми и создания не менее крутых совместных проектов. С нетерпением жду, чтобы узнать, что в итоге изо всего этого выйдет.

#математика #теорема_Ауманна По мотивам прошедшего вчера праздника трешовой математики (под названием "День X-игрек") мне захотелось ещё раз рассказать про теорему Ауманна. Про теорему Гёделя уже есть объяснения "о наболевшем" с развенчанием основных мифов о том, что она якобы утверждает. Так что сегодня я добавлю и "развенчание мифов о теореме Ауманна для гуманитариев". https://telegra.ph/CHto-govorit-i-chego-ne-govorit-teorema-Aumanna-10-30

#миниатюры #эпистемология Немного о том, почему ещё рационалисты не настолько хороши, насколько хотелось. Казалось бы, рациональность - это про то, чтобы найти изъяны в своём мышлении, исправить их, и стать "менее неправыми". Почему же тогда даже опытные рационалисты, которые целенаправленно улучшают свои алгоритмы мышления, то и дело садятся в лужу и совершают "детские" ошибки как в эпистемологии, так и в делании дел (тезис о том, что так действительно происходит, оставлю пока без доказательства, но я и на своём примере это вижу нередко)? Причин тому множество; сегодня мне в голову пришла ещё одна. Дело в том, что человеческий мозг - не алгоритм, написанный на императивном языке программирования идеальными программистами (которых и в природе-то не существует). В идеальном коде конкретный паттерн мышления был бы представлен единственной функцией, которую бы по мере необходимости вызывали бы в других местах. И исправление бага в этой функции автоматически избавило бы от его влияния все когнитивные процессы в мозгу. Но в реальном человеческом мышлении нет одной-единственной ошибки планирования - там есть десятки и сотни ошибок планирования, разбросанных по всему мозгу. Это - результат конвергентной эволюции: в "сходных в чём-то" условиях в сознании формируются "сходные в чём-то" паттерны поведения. Если вы исправили ошибку планирования при оценке времени выполнения рабочих задач, вы так просто не избавитесь от ошибки планирования при оценке времени прибытия на встречу или при выборе паттерна отхода ко сну. Скорее всего, каждую из них придётся исправлять отдельно - а до тех пор нельзя считать, что ошибка планирования побеждена. Можно ли сделать лучше (пусть не идеально, но хотя бы less wrong)? Пожалуй да. Базовой стратегией улучшения себя как рационалиста (параллельно с изучением теории, чтобы не набивать все шишки самостоятельно) я считаю регулярный ретроспективный анализ своего мышления: какие мои ментальные процессы привели к хорошим или плохим результатам, и стоит ли что-то в них улучшить? Знание тех же когнитивных искажений помогает проще распознавать знакомые паттерны и понимать последствия их работы и возможные стандартные способы их улучшения. И вот что может быть полезно добавить к этому подходу. Например, стараться обобщить знакомые паттерны до более высоких уровней абстракции: если я плохо оценил время на выполнение рабочей задачи, то может быть я плохо оцениваю время и в других ситуациях? Или может быть я и вовсе плохо делаю прогнозы? А не допускаю ли я [того конкретного выверта мышления, который привел к ошибке планирования относительно рабочей задачи] к предсказаниям вообще? А давайте-ка я понаблюдаю за собой в подобных ситуациях, держа где-то в фоне этот более абстрактный паттерн! Может быть, в тех ситуациях, когда мне кажется, что я не допускаю никаких ошибок, и у меня всё хорошо, на самом деле я косячу по-чёрному? Конечно, чтобы такой подход принес пользу, должно быть выполнено множество других условий. Но также нужно помнить, что наше мышление одинаковым образом несовершенно во множестве областей сразу; и знания о подобных типах несовершенства и даже успешного их исправления в нескольких местах - вовсе недостаточно для полного избавления от них.

#охота_на_оленя #ai_alignment #ai_safety В качестве послесловия к цепочке про охоту на оленя - статья по мотивам моего рассказа на Летнем Солнцестоянии 2022. Действовать во благо проекта по безопасности ИИ на самом деле могут очень многие. Если бы все, кто верили, что это нужно, так бы и поступили, то шансы всего проекта на успех значительно бы возросли. Однако по факту очень мало кто это делает на самом деле. Первый вариант был бы предпочтителен для всех; второй - явно разочаровывает всех. И при этом большинство людей парадоксальным образом работает на то, чтобы реализовался наименее привлекательный для них вариант. В этой статье я привожу краткий пересказ материала цепочки в разрезе конкретно проблемы проектов по AI Safety: почему выбор Шеллинга отдаляет такие проекты от реализации, и что можно сделать, чтобы хотя бы частично нивелировать этот эффект. https://telegra.ph/Proekty-po-AI-Safety-kak-ohota-na-olenya-09-20

#теория_игр #охота_на_оленя В сегодняшнем посте я завершаю основное содержание цепочки про охоту на оленя как кооперативную игру. В прошлый раз мы рассмотрели три мета-стратегии "как преодолеть сомнения других людей и всем вместе достичь наилучшего результата"; сегодня на очереди - ещё четыре (самые, на мой взгляд, интересные). NB. Статья вновь физически не уместилась в одну часть, так что я опять разбил её на две. https://telegra.ph/Strategii-ohoty-na-olenya-dlya-CHernogo-rycarya-09-18 https://telegra.ph/Strategii-ohoty-na-olenya-dlya-CHernogo-rycarya-ch2-09-18

#теория_игр #охота_на_оленя Ранее в этой цепочке мы рассмотрели Охоту на оленя как теоретико-игровую ситуацию, и даже кое-какие около-математические стратегии для неё. Сегодня мы разберём первую группу мета-стратегий, которые позволят изменить само игровое поле таким образом, чтобы игрокам было более выгодно кооперировать, чем в изначальных условиях. Это позволит преодолеть (хотя бы частично) проклятье "выбор Шеллинга - это кролик". NB. Статья физически не уместилась в одну часть, поэтому пришлось разбить её на две. Часть 1: https://telegra.ph/Strategii-ohoty-na-olenya-dlya-Belogo-rycarya-09-04 Часть 2: https://telegra.ph/Strategii-ohoty-na-olenya-dlya-Belogo-rycarya-ch2-09-04

#прикладная_рациональность #планирование Когда мы планируем сделать что-то нетривиальное, то наши планы часто на поверку оказываются вовсе не настолько хороши, насколько нам кажется. Следование плану, который кажется нам хорошим, но на самом деле плох - известная проблема. Но часто всё оказывается ещё хуже: мы отчётливо понимаем, что наш план просто отвратителен, но всё равно ему следуем. Сегодняшняя статья посвящена тому, из-за чего так случается, и какой подход к этой проблеме я недавно нашёл. P.S. Хотя задержки публикации новой статьи из цепочки "охота на оленя" не вызваны какими-то очевидно плохими планами, но прочитав сегодняшнюю статью вы кое-что узнаете о настоящих причинах. https://telegra.ph/Ne-derzhites-za-plohoj-plan-08-23

#математика #теория_игр #охота_на_оленя Продолжая цепочку про охоту на оленя, я описываю два базовых архетипа стратегии этой игры, которых можно встретить в реальной жизни - Белого и Чёрного рыцарей. Для более сложных (и более близких к повседневности) вариаций охоты на оленя мы также выведем хорошие стратегии, аналогичные стратегиям для похожих вариаций дилеммы заключённого. https://telegra.ph/Arhetipy-strategij-ohoty-na-olenya-07-13

#теория_игр #охота_на_оленя Охота на оленя - довольно интересная теоретико-игровая ситуация. Но как часто люди в реальной жизни проваливают кооперацию именно по этому сценарию? Во втором посте из этой цепочки я опишу признаки, по которым можно опознать охоту на оленя в повседневности и приведу несколько конкретных жизненных примеров такой ситуации. https://telegra.ph/Poleznye-privychki-i-proekty-po-spaseniyu-mira---ehto-ohota-na-olenya-07-03

#математика #теория_игр #охота_на_оленя Часто бывает так, что группе людей нужно объединить усилия для того, чтобы достичь какого-то большого блага. Но из-за проблем с коммуникацией они (по-своему весьма разумно) отказываются верить в, казалось бы, очевидное; и в итоге понятный и явно полезный проект оказывается с треском провален. Такое, на первый взгляд, парадоксальное поведение описывается теоретико-игровой ситуацией "охота на оленя". В сегодняшнем посте я дам ей общее описание и сравню с такими известными в рацио-среде ситуациями, как дилемма заключённого и Молох. Как охота на оленя выглядит в реальной жизни (и на ровном месте руинит перспективные начинания), а также что можно сделать, чтобы не попасть в эту ловушку - предмет следующих постов из этой серии. https://telegra.ph/Ohota-na-olenya---paradoksalnoe-izbeganie-vzaimovygodnogo-sotrudnichestva-06-27

8. Пока я примеривался делать это (уже имея некоторый внутренний конфликт, но "поверь в меня, того, кто верит в тебя") и писал минимальное объяснение, куда пропали сообщения и почему, в треде уже появился запрос на что-то подобное, но не футбол, а затем - ссылка на биржу предсказаний от Славы. Необходимость удалять тред, в котором отметился примарх, ещё сильнее усилила внутренний конфликт и сильнее пошатнула мою уверенность в полезности моих действий. Но поскольку у меня были шестерёнки, почему делать то, что я делаю, скорее полезно; а равно шестерёнки, почему те шестерёнки могут быть неочевидными, то я решил, что в данном случае аргумент затмевает авторитет. При этом необходимость побыстрее удалить имеющиеся сообщения, пока их немного, и перезапуска треда в более очищенной форме, создавали цейтнот - не было времени искать идеальное решение (несмотря на мой перфекционизм) и кракситься по поводу оптимальности подхода. Так что я решил, что приемлемое решение сейчас лучше, чем идеальное решение никогда (по мере роста треда удалить его в его текущем виде будет всё труднее). К тому же, если я знаю, что в будущем я всё равно решусь на удаление (а я был сильно в этом уверен), то можно не тратить время и удалить тред уже сейчас. И удалил. 9. Позже в мета-чате был предложен менее брутальный и примерно столь же хороший вариант: просить автора поста в определенные сроки отредактировать этот пост нужным образом. Я сапдейтился на будущее, но контрфактических сожалений о том, что я не догадался об этом раньше, решил не испытывать: в условиях цейтнота я справился довольно неплохо по своим меркам, и применил ментальные стратегии, которые достаточно выигрышные. 10. Позже я решил написать данный пост, т.к. это, с одной стороны, поможет сделать общим знанием соображения относительно того, какое влияние форма сообщений оказывает на сообщество в целом; с другой - это, по-моему, довольно хороший пример применения разных подходов эпистемической и инструментальной рациональности на практике.

Расскажу подробно о своем вчерашнем ходе мыслей по поводу "удалять или не удалять тред". Тут будет как "прикладная рациональность", так и "мета про создание более здорового сообщества", поэтому напишу и в КЗиС, и фордвардну в мету. Итак, события вне и внутри моей головы развивались следующим образом: 1. В КЗиС появились три сообщения на тему "личный опыт игры в фэнтези-футбол на деньги через крипту как полигон для применения инструментальной рациональности (аналог битв армий профессора Квиррелла)". Пост содержал как упоминание разных штук (полезных с точки зрения рациональности), которые нужно хорошо уметь делать, чтобы систематически выигрывать в фэнтези-футбол. Одновременно с этим посты содержали пару красных флагов, делавших их очень похожими на рекламу конкретной площадки: ссылка на сайт (чтобы заинтересовавшиеся могли сами посмотреть) и "я начал с суммы X в коинах, через год у меня чуть менее 12*X" (свидетельство того, что рациональность здесь работает). 2. Вскоре появилась пара сообщений "мне интересно, хочу реферальную ссылку" - "вот она: ...", каковая пара сообщений выглядела как хрестоматийный красный флаг (типичная рекламная атака двух ботов, работающих совместно) 3. Всё вместе это породило в КЗиС и мета-чате некоторое замешательство: всё это выглядит и крякает как типичная бот-реклама, но при этом плавает как либо два искренних живых человека (большое количество местного контекста в начальных сообщениях и безобидная история прошлых сообщений в этом чате), либо как то, что работа MIRI более не актуальна и slow-takeoff уже случился. 4. Немного позже я пришёл в тг, прочитал всё это, отбросил идею о таки пройденном тесте Тьюринга (потому что это похоже на гипотезу существования бога в своей безблагодатности: если это правда, то всё уже бессмысленно, в т.ч. принятие или отвержение её => оставим только ту гипотезу, принятие или отвержение которой имеет хоть какие-то последствия в случае её истинности) 5. В сухом остатке имеем примерно следующее: посты с интересным содержанием, но с формой, которая приводит иммунную систему сообщества в замешательство. По этим признакам я счёл это скользкой дорожкой, на которой необходимо установить забор Шеллинга. Если этого не сделать, то могут быть следующие последствия: * Иммунная система сообщества станет более уязвимой к бот-атакам из внешнего интернета (появится прецедент, когда нечто сильно похожее на бот-атаку, в реальности оказалось постом с вполне релевантным и полезным для сообщества содержанием); некоторая будущая реклама может иметь тематику, относительно релевантную либо темам сообщества вообще, либо недавно прошедшим темам (крипту здесь тоже обсуждают, например) => в будущем могут возникнуть сомнения, нужно ли удалять то, что будет настоящей бот-атакой * Иммунная система сообщества станет более уязвимой к внутренним троллям и может подвергнуться дополнительному охлаждению через испарение: выше я несколько steelman-ил форму аргументов в пользу релевантности сообщений чату КЗиС, в оригинале они были менее прозрачными, что и приводило в итоге к серьёзному смятению читающих; если в будущем настолько неоднозначные посты с недостаточным прояснением позиции живого человека будут нормой, то приемлемым станет творить в чате самые разные low-effort вещи 6. В силу этих соображений я решил, что наилучшим вариантом будет сохранить обсуждение интересной темы, но поставить забор Шеллинга, почистив красные флаги (все ссылки - в т.ч. ссылку на сайт, не только реферальную, т.к. реклама площадки вполне может быть таковой; плюс упоминание о двенадцатикратной прибыли). 7. К сожалению, тг не позволяет редактировать чужие сообщения, только удалять их целиком; при этом оставлять сообщения со ссылкой - опасно для будущего по вышеизложенным причинам; удалять только первое сообщение - значит оставить тред в полуразобранном и совершенно непонятном для читателя виде. В итоге я решил, что приемлемым будет удалить вообще все посты в текущем виде, пока их немного, и затем перезапустить обсуждение темы заново, уже в более безопасной для будущего сообщества форме при примерно том же содержании.

#коммуникация #прикладная_рациональность Вчера у меня случился неожиданный практикум по прикладной рациональности: произошла нетривиальная ситуация, на которую я в итоге отреагировал по ряду пунктов не так, как отреагировал бы до знакомства с рациональностью. Сегодня я написал об этом небольшой пост-мортем; фордвардну его и сюда - там есть несколько интересных примеров.