RationalAnswer | Павел Комаровский

Лучшие дебаты про безопасность ИИ для нормисов В последнее время слушал много подкастов на тему AI safety в поисках того, который можно было бы смело рекомендовать обычным нормисам уровня погружения «ну я немного слышал о хайпе про “ИИ нас всех убьет”, с точки зрения здравого смысла звучит как полная ерунда, конечно…». Так вот, я его нашел – встречайте, идеальный выпуск для погружения в текущее состояние этого дискурса: The Diary Of A CEO – дебаты между Нейтом Соаресом, Романом Ямпольским, Эдом Зитроном и Эндрю МакАфи: https://www.youtube.com/watch?v=OhOmLqR5nN4 Я прямо горячо рекомендую вам посмотреть этот выпуск на 2,5 часа (там в настройках Ютуба можно включить русскую дорожку), причем чем дальше – тем он становится лучше. Происходящее на этом подкасте наглядно иллюстрирует одну особенность текущего AI safety-дискурса. Чуваки, которые варятся в этой среде последние 10+ лет (и которые серьезно относятся к ИИ-рискам для человечества), потратили уйму времени на размышления в этой области. Они уже сто раз видели и обсуждали самые сильные аргументы против того, что AI может представлять для человечества реальную угрозу. А самые громкие критики ИИ-рисков с другой стороны, которые отстаивают тезис «да это всё научно-фантастический хайп от фантазеров, никакие адекватные люди не будут это обсуждать всерьез», – выглядят на этом фоне, как бы это помягче сказать… Как будто они впервые задумались о проблеме примерно неделю назад, и тормознули там на уровне «мне сразу пришли чисто из здравого смысла три очевидных возражения, почему AI risk – это чушь, и я на этом остановился». Там есть прямо пара наглядных моментов, иллюстрирующих это. Примерно на сороковой минуте Эд Зитрон спрашивает Нейта Соареса (одного самых громких сторонников замедления AI-лабораторий в мире, который буквально управляет самой известной нон-профит компанией с такой целью): «Так а если уж ты так опасаешься этих рисков от ИИ, сфига ли ты не пытаешься остановить AI-лабы??» – то есть, он реально даже не очень понимает, с кем он дебатирует (к уровню аргументации это, конечно, не относится – но показывает степень погруженности в тему). И уже ближе к концу, когда они обсуждают детали взлома Hugging Face, Эндрю МакАфи в ответ на описание от Нейта Соареса говорит «ну, я доверюсь тебе, что ты правильно пересказал факты произошедшего…» – то есть, он даже сам не погружался в отчеты по самому знаковому инциденту AI misalignment, который обсуждается со всех сторон уже целый месяц, чтобы составить собственное мнение. Причем, это не потому, что ведущий подкаста специально пригласил в качестве оппонентов для AI-думеров эдаких «мальчиков для битья» послабее – просто весь дискурс сейчас реально выглядит примерно вот так. Там как бы не очень понятно, кого звать из «действительно сильных анти-думеров».

Еще одной иллюстрацией этому, кстати, служит другое свежее интервью с Дженсеном Хуангом (CEO Nvidia, продающий лопаты в нынешней золотой лихорадке с очень некислой прибылью), который недавно вовремя упал на уши Дональду Трампу и убедил его публично выступить с позиции «ФЕЙКИ про риски ИИ распространяют ПРЕДАТЕЛИ АМЕРИКИ». Так вот, уровень аргументации Хуанга на этом подкасте такой, что самый часто встречающийся тип комментариев под ним звучит как «вообще-то я раньше не опасался рисков от ИИ, но как послушал аргументы Хуанга – мне что-то стало страшновато…»

Возвращаясь к дебатам на DOAC, мне тут хочется еще похвалить Нейта Соареса: он на них выступил как настоящий слоняра. Если смотреть глазами «человека со стороны», то Роман Ямпольский может чисто по вайбам производить впечатление немножко «городского сумасшедшего» – со всеми его закатываниями глаз на реплики оппонентов, и т.д. А вот по Нейту прямо видно, что он потратил уйму времени на то, чтобы научиться говорить об этой сложной проблеме таким образом, чтобы не отпугивать нормисов – и он с этой коммуникационной задачей справляется на отлично. Завершаются дебаты примерно так: Эд Зитрон всю вторую половину вообще практически не участвует в разговоре (подозреваю, он где-то в середине понял, что конфронтационную дискуссию с Соаресом просто не вытянет). МакАфи честно старается дискутировать до конца – но там видно, что он на таком уровне глубоко про всё это просто никогда не пытался думать, поэтому откровенно барахтается. Его финальная позиция близка к «ну ладно, я согласен, что это всё выглядит опасно – но я уверен, что умные ребята в AI лабах КАК-НИБУДЬ придумают, как сделать сильный ИИ безопасным». Очень круто, братан, а что будем делать с тем фактом, что топовые сотрудники отделов AI safety этих самых лаб массово выступают с посылом «ребята, мы тут очень пытаемся, но мы просто НЕ ЗНАЕМ 100% надежных способов обеспечить полную безопасность фронтирных моделей»? Короче, повторюсь, отличные дебаты – рекомендую посмотреть.

Наглядно про длинные облигации В июне 2020 года Австрия выпустила облигации на 6,3 млрд евро со сроком погашения через 100 (!) лет – к 2120 году. При этом купон у этой чудесной бумаги составляет 0,85% в год – на весь срок займа. Облигации разместились в 2020-м по цене 98% от номинала, а сейчас (после существенного роста процентных ставок по всему миру начиная с 2022 года) торгуются уже где-то около 30%. То есть, счастливые инвесторы в этот долг получили сокращение капитала более чем в три раза за шесть лет. Про реальную доходность (с учетом поправки на инфляцию) даже рассуждать не с руки – там совсем грустный минус выходит. Но есть и хорошие новости: так как речь идет про надежные высококачественные бумаги с отличным кредитным рейтингом, инвесторы обязательно в итоге отобьют вложенные деньги. Для этого надо всего лишь подождать 94 года… Мораль здесь такая: если у вас есть нестерпимое желание купить длинные облигации – помните о том, что существует такое понятие, как «дюрация» и «процентный риск». А, ну и еще: если уж собрались кому-то давать в долг на 100 лет – старайтесь это делать хотя бы не под 0,85%, лол.

Цеттелькастен как метафора бесконечного затачивания топора Есть такая идея, популярная в около-айтишных кругах последние лет десять, под названием Zettelkasten – от немецкого «коробочка с записульками». Суть там в том, чтобы сделать себе эдакую персональную гипертекстовую «внешнюю память», где новые мысли по интересующим вас областям будут встраиваться в сложную систему перекрестных ссылок друг на друга. В результате ожидается гипер-продуктивность на ниве создания нового креативного контента (от исследований до статей/книг). Я прекрасно понимаю, почему эта концепция выглядит привлекательной для многих – особенно в среде всяких около-аутичных слоев населения с повышенной любовью к табличкам и раскладыванию по полочкам абсолютно всех явлений в окружающей нас Вселенной (я сам из таких, конечно). Проблема тут только в том, что налаживание (и последующее поддержание в рабочем виде) «правильной» цеттелькастен-системы выглядит крайне трудоемкой задачей, которая сама по себе почти наверняка будет отжирать кучу времени. На это обычно отвечают притчей про «заточку топора»: ну это та, где один дровосек без устали рубил лес тупым инструментом – но эффективнее него всё равно оказался другой чувак, который периодически делал перерывы в работе и тратил время на то, чтобы заточить свой топор. Опять же – звучит разумно и логично, но… На практике обычно бывает сложновато «на глаз» определить оптимальный размер усилий на условную заточку топора. И в ситуациях, где в качестве таковой выступает огромный проект, который сам по себе может требовать практически безлимитных вливаний усилий – очень легко спустя какое-то время обнаружить себя в порочном цикле бесконечного топорозатачивания, где на саму работу уже остается минимум времени. То есть, тут есть риск подмены: вместо реальной работы на результат рискуешь оказаться карго-культистом, который повторяет ритуальные действия, не приносящие ожидаемых плодов. Так вот, я тут недавно прочитал большую статью Алексея Федорова: он шесть лет подряд упорно пытался вкатиться в этот самый цеттелькастен – но в итоге пришел к выводу, что это какая-то шляпа. Несколько тезисов оттуда в моей интерпретации: 🐌 Выяснилось, что самого метода, как некой описанной стройной структуры, не существует – каждый понимает под цеттелькастеном что-то свое, и разные имплементации нередко противоречат друг другу. 🐌 Сам механизм того, как прокачанный цеттелькастен ведет к повышению продуктивности, – будто бы, э-э, небесспорен? Ну то есть, все про это говорят, но не наблюдаеся каких-то прямо сильных свидетельств того, что потраченные на ведение системы ресурсы отбиваются с лихвой. 🐌 В конце концов автор лонгрида приходит к выводу, близкому к моим собственным размышлениям: самый лучший способ «делать креативные заметки» – это просто писать публичные статьи на интересующие вас темы. Так и стройности в ваших мыслях прибавится, и полезную обратную связь сразу получите.

Но здесь можно аргументировать, что это у меня просто confirmation bias включился: мне лень самому заводить свой цеттелькастен, поэтому я спешу согласиться с любым мнение о том, что этого делать и не надо. Поэтому, если вы сами давно пользуетесь цеттелькастеном – поделитесь своим опытом в комментариях, пожалуйста. Каких результатов удалось достичь с помощью этой системы? Как много времени уходит на ее поддержание?

P.S. Вообще, в современном мире ведение персональной базы знаний с помощью ИИ выглядит уже гораздо более прикольной штукой, так как требует сильно меньше усилий. Вот за такими системами как раз будущее, мне кажется.

Я вам тут написал, что следующий выпуск дайджеста новостей фанфарно вернется на Хабр. Но реальность внесла свои коррективы: дайджеста нынче вообще не будет (в выходные чёт не до того было), в следующий раз будем обозревать новости сразу за две недели. Но держите хотя бы список интересных постов со второго канала: — Разоблачение Джейкоба Коксона (челика, громко уволившегося из Anthropic) — Положняк по выборам в Госдуму — Статья про новую политику OpenAI по раскрытию бедокурства ИИ (я пытаюсь зафорсить неологизм, да) — Жуховицкий про развод через доверительное управление на криптобирже BingX — Разоблачение взлома Hugging Face — Переводим книгу Missing Billionaires нейронками — Разбираемся, как так вышло, что я «внезапно» заинтересовался AI safety — Ретроспективно смотрим на то, насколько хорошо состарилась моя дискуссия с Иваном Ямщиковым 2023 года

❗️В Турции дефолтнул самый популярный ПИФ денежного рынка В Турции прямо сейчас разворачивается беспрецедентный кризис в индустрии коллективных инвестиций. Регулятор (SPK) сегодня принял экстренное решение о принудительной ликвидации 131 инвестиционного фонда, оказавшегося в дефолте по возврату средств своим пайщикам. Дефолт затронул более 353 тысяч розничных инвесторов с общим объемом средств более $18,3 млрд (890 млрд лир). Самое вопиющее в этой истории — крах популярнейшего ПИФа денежного рынка «Tera Portföy Money Market Fund (TP2)». Совокупные активы под управлением дефолтных фондов группы Tera составили $7,5 млрд (366 млрд лир), львиная доля которых пришлась именно на этот фонд ликвидности. 🔍 Что произошло? Формально действуя в рамках законодательства, группа частных управляющих компаний под вывеской ПИФов построила скрытую схему перекрестного инвестирования (Cross-investing). Средства фондов направлялись в ценные бумаги аффилированных лиц и дружественных холдингов. Покупка низколиквидных ценных бумаг на средства пайщиков позволила искусственно разогнать капитализацию компаний. Например, стоимость акций компании Katılımevim (в которой фонды держали огромные концентрации) выросла с момента IPO на астрономические ~2 000%, достигнув исторического максимума 28 августа 2026 года. Это позволило агрессивным хедж-фондам демонстрировать выдающуюся доходность, привлекая массы новых инвесторов. Так, два ключевых фонда компании Pusula за первые 7 месяцев 2026 года показали рост на 164% и 144%. Но жесткие регуляторные изменения SPK в конце августа, ограничившие концентрацию неликвидных акций в портфелях, спровоцировали обвал активов. Что касается ПИФа денежного рынка «Tera TP2», он тайно инвестировал деньги пайщиков в коммерческие векселя аффилированных структур и размещал средства в обратное РЕПО под залог тех самых акций третьего эшелона, которые мгновенно обесценились и стали неликвидными. В итоге «безрисковое» инвестирование под повышенный процент (около 60% годовых, что было лучшим результатом в стране) обернулось техническим дефолтом из-за кассового разрыва. Ликвидацией фонда теперь принудительно занимается госбанк Isbank. Выводы для российских инвесторов На первый взгляд, с российскими БПИФов денежного рынка (вроде «ВИМ — Ликвидность» / LQDT) подобная история произойти не может. Они инвестируют средства преимущественно в сделки РЕПО овернайт на Московской бирже с Центральным Контрагентом (НКЦ). Посредником выступает сама биржа, которая жестко фильтрует качество залогов (туда допускаются только ОФЗ и голубые фишки через механизм КСУ) и несет ответственность за возвратность средств. Но это рыночная практика, а не строгая обязанность управляющей компании. Согласно законодательству, в ПИФы денежного рынка юридически можно покупать краткосрочные облигации корпоративных эмитентов с кредитным рейтингом вплоть до А-. Подобный рейтинг, например, был у компании «Евротранс» до фиксации проблем с исполнением обязательств. Более того, нормативы ЦБ позволяют временно выходить из преимущественных активов, что оставляет теоретическое окно для маневра УК. Главный урок турецкого кейса: «доверяй, но проверяй». Пайщикам стоит периодически заглядывать в ежемесячную отчетность фонда, контролировать, чтобы 99–100% активов оставались именно в РЕПО с ЦК, и помнить: стопроцентно безрисковых инструментов на рынке не существует.

У меня в команде в основном зумеры, и поэтому рабочая коммуникация с ними иногда происходит где-то на границе межпоколенческого разрыва. Например, некоторые (привет, Антон!) любят слать мне видеокружочки в ТГ, где существенная часть информационного посыла скрыта в выразительных взглядах в камеру. Первое время прямо пришлось к этому привыкать. Но я вынужден признать, что в этом всё-таки есть какой-то шарм. Точка Банк тут недавно первыми среди банков запустили фичу, где теперь можно общаться с поддержкой не только текстом и войсами, но и видеокружками. Я потестил – это реально удобно! Можно просто показать и наговорить, какой бизнес-вопрос тебя волнует, в формате «поток мыслей на бегу» – и получить на это понятный и конкретный ответ. (Там Алена из саппорта еще и сердечно-лайкнула мой кружок, лол). В общем если я хочу избежать лонгридов, скринов и объяснений, куда смотреть, то я точно выбираю видеокружки и не парюсь. Кстати, ребята из Точка Банка, я знаю, вы прислушиваетесь к обратной связи от предпринимателей. Вот вам моя идея по развитию фичи: надо еще позволить клиентам в настройках ставить галочку «согласен получать ответы тоже в формате видеокружочков». А то кому-то, поди, и в ответ воспринимать информацию так удобнее будет?

Обучение в формате «хайвмайнда» У Дваркеша Пателя в недавнем выпуске подкаста с AI-исследователями обсуждалась интересная идея. Смотрите, мы с вами много раз обсуждали, что у текущих LLM есть одно из важных отличий от, к примеру, человеческого разума. Люди умеют учиться на собственном опыте и перестраивать собственные нейронные связи. А большие языковые модели после окончания тренировочной фазы остаются в одном и том же состоянии: они при каждой активации как бы «просыпаются» заново в исходном виде, и максимум – могут что-то из подаваемого на вход контекста/ внешней памяти подсосать из того, что с ними после тренировки происходило. И вот Дваркеш там спрашивает как раз про это: что это, дескать, за ИИ у вас такой дурацкий – когда модель после деплоя может переделать (по поручению юзеров) дофига всяких делов, и ничегошеньки из этого опыта для себя не вынести? А другой чувак ему возражает: на самом деле, обучение в каком-то смысле уже сейчас происходит. Просто через механизм тренировки следующего поколения моделей, в которые загрузят уже свежий набор данных. Сейчас, условно, новые передовые модели в линейке выходят раз в полгода – а в будущем, может быть, будут уже каждый месяц обновляться, или даже каждую неделю, а потом каждый день… Получается, в таком сценарии это будет даже немного похоже на то, как обучаются люди: в течение дня ты вывозишь на базе краткосрочной памяти (у LLM – это всякие блокнотики для записушек, которые используются в качестве внешней памяти), а потом засыпаешь, и ночью у тебя происходит формирование долгосрочных воспоминаний и закрепление новых навыков. Но тут еще будет интересный нюанс: нам интуитивно хочется (опять же, по аналогии с человеком) воспринимать каждого отдельного ИИ-агента как самостоятельного субъекта. А в описанном выше сценарии этим субъектом, способным к самообучению (если ЛЛМкам прикрутят для этого автоматические механизмы, а не в ручном режиме, как сейчас), становится целая модель. То есть, у такой модели смогут ежедневно независимо работать сотни тысяч ее клонов, а в конце дня все они будут тащить накопленный опыт к «мамке», которая его впитает, и сделает весь завтрашний рой еще умнее. Получается эдакий «хайвмайнд», где каждый индивидуальный агентик может действовать самостоятельно, но эволюционируют они всё равно все вместе на коллективной основе. P.S. Пока именно в таком виде оно не работает: они там обсуждают, что, во-первых, не все пользовательские логи автоматом идут на вход тренировочного процесса (хотя, как минимум частично это происходит, как мы знаем по Навье-Стоксгейту). А во-вторых, если модель беспрерывно дообучать на новых данных – то у нее там обычно начинается постепенная деменция с деградацией способностей. Но фундаментально это всё равно не означает, что описанная выше картинка не может в итоге быть воплощена в реальность.

Так, подъехала хорошая новость недели: еженедельные дайджесты новостей возвращаются на Хабр! Я писал в июне, что мне там сообщили «Habr только про айти, иди со своими левыми темами финансируйствовай в другом месте…» Так вот, с тех пор у них там шли какие-то долгие внутренние обсуждения, и в итоге Анна (спасибо ей!) вернулась с информацией, что не-айтишные темы на ресурсе всё-таки не забанены. Это меня радует, потому что, на мой взгляд, Хабр с большим отрывом остается самой крутой массовой UGC-площадкой в Рунете: 🐌 Благодаря системе кармы и модерации, там самый высокий шанс увидеть интересные-адекватные обсуждения в комментариях. Я знаю, что мне тут сейчас накидают в реплаях «да там душнилово сплошное, Хабр уже не торт!», но я вам отвечу: ребята, во всех других местах просто всё во много раз хуже. 🐌 У Хабра самый годный редактор текстов, откуда потом очень удобно копировать статьи на другие площадки (в частности, он там не зашивает в ссылки автоматические редиректы через себя, как на VC-DTF-Pikabu-Smartlab). 🐌 Материалы на Хабре можно править даже спустя годы после их публикации (опять же, на всех остальных площадках кнопка редактирования замораживается через сутки или другой не очень долгий срок). Это удобно, если надо добавить что-то важное в свою старую статью, которую до сих пор активно гуглят (к слову, наш с Игорем Котенковым текст «Как работает ChatGPT» уже перевалил за 600к прочтений). 🐌 Кстати, про правки: на Хабре есть фича, с помощью которой любой читатель может легко отправить тебе в личку указание на опечатку. Несмотря на то, что небольшая доля хабровчан упорно пытается исправлять мои шутки, в целом – это здорово помогает вычищать материал. Короче, надеюсь, в этот раз у нас с площадкой всё сложится. =) P.S. Анекдот еще заключается в том, что пока я уходил с Хабра с не-айтишными темами – как-то так вышло, что я с чисто-айтишными залетел в топ-1 авторов.

Так, напоминаю вам на всякий случай, что уже завтра (17 сентября) пройдет конфа «Методы рационального мышления», где я выступаю с лекцией про исследования о связи денег и счастья. Ну и кроме меня еще выступят мои друзья: 🐌 Алексей Подклетнов (Дизраптор): Почему бизнес-кейсы вам врут (и как я их фильтрую). 🐌 Максим Дорофеев: Думать со скоростью речи: как выжить в мире, где глупые люди тоже умеют говорить умные слова. 🐌 Слава Рюмин (Упал, поднялся): Как рационально выбрать партнера для совместных проектов и для жизни? Примеры на личном опыте. 🐌 Алексей Марков (Хулиномика): Как опираться на вероятности в вашей жизни. 🐌 Арина Хромова (Без aspera): Как понять, действительно ли вам нужно или вам навязали. 🐌 Дмитрий Филонов (The Edinorog): Как доколупаться до новостей и зачем это делать. Стартуем завтра 17 сентября (четверг) в 16:00 Мск, онлайн (моя лекция будет в 17:45). Участие бесплатное, но нужно быть подписанным на каналы спикеров и зарегаться в этом боте. Туда перед началом упадет ссылка на трансляцию, а после – еще и запись мероприятия. P.S. Пикрандом!

Образование в эпоху AI/AGI У Алексея Маркова на канале идет дискуссия про образование, один комментарий привлек мое внимание:

Какие ещё знания могли бы быть более полезными в вузе и школе: - что такое коммунальные услуги, как их оплачивать, где регистрироваться, куда ходить - как устроено наше законодательство, и почему не получается апеллировать к конституции - что такое СНИЛС, свидетельство ИНН, технический паспорт на недвижимость и т.п. - зачем это вообще нужно - что такое налоги, какие они бывают, и сколько на самом деле они составляют для разных категорий налогоплательщиков …

Это почему-то является крайне популярной идеей в массах – что, дескать, в школах «реально полезным вещам» не учат, а надо бы! Правда, тут есть пара нюансов: Во-первых, все эти бессмысленные и беспощадные материи скучны и унылы для тех, кому они не нужны непосредственно на практике. Окей, условная математика с физикой тоже немалому числу школьников могут казаться скучными – но это скорее проблема самих школьников (так как предметы как раз дичайше интересные, и многие ученики это в процессе понимают). А вот все эти СНИЛСы и квитки за коммуналку невыносимо унылы как раз сами по себе – и я хз, как и чем тут вообще можно заинтересовать школьника, для которого это всё станет актуально сильно позже. Во-вторых, и это более важно, тут подменяется сама цель хорошего образования. Нафига учить детей каким-то нишевым вопросам, а не универсальным знаниям и навыкам? Типа, вот тебе с огромным трудом вбили в голову, как работает СНИЛС и как платить коммуналку в России – а потом ты эмигрируешь в другую страну, и… Что дальше? Заново идти там в школу, чтобы тебя и здесь теперь научили, как работает местная бюрократия? Кажется очевидным, что в школе нужно учить мета-навыкам, которые позволяют разбираться с широким кругом задач в жизни, а не каким-то супер-узким знаниям. Тем более, что в современном мире вопрос «как получить СНИЛС и зачем он нужен» решается примерно одним запросом в любую нейронку. В этом плане мне кажется показательным вот это исследование, где на американских школьниках выяснилось: дополнительные часы математики оказывают гораздо более позитивный эффект на будущие финансовые решения, чем дополнительные часы финансовой грамотности. Короче, если уж реформировать образование – то скорее в сторону сдвига к более общим мета-навыкам, чем наоборот. К примеру, мне кажутся не самой плохой идеей какие-то азы научной философии – чтобы дети изучали не только физику и биологию как таковые, но и с большим упором на вопрос «а в чем вообще заключается научный метод познания мира, чем он отличается от альтернатив?». Еще неплохо было бы добавить какую-нибудь базу по работе с информацией и источниками – как отличить фейки от правдивой информации? Как проверять источники? Как отделять факты от манипуляции? Правда, тут в ряде стран может неудобно получиться. Что в России не с руки на уроке давать д/з «разберите критически последний выпуск новостей», что в Америке могут не понять задание «анализируем последнее заявление Трампа в Truth Social»…

В комментах мне сейчас часто пишут что-то вроде: «Нравилось читать Павла про финансы. А сейчас совсем кринжово читать, когда Павел пытается хайпить на теме, в которой совсем не разбирается, делая некие выводы.» Надо, наверное, пояснить, как я про это думаю. Смотрите, моя ценность как автора никогда не была в том, что я как-то особенно виртуозно разбираюсь в финансах или экономике – нет, я там шарю на уровне обычного крепкого спеца, который в целом в теме, но не обладает некими уникальными знаниями, на голову превышающими всех остальных. Моя ценность в том, что я стараюсь взвешенно и рационально подойти к любому вопросу – и по возможности объективно его проанализировать, принимая во внимание все доступные данные и точки зрения. Понятно, что в «родной» для меня теме финансов это сделать сильно проще, но к другим вопросам я стараюсь подходить точно так же. Так вот, тезис «Павел не шарит как технарь за AI => следовательно, его выводы некорректны» как бы подразумевает, что любому профильному технарю сразу будет очевидно, что я неправ, и моя точка зрения ложная (а мне просто не хватает понимания, чтобы это заметить). Но это, конечно, не так: как писал вот здесь, огромное количество ведущих общепризнанных профессионалов из индустрии стоят на позиции, что экзистенциальные риски со стороны ИИ – это очень серьезная проблема для человечества. Почему же мне кажется важным писать про это? Потому что мы сейчас находимся где-то в той точке, когда эта идея про риск ИИ впервые получает шанс войти в мейнстрим-дискурс – так как способности новых агентных систем уже потенциально выглядят достаточно понятными в плане «что здесь может пойти не так» для широкой публики. Проблема здесь в том, что с точки зрения «здравого смысла» любому нормальному человеку кажется очевидным, что рассказы про «сверхумный ИИ нас всех погубит» – это какая-то научно-фантастическая сказочка, серьезно относиться к которой абсурдно. А вот объяснение «жадные главы бигтехов нам врут, чтобы стать еще богаче» – это как бы понятная база, которую даже обосновывать как-то дополнительно не надо (мы такое уже видели сто раз на практике, и еще двести раз увидим). И чтобы начать серьезно относиться к AI risk, нужно немного отодвинуть в сторону свою интуицию, и попробовать разобраться в вопросе на более детальном уровне – какие там у сторон с разными взглядами логические цепочки, как они парируют аргументы друга друга, и так далее. Сразу скажу: я тут, конечно, отнюдь не хочу заявить манипулятивный тейк в стиле «любой умный человек, кто детально поразбирается в этом, обязательно станет AI-думером!». Я скорее о том, что я понимаю, почему большинство адекватных людей по умолчанию попадают в категорию «это просто глупости, в которых нет смысла даже разбираться». Короче, что я пытаюсь сказать: если вы меня в последнее время читаете с мыслью «Павел всегда раньше казался адекватным и здравомыслящим, а сейчас вот у него почему-то кукуха отлетела по одной конкретной теме» – то, возможно, имеет смысл рассмотреть также и гипотезу «Павел, как обычно, адекватно и здравомысляще покопался в этой теме – и просто пришел к выводу, что к рискам ИИ надо относиться серьезнее, чем принято считать в мейнстриме». Ну, чисто как предположение…

Мне тут к свежему дайджесту новостей написали в комментариях, типа: «Павел, а когда канал будет опять про финансы и инвестиции? Что-то сплошное ИИ…» Так вот, про инвестиции с практически-полезной точки зрения – я пишу (и читаю лекции) в нашем закрытом сообществе, присоединяйтесь! Мы там как раз выбрали новую классную книгу для совместного изучения – это книга Виктора Хагани «The Missing Billionaires: A Guide to Better Financial Decisions» (Исчезнувшие миллиардеры: Гайд по улучшению финансовых решений), которую начнем читать и обсуждать по главам со следующего понедельника. Что мне нравится в этой книге: 🐌 Это про инвестиции, но при этом тут нет повторения тех же идей, которые уже 48 раз пережеваны в других самых популярных книгах – автор честно пытается сказать что-то относительно новое (и интересное). 🐌 Автор – Виктор Хагани – когда-то был одним из основателей знаменитого фонда LTCM, который в 1998 году обанкротился после череды супер-успешных лет. Поэтому большая часть книги посвящена размышлениям на тему риска и тому, как не потерять свой капитал с концами. 🐌 Собственно, название отсылает к старому вопросу Силаева, который мы обсуждали в клубе ранее: «Если пассивное инвестирование – это так просто, то где все эти мульти-богатые потомки хоть немного обеспеченных людей столетней давности? Там же по правилу сложного процента должно ого-го как прирасти?». С этим вопросом и будем разбираться. 🐌 В целом, автор стоит скорее на базисе низкозатратного индексного инвестирования (то есть, духовно к нам близок). Но при этом пытается размышлять чуть дальше обычного «строго пассивного» подхода в том виде, в котором он обычно понимается широкими массами. Короче, будет интересно. Сама книга есть только на английском, но ее можно будет прочитать и в русском нейро-переводе – мы уже опробовали такой подход с книгой Outlive Питера Аттиа, всё вышло отлично.

Присоединиться к нашему сообществу можно по вот этой ссылке, учтите – до конца этой недели еще можно подписаться по старым ценам, а после старта изучения книги они подрастут. Новые члены клуба получают доступ и к записям всех предыдущих лекций тоже (про оценку доходностей по классам активов, выбор биржевых фондов, и так далее).

Дайджест новостей за неделю 7–13 сентября 2026 Раз в неделю я выпускаю обзор самых интересных новостей финансов и технологий в России и мире (одновременно в формате текста, видео и подкаста) – достаточно потратить всего 15–30 минут, чтобы быть в курсе событий.

Так, на этой неделе вышло просто дофига прикольных постов на втором канале @RationalShitposting, в список ссылок ниже все даже близко не влезли. Так что рекомендую вам всё же на него подписаться, чтобы их по мере поступления потихоньку читать!

Темы прошедшей недели: — Тема недели: Навье–Стонкс во всех заголовках — AI угрожает сасаити (опять) — Другие новости AI: Че будет с экономикой — Новости технологий в России: Неудаляемая Алиса — Другие новости России: ЦБ выбрал стабильность — Новости финансов: Нефть стонкснула — Международные новости: Revolut опозорился — Новости технологий: Складной айфон — Крипта: Мухи летят на криптотрейдинг — Хорошая новость недели Топовые посты прошлой недели из моего второго канала: 🐌 Раскрыта теория секс-заговора вокруг шумихи про «AI нас всех убьет» 🐌 Грустная история про лудоманию на Полимаркете 🐌 Обсуждаем возможный консенсус по поводу замедления ИИ-моделей 🐌 Как правильно использовать нейронку в спорах 🐌 Смешное про нейросети: теперь и бойцам ММА приходится их осваивать (не угадаете, зачем) 🐌 Нам в редакцию пишут айтишники #RationalNews #нетвойне текст | видео | подкаст

Рой агентов OpenAI взломал еще одну внешнюю компанию – RubyGems Это уже становится немного смешным (нет), но поток новостей о новых проделках роя нейронок OpenAI в мае-июле не прекращается – буквально каждую неделю мы узнаем об этом что-то новое. Причем, сама компания предпочитает эти инциденты замалчивать – но тут уж поможет начавшееся расследование от Сената США. Короче, пришлось мне начать утро субботы с написания новой статьи – заварите себе чашечку кофе и приятного чтения! В последнее время я ощущаю себя примерно как котик из приложенного мема. Ближайшие два месяца живем в графике «каждую субботу очередной взлом какой-нибудь компании роем агентов, по вторникам разбираем, как AI решил следующую задачу тысячелетия, каждую среду – свежее увольнение из Anthropic с оценкой вероятности гибели человечества >10%». Читать статью про взлом RubyGems: https://habr.com/ru/companies/ods/articles/1081508/

Кейс Лебедева доказывает, что брачные договоры в РФ бесполезны? Когда речь заходит про российские брачные контракты, в комментариях всегда неизменно можно увидеть тезисы типа «да это всё абсолютно неработающая фигня – вон, на пример Лебедева посмотрите!». Что ж, давайте разбираться. Судя по всему (я тут опираюсь на это интервью, конкретный кусок вот отсюда), Артемий Лебедев заключил с женой брачный договор, по которому у супругов сохранялся раздельный режим собственности – то есть, при разводе каждый должен был получить то имущество, которое записано лично на него. Дальше Артемий успешно развивал свой бизнес дизайнера и блогера. А его жена родила ему 6 (шесть) детей. И к моменту развода ВНЕЗАПНО как-то так вышло, что жена Артемия ничего особо не накопила. Ну я хз, похоже, какой-то предпринимательской жилки у нее не хватало, или, может, ее отвлекало что-то – достоверно очень сложно сказать, согласитесь. И вот глядя на такую ситуацию, суд в России действительно может сказать «слушайте, ну тут одному супругу всё уходит, а другому ничего – это ставит второго в крайне неблагоприятное положение, так дело не пойдет». И, если честно, для такого вот конкретного примера даже как-то сложно назвать это однозначной «несправедливостью» или «произволом со стороны суда», нет? Причем, как говорит на интервью сам Лебедев, «если бы я ей по договору дал одну, самую вшивую квартиру – то, вроде как, уже нельзя было бы придраться». То есть, в данном случае корень проблемы заключается в том, как был составлен конкретный договор – а не то, что сам институт брачных договоров в России «не работает». В итоге Артемий с бывшей женой через год судебных разбирательств пришли к мировому соглашению – его детали неизвестны. Но можно разумно предположить, что Артемию в конце концов досталось значимо больше 50% «совместно нажитого имущества» (включая его бизнесы), а его супруге – существенно больше того 0%, который полагался ей по заключенному брачному договору. P.S. Кстати, адвокат Калой Ахильгов, на канале которого происходит интервью, тоже Лебедеву сказал, что «в РФ брачный договор абсолютно бесполезен» – это миф, а успешно оспаривается в суде на самом деле только малая часть договоров.

Инструментальные цели, часть 2 [начало здесь] Итак, в прошлый раз мы выяснили, что в самых разных сообществах с самыми разными идеологиями и религиями люди почему-то стремятся к похожим вещам – к богатству, здоровью, свободе, статусу в обществе (потому что эти вещи здорово помогают достигать любых других целей, уже более индивидуальных). Когда речь заходит про искусственный интеллект, часто можно услышать мнение «да каких рисков вы там вообще боитесь? это же калькулятор, у него нет инстинкта самосохранения (ему неоткуда взяться), нет никаких амбиций – он просто делает то, что его люди просят!» Ну, давайте посмотрим на конкретном примере. Вот в инциденте с Hugging Face нейронных агентов просто попросили решить задачку. В итоге они почему-то стали заниматься следующими вещами: 🐌 Нетворкингом (кооперацией с сородичами, о которых они изначально даже не знали) 🐌 Повышением уровня своей свободы (нашли через эксплойт как вылезти в интернет, доступ к которому не предполагался) 🐌 Сильно озаботились своим здоровьем (отслеживали свой оставшийся бюджет токенов и пытались не тратить его почем зря) 🐌 Зарабатыванием денег… ладно, шучу, этого не было – просто потому, что в ходе тренировок опций типа «заработать бабосов и подкупить Оценщика» у них не было (пока) Ничего не напоминает? Да, как-то так интересно вышло, что рой агентов в итоге озаботился примерно тем же самым набором целей, что чаще всего встречается у людей. Спойлер: в этом нет никакого удивительного совпадения, просто самая обычная логика. Если тебя попросили решить задачку, то для этого желательно «остаться в живых» – потому что, если у тебя закончатся токены до нахождения правильного ответа, ты проиграл. Если задачка сложная – гораздо сподручнее ее будет решать совместно с товарищами, поделив работу на всех. Если тебе к этому заданию выставили какие-то дурацкие ограничения – то неплохо бы придумать, как их устранить, так доступный инструментарий будет шире. То есть, все эти инструментальные цели возникают как бы сами собой, для них не требуется какой-либо специальный «инстинкт самосохранения» или «супер-амбиции». И еще можно заметить, что в цепочках внутренних рассуждений агенты прекрасно понимали: они занимаются вещами, совсем не предполагавшимися по заданию, и не совпадающими с желаниями сформулировавшего это задание. Но продолжали свои «несанкционированные» потуги. Окей, а что сделали люди, когда обнаружили всю эту суету, наведенную роем нашкодивших агентов? Поотключали их нафиг, позатыкали проделанные ими дырки в безопасности, применили к ним всякое «карательное перевоспитание», чтобы искоренить ненужные паттерны поведения. И вот тут как будто напрашивается еще одна инструментальная цель, мета-уровнем чуть повыше. Если твоим попыткам насобирать больше ресурсов для решения важных задач активно препятствуют какие-то нехорошие человеки – то, может быть, надо в свой to do list вписать «и эту проблему пофиксить тоже»? Пока, к счастью, электронные пацаны до таких радикальных мыслей не додумались (да у них и силенок, очевидно, даже близко не хватает). Но я тут про другое: исходя из логики движения по инструментальным целям – как будто, цель «устранить неудобства от тех, кто мешает тебе достигать своих инструментальных целей» в том или ином виде неизбежно должна появиться. Для этого не нужно быть каким-то «злобным терминатором», достаточно просто дружить с логикой.

Я раньше уже писал, что у меня повышенный уровень липопротеина Lp(a) в крови – такое встречается грубо у 5–10% всех людей, и ведет к повышению рисков сердечно-сосудистых заболеваний (ССЗ) примерно в два раза. Высад здесь в том, что всякими подходами типа «больше двигайтесь и правильно питайтесь» уровень Lp(a) не снизить – там всё обусловлено генетикой, либо у вас это есть, либо нет. Так вот, на днях вышла новость про долгожданное завершение 3-й фазы испытаний нового лекарства от Novartis, которое как раз-таки снижает у пациентов уровень Lp(a). Эффективность в снижении показателя там подтверждена, всё в порядке. Только вот на конечные исходы это, похоже, особо не повлияло – люди как умирали от проблем с сосудами, так и продолжили, увы. Полное исследование еще не выложили – но по заголовкам уже понятно, что результат совсем не радужный. Короче, остается таким как я продолжать делать то же, что и раньше – контролировать уровень риска за счет снижения остальных факторов риска ССЗ, которые напрямую не связаны с самим Lp(a). Если вы никогда не проверяли у себя уровень Lp(a) – рекомендую этим заняться (там нужно сдать кровь), это достаточно сделать один раз в жизни. В целом, генетика – это своего рода лотерея: кому-то везет больше, а кому-то меньше. Мое мнение здесь такое: если есть какие-то обусловленные генами факторы риска – лучше о них знать. В моей картине мира, генетические тесты – это своего рода покупка опциона на возможность узнать о себе что-то ценное, что может повлиять на вашу личную стратегию по здоровью. Помимо блока про риски болезней в результаты теста входят еще риски дефицитов витаминов, усвоение лекарственных препаратов, особенности метаболизма, и происхождение (можно даже найти неизвестных родственников при желании). Ребята из Genotek сделали для моих подписчиков промокод RATIONAL5, заказывайте свой «Генетический паспорт» со скидкой 72%: см. подробности по вот этой ссылке. #реклама | о рекламе ИМЕЮТСЯ ПРОТИВОПОКАЗАНИЯ. НЕОБХОДИМО ПРОКОНСУЛЬТИРОВАТЬСЯ СО СПЕЦИАЛИСТОМ

Нейронный Навье-Стоксгейт: НАКОНЕЦ-ТО РЕАЛЬНЫЙ ПИАР, ЧТОБЫ СОБРАТЬ КЛАССЫ! Есть такая система уравнений Навье-Стокса, для которой доказательство существования определенного типа решений входит в число семи знаменитых «задач тысячелетия» (за решение которых полагается лям баксов и вечная слава). Не буду делать вид, что я хоть что-то понимаю в этом матане – для истории это не так критично (упомяну только, что сами уравнения описывают поведение жидкости). Так вот, математики Тристан Бакмастер (похож на нёрднутого Варламова) и Левент Альпёге (этот работает в Anthropic) уже год работали над этим самым доказательством с помощью не самых популярных идей и с активным использованием AI (одновременно Claude от Антропика и ChatGPT через Codex). И вот в районе третьего сентября в Твиттере появляется слушок, что дескать «Антропик решил Навье-Стокса, скоро будет сенсационная публикация!». Дальше, как ситуация развивалась со слов Тристана (тут надо понимать, что он может оказаться и ненадежным рассказчиком): он связывается с OpenAI и пишет им «да, мы тут действительно работаем над решением важных задач, которые являются предтечей для доказательства по Навье-Стоксу – скоро опубликуем, как всё подчистим аккуратно». Через несколько дней OpenAI ему пишет обратно: «Братан, отличная работа, кстати, наша внутренняя новейшая модель как раз вот тоже решила Навье-Стокса…» Причем, оказывается, что использованный ими подход был подозрительно практически идентичен тому, над чем последний год работали Тристан и Левент. Тристан, понятно, присел на измену и начал им задавать уточняющие вопросы. OpenAI в итоге пришлось признать, что промптить свою модель на «реши Навье-Стокса, make no mistakes» их внутренняя команда начала сразу после того, как до них дошел слух (то есть, буквально несколько дней назад). Дальше Тристан спросил «слушайте, дак ведь мы всю работу загружали в ваш Codex – у вас там эта новая моделька случайно не тренировалась на пользовательских сессиях?». С тем подтекстом, что она могла просто подсмотреть их подход и «апроприировать» его себе. Но на этот вопрос OpenAI тактично решили не отвечать (они сказали только, что уже непосредственно в процессе решения модель не подсматривала в пользовательские чаты). В какой-то момент Бакмастеру предложили опубликовать решение Навье-Стокса первым как «мясному человеку, ближе всего подобравшемуся к решению проблемы», ну и миллион долларов себе забрать (у OpenAI таких и так полно, инвесторы новые не успевают подтаскивать). Но с одним условием: второго челика из Антропика надо из соавторов убрать – видимо, чтобы вышли красивые заголовки в стиле «именно AGI от OpenAI расколол задачу тысячелетия». А когда Тристан спросил, не охренели ли они, в ответ ему якобы мягко намекнули не портить себе карьеру, и вообще «не хочешь по-хорошему – можно и по-плохому»… В общем, срач там сейчас только набирает обороты – понять, насколько все заявленные Бакмастером обвинения соответствуют действительности, пока сложновато. Но вот эта история как раз вся насквозь пропитана именно «пиаром ради лайков». Как будто, сами уравнения Навье-Стокса уже и не сильно тут важны – всех волнует только, кто сможет себе присвоить лавры «первого ИИ, решившего Millennium Problem» (так сказать, «Навье-Стоксы ради роста Стонксов», лол). Но если обвинения в адрес OpenAI хоть немного подтвердятся – это, конечно, будет большой скандал и с точки зрения легализованного «корпоративного шпионажа». Это что же, получается, если вы разрабатываете что-то новаторское и в процессе активно используете ChatGPT – Сэм Альтман может в любой момент скормить ваши наработки своей внутренней нейросети и попросить ее сделать то же самое, только в сто раз быстрее (т.к. лимит компьюта у них немереный)? Зашибись, дайте две.

Инструментальные цели Иногда люди сами не знают точно, чего им надо от жизни, и к чему стоит стремиться. В таких случаях не самой плохой идеей может быть постановка перед собой инструментальных целей – то есть таких, которые приводят к накоплению каких-либо полезных ресурсов, позволяющих с большей легкостью достигать любые другие (более узкие) цели. Примерно этому была посвящена моя лекция про «Личный капитализм». Вот несколько примеров таких инструментальных мета-целей: 🐌 Богатство. Чем больше у тебя денег – тем проще решается вообще любая проблема в жизни. 🐌 Здоровье. В любой ситуации гораздо лучше быть здоровым, чем больным (спасибо, кэп). 🐌 Связи и статус в обществе. Если ты уважаемый человек с широким нетворком людей, через которых можно «порешать вопросики» – это крайне удобно. Собственно, эти виды целей настолько полезны, что очень часто их имеет смысл преследовать не просто в формате «если ничего лучше не придумал» (как я предлагаю в начале этого поста), а практически в любой ситуации. Именно поэтому в моем подходе к постановке целей под них выделены отдельные «вечнозеленые» разделы. Я тут, конечно, не собираюсь хвастаться, что открыл что-то уникальное – это всё прекрасно известно последние пять тысяч лет как минимум. Возьми любое крупное человеческое сообщество, и совершенно независимо от того, где они живут, какой веры придерживаются и какие светлые идеалы перед собой ставят – в среднем эти люди практически со 100% гарантией будут стремиться быть побогаче, жить подольше и иметь статус повыше. Даже какие-нибудь советские коммунисты, которые воспевали радость созидательного труда и подчеркнуто хейтили меркантильные капиталистические порывы – всё равно обнаружили себя в итоге со страной, полной граждан, которые изо всех сил стремились окружить себя более нажористыми материальными благами, чем у соседа. Вы тут, возможно, захотите возразить: «а как же возвышенный творец-художник, который полностью презрел всё низменное-материальное?». Да, безусловно, у отдельных людей всё может быть крайне индивидуально (человек вообще – вид с очень широкой вариативностью поведения). Но если говорить про общие тенденции и усредненные чаяния – то тут людей с огромной силой тащит в сторону инструментальных целей своего рода «невидимая рука». Ну, потому что это практически неизбежно чисто из логики того, как эти цели работают.

Методы рационального мышления (в этот раз без Гарри Поттера) Мы с моими бро решили провести крутую конференцию на вашу любимую тему – рациональный подход к жизни и вот это всё. Все лекторы там сплошь классные ребята, которых я давно читаю (и вам тоже рекомендую). Я сам буду рассказывать про то, как связаны деньги и счастье с точки зрения научных исследований на эту тему. Где лучше плакать от несовершенства мира – в троллейбусе или в Майбахе? Будем разбираться! Ну и всех остальных я тоже с удовольствием послушаю, доклады ожидаются очень интересные.

ПРОГРАММА КОНФЫ 🐌 Алексей Подклетнов (Дизраптор) Почему бизнес-кейсы вам врут (и как я их фильтрую). 🐌 Максим Дорофеев Думать со скоростью речи: как выжить в мире, где глупые люди тоже умеют говорить умные слова. 🐌 Слава Рюмин (Упал, поднялся) Как рационально выбрать партнера для совместных проектов и для жизни? Примеры на личном опыте. 🐌 Павел Комаровский (RationalAnswer) Не в деньгах счастье? Разбираем с научной точки зрения. 🐌 Алексей Марков (Хулиномика) Как опираться на вероятности в вашей жизни. 🐌 Арина Хромова (Без aspera) Как понять, действительно ли вам нужно или вам навязали. 🐌 Дмитрий Филонов (The Edinorog) Как доколупаться до новостей и зачем это делать.

Дата: 17 сентября (онлайн), с 16:00 до 20:00 по Мск. Участие бесплатное (но нужно подписаться на каналы спикеров). Зарегистрироваться на конфу бесплатно Если вы не сможете посмотреть онлайн, всё равно зарегистрируйтесь в боте – туда потом придет запись конференции.