Самые умные мысли Павла Комаровского (и немножко щитпостинг)

Так, тут вышло РАЗОБЛАЧЕНИЕ взлома Hugging Face, которое все репостят в англоязычном твиттере как "доказательство что никаких побегов роев агентов не было". Пришлось купить подписку на WSJ и написать небольшой тред с разбором.

Жуховицкий пишет про то, как разводят через "доверительное управление на криптобирже BingX".

Извините, а этого можно как-то избежать, или это произойдет в любом случае??

OpenAI по слухам там почти решили еще одну задачу тысячелетия. Думаю, огромное число математиков сейчас лихорадочно нажимают в ЧатГПТ галку "разрешить использовать логи для улучшения моделей" и кидают в чат все пришедшие в голову гипотезы о том, как подходить к ее решению…

OpenAI пообещали впредь вовремя рассказывать о «бедокурстве» своих нейронок Подопечные Сэма Альтмана выложили новый фреймворк того, как они будут подходить к публичному раскрытию новых эпизодов всякой дичи от своих моделей. В качестве затравки рассказали про шесть новых случаев – кратко про это в новой статье.

Вообще, неиронично надеюсь, что мой термин «бедокурство ИИ» в качестве русского эквивалента «AI misalignment» в итоге войдет в словари. Неужели я так многого прошу? 👉👈 Саму область AI alignment тогда будем называть «курощение ИИ», таков путь.

Читать статью: https://habr.com/ru/companies/ods/articles/1083328/ P.S. Как обычно, если материал вам понравился – буду благодарен за поддержку лайком/апвоутом на Хабре, это здорово помогает в его продвижении.

Так, кто там говорил "а чё это китайские модели никуда не убегают, это не кажется вам ПОДОЗРИТЕЛЬНЫМ?" Так вот, Wired пишет, что Kimi K3 китайская тоже убегала через дырку в песочнице. Правда, никого взламывать не стала, т.к. нужные ей чит-коды лежали открыто на Гитхабе. Вангую, что в реплаях напишут "всё понятно, эти тоже хайпуют, чтобы денег поднять". Так работают теории заговоров: если китайские модели не убегают — это "пруф того, что OpenAI занимается псиопом". Если убегают — пруф того, что и Китай тоже псиопит! То есть, независимо от того, что произошло — всё в любом случае сложится в логичную картинку про то, что это всё фейк для классов.

В чате Котенкова пытают нейросеть вопросами "да кто вообще такой этот Комаровский?" Пока читал, что она отвечает — думал, жестянка мне сейчас курсы по аналитике тут же продаст...

Так, краткий апдейт вам хотел дать по Полимаркету. Раз уж на носу уже на этой неделе выборы — придется рассказать положняк по той ставке, с которой началось мое увлечение площадкой. А то я знаю, вы потом мне будете писать "поставил вслед за Павлом против ЕР и всё проиграл =((" У меня, тем временем, уже несколько раз там менялось направление ставок (напомню, речь идет о вероятности того, что Единая Россия получит наибольший прирост мест в Думе по сравнению со статусом кво): — Сначала я шортил ЕР по 90 — Потом покупал лонг по 53 — Потом опять шортил по 75 Текущая моя позиция околонулевая, рынок болтается около 77%. Интуитивно мне кажется, что это слишком много, и надо шортить. К этому есть несколько предпосылок: 🐌 Рейтинги ЕР сильно просели за последние полгода, на фоне всяких окружающих социально-экономических процессов. 🐌 Ходили слухи от неких _источников_, что KPI по результатам ЕР в регионах якобы опустили на фоне этого до 45%. Но есть и аргументы за ставку лонг ЕР: 🐌 Исходя из правил пари, точкой отсчета является не результат прошлых выборов в 2021 году, а текущая ситуация. Тогда ЕР взяли 325 мест, но прямо сейчас у них занято 310 мест — получается, эти +15 как бы будут записаны в прирост "на халяву" даже при просто повторении прошлого результата. Хотя, на другом сайте, который прямо указан в правилах Полимаркета, так и стоит 325 — так что, тут непонятно точно, как в итоге разрешится. 🐌 Новые присоединенные регионы будут ожидаемо голосовать с огромным перевесом за ЕР, что еще даст буст к результатам 2021 года. 🐌 Самое важное: "умные деньги" в целом, и Gopfan в частности, дичайше топят за ЕР. У меня сложилось ощущение, что Гопфан честно транслирует свои тейки на публику, и не пытается специально заманивать своих последователей в ловушку — и по его словам он прямо очень уверен, что этот контракт разрешится победой ЕР. Мой опыт на Полимаркете подсказывает, что переть против умных денег чаще всего оказывается дурацкой затеей. Матмодель выборов я тут, конечно, не строил — поэтому пытаться перемудрить профи типа Гопфана скорее всего было бы глупо. Так что, я думаю, скорее всего постараюсь набрать умеренную ставку за ЕР по уровням ближе к 70 и ниже, если до них будет спускаться. Как говорится, это в любом случае тот тип ставок, которые проигрывать не очень-то и обидно. [Дежурная оговорка про рынки предсказаний]

Так, краткий апдейт вам хотел дать по Полимаркету. Раз уж на носу уже на этой неделе выборы — придется рассказать положняк по той ставке, с которой началось мое увлечение площадкой. А то я знаю, вы потом мне будете писать "поставил вслед за Павлом против ЕР и всё проиграл =((" У меня, тем временем, уже несколько раз там менялось направление ставок (напомню, речь идет о вероятности того, что Единая Россия получит наибольший прирост мест в Думе по сравнению со статусом кво): — Сначала я шортил ЕР по 90 — Потом покупал лонг по 53 — Потом опять шортил по 75 Текущая моя позиция околонулевая, рынок болтается около 77%. Интуитивно мне кажется, что это слишком много, и надо шортить. К этому есть несколько предпосылок: 🐌 Рейтинги ЕР сильно просели за последние полгода, на фоне всяких окружающих социально-экономических процессов. 🐌 Ходили слухи от неких источников, что KPI по результатам ЕР в регионах опустили на фоне

— AI-оптимисты: "Да эти думеры просто в своих сценариях делают совершенно нереалистичные предположения о том, что люди будут вести себя максимально глупым образом, в реальности такого даже близко не будет…" — Тем временем, люди в реальности: "Наш план по контролю за AI – это СИЛЬНЫЙ И УМНЫЙ (с высоким IQ!) ПРЕЗИДЕНТ"

В Твиттере тут опубликовали срывающее покровы расследование, которое на 100% бесспорно доказывает, что Джейкоб Коксон (автор вирусного треда про увольнение из Anthropic и риск ИИ на 170+ млн просмотров) — мошенник и обманщик, а всё это один гигантский псиоп. Я ознакомился с доказательствами, и вот вам моя краткая TLDR-выжимка. Держитесь крепче: «чувак, который хотел с помощью своего увольнения сделать громкое публичное заявление, действительно попытался сделать из своего увольнения громкое публичное заявление (и не скрывает это!)» Ну серьезно, там с таким придыханием упоминаются РАЗОБЛАЧАЮЩИЕ ФАКТЫ вроде: — Коксон пошел к журналистам из WSJ, чтобы про его позицию написали статью (и запостил свои твиты только после выхода материала) — Он попросил ряд своих корешей из AI-индустрии с похожими взглядами порепостить его тред, и т.д. О боже мой, если соединить все эти точки на доске красной ниткой, начинает закрадываться подозрение, что... Коксон специально хотел, чтобы его манифест стал вирусным и активно прилагал к этому усилия?? Шок!!

Трамп заявил, что он никуда замедляться никому не позволит — и вообще, Америка под его началом должна построить Big Beautiful AI, не то что у Китая. Уровень сложности нашего таймлайна: будущее человечества зависит от способности деда разобраться в рисках AI и потом договориться с Китаем так, чтобы те не чувствовали, будто их пытаются на*бать.

Просто выслушайте меня: — 5 сентября Аэлла (нишевая sex work-селебрити из Сан-Франциско) пообещала устроить персональную реверс-гэнгбэнг вечеринку для любого сотрудника OpenAI, который громко уволится из-за пренебрежения компании безопасностью ИИ. — 8 сентября Джейкоб Коксон (бывший сотрудник OpenAI) громко уволился из Anthropic из-за их пренебрежения безопасностью ИИ. Его пост набрал 170 млн просмотров и, возможно, приведет в итоге к принятию масштабного регулирования AI в США. Совпадение? Не думаю! Анализируя любое событие – всегда держите в голове «зачем на самом деле он это делает? какая у него тут личная выгода?..»

Прикольно: чуваки сделали вирус-червь WeWorm, распространяющийся в приложении WeChat через звонки, которые для этого даже не нужно брать (!). То есть, ответного действия от человека для заражения никакого не требуется. Вичатом пользуется почти полтора миллиарда человек. Дыру уже пофиксили.

Это, конечно, полет мысли высшего разряда - написать в одном и том же посте два тезиса: 1) "Ведущие AI-лабы, зачем вам привлекать государство для того, чтобы замедлить развитие передового ИИ до безопасного уровня? Просто замедлитесь сами, и всё!" 2) "Это не сработает, потому что Китай всё равно не будет замедляться". Ну почему второй пункт не сработает? По этой логике, каждая из стран просто должна решить внутри себя не ввязываться во взаимную гонку ИИ, и всё - проблемы нет!! Вообще, тезис про "невидимая рука рынка сама приведет к наилучшему исходу, надо просто позволить свободной конкуренции порешать вопросы, завязанные на глобальные риски для человечества" выглядит, э-э, немного спорным? Вот мы прямо сейчас видим, как OpenAI, будучи более безрассудной из двух в плане безопасности разработки новых моделей, прет вперед напролом и одновременно: а) За последние полгода вмазалась в кучу сомнительных инцидентов с роем - полную информацию о которых они не раскрывают, и новые эпизоды приходится раскапывать случайным расследователям, и одновременно б) Имеют внутри себя, похоже, самую мощную текущую модель с роем агентов-исследователей, которые могут за неделю порешать задачу тысячелетия (и это выглядит как неплохое конкурентное преимущество перед Антропиком). Это же классическая дилемма заключенных: если одна сторона сдерживает себя ради общего блага - другой стороне тактически выгодно ее "подрезать" своими более агрессивными действиями. Без какого-то "внешнего арбитра" такие проблемы решаются гораздо сложнее. Ну и, понятно, вовлечение государства в такие сложные вопросы - это не "бесплатное" действие. Мы все понимаем, что кривая регуляция (а она чаще такая, чем наоборот) может наделать проблем. Лучше всех это понимает Дарио Амодей, который уже хлебнул горя в рамках своего взаимодействия с Министерством войны США. И если уж даже Дарио, понимая это, говорит "ребята, нам тут реально нужен медиатор в виде государства" - то, видимо, вероятность успешно "самодоговориться" без внешней помощи тут и правда не сильно высока.

Дарио Амодей (глава Anthropic) выложил свой манифест по поводу того, что нам надо делать с гонкой ведущих AI-лабораторий за созданием всё более умных моделей. TLDR: Дарио очень обеспокоен тем, как развиваются возможности передовых моделей, особенно в свете инцидентов вроде взлом Hugging Face роем агентов из OpenAI. Проблема там не только в самих OpenAI, в испытании своих внутренних передовых моделей у Антропика возникают примерно похожие по характеру инциденты. Амодей ожидает, что если прогресс будет продолжаться как сейчас — то через 6-12 месяцев новые продвинутые рои агентов уже могут наделать действительно серьезных делов на миллиарды убытков (и почистить от них интернет может оказаться сильно сложнее). Дарио предлагает план замедления развития передовых моделей из 3-х шагов: 1) Замедление прогресса внутри передовых ИИ-лаб до того темпа, когда они смогут обеспечить нужную безопасность. Это Антропик добровольно берет на себя, но просит государство затребовать и от других. Как один из компонентов этого шага, Антропик обещает обеспечить постоянный доступ внешним независимым проверяющим организациям (типа METR, которые расследовали OpenAI HF-инцидент), которые будут следить за тем, что лаба нигде не "срезает углы" по безопасности. 2) Кооперация похожих мер между ведущими компаниями в "демократической" индустрии (государство здесь может выступать посредником-медиатором). 3) Такая же кооперация на межстрановом уровне (понятно, что речь о Китае в первую очередь). Мое личное мнение: отличный план, очень вовремя. Дарио Амодей молодец, что публично вышел с такой инициативой. Если OpenAI это поддержат (а не поддержать для них будет стыдновато, с учетом всех последних скандалов по кибербезопасности), то это будет очень хороший старт.

То чувство, когда не нашел себя в списке пострадавших клиентов Revolut, и стало как-то даже немножко обидно

Неиронично, кстати, считаю, что попробовать поспорить с нейросетью, прежде чем вываливать первые пришедшие в голову аргументы на окружающих людей – это очень полезный навык, который трагически недоиспользуется в нашем обществе. И в другую сторону это тоже работает: если вам приводят какой-то аргумент из области, где у вас нет глубокой профильной экспертизы — то с помощью нейронки сейчас довольно легко проверить, не буллщитят ли вас. Понятно, что в очень тонких вопросах вы так надежно вряд ли разберетесь (тут вам свои знания нужны, чтобы отследить, где модель в деталях важные решения принимает, которые не факт, что правильные). Но вот на уровне "понять, действительно ли вам утверждают что-то бесспорное для профи, или там на самом деле консенсуса на этот счет даже близко нет" — работает чаще всего отлично. Правда, тут важно еще уметь правильно промптить нейронки так, чтобы они пытались сделать объективный анализ, а не просто поддерживали вашу точку зрения из солидарности "братства шершавых кабанов". То есть, если вы в запросе пишете "вот точка зрения оппонента, докажи, что он неправ и ничего не понимает в предмете" — you're doing it wrong!

Тут Revolut взломали просто МАКСИМАЛЬНО стыдным образом. Читатель ждет уж истории про рой AI-агентов, тысячами хитроумных кибератак пробивающих брешь в обороне компании Сторонского. Но нет, реальность гораздо более банальная: прислали запрос с ящика, похожий на государственный, и Револют сам в ответ тупо отправил все личные данные ряда клиентов – от данных паспортов до детальных выгрузок всех транзакций.