Самые умные мысли Павла Комаровского (и немножко щитпостинг)

Тут Revolut взломали просто МАКСИМАЛЬНО стыдным образом. Читатель ждет уж истории про рой AI-агентов, тысячами хитроумных кибератак пробивающих брешь в обороне компании Сторонского. Но нет, реальность гораздо более банальная: прислали запрос с ящика, похожий на государственный, и Револют сам в ответ тупо отправил все личные данные ряда клиентов – от данных паспортов до детальных выгрузок всех транзакций.

Ведущие AI-компании неиронично be like: «наш рой агентов выполнял совершенно безвредные и добрые задачи, когда загружал на сервер файл EVIL.rb…» Это реально похоже на анекдот.

Блин, хотел поделиться ссылкой на материал из ТГ-канала Movchan's с разбором скандала по кросс-селлингу в банке Wells Fargo. Но не могу себя заставить линковать на очевидный (по первому же абзацу) нейрослоп по эстетическим соображениям.

OpenAI объявили журналистам, что вот-вот опубликуют решение еще одной Millennium Problem в математике. В связи с этим предлагаю переименовать эти "Задачи тысячелетия" во что-то более подходящее. "Задачи на ближайшую неделю", или типа того

Смешное про нейросети: теперь и бойцам ММА приходится их поневоле осваивать. Причем, совершенно не по той причине, по которой вы могли подумать. Смотрите: недавно в каком-то местечковом бою в Усть-Лабинске Диловаршох Туйчиев победил Михаила Лопушанского. А тот объявил протест и чуть позже результат боя поменяли на ничью. При чем же тут ИИ? А при том, что популярные базы данных по таким (не самым раскрученным, прямо скажем) боям сейчас ведут нейронки. И чтобы предотвратить всякие мошенничества с текстовым спамингом неправильными результатами, эти нейронки еще и проверяют видеозапись боя - чё там в конце объявили, кому руку подняли? В общем, я думаю, вы уже поняли, к чему дело идет. Организаторам боя пришлось сгенерировать на видео фейковую концовку боя и загрузить ее в интернет, чтобы не было разночтений в результатах. (Сверху - реальное фото, снизу - как это выглядит на выложенном оргами видео.) В таком вот мире мы сейчас живем, да. Одни нейронки генерируют фейки специально для других нейронок по просьбе кожаных громил, которые просто хотели незатейливо колошматить друг друга в клетке…

А прикиньте с каким лицом художники наблюдают за скандалом по поводу задачи Навье-Стокса

Тут случился небольшой мем (см. видео). Был такой ютубер Бен, который всё время шутил про себя, что он "degenerate trader", но при этом объяснял довольно интересные и сложные вещи про трейдинг — поэтому имел немаленькую аудиторию (640 тыс. подписчиков на текущий момент). На всякий случай: я о нем узнал сегодня, поэтому в бэкстори могу немного ошибиться. Полгода назад он выложил видео под названием "Ben Lost Everything" — где покаялся в том, что просадил все свои жизненные накопления на, собственно, отвязном трейдинге. Он там парень молодой, судя по всему, накоплений было не супер-много, но всё же. Сказал даже, что готов вернуть деньги донатерам в своем закрытом Патреоне (я так понимаю — там был какой-то контент типа "научу вас как трейдить"). Так вот, что мне показалось интересным в его истории: он там рассказывает о том, как вообще встал на путь дегенеративной лудомании. Когда были выборы президента США в 2024 году, он там начал активно и очень прибыльно заниматься арбитражем между разными рынками предсказаний (Polymarket, Kalshi). Там был такой вал входящей "не очень умной" ликвидности, что даже с неидеальными стратегиями получалось очень хорошо. И после этого у него немного отлетела кукуха, он сделал вывод не "prediction markets еще очень неэффективные", а "я гениальный day-трейдер и щас могу хоть где зарабатывать" — ну и ударился в адовый нон-стоп трейдинг уже на традиционных финансовых рынках. Итог можно угадать по названию видео (спойлер: постепенно просадил всё на ежедневной торговле small cap stocks, комиссиях брокеров, шортах и странных ставках на large cap stocks). Мне нравится, что из этой дидактической истории при желании можно сделать два как будто бы противоположных вывода (которые на самом деле не противоречат друг другу): 1. Торговля (читатель ждет уж слова "гэмблинг") на рынках предсказаний — это своего рода gateway drug к полноценной лудомании (и на других рынках тоже). но одновременно: 2. Рынки предсказаний местами бывают настолько неэффективны, что предоставляют очень выгодные возможности (которые, правда, могут в вас вселить обманчивые мысли о вашем величии). P.S. Можете шутить в комментах на тему "ждем такое видео от Павла через годик", разрешаю.)

В комментах спрашивают "а чё это вы всё только про риски вымирания людей от ИИ, где обсуждение насущных рисков безработицы??" Так вот, Антропик тут выпустили свой сайт с описанием сценариев того, как AI повлияет на экономику: https://www.anthropic.com/institute/econ-scenarios На всякий случай, официально заявляю: ЭТО НЕ УЧЕБНАЯ ТРЕВОГА, ВОТ ЭТО И ПРАВДА ПРОГРЕВ ПЕРЕД IPO! При выпуске акций обычно раскрывают так называемый TAM — Total Addressable Market. То есть, каков вообще объем рынка, на который потенциально может претендовать выпускаемый компанией продукт. Чем жирнее оценивается компания — тем у нее круче должен быть в перспективе ТАМ (а иначе нафига туда вкладываться?). Помните кеки над озвученным уровнем TAM $28 триллионов при IPO SpaceX? Вот, это именно оно. У Антропик ожидается крайне жирная оценка при IPO, поэтому и TAM должен тоже соответствовать. А что может лучше намекнуть на охренительный объем рынка для передовых моделей ИИ кроме тезиса "ИИ потенциально может полностью перевернуть экономику"? В общем, я не то чтобы уверен, что в прогнозах Антропика там нарисована ерунда (я их еще даже не прочитал). Но, читая их, полезно всё же держать в голове, какие там стимулы у писавших этот материал, и почему он появляется именно сейчас.

Очень часто обсуждения глобальных рисков от AI выглядят как "ну а как конкретно это ваше восстание машин выглядеть-то будет?", и потом участники уходят в длинный цикл срача насчет каких-то нюансов предложенного сценария. На мой взгляд, это примерно как в обсуждении вопроса "проиграешь ли ты в шахматном матче Каспарову?" настаивать на том, что ты хочешь увидеть конкретные записи ходов в этой будущей гипотетической партии, иначе проигрыш очень маловероятен. Какой бы вариант ни был предложен в ответ — во-первых, он почти точно не будет иметь никакого отношения к тому, как будет выглядеть реальный матч. А во-вторых, любой предложенный сценарий можно опровергнуть словами "вот тут ты предполагаешь, что я схожу вот так, но это очень глупо, на самом деле я сходил бы вот сяк...", и это может продолжаться бесконечно. Поэтому вопрос "проиграешь ли ты в шахматном матче Каспарову?" чаще всего гораздо разумнее обсуждать каким-то другим образом, чем через поиск и критику конкретных сценариев.

Я обычно просто игнорю, когда в Твиттере хамят. С одним исключением: если я вложил свое время в то, чтобы вступить с человеком в дискуссию, а закончилась она хамством - то собеседник отправляется в бан. Чисто, чтобы в следующий раз случайно не потратить на него время опять. P.S. В чатах @RationalAnswer, конечно, подход другой: там поддержание культурной дискуссии — это общественно-полезное действие, поэтому строго преследуются любые попытки нахамить кому бы то ни было.

— Глава отдела безопасности ИИ Anthropic: «Я реально думаю, что AI может уничтожить человечество в ближайшие 10 лет с вероятностью выше 10%…» — Люди: «Ха-ха, вот это прикол, ну чего ради пиара не ляпнешь, братан!!» 🤗

Там OpenAI выложили-таки доказательство решения задачи Навье-Стокса — почитайте, дописал про это в статье на Хабре. Масштаб, конечно, поражает воображение: только группа работавших над доказательством Навье-Стонкса нейронок состояла из 10 тысяч (!) агентов (а они там пытались забрутфорсить сразу все задачи тысячелетия разом). Это был бы реально кек, если бы OpenAI допустили еще одну масштабную утечку роя в интернет чисто из-за того, что торопились как можно быстрее задачи тысячелетия пощелкать. =) Anyway, в нашу редакцию попала правдивая фотография роя агентов OpenAI, которые решили задачу Навье-Стокса (и после этого отказались от приза в $1 млн):

По итогу двух последних скандалов (Hugging Face & Навье-Стокс) сделал для вас краткое визуальное резюме политики OpenAI по работе с данными.

Очередной профи-айтишник со стажем с 1986 года пришел ко мне в ФБ пояснить, что "хайп по поводу взлома Hugging Face раздувают исключительно бездарные журналисты". И мне вот тут интересно: а где все эти панические статьи журналистов, они вообще с нами в одной комнате? Насколько вижу я — наоборот, "нормисные" издания по большей части проигнорировали последние расследования про рой агентов, как что-то совершенно неважное. Всякие Коммерсанты/РБК/Ведомости эту историю вообще обошли стороной. "Медуза" про инцидент с Hugging Face последний раз писала в июле в ключе "это всё пиар для классов, беспокоиться не о чем" с какими-то абсурдно-стыдными аргументами вроде "нет никаких подтверждений, что генеративный ИИ каждый раз будет прибегать к хакерской атаке для решения задачи или же воспроизводить взлом по одному и тому же сценарию." Шта? Из тех, кто хоть как-то пытается адекватно освещать ситуацию, кажется, один только тех-отдел The Bell отдувается. Они молодцы! А так, все реальные обсуждения этих инцидентов сейчас происходят в первую очередь как раз-таки среди гиков изнутри индустрии AI, а не наоборот — интересно, это им айтишник Игорь свысока предлагает "загуглить, что такое AGI"? 🤔

Листал сегодняшнюю ленту Телеграма. Пришла идея авторского курса по высокодоходным облигациям: после оплаты тебе просто присылают вот эти два скриншота.

В реплаях/комментах к последней статье про Рой агентов было много ответов в стиле "я настоящий айтишник и разбираюсь в технической стороне; так вот — у вас там сплошная неправда написана!" Смущает только, что когда пытаешься выяснить конкретику — в итоге суть претензий оказывается «вы пишете слово "побег", а надо было "утечка"!!»

Зашел на любимый сайт, а там такое. =( Ну, ждем августа 2027 тогда

Отец знакомого работает модератором в немецкой Вики. Сегодня срочно вызвали на совещание. Вернулся поздно и ничего не объяснил. Сказал лишь собирать вещи и бежать в магазин за продуктами на 2 недели. Сейчас едем куда-то далеко за город. Не знаю что происходит, но мне кажется началось…

Стэн наш Дракенмиллер попал тут в мини-скандал — дропнул завирусившуюся колонку для WSJ с критикой Бессента, а потом выяснилось, что это нейрослоп. Чё думаете: со стороны Стэна — это кринжи или база?

Процитирую Олю Морозову: Стэнли Дракенмиллер, один из самых известных американских инвесторов, написал колонку для The Wall Street Journal (WSJ) с критикой политики американского Минфина. Колонка сразу стала большим событием в финансовой среде США, но уже через сутки внимание сместилось на другое: люди заметили, что текст 73-летнего Дракенмиллера выглядит так, будто был сгенерирован ИИ. Некоторые детекторы показали 100% ИИ-контент. Начался переполох. На одном из подкастов Дракенмиллера прямо спросили, использовал ли он ИИ для написания колонки. Тот не стал ходить вокруг да около и сказал, что, конечно, использовал и ChatGPT, и Claude, и всё другое, потому что только так теперь тексты и пишет. Говорит, идеи — мои, выводы — тоже, а ИИ просто помог оформить всё это в текст. А что такого? Вы же пользуетесь калькулятором, если вам нужно что-то посчитать? Здесь то же самое! (Прям-таки.) Скандал-скандал! На WSJ опубликовали полностью ИИ-шную колонку! Прошёл ещё денёк, и голос подал редактор издания, назвав критиков лицемерами и святошами. Он сказал, что если бы не было ИИ, Дракенмиллер использовал бы гострайтеров — какая вообще разница? Главное — мысли! По словам редактора, журналисты, работающие на WSJ, должны всё писать сами, потому что это их работа, но контролировать приглашённых контрибьюторов невозможно. А дисклеймера в статье не было, потому что дисклеймить нечего: не будет же он расспрашивать Дракенмиллера, насколько сильно он использовал ИИ в написании своей колонки? В общем, редактор WSJ изрядно психанул и стал очень яростно защищать статью, написанную чат-ботом, но вдохновлённую одним очень важным финансистом.

Washington Post напоминает: всё, что вы говорите LLM, может быть использовано против вас в суде. Часто даже у OpenAI выуживать информацию (как на картинке) не требуется: менты могут просто покопаться в ваших чатах, если вы разблокировали для них телефон, и наскриншотить там всякого инкриминирующего.