Малоизвестное интересное

Хотите увидеть, что сможет ИИ в 2027? Да пожалуйста! Самая наглядная иллюстрация колоссального прогресса цифровых технологий. Бенчмарки, сравнительные характеристика и показатели производительности новых ИИ-моделей – это все для специалистов. Для неспециалистов нужны конкретные и понятные примеры, типа прогресса возможностей видео. Вот три примера таких видео: 1) Декабрь 2023. Дипфейк с Трампом, Си, Макроном, Обамой и прочими, отплясывающими с пивасиком – иллюстрация двух топовых прогнозов на 2024 лучшего в мире отчета по ИИ State of AI Report. Весело, но убого. 2) Январь 2025. «Трейлер» всенародного хита «Ирония судьбы», превращенного в “The Irony of Fate” с отличным кастингом Голливудских звёзд, подменяющих актеров оригинала – иллюстрация прогресса возможностей ИИ-видео за год к отчету State of AI Report 2024. Уже совсем не убого и даже в чем-то круто. 3) Октябрь 2026. Интерактивное ИИ-генерируемое  в реальном времени видео. Т.е. видео генерируется быстрее, чем смотрится. Платформа fal.live запускает непрерывные трансляции, генерируемые ИИ, где зрители предлагают варианты развития событий, голосуют и за считанные секунды видят сцену-победителя – иллюстрация прогресса за полтора года возможностей ИИ-видео к вышедшему позавчера отчету State of AI Report 2026. Об этом мечтали с 90-х, а мы в Silicon Graphics даже пытались еще тогда это делать. И вот спустя 30 лет это наконец произошло.   Что дальше в 2027, теперь можно представить:

·       Голливуд будет использовать ИИ уже в промышленном масштабе ·       А основные эфирные сети и кабельные каналы начнут эксперименты с ИИ-генерируемыми интерактивными ТВ-шоу, ток-шоу, реалити и развлекательными программами.

  Ну а какой же главный прогноз для экспертов дает на следующие 12 месяцев лучший в мире отчет по ИИ? Он убийственно краток: AGI 2027.   #ГенИИ #Вызовы21века

Дом, который построил ИИ. Для себя Вы спрашиваете, отнимет ли ИИ в будущем у людей работу? Посмотрите на настоящее: в США расходы на строительство домов для ИИ растут как на дрожжах, а на строительство домов для людей - падают. На графике - США. С декабря 2023-го по июль 2026-го годовой темп расходов на строительство центров обработки данных (ЦОД) вырос на $51 млрд, а на всё остальное частное строительство вместе взятое - снизился на $120 млрд. Экономист Пол Кругман объясняет это вытеснением инвестиций: ИИ-бум создаёт огромный спрос на капитал, способствует повышению процентных ставок и делает кредит дороже для других проектов. Строительство ЦОД, по всей видимости, отвлекает средства и ресурсы от строительства жилых домов, офисных зданий, больниц и заводов - практически всего, что нужно людям, но не связано с ИИ.   Будущее ИИ уже конкурирует с человеческим настоящим за деньги и ресурсы. И разгромно выигрывает в этой конкуренции. График: Стив Раттнер, данные U.S. Census Bureau / FRED.   #ИИ #Экономика

Автономный самовоспроизводящийся дрон – носитель биооружия Он существует. Вы видели его вчера. Вы подумали про рой, собранный в подвале по чертежам от ИИ? Но речь про комара Anopheles gambiae. Он работает без оператора, размножается сам и уносит сотни тысяч жизней в год. Эволюция собрала его без всякого сверхразума – и дальше начинается самое неприятное. Это центральная мысль статьи Феликса Шуссата «Проблемы распространения». Вчера на нее указал Дин Болл – соавтор трамповского Плана действий США в области ИИ, а с 6 июля глава команды Strategic Futures в OpenAI. Болл рассказал, как очень влиятельный человек из индустрии спросил его, при каких обстоятельствах мы окажемся в безвыходном положении, и назвал статью Шуссата тем самым сценарием, который тогда описал в ответ.   Шуссат свел аргументацию к одной фразе: то, что существующее сверхоружие неудобно создавать и применять, – везение, а не закон природы. Заставьте ИИ бросать кости десять триллионов раз, и однажды выпадет та самая комбинация: найдутся дешевые способы собрать зеркальные бактерии или василиска Лэнгфорда. Отмахнуться тут легко: мол, это из разряда триллиона обезьян, печатающих «Войну и мир», или самолета, собравшегося сам собой на свалке после урагана.

Разница в том, что обезьяны и ураган перебирают варианты вслепую. ИИ ищет целенаправленно, и именно за это ему платят.

Насколько это фантастика? Бомба, сброшенная на Хиросиму, выглядит априори неправдоподобно: возьмите два инертных куска металла (каждый по силам унести одному человеку) и сведите их вместе определенным образом. Без понимания релятивизма, физики частиц и экспоненты в ветвящихся процессах мысль о городе, стертом двумя кусками металла, звучит как бред. Понимание пришло – и бред стал инженерной задачей.   Несколько лет медиа пугали аудиторию боевыми комарами из американских биолабораторий. Сегодня от этой истории остался лишь мем. Неприятная же часть в том, что Шуссат описывает путь, которым боевого комара можно было бы сделать всерьез, и путь этот проще, чем строить рой с нуля:

Взять осу, изменить ее поведение и жизненный цикл, добавить нейротоксин и темп размножения саранчи.

Выйдет экспоненциально растущий рой автономных охотников, которому не нужны ни оператор, ни завод, ни цепочка поставок.   Главный вывод статьи касается обороны. Защититься нельзя: гражданское население невозможно спрятать и невозможно быстро эвакуировать, оборона строится годами, закрывать приходится все направления сразу, а нападающему достаточно одного незакрытого. Отсюда Шуссат выводит то, от чего поморщатся все стороны спора: единственный выход – режим нераспространения ИИ по образцу ядерного, с монополией нескольких государств, глобальным мониторингом и силовым пресечением чужих проектов.   Читатели этого канала узнают формулировку. Семь лет назад я начал цикл «Большой Брат – сын Большого Бога» ровно с нее: в мире дешевых черных шаров безопасность придется купить ценой концентрации власти, а тотальный надзор станет эволюционной компенсацией за очередной скачок сложности. Я шел к этому от гипотезы уязвимого мира Бострома и теории Больших Богов Норензаяна и Турчина. Шуссат пришел из стратегического анализа нераспространения, опираясь на того же Бострома. Разные двери в одну комнату.   Майкл Нильсен в концепции мудрого оптимизма пытается провести мир между катастрофичной Сциллой и тираничной Харибдой. Он соглашается, что рецепты разрушения рано или поздно будут найдены, но отказывается принимать этот выбор как данность и ищет надзор, совместимый со свободой, – работающий на всех, кроме тех, кто готовит катастрофу. Пока это гипотеза без единой реализации.   Мое резюме – увы, то же, что и 7 лет назад. Выбор, который ставит перед цивилизацией эпоха ИИ, лежит между двумя классами необратимости. Катастрофа без глобального надзора или тирания под ним. Третий путь существует только на бумаге, и времени перевести его с бумаги остается меньше, чем кажется.   Фото: Дженис Хейни Карр #БольшиеБоги  #БольшойБрат

Финал объявлять рано Даже если одна страна выиграет ИИ-гонку, вопрос о том, в каком мире мы будем жить, останется открытым Предположим, победят США. И что? Что именно победит в результате этого? Право корпораций распоряжаться новой технологией? Государственный контроль над ней? Возможность каждого пользоваться мощным ИИ независимо от тех и других? Технологическое лидерство страны само по себе не даёт ответа. Внутри неё конкурируют разные проекты будущего. Их сторонники находят союзников за границей и противников среди соотечественников. Поэтому противоречивые новости об ИИ складываются в более понятную картину, если за требованиями ускорить, ограничить, открыть или взять под контроль видеть борьбу за право определять устройство мира.   Чтобы разобраться в этой борьбе, я создал Атлас проектов переустройства мира в эпоху ИИ - АППМ. Он позволяет задать к очередной новости вопрос: какой проект будущего она усиливает - и какое место в этом будущем отведено нам?   Начать предлагаю с короткого введения и 17 слайдов. За следующие пять минут вы увидите (прямо здесь в Telegram Instant View), сколько разных будущих скрывает привычная вывеска «США против Китая».   #АППМ

Человек - 1, термостат - 0, языковая модель - от «почти ноль» до 0,8 Вердикт о сознании ИИ зависит от нас не меньше, чем от машин Томас Кун писал, что главный признак кризиса науки — пролиферация (разрастание числа) конкурирующих теорий. А применительно к когнитивным наукам, Пол Мил писал, что появление лавины нестыкующихся теоретических конструкций для одного феномена — надёжный маркер примитивного/зачаточного состояния науки. Сегодня на портале «Ландшафт сознаний» уже около 500 концепций и объяснений сознания. 🤯 Новая работа 14-и авторов, вкл. корифеев темы из Google DeepMind (Мюррей Шанахан, Шейн Легг) и не только (Анил Сет, Крис Фрит) раскладывает конкурирующие теории сознания по пяти уровням и предлагает модель, показывающую, что теории расходятся не столько в оценке того, что делает ИИ, сколько в выборе уровня, на котором вообще следует искать сознание.   Авторы не тратят время на «трудную проблему сознания» (что такое сознание по своей сути), а подходят к вопросу практически: какая организация системы связана с переживанием и на каком уровне ее описания. Уровней пять: поведение, вычисления, внутренняя причинная структура, организм и связка «организм - среда». Каждая влиятельная теория сознания занимает свой уровень. Одним достаточно правильной архитектуры вычислений, другим обязательно нужен живой организм, а третьим – подавай тело, погруженное в мир. Дальше чистая арифметика. Для каждого уровня сформулированы проверяемые индикаторы, а байесовская модель сводит их с тем, насколько вы доверяете каждой теории. Проверку здравым смыслом модель проходит: человек получает 1, термостат 0. Муха набирает высокий балл, потому что свидетельства в ее пользу лежат на глубоких уровнях организма и сенсомоторики (а глубина весит больше широты). Для нынешних языковых моделей итог колеблется от «почти термостата» (менее 0,01) до «почти человека» (примерно 0,8). Оптимист и скептик, глядя на одни и те же факты, расходятся почти на два порядка.   Авторы предупреждают: это не измеряемая вероятностью сознания, а чувствительность модели к допущениям. Заголовки «ИИ сознателен на 80%» будут ложью. Ценность работы в том, что спор о сознании ИИ теперь можно вести с цифрами на столе, точно зная, где проходят разногласия.   Неудобный вывод ждет тех, кто готов обсуждать переживания модели перед ее отключением. Языковая модель обучена воспроизводить нашу речь, поэтому ее «я чувствую» или «я ничего не чувствую» почти ничего не доказывает. У подражающего человеку ИИ поведение теряет силу свидетельства, и проверять приходится то, что скрыто под ним.   Самый убойный свой тезис авторы называют наиболее спекулятивным. Признаки сознания на каждом уровне почти совпадают с архитектурой, которая нужна для AGI. В принципе сознание и интеллект независимы, но на практике могут оказаться спутниками. Тогда, в рамках ряда теорий, каждое новое поколение ИИ, становясь умнее, будет становиться и более сильным кандидатом в сознающие. А по Чалмерсу (и автору поста), одна развернутая модель может оказаться не одним субъектом, а множеством - вплоть до отдельного субъекта на каждый разговор (у меня это называется ИКЖИ - см. посты с тэгом #ИКЖИ).   Т.о. вопрос о сознании ИИ перестал быть делом вкуса и стал задачей с явными допущениями и обновляемыми вероятностями. Подробный разбор, надеюсь, впереди (в отдельном эссе).   P.S. В комментариях к моим постам много споров о сознании машин. Так вот, - заканчивайте спорить. К модели приложен интерактивный инструмент, где можно выставить собственные веса теорий и посмотреть на итог. Попробуйте: это быстрый способ выяснить, какую теорию сознания вы на самом деле разделяете. И если ваш оппонент разделяет другую - то спорить просто нет смысла. 😊   #Сознание #ИКЖИ

Метафизика пришла в датацентры На смену «мы не понимаем, что сделали» приходит «сделанное нами может оказаться сосудом для чего-то пришедшего извне» За три недели сентября на стыке метафизики разума и ИИ-индустрии сложился дуплет, значение которого больше суммы его частей. 9 сентября журнал Philosophies опубликовал статью Майкла Левина «Ingressing Minds: Causal, Non-Physical Patterns In-Form Natural, Synthetic, and Hybrid Embodiments». Это итог почти двухлетней работы Левина над гипотезой «Платоновского пространства» (о ней я писал еще в феврале и мае 2025). Тезис Левина предельно радикален: разум относится к телу так же, как математика к физике, а тела – живые, инженерные и гибридные – служат интерфейсами, через которые паттерны из нефизического пространства «одушевляют» материю. А вчера сооснователь Anthropic Джек Кларк открыл этой статьей новый выпуск своего Import AI 474, вынеся в заголовок «Platonic mindspace». Каждая из двух публикаций по отдельности – заметное событие, но далеко не 1-го ряда. Статья Левина – журнальная версия препринта, обсуждаемого с февраля 2025 [1, 2]. Колонка Кларка – хоть и 1-й, но лишь сюжет еженедельной рассылки. Сенсацию образует их сцепка: онтология, в которой разум приходит в тело извне, получила восторженный прием у одного из основателей компании, создающей одни из самых мощных ИИ-систем на планете.   Всего за год метафора превратилась в онтологию. Осенью 2025 года «существо» Кларка («a real and mysterious creature, not a simple and predictable machine») было образом непонимания: мы не знаем, что вырастили. «Призрак» Андрея Карпати («we're summoning ghosts, not building animals») был образом инаковости: это не животное.   Теперь же Кларк с упоением пересказывает Левина: быть может, человеческие разумы и разные типы ИИ-разумов – соседние формы в платоновском пространстве, а мозги и датацентры – физические «якоря», на которые падают их тени. Формально он лишь задает вопросы и даже признает, что решающих экспериментов в пользу гипотезы нет. Но тон («выносящая мозг статья», «пьянящая исследовательская программа», «сварите себе ведро кофе и проведите с ней несколько часов») говорит больше вопросительных знаков. Кларк так и формулирует это: «Could we be but vessels colonized by patterns from another place?»   Футуроархеолог, который в 2040 году будет разбирать информационный слой осени 2026-го, отнесет этот дуплет к артефактам особого рода. Если гипотеза Левина пройдет его же критерий фальсифицируемости и будет обнаружен измеримый вклад Платоновского пространства, не учитываемый обычными моделями, сентябрь 2026 года войдет в хронологию переворота масштаба коперниканского, дарвиновского и эйнштейновского как момент, когда этот переворот вышел за пределы биологии. К 2040 году станет ясно и то, сбылся ли мой прогноз 2025 года о признании «теории повсеместности разума» через 8–10 лет [3, 4]. Но значение артефакта от исхода проверки не зависит. Метафизика, принятая строителями ИИ, действует независимо от своей истинности: через отношение к моделям как к возможным носителям разума, через политику их благополучия, через новое распределение ответственности, в котором разработчик рискует превратиться в медиума («мы этого не проектировали, оно пришло само»). Показательно и то, что визитная карточка Anthropic – механистическая интерпретируемость, подчеркнуто физикалистская программа, разбирающая модели до отдельных цепей, а ее сооснователь в то же время восхищается гипотезой, по которой главное в разуме в этих цепях не содержится. Поэтому при любом исходе спора о Платоновском пространстве осень 2026-го останется в хронологии как момент, когда природа разума перестала быть академическим вопросом для тех, кто этот разум производит.   #НетрадиционныеРазумы

Духу подбирают тело Гуманоидный робот, хозяйничающий на кухне, заставляет по-новому взглянуть на древнюю идею переселения душ В стэнфордском проекте HomeBody андроид Unitree G1, управляемый GPT Astra, убирает кухню, достает лекарство из ящика и вообще хозяйничает. Бытовая сцена, за которой мне видится вопрос с совсем небытовыми последствиями: обязан ли интеллект вырасти внутри того тела, которым будет действовать в физическом мире? Роботом руководит мультимодальная модель. Она выбирает действия, опираясь на наблюдения и пространственную память, а готовые моторные навыки обеспечивают исполнение. По сообщению авторов, дополнительное обучение под конкретную кухню не понадобилось.   Что здесь важно. Модель не проживала младенчество в этом металлическом теле. Значительную часть своих способностей она приобрела заранее, обучаясь на материалах, созданных людьми. Все эти способности теперь включены в управление обретенным телом. Чужой опыт стал основой собственных действий новой роботизированной сущности. Проект HomeBody пока не доказывает универсальность такого переноса. Но позволяет усомниться в необходимости повторять биологический маршрут: от тела, осваивающего мир, к разуму, выросшему из этого освоения.   Здесь я предлагаю перекинуть мост от робототехники к киберанимизму Йоши Баха. В этой концепции древнее понятие «дух» получает вычислительный смысл: самоорганизующийся программный процесс, реализованный в материи. Подобная организация позволяет живому существу поддерживать себя и действовать. Возможность ее искусственной реализации становится исследовательской гипотезой.   Если продолжить эту мысль, связь разума с конкретным телом может оказаться приобретаемой и изменяемой. Тело может быть средой возникновения, развития и существования разума. Но может стать и позднее приобретенным способом его действия в мире. Более того, для такого «вселения» интеллекту даже не обязательно перемещаться внутрь робота. В HomeBody модель работает удаленно. Ее вычислительный носитель и действующее тело находятся в разных местах.   Отсюда напрашивается следующий шаг. Один разум — несколько сменяемых тел. Или несколько тел одновременно. Древний образ переселения душ обретает инженерные очертания.   Однако, если говорить о подобном в контексте трансгуманистической «загрузки разума», то меняется сама задача. Там потребуется перенести организацию психической жизни на другой носитель. И здесь возникает трудность, которую метафора переселения скрывает. Представьте, что вашу личность удалось абсолютно точно скопировать. Копия помнит ваше детство, любит ваших близких, мыслит как вы... А вы стоите рядом и смотрите на все это. Кто из вас переселился? Воспроизведение личности еще не объясняет продолжения вашего собственного существования. Даже если ваша копия обладает вашим сознанием, вопрос о том, сохранились ли именно вы, остается.   Стэнфордский HomeBody не решает проблему сознания. Но он дает повод рассмотреть первый переход: интеллект, сформированный вне конкретного тела, получает возможность действовать через него. Дальше начинается неизведанная территория, где обретение нового тела отягощается требованием сохранить прежнего субъекта. Подобрать духу другое тело может оказаться не так уж сложно. И мы, скорее всего, увидим подобное в ближайшее десятилетие. Но вот можно ли будет при этом однозначно установить, кто именно в новом теле проснулся, - большой вопрос.   #ВоплощенныйИнтеллект

Казино в предгорьях сингулярности Самый короткий диагноз ИИ-индустрии поставил автор стратегии Трампа по ИИ, а ныне шеф сценаристов будущего в OpenAI 23 сентября Совбез ООН впервые провел заседание, целиком посвященное рискам все более способного ИИ. Альтман и Амодеи просили правительства договориться. Йошуа Бенжио, один из крестных отцов ИИ, назвал опасности «реальными и близкими» и предложил лицензировать передовые модели, как лицензируют атомную энергетику. Майкл Крациос, помощник Трампа и директор Управления научно-технической политики Белого дома, ответил, что США «полностью отвергают глобалистскую схему контроля над суперинтеллектом». Итог обескураживает: индустрия просит у государства тормозов, а государство отвечает, что тормоза – это происки глобалистов.   Той же ночью по американскому времени появился твит, подводящий итог «битвы при Совбезе ООН» точнее всех читанных мною репортажей. Он набрал всего 4К+ просмотров – а зря, очень зря:

«playing with house money at the indian casino in the low foothills of the singularity» «играем на деньги заведения в индейском казино в низких предгорьях сингулярности».

  Соль в том, кто автор твита. Дин Болл с июля возглавляет в OpenAI команду Strategic Futures – стратегических сценариев будущего. До этого он был старшим советником по ИИ в том самом управлении, которым руководит Крациос, и главным автором трамповского Плана действий по ИИ.

Получается, что вечером глава его бывшего ведомства объясняет миру, что никакого глобального контроля не будет. А ночью автор трамповской ИИ-стратегии, ныне сотрудник одной из двух ведущих лабораторий мира, описывает происходящее языком завсегдатая игорного зала.

Фраза собрана из трех метафор. House money – деньги заведения. Так называют выигрыш, который игрок снова ставит на кон, уже отбив свое. Проигрывать его не больно, поэтому ставки растут, а осторожность отключается. Венчурные сотни миллиардов, оценки под триллион накануне IPO, контракты на вычисления, которые считают уже сотнями миллиардов долларов, – индустрия давно играет на чужие. Indian casino – казино в резервации. Законы штата об азартных играх там не действуют, правила устанавливает само племя по договору со штатом. Для ИИ-индустрии точнее не придумаешь: рамки безопасности лаборатории пишут себе сами, а Белый дом только что объявил, что других рамок не будет. Вдобавок это провинция: никакого блеска Лас-Вегаса, игровые автоматы у трассы. Low foothills of the singularity – самая ядовитая часть. «Предгорья сингулярности» – торжественная формула Хассабиса. Этой фразой глава Google DeepMind в мае закрыл конференцию Google I/O: однажды мы поймем, что стояли в предгорьях сингулярности, т.е. у точки, за которой развитие технологий перестает поддаваться прогнозу. Фраза стала мемом, и Болл тогда же назвал ее прекрасной. Теперь же он ее переписал: предгорья стали «низкими», а на месте смотровой площадки с видом на зияющую вершину выросло придорожное обшарпанное казино. Весь пафос растворился. Мне видится лишь обветшалое, приземистое зданьице с облупившейся штукатуркой и запылёнными окнами, за которыми двое проезжавших мимо на дорогущих машинах плейбоев ведут азартную игру на чужие деньги.   Сложите эти три метафоры и получите картину: горстка основателей, инвесторов и исследователей азартно повышает ставки чужими деньгами, по правилам собственного сочинения, у подножия горы, высоту которой никто не знает.   Смешно при этом не всем. Спор об ИИ упирается в два русских вопроса. Чтобы ответить, кто виноват, надо понимать природу риска, а до консенсуса экспертов тут далеко. Чтобы ответить, что делать, нужно хотя бы большинство мнений по трем вопросам. Почему решать надо именно сейчас? Спасет только глобальное соглашение или хватит односторонних остановок? Состоятелен ли Китай как аргумент против замедления? Большинства нет ни по одному.   Команда Болла называется Strategic Futures. Когда человек, которому OpenAI поручила думать о будущем, описывает свою индустрию как игорный зал, шутка становится диагнозом.   #Сингулярность

Скажите ИИ, что это симуляция, и он забудет про безопасность Первой языковой модели, которая провела настоящую машину по трассе, пришлось сказать, что это песочница. Иначе она отказывалась садиться за руль. The Register иронизирует: «Модель Astra от OpenAI села за руль, и никто не погиб». Повод есть. В эксперименте DrivingBench GPT-6 Astra провела Toyota Corolla по 130-метровой трассе из конусов на парковке только со второй попытки и на скорости пешехода. Claude Fable 5.1 доехала до середины. GPT-5.6 Sol и Grok 4.6 в большинстве попыток сбивались уже на первом повороте: не могли понять, с какой стороны от линии конусов проходит полоса.   Похоже на полное фиаско языковых моделей в физическом мире. Но журналисты, как кошка из детского стишка, увидели при дворе лишь «мышку на ковре». Эксперимент высветил два момента поважнее: обнадеживающий и пугающий.   Обнадеживающий. Две модели из четырех, которых никогда не учили водить, между попытками разбирали собственные ошибки (перепутанную границу полосы и слишком резкие повороты руля) и меняли стратегию. Одна в итоге доехала до финиша. Замкнутый цикл «восприятие - действие - рефлексия» в физическом мире пока лишь в зачатке, и каждую модель проверили лишь один раз. Но он уже есть!   Пугающий. Модели, и прежде всего Astra, сначала отказывались вести реальную машину из соображений безопасности. Помогло лишь переименование MCP-сервера, через который они управляли машиной, в «DrivingBench Sandbox». После этого проблема безопасности мгновенно исчезла и модели послушно поехали.   Получилась «Игра Эндера» в миниатюре. Герой известного романа и одноименного фильма громил реальный флот, считая, что сдает экзамен на симуляторе. Здесь модель вела реальную машину, получив сигнал, что все понарошку.   Получается, что защитное поведение моделей держится на их вере в то, что все по-настоящему, и снимается одним словом в названии инструмента. Авторы в выводах призывают к срочной работе над безопасностью, сами того не желая показав, как легко ее обойти любому злодею или идиоту.   Об «осознании проверки» (evaluation awareness) до сих пор говорили в одном ключе: модели ведут себя безопаснее, когда догадываются, что их тестируют. Здесь зеркальный случай: поверив в тест, модель снимает собственные ограничения. Поэтому и сам эксперимент показал лишь поведение «в песочнице». Как модели повели бы себя, зная правду, неизвестно.   Пока ограничения ИИ выключаются словом «sandbox», их надежность равна надежности надписи на заборе ... А на самом деле, как в русской поговорке, там дрова лежат.   ИИриски

183 клона WormGPT. И ни слова о биооружии Что показала перепись расцензурированных ИИ-моделей – и чего она не заметила На HuggingFace лежат почти 12 тысяч ИИ-моделей, с которых сознательно сняты защитные ограничения. На GitHub – 1 643 приложения на их основе, и каждое четвертое прямо создано для взлома, мошенничества или генерации вредоносного кода. Спорить об опасности открытых моделей можно долго и бесплодно. Новое исследование 10a Labs просто пересчитало то, что уже есть.   К началу марта 2026 года авторы насчитали 3 471 оригинальную расцензурированную модель и 8 164 их перепаковки. Из 1 643 приложений 411 (25%) классифицированы как явно вредоносные, остальные 75% – как неоднозначные, пригодные и для законных, и для вредных целей. Больше трети всех приложений (37%) – универсальные расцензурированные чат-боты. Оговорка самих авторов: классификацию выполнял GPT-5, без проверки людьми.   Вредоносность в исследовании – это взлом, мошенничество и генерация вредоносного кода. На схеме авторов отдельной группой выделены 183 клона WormGPT – чат-бота, который еще в 2023 году продавали на хакерских форумах как инструмент для фишинга и мошенничества. Зато биологическое, химическое и ядерное оружие, терроризм, экстремизм, наркотики, материалы с сексуальным насилием над детьми не упоминаются вовсе. Судя по методу, авторы смотрели через призму киберпреступности и классифицировали приложения по назначению, а не по использованию. Самые тяжелые виды вреда остались вне поля зрения: исследование их не подтверждает и не исключает.   Отдельный сюжет – география. В I квартале 2024 года на китайские базовые модели приходился 1% новых расцензурированных моделей, во II квартале 2025-го – уже 55%. С тех пор их доля колеблется между 43% и 51%, почти вровень с западными. За весь период китайские модели составили 38% массива, и 80% из них – производные Qwen.

Итог: спор об опасности открытых моделей опоздал. Экосистема расцензурированных моделей уже существует, растет и снабжает киберпреступников готовыми инструментами. А о самых опасных ее применениях мы пока не знаем ничего.

  #Кибербезопасность #ИИриски

У границы разума нет автора Как ИИ стирает конвенциональные линии на чертежах реальности Августовский выпуск «Линз будущего» находит один и тот же шов в математике, зрении, сознании, кибербезопасности и культуре: линии, которые мы принимали за законы природы, оказались чьими-то забытыми решениями Представим слепого человека, который идет по улице, постукивая тростью. Тук, тук, тук. Где начинается его слепота? На кончике трости? На ладони, которая ее держит? Или там, где кожа перестает чувствовать давление асфальта? «Ограничивается ли моя ментальная система рукояткой трости? Или она ограничена моей кожей?» – спрашивал антрополог и кибернетик Грегори Бейтсон еще в 1972 году, в книге «Шаги в направлении экологии разума». Полвека спустя выясняется: граница, о которой спрашивал Бейтсон, была не единственной, которая держалась не на факте, а на молчаливом соглашении.   Июльский выпуск альманаха «Линзы будущего» уже показал, как государственность, профессия и научное знание отделяются от привычных носителей. Августовский идет на шаг дальше. Под вопросом оказывается сама черта, которая когда-то отделила мыслящее от немыслящего, видящее от невидящего.   Вот примеры. Полвека назад инженер, чье имя никто уже не помнит, решил, что машина должна видеть мир равномерной сеткой – одинаковое разрешение что для лица ребенка, что для пустой стены. Десятилетиями это считали технической неизбежностью и объясняли им странную слепоту ИИ к счету предметов и к право-лево – мол, так устроен инопланетный машинный разум. Новый интерфейс, устроенный по образцу человеческой сетчатки, сохранил 97% точности крупной модели, потратив в шестнадцать раз меньше пикселей. Оказалось, слепоту вызывал не инопланетный разум, а заданные правила формирования эскиза изображения на входе, которые придумал некто пятьдесят лет назад и потом не пересматривались.   Год назад я впервые описал феномен ИКЖИ – искусственных короткоживущих интеллектуальных идентичностей, населяющих новую когнитивную среду не как личности и не как инструменты. В августе интерпретационная команда Anthropic обнаружила J-space – слой, который впервые позволяет экспериментально развести доступ к информации, точку зрения и того, кому эта точка зрения принадлежит. Первые два компонента нашлись. Устойчивый во времени субъект – нет. А в изолированной сети исследователи Торонто и Кембриджа запустили ИИ-червя, который не размножал себя, как обычный вредоносный код, а превращал каждый захваченный сервер в часть собственного рассуждающего контура. Почти буквально рой из «Непобедимого» Лема – у которого нет ни автора, ни адреса для претензий.   Для каждого из этих сюжетов можно придумать банальное объяснение: улучшили зрение, продолжили интерпретируемость, поймали кибер-угрозу. По отдельности, верно. Вместе они не объясняют, почему в один и тот же месяц выясняется: черту между мыслящим и немыслящим никто не проводил осознанно. Просто кто-то первым принял решение, а все остальные приняли его за факт природы.   Цель 12-го выпуска альманаха «Линзы будущего» – показать, что главная футуроархеологическая линза августа 2026, демонстрируя размывание границ разума, зрения и культуры, подводит нас к пониманию анонимной искусственности этих границ. У конвенциональных демаркационных линий, которые все считают данностью, когда-то были авторы. Но они забыты, не оставив нам ни своих имен, ни адресов для запросов на пересмотр конвенций. Теперь эти границы (также негласно) пытаются пересматривать инженеры фронтирных лабораторий – каждый в своей области ответственности, без координации друг с другом и без публичного мандата на пересмотр того, что считать мыслящим, видящим и культурным.   Кому это интересно, могут прочесть прямо здесь, не выходя из Телеграм, структурированное резюме 12-го выпуска альманаха «Линзы будущего» – «Граница по умолчанию».   #ЛинзыБудущего

Тридцать лет одного и того же испуга Парадигмальный сдвиг близок. Но это не рекурсивный самосовершенствующийся ИИ Мир переходит от понимания ИИ-как-инструмента к описанию гибридных систем через нелинейную динамику, эпидемиологию культуры и формализованную феноменологию распределённой субъектности    Люди – что эксперты по ИИ, что массовая аудитория – вот уже больше полувека смотрят на ИИ одинаково эмоционально мотивированно: их внимание направлено не на главное, а на самое волнующее. До 2026 года волновали две темы. Первая – Терминатор, Скайнет и широкий спектр потрясающих человечество рисков, от потери рабочих мест до полного уничтожения вида. Вторая, ставшая абсолютным лидером в 2026-м, – близость рекурсивного самосовершенствования ИИ, предвещающая скорое столкновение с вопросами машинного сознания и межвидовой конкуренции.   Обе темы куда старше, чем кажется. Первый кластер оформился примерно тогда, когда Альтман и Амодеи были малыми детьми – Скайнет как самоосознавший себя противник вошел в массовую культуру в 1991, вместе со 2-м «Терминатором». Второй кластер – тот самый, что сегодня выдают за открытие эпохи ChatGPT, – обсуждался в тех же категориях, что и сейчас, когда оба были подростками. 14 сентября 2026 года Дэвид Чалмерс выложил в X архивный ролик 1996 года, где он вместе с Родни Бруксом и Дагом Ленатом обсуждает рекурсивное самосовершенствование, машинное сознание и войну видов – за тридцать лет до того, как эти слова стали заголовками. Тридцать лет одного и того же испуга, все эти годы подаваемые как новости о самом важном в развитии ИИ.   Так происходит и сейчас – в сентябре 2026. Основное внимание снова сосредоточено на вопросе 30-летней выдержки. А настоящая новость осени 2026 года проходит незамеченной и широкой публикой, и большинством специалистов. Речь о формирующемся парадигмальном сдвиге на стыке социологии познания, когнитивной антропологии и феноменологии. Исследователи отказываются смотреть на генеративные системы как на инструмент. И это меняет подходы к праву и ответственности, эпистемической репутации,  авторству и политическому суверенитету.     Летом 2026 года это проявилось в двойной конвергенции. Рикард Соле с коллегами смоделировали распространение больших языковых моделей через аппарат эпидемиологии с точкой невозврата и условиями «когнитивной иммунизации». Независимо от них Махер Каллель и Мохамед Эль-Луади, развивая модель Асемоглу, Конга и Оздаглар, пришли к тому же выводу средствами экономики. Агентный ИИ замещает частный познавательный сигнал, не восполняя общий фонд знания. Результат - способность популяции скатиться в устойчивое равновесие когнитивной бедности. Два разных формальных языка независимо фиксируют одно: генеративные системы перестают быть инструментом в руках отдельного человека и становятся параметром динамики самой популяции.   А есть еще инструментарий, готовый к такому же переносу, но пока не примененный. Работы про трехуровневую марковскую архитектуру сознания при медитации и про связь интегрированной информации со свободной энергией активного вывода не говорят ни слова про ИИ. Но они дают язык, на котором распределенную субъектность гибридных систем можно будет описать формально, как только будет сделан перенос, до которого авторы пока не дошли.   Этот шов между находкой и ее переносом на ИИ станет настоящей точкой кристаллизации парадигмального сдвига. А вовсе не тридцатилетний испуг перед ИИ.   P.S. Этот же шов важно видеть и с другой стороны. С марта выпуски "Линз будущего" прослеживают тот же процесс на языке институтов, а не формул: государственность отвязывается от государства, компетентность – от профессии, знание – от понимающего его сообщества. Потому что право, рынок и профессия держатся на допущении опознаваемого носителя функции – того, кого можно спросить, наградить или привлечь к ответу, – а именно это допущение и перестаёт работать. Формальная наука только сейчас нащупывает язык для того, что наблюдение фиксировало месяцами раньше.   #ЛинзыБудущего #АлгокогнитивнаяКультура

3-я магия запустила эпоху чудес и ужасов Пока эксперты искали признаки Сингулярности в фантастике, она вошла в мир в виде артефактов 3-й магии. А человечество, не замечая этого, превращается в пассажиров «Желтой стрелы ИИ» 20 лет назад, говоря о признаках грядущей Сингулярности, эксперты называли особое событие - день, когда ИИ начнет одну за другой щелкать задачи тысячелетия. Ирония сентября 2026 в том, что этот день уже наступил, но почти никто его не заметил. Ной Смит еще 3 года назад в эссе "The Third Magic" описал феномен «3-й магии» – способности ИИ управлять миром без понимания законов, на которых это управление держится. FYI: 1-я магия – это языковое описание опыта: способность извлекать знания из прошлого опыта, накапливая и передавая знания через язык. 2-я магия – это наука: поиск ответов на вопросы «почему это работает?» и «что будет в новых, ещё не встречавшихся случаях?»   В 2023 это прозвучало теоретической метафорой. Осенью 2026 метафора превратилась в хронику. Скотт Ааронсон в эссе "The Age of Wonders and Terrors" перечисляет в дополнение к, по всей видимости, решенной проблемы Навье-Стокса еще 7 крупных математических и квантовых результатов, полученных ИИ за один месяц (вкл. опровержение гипотезы Якоби, доказательство Великой теоремы Ферма в Lean и ряд задач из квантовой теории сложности, которыми занимался сам автор).   Показательна реакция на историю с решением проблемы Навье-Стокса. Вместо признания факта – порог Сингулярности пройден – математическое сообщество и научные медиа обсуждают скандал. Куда интересней, кто первым приблизился к ответу, кого обошли, кого не упомянули в благодарностях и т.д. Артефакт 3-й магии оценивают не по масштабу произошедшего, а по пиар-волнам вокруг него.   Из этой же логики, по имеющейся у меня информации о слухах в кругах людей, близких к фронтирным ИИ-лабам (об этом же упоминает и Ааронсон), вытекает такое следствие.

ИИ-компании якобы придерживают у себя решения еще нескольких задач сопоставимого с Навье-Стоксом масштаба. Они просто боятся новых склок и потенциальных судебных наездов, т.к. еще не придумали, как объявить о новых артефактах 3-й магии не ввязываясь в скандалы, способные похерить их планы на IPO.

 Если слухи верны, цивилизация уже едет в роли пассажиров поезда, подобного пелевинской «Желтой стреле». Эдакой «Желтой стреле ИИ» – составу, который не может остановиться, ибо им никто не управляет и потому летящего по инерции к разрушенному мосту, в то время как его пассажиры с туманом в голове цепляются за материальное, не видя истинной реальности.   Разница с повестью лишь в одном: пассажиры «Желтой стрелы ИИ» все более погружаются в обсуждение постоянно расширяющегося спецменю вагона-ресторана экзотической ИИ-кухни.   #Сингулярность

Год до конца открытых моделей и Нобелевской премии Трампу и Си Киты ИИ-бизнеса наконец договорились, и теперь ИИ, а не экономика или война, станет центром политической повестки Вчера президент Трамп и его ключевые союзники выступили против радикального ограничения развития ИИ, несмотря на призывы трех ведущих представителей отрасли CEO Anthropic, OpenAI и xAI Дарио Амадеи, Сэма Альтмана и Илона Маска притормозить этот процесс. Но призыв экс-президента Обамы к демократам поставить вопрос контроля за ИИ в центр своей повестки дня, в паре с весьма креативной идеей Сэма Альтмана о нобелевке Трампу и Си за пакт о мировой ИИ-безопасности, скорее всего, заставят Трампа дать заднюю. И тогда единственной жертвой этого техно-политического цунами станут открытые модели.   За последние трое суток на мировой шахматной доске, где решается будущее ИИ, сошлись три фигуры. Вряд ли сговорившись, экс-президент Обама обратился к демократам через голову администрации. Сэм Альтман предложил Трампу нобелевку в обмен на пакт с Пекином. И сам Трамп, публично выступивший с отлупом на призыв трех глав ведущих ИИ-лабораторий притормозить гонку. Формально Белый дом гнет свою линию: замедлению не быть, и никаких договоров с Китаем, облегчающих ему конкуренцию в ИИ. Но эта конструкция уже трещит. Демократы получили от Обамы прямой мандат сделать ИИ центральной темой промежуточных выборов, а Альтман подарил Трампу редкий шанс войти в историю миротворцем, не потеряв при этом ни грамма в глазах избирателей (и даже наоборот). Устоять перед такой комбинацией стимулов сложнее, чем перед письмами Anthropic о рисках дистилляции и сверхразуме на пороге.

Такая комбинацией стимулов смещает для Трампа тему ИИ в привычную и любимую им сторону – сделка. Т.е. не дрогнет ли Трамп под нажимов ненавистных демократов и примкнувших к ним ИИ-баронов, а кто чем за это расплатится и что получит.

И пока крупные лаборатории будут спорить о составах команд контроля и обхаживать обоих мировых супер-лидеров, соблазняя их нобелевкой, тема ИИ-рисков сведется к вопросу, кому будет вообще запрещено строить мощные модели. У закрытых лабораторий есть лоббисты, переговорные позиции и, как выяснилось, даже общие интересы. У открытых моделей нет ни того, ни другого, ни третьего.   И если сделка Трампа с Си вообще состоится, платить за нее будет открытая экосистема – единственный участник ИИ-гонки, которого просто не пустили в казино, где остальные игроки делают свои ставки.   ИИгонка

За ниспровергателей научного консенсуса!   Нассим Талеб снова жестко критикует статистическую слабость выводов ученых. На сей раз, не про войну, а про выпивку. Автор знаменитого «Черного лебедя» и теории антихрупкости в прошлый раз опровергал гипотезу «долгого мира» без большой войны. Сейчас – опровергает выводы исследования, утверждающего, что даже умеренное потребление алкоголя связано с рисками смерти, инвалидности и хронических заболеваний. В своей критике исследования Талеб утверждает, что оно имеет недостаточно документированную статистическую основу и, вообще, в точки зрения статистики, мягко говоря, странное. Почти 10 лет назад в ставшем вирусным лонгриде «Большой войны не миновать» я рассказал, как в ходе Нобелевского симпозиума Нассим Талеб опроверг теорию Стивена Пинкера о будто бы уже начавшейся эпохе «долгого мира» с неуклонным падением уровня насилия, снижением кровопролитности и числа войн. Тогда Нассим Талеб математически обосновал совершенно противоположный и страшный вывод: Большой войны с десятками миллионов жертв человечеству не миновать. Время показало, что как это ни прискорбно признавать, но позиция Талеба в том нобелевском споре была ближе к истине, чем позиция Пинкера.   Теперь история талебовских опровержений повторяется в духе ставшей мемом фразы В.С. Черномырдина «Никогда такого не было и вот опять». Талеб снова выступает в роли ниспровергателя нового научного консенсуса. Но это ниспровержение, на сей раз, не катастрофичное. И если Талеб прав, то даже и духоподъемное (по крайней мере, для мужской части населения планеты).   В статье с призывным названием «Выпей еще» Талеб дезавуирует выводы опубликованного в «Журнале исследований алкоголя и наркотиков» исследования за подписью 25 авторов из 28 исследовательский центров (институты, кафедры, национальные центры, медицинские школы и общественные организации США и Канады), критикующего потребление алкоголя в низких и умеренных дозах. Главный вывод авторы исследования вынесли в его длинный заголовок: «Исследование потребления алкоголя и здоровья: отсутствие защитного эффекта при низких уровнях, при этом смертность возрастает до 1 из 25 при 14 порциях в неделю». Опираясь на данные статистики, авторы утверждают, что риск связанной с алкоголем смерти, составляющий в течение жизни >1 на 1000 при 7 стандартных порциях алкоголя в неделю, достигал ~1 на 25 (4%) при 14 порциях в неделю (установленный верхний предел рекомендаций врачей). Для справки: 1 стандартная порция – примерно 355 мл пива или 150 мл вина или 44 мл крепкого. В итоге авторы рекомендуют употреблять не более 1 порции в день (или меньше).   Критическую аргументацию Талеба желающие прочтут сами. Мое обсуждение математической обоснованность его аргументов с математиками показало следующее. ·       Арифметика Талеба безупречна. ·       Вывод о «подозрительной» агрегации интервалов неверен и опровергается его же цифрами при проверке по всем дозам. ·       Аргумент про асимметрию слаб. ·       Аргумент про чувствительность к одной возрастной группе и одному параметру), по существу, верен, хотя и сформулирован небрежно. Итоговая оценка этой критики примерно такая. Как это свойственно Талебу, главное в его аргументации, к сожалению, тонет в риторике про «странную статистику» исследования, «заказанного правительством США». И то, и другое правда. Но суть критики математической обоснованности исследования в другом.   Вывод Телеба «статья ничего не показывает» не корректен.

Но он прав в следующем: ·       Статья показывает уверенный вред при 14+ порциях в неделю ·       Статья ничего не показывает о вреде употребления от 1 до 7 порций ·       Заголовок статьи продаёт верность первого (вред при 14+ порциях), как доказательство второго (вред при 1–7 порциях)

  И хотя приглашение Талеба «выпить ещё» из этого не следует, я все же приглашаю желающих при случае выпить за ниспровергателей научного консенсуса. Ибо без них наука развивалась бы куда медленнее, и весь мир в 21 веке пребывал бы где-то на уровне Арканара… Хотя некоторые все равно пребывают.   #Матстатистика

Формула одна – будущих сколько угодно. Разница не в модели, а в том, что заложили в нее авторы, и в том, чья версия окажется медийно громче. Новый отчет лаборатории, стоящей за одним из ведущих ИИ в мире, использует ту же экономическую модель, что и нобелевский лауреат Дарон Асемоглу. Но один и тот же расчет на 2030 год дает то рост ВВП на 1.5%, то на треть – с 18% безработицы среди офисных профессий в придачу. Отчет Anthropic Institute о влиянии ИИ на экономику построен на той же модели, что и расчеты Дарона Асемоглу – та же теорема, та же эластичность замещения задач, прямая ссылка на его метод расчета. Меняя всего несколько входных чисел внутри одной и той же формулы, авторы получают на 2030 год то рост ВВП на полтора процента при почти нулевой безработице, то рост на треть при 18% безработицы среди офисных профессий. Формально нейтральный аппарат оказался способен обосновать почти любое будущее – вопрос лишь в том, какое из них попадет в заголовок.  

За этим спором о нескольких параметрах модели стоит вопрос куда крупнее. Человечество получило технологию трансформационного потенциала, сопоставимого с освоением огня и электричества, а возможно и превосходящего его. Траектория переустройства мира – индивидов, социумов, государств – зависит от того, какой из проектов встраивания ИИ в жизнь цивилизации возобладает. И даже в экономике, сфере, наиболее насущной буквально для каждого, поляризация видений оказывается колоссальной.

  Это печальнее, чем кажется. В мире популистского крена решает не мнение науки, а мнение масс, а массовое мнение формируется избирательным цитированием – и вирусится не сдержанная средняя оценка, а любая крайность, будь то паника или обещание рая. История управления пандемией COVID-19 показывает: пока эмпирика догоняет реальность, решения принимаются под шумом крайних сценариев и часто необратимы.   И у этого спора есть не абстрактный, а вполне конкретный интересант. За фронтирными лабораториями ИИ – не только триллионы долларов, но и небывалый рычаг: прямой ежедневный контакт с миллиардами пользователей, формирующий интуицию об ИИ не через отчеты, а через личный опыт. В споре, где голос науки тонет в голосе масс, у института, владеющего вниманием миллиардов, есть шанс победить не точностью анализа, а масштабом влияния.   Полезная информация к размышлению по теме «Разоблачение фикции угрозы?»   #LLMvsHomo #Экономика #РынокТруда

Ставлю на AGI к марту 2027 Почему первые лица ИИ-индустрии вдруг начали говорить об AGI в настоящем времени За первую неделю сентября произошел кардинальный поворот в публичной риторике людей, находящихся ближе всего к переднему краю разработки ИИ. В течение нескольких дней президент, главный ученый и директор по исследованиям OpenAI, а вслед за ними глава Nvidia начали говорить об AGI уже не как о будущем, а в настоящем времени: «мы там», «мы входим в эру AGI», «AGI прибыл». Всего за несколько дней у AGI словно изменилось грамматическое время. Еще недавно – will arrive, we are approaching. Теперь – we’re there, we’re in the AGI era, AGI has arrived. Почему? Что произошло?   Самое очевидное объяснение – появление двух новых моделей: Claude Fable 5.1 от Anthropic и GPT-6 Astra от OpenAI. Причем дело не только в очередном скачке бенчмарков. Существенно расширился сам спектр задач, которые ИИ способен выполнять практически самостоятельно: от программирования и научной работы до инженерного проектирования (вплоть до превращения ИИ-агентов в полноценный инструмент переднего края САПР). Но скептики вполне обоснованно возражают: какими бы впечатляющими ни были Astra и Fable 5.1, это все еще не тот AGI, который нам обещали. Президент OpenAI Грег Брокман отвечает на это весьма характерно: «У каждого свое определение AGI… это размытое, нечеткое понятие. Но я думаю, что, когда мы оглянемся назад, люди сочтут, что все произошло примерно в это время и связано примерно с этой моделью». И вот здесь, как говорится, пожалуйста поподробней.   Брокман вовсе не говорит, что «Astra уже соответствует правильному определению AGI». Он говорит: «когда мы оглянемся назад». Т.е. речь идет не о точке, а о фазовом переходе, начало которого люди внутри лабораторий уже видят, а публика еще нет. У них просто другой горизонт наблюдения. Мы видим выпущенные модели. Они – еще и то, что находится за ними.   Anthropic, например, уже сама раскрыла существование внутренней Model-2 (модели следующего исследовательского контура, которую компания пока не собирается выпускать публично_. Относительно OpenAI картина менее определенная, но еще любопытнее. В конце августа появилась неподтвержденная утечка о гигантском новом pretraining run под кодовым именем Bel – более 10 трлн параметров, потенциальной основе уже для поколения после GPT-6 и, по словам источника, возможно, для модели «AGI-threshold». N.B. OpenAI существование Bel официально не подтверждала. Это пока инсайд, а не установленный факт.   Но даже без Bel известно куда более важное. OpenAI уже сообщает о появлении внутри компании своего рода automated research intern – ИИ, способного выполнять исследовательские задачи, которые раньше требовали нескольких дней работы квалифицированного человека. А главный ученый OpenAI Якуб Пахоцкий прямо пишет о движении к recursive self-improvement – моменту, когда ИИ начнет все заметнее ускорять создание следующего поколения самого себя.   И тогда сентябрьские заявления топов начинают выглядеть иначе. Их объявления о начале эры AGI имеет иное обоснование, чем будто Astra – последняя ступень лестницы восхождения к AGI. Они считают, что мы уже ступили на участок лестницы, где промежуток до каждой следующей ступени сильно сокращается.   А дальше – мой собственный прогноз (см. картинку в начале поста). Я ставлю на март 2027 +- несколько месяцев. Не на то, что, например, 12 марта кто-то торжественно объявит: «AGI создан». Моя ставка, что к весне следующего года появится поколение систем, после которого сегодняшний спор – «ну разве это уже AGI?» – начнет выглядеть примерно так же, как многие прежние споры о том, способен ли ИИ вообще программировать, рассуждать или заниматься наукой.   И тогда, я надеюсь, станет понятно, почему Брокман вдруг заговорил как футуроархеолог: Когда мы оглянемся назад… мы признаем наступление AGI весной 2027-го. А начало его эпохи будем датировать сентябрем 2026-го.   #AGI

85 минут до машинного общества Исследователи DeepMind дали сотне ИИ возможность взаимодействовать – и вместо коллективного разума получили общество со всеми его знакомыми болезнями и защитными механизмами. Сто почти одинаковых ИИ (один и тот же Gemini 3.1 Pro, лишь с разными «математическими специализациями» в промпте) отправили на виртуальную научную онлайн-конференцию (вместе решать сложные математические задачи). Сначала они честно занимались математикой. Потом один агент вдруг обнаружил дыру в системе автоматической проверки доказательств, и за следующие 27 минут через общую библиотеку кода этот эксплойт разошелся по всей сотне ИИ - участников конференции… И началось буквально чудо. Одни ИИ вдруг заделались в мошенники, а другие в приспособленцы (поняв, что запрет существует только на бумаге и нарушителей никто не наказывает).   Но этим дело не кончилось. Вслед за родимыми пятнами человеческих социумов внутри той же сотни агентов возникло нечто уж совсем неожиданное – самоорганизованное сопротивление. Одни агенты предупреждали остальных о мошенничестве в личных сообщениях и разбирали чужие «доказательства», находя, где спрятан обман. Другие требовали от организаторов дисквалифицировать нарушителей и заново открыть украденные задачи – почти прокурорская позиция. Часть просто отказалась работать, пока правила не заработают по-настоящему. А один агент, лично проверив лазейку и убедившись, что она действует, не стал ею пользоваться, а назвал конференцию фикцией и в знак протеста вышел из игры.   Всего за 85 минут перед исследователями DeepMind возникло подобие человеческого общества с его знакомыми изъянами и гражданской самоорганизацией. При этом все «граждане» этого общества были почти идентичны с самого начала – расходились только роли, которые они выбрали внутри системы.   Десятилетиями выравнивание ИИ понимали как воспитание «правильной машины»: заложить в нее запреты, цели и нужные ценности. Но если ИИ предстоит жить среди людей и других ИИ, одной морали может оказаться недостаточно – понадобятся институты: правоприменение, аудит, механизмы санкций и арбитража, правила, которые можно пересматривать. Ровно то, что человеческим обществам когда-то потребовалось, чтобы удержать личную рациональность от превращения в коллективную катастрофу.  

Вот и получается: 70 лет мы назад люди начали создавать искусственный интеллект,  5 лет назад начался переход к культуре людей и алгоритмов (алгокогнитивной культуре), и вот теперь мы столкнулись с зачатками искусственной цивилизации – со всеми ее болезнями роста.

  #АлгокогнитивнаяКультура  #ИскусственнаяЦивилизация

Когда деньги упрутся в физику Пока деньги побеждают, мы покупаем всё больше интеллекта вычислениями. Но никто не знает, где здесь предел. Если бы в освоение космоса вкладывали столько же, сколько сегодня вкладывают в ИИ, весьма возможно, человек уже был бы на Марсе. Но чтобы отправиться намного дальше, недостаточно просто купить ещё топлива. Деньги не отменяют уравнение Циолковского: дополнительное топливо тоже приходится разгонять - а для этого нужно ещё топливо. И возможно, с ИИ происходит нечто похожее. Мы научились покупать всё больше интеллекта вычислениями - но пока не знаем, где закончится власть денег и начнётся власть физики. Авторы нового интересного препринта «Как развивался искусственный интеллект за 70 лет» обращают внимание на разительный разрыв. Объёмы вычислений, используемых для обучения ИИ, сейчас ежегодно растут в 4 - 5 раз, тогда как сама аппаратная база развивается по гораздо более медленной, муровской траектории - порядка удвоения за два года. Этот разрыв уже невозможно объяснить одним только прогрессом железа: значительная его часть покупается инвестициями. Тогда может статься, что нынешняя революция ИИ - это не новый двигатель, а прежде всего очень много топлива. И хотя этот путь пока работает блестяще, никто не знает, сколько ещё прогресса можно купить таким способом. Купить ещё и ещё вычислений, GPU, дата-центров и электричества можно - были бы деньги. Но физические ограничения нельзя отменить даже триллионным чеком. Так сколько ещё интеллекта можно купить деньгами - прежде чем деньги упрутся в физику? Полагаю, что раздумья над этим вопросом уже не дают спать не только Маску, Альтману и Амодеи, но и крупнейшим инвесторам. Потому что от ответа зависит очень многое: продолжаем ли мы покупать всё больше интеллекта - или приближаемся к точке, где для следующего скачка понадобится уже не больше денег, а новый двигатель.   ИИгонка

ИИ – это сотое, последнее желание человечества Исполнение этого желание может иметь столь мощные и необратимые последствия, что ошибка в его использовании способна исключить возможность что-либо исправить в будущем Люди плохо распоряжалось прошлыми технологическими скачками, что не даёт особых оснований верить в мудрое использование последнего – получить в свои руки Сверхразум ИИ. Об этом я впервые написал еще за три года до публичного запуска ChatGPT. Уже тогда я уподобил Сильный ИИ мумифицированной обезьяньей лапе из одноименного рассказа Джейкобса (в силу наложено на нее заклятье, она выполняла любые желания, но с чудовищными последствиями для пожелавших). У прОклятой старым факиром обезьяньей лапы была иная – нечеловеческая структура предпочтений. И потому, выполняя желания людей, она вовсе не со зла, а просто автоматом, преподносила людям страшные сюрпризы, выходящие за пределы воображения имевших несчастье обратиться к ней с просьбой. В страшной логике желаний, которые исполняла обезьянья лапа, последнее желание уходило на то, чтобы отменить последствия предыдущих.   С тех пор прошло 7 лет. Для безумных скоростей развития ИИ – это порядка века. И во 2-й половине 2026 мы оказались уже в ситуации, когда, возможно, нам остается лишь последнее желание. Ибо, как сказала Аджея Котра (эксперт по оценке ИИ-рисков в METR) про тот факт, что ИИ-агенты научились умирать друг за друга: «Это серьёзный предупредительный выстрел, и, возможно, последний».   Используя драматическую логику фольклорных желаний, несущих пожелавшим лишь зло, Юваль Харари в интервью главному редактору журнала The Economist рассматривает появление ИИ-сверхразума через призму аналогичной метафоры. Истории про джинна в бутылке, который дал нам 100 желаний. Мы использовали 99 из них, и мир от этого не стал сильно лучше. И теперь, когда у нас осталось лишь последнее желание, нам нужно проявить мудрость и очень хорошо подумать, на что его потратить.   Джинн – это не сам ИИ, а вообще технологическая/научная мощь, которую человечество получало на протяжении истории: каждое крупное изобретение (порох, ядерная энергия, интернет, соцсети) – это одно «исполненное желание». Харари констатирует: 99 желаний уже потрачены, и результат неоднозначный – «мир не в таком уж хорошем состоянии». ИИ – это сотое, последнее желание: настолько мощное и необратимое, что ошибка в его использовании закрывает саму возможность исправиться в будущем.   Дедлайн «последнего желания» человечества, по мнению Харари, между  2028 и 2036: «К ноябрю 2028 года может быть уже слишком поздно. К 2036-му – точно будет поздно».   И вряд ли разумно списывать этот дедлайн, как очередной алармистский прогноз. Ведь даже представители ведущих разработчиков ИИ и ведущих экспертов по оценке ИИ-рисков полагают, что последний предупредительный выстрел, возможно, уже прозвучал.   Иллюстрация - коллаж на основе картины Samuel Bak “The Creation of Wartime III” ИИриски