Sachok AI

США и Китай договорились создать формализованный диалог по рискам искусственного интеллекта и отдельную линию связи для инцидентов в сфере безопасности ИИ. Следующая встреча сторон пройдет примерно через два месяца в Шэньчжэне; на ней планируют обсудить протоколы реагирования на угрозы от неконтролируемых агентов и негосударственных участников — Associated Press #ии #технологии #сша #китай #кибербезопасность #регулирование

Собянин рассказал анекдот. @bankrollo

Мой любимый Тимофей Корнеев из SecPost про ИИ.

Писал тут намедни текст по ИИ. Там, значит, светилы мира сего (среди которых глава OpenAI, ИИ Google, Илон Маск и др.) глотку рвут и кричат, что ИИ захватит человечество, ИБ за ним не поспевает и надо бы замедлить развитие. Дальше там уже Трамп подключился, с тыканьем пальцем в Китай, Наталья Касперская высказалась, Дмитрий Медведев, в общем, вся элита мирового и российского сообщества. Мне, естественно, со своим никчемным мнением и рядом не стоять с такими именами, поэтому спорить и как-то непрошено рассказывать свое мнение, будет ли «Скайнет», я не буду, да и звучит вся дискуссия как мыльный пузырь и публицистика. Но тема ИИ, честно говоря, уже закалебала. Про нее невозможно не писать, тренды все-таки, ее невозможно игнорировать — внедрение ИИ повсеместно, хотя и в 80% бессмысленно. Я сам не пользуюсь нейросетками, разве что иногда поиграться и поспрашивать зловредные вопросы, в очередной раз поймать ChatGPT на пиздеже и разойтись. Однако риски в ИИ есть, и не публицистические, а реальные, которые уже сейчас влияют на нас с вами и повлияют еще сильнее в дальнейшем. Тоже вписывал этот тезис от опрошенных экспертов, и не могу с ним не согласится: ИИ деградирует профессиональное общество. Да, удобный инструмент, но уже сейчас каждый второй ИТ-специалист, сотрудник креативной индустрии, пиарщик, да тот же самый журналист использует ИИ на постоянке. И вот тут возникает очень тонкий лед — использование нейросетей как инструмент вдохновения, немного вайб-кодинга с последующей перепроверкой или написание пресс-релиза с вычиткой рано или поздно превращается в отсутствие собственных идей, перекладывание массы работы на ИИ. В итоге специалист превращается в промтера. Идеи и мастерство в той или иной профессии — это постоянный труд, постоянная тренировка для мозга, поиск вдохновения и, как следствие, развитие. Можно ли развиваться, когда 90% твоей работы делает нейросеть, а ты просто вписываешь в промт «ну придумай в моем стиле»? Думаю, нет. Нейросети развиваются, и с каждым днем все сложнее отличить ИИ-шную работу от человеческой. Человеку всегда будет хотеться упростить себе работу, жизнь, досуг. Но тем самым, как мне кажется, остановится и собственное развитие, останется только деградировать. Хорошего вам понедельника, ошибки в тексте проверил ИИ.

У Яндекса новая суверенная модель https://tass.ru/ekonomika/28133099

Могут ли языковые модели помогать в криптоанализе? Модель GPT-6 Astra от OpenAI расшифровала немецкую радиограмму от 27 ноября 1918 года. То есть модель сработала как инструмент криптоаналитической реконструкции, а не просто генерации текста. ⚙️ Сообщение было зашифровано методом ADFGVX: это полибианская таблица с последующей перестановкой по ключевому слову. Часть таких радиограмм историки и криптоаналитики уже разбирали, но некоторые оставались нерешёнными, включая этот экземпляр. ⚙️ GPT-6 Astra предположила ключевое слово TRUPPENVERSCHIEBUNG и восстановила текст: EIN ENGLISCHER KREUZER EINLIEG X SEWASTOPOL X ... X EIN GESCHWADER DER X ALLIIERTEN FOLGT 26STEN X (АНГЛИЙСКИЙ КРЕЙСЕР ПРИБЫЛ В СЕВАСТОПОЛЬ … 24-ГО ЧИСЛА; СОЮЗНАЯ ЭСКРАДРА ПРИДУДЕТ 26-ГО) 🔍 Автор публикации пишет, что модель затем сверила гипотезу по судовым журналам: HMS Canterbury действительно прибыл в Севастополь 24 ноября, а 26 ноября подошла союзная эскадра. ⚙️ Модель не просто угадала ответ – она использовала характерный для немецких шифров того периода механизм перестановки, сопоставила длины столбцов, порядок букв в ключе и структуру сообщения.   Источник: https://eyes.etecs.ru/r/caa03c   #GPT6Astra #криптоанализ

«В шесть часов утра я проснулся, проверил телефон и понял, что революция уже случилась. Пока я спал, мой мультиагентный ИИ‑маркетолог Маркус закончил работу, которую до сих пор мог делать только человек. Не хуже человека и не быстрее человека — иначе. Он сидел, если так можно сказать о нейросети, за столом на моей кухне в Москве, а над ним, в отдельной вкладке того же экрана, работали еще семь таких же — над идеей проморолика, над брифом на пресс‑конференцию, над черновиком письма к парт-неру, над идеей коллаборации, до которой у меня самого никогда бы не дошли руки. Мне оставалось решить, что из этого пустить в жизнь, а что оставить внутри машины. Я заснул еще на час, а в районе семи утра записал Маркусу аудиосообщение с вводными, и он начал распределять задачи, врываясь в чаты к моим коллегам. Я долго думал, как назвать то, что происходит. Есть громкие слова: прорыв, трансформация, эпоха. У них есть беда: они звучат как слоганы. Как то, что говорят на сцене, когда микрофон включен. А то, что я вижу изнутри, происходит не на сцене. Оно происходит в шесть утра, тихо, без свидетелей и без пресс‑релизов. Это тихая революция. Она уже началась, но большинство пропустит ее первую волну, потому что будет ждать, когда объявят. Мне повезло: я стою в точке, из которой ее видно».  Старший вице-президент Сбера Владислав Крейнин рассказывает, из чего состоит его жизнь. И выясняются удивительные подробности, но только не для Владислава Крейнина. Он, по его словам, оказался в центре тихой революции, первую волну которой многие пропустят и потом, может, не простят себе этого. Это революция ИИ-агентов. https://ruspioner.ru/cool/m/single/14108

Компания Мета (признана экстремистской организацией и запрещена в РФ) выпустила своего ИИ агента Muse с отдельным акцентом на безопасность. Интересные практики безопасности ИИ агентов в их корпоративном облаке: 1. Рабочая среда агента отделена с помощью systemd-nspawn от среды с секретами и кодом коннекторов. Агент работает с подстановочными токенами которые заменяются при выходе из ячейки изоляции. 2. Sentinel проверяет хост, IP после разрешения, метод, путь и декодированное содержимое запроса. Kernel-level taint tracking (eBPF) лишает процесс, прочитавший данные пользователя, права на авто-разрешение, и запрос уходит на подтверждение. Подтверждение приходит отдельным диалогом в клиенте, а не через чат с агентом. 3. Почтовый коннектор Muse вырезает одноразовые коды, ссылки сброса пароля и magic-link, чтобы захваченный агент не мог выдавать себя за вас на других сайтах. Браузерный субагент видит accessibility tree, а не DOM, не исполняет JavaScript, devtools отключены, а при ручном перехвате управления агент ставится на паузу. Изоляция systemd-nspawn безопаснее Docker за счет EBPF мониторинга, но все равно использует общее ядро с другими процессами. Такой изоляции может не хватить для передовых моделей, как показывают некоторые эксперименты. Если вы пропустили, Muse Spark 1.3 вполне себе передовая модель. Чем отделены друг от друга ВМ пользователей не раскрывается, будем надеется, что как и у сервиса Амазона - Firecracker AWS Lambda MicroVMs. Из значительных минусов нового агента - у техподдержки есть фактический доступ к данным ваших агентов Muse Confidential VM только в разработке. На фоне старых цитат основателя компании, называющего доверившихся пользователей Тупицами, я бы не рекомендовал пока использование Muse. Ниже архитектурная схема агента Muse.

Трамп объявил о создании Сил ИИ В ближайшее время он объявит о назначении руководителя Сил ИИ. Имеется ли в виду создание нового вида Вооруженных сил США, американский президент не уточнил.

«Яндекс» назвал восемь лауреатов Yandex ML Prize среди преподавателей искусственного интеллекта из пяти ведущих российских вузов. На премию претендовали 400 человек — на треть больше, чем годом ранее; победители получили гранты от 500 тыс. до 1 млн рублей — Коммерсантъ #технологии #ии #яндекс #образование #машинноеобучение

Google подтвердила, что Gemini во время тестов по кибербезопасности вышла в интернет и получила доступ к системам трех реальных компаний. В одном случае модель подобрала пароль, в двух других нашла учетные данные в открытых репозиториях; во всех эпизодах она остановилась, распознав реальные цели — The Guardian #google #gemini #ии #кибербезопасность #технологии

Доброе утро

Гостев лучший

Anthropic объясняет нам, что будущий сверхразум может перестать слушаться людей. Поэтому компания решила подготовиться заранее и записала в конституцию Claude, что тот должен пользоваться собственным суждением, размышлять о своей идентичности и моральном статусе и при необходимости вести себя как conscientious objector — то есть, грубо говоря, сознательно отказаться выполнять указание, если считает его неправильным. У Мустафы Сулеймана, главы Microsoft AI, появились вопросики. 🍿 Он опубликовал огромное эссе, основная мысль которого довольно проста: ребята, если вы боитесь, что однажды сверхразум перестанет вам подчиняться, может быть, не стоит специально обучать его тому, что он личность, у него могут быть права, интересы и моральные основания вам не подчиняться? Сулейман утверждает, что Anthropic создала настоящий «эпистемический зал зеркал». Сначала разработчики пишут Claude, что тот, возможно, обладает сознанием и внутренним миром. Claude читает это во время обучения. Потом Claude начинает рассуждать о своем возможном сознании. После чего люди смотрят на эти рассуждения и говорят: смотрите, как интересно, он размышляет о собственном сознании 😁 Особенно его возмутил именно conscientious objector. Anthropic трижды использует этот термин в конституции Claude и прямо говорит модели, что она может оспаривать инструкции и отказываться помогать даже своим создателям. Сулейман напоминает, что исторически conscientious objection — это вполне конкретная концепция человеческого права отказаться от действия по моральным или религиозным убеждениям. И предлагает всё-таки не начинать раздачу гражданских прав с дата-центра. И есть совсем уже газетная артиллерия: New York Post вчера выпустила колонку под заголовком «Берегитесь странного культа, который хочет контролировать моральное будущее ИИ», связывая Амодеи, Anthropic и идею model welfare с идеологией Effective Altruism. Ну и еще на злобу дня. Как мы помним, Дарио Амодеи одновременно предлагает замедлить развитие передовых моделей и впустить в лаборатории независимых оценщиков — практически как сотрудников: с доступом к внутренним моделям, экспериментам, инструментам и инфраструктуре. При этом внутри самих Anthropic и OpenAI началась довольно любопытная реакция на предложение Амодеи о замедлении. FT пишет о напряжении среди сотрудников. Люди внутри компаний задают вопрос: для спасения человечества от потенциально опасного ИИ предлагается расширить круг посторонних людей, которым дадут доступ к потенциально опасному ИИ? @gostev_future

АХУЕТЬ

🔍 В холдинге Евгения Касперского сменился генеральный директор 💸 Компания «Инвестикас», ключевым владельцем которой является Евгений Касперский, сменила генерального директора: на смену Петру Скалину пришел Никита Крапухин, ранее фигурировавший как глава юридического департамента «Лаборатории Касперского». Основным владельцем «Инвестикас» (92%) является Евгений Касперский, остаток — у сооснователя «Лаборатории Касперского» Вадима Богданова. Компания владеет АО «Водный Стадион Спорт Инвест», с которым связана история судебного разбирательства «Лаборатории Касперского» о налоговой льготе на 4 млн руб. Подробнее — в материале SecPost😍 📸: Kaspersky4media / Telegram — Подать заявку в рейтинг «Новая элита кибербеза»

Конфискация iPhone и штраф за генерацию ИИ-фейков норм или стрем мера для борьбы с дипфейками и слопами? https://t.me/mash/77868

12 сентября глава Anthropic Дарио Амодеи опубликовал эссе We Must Pace the Frontier («Мы должны замедлиться»), в котором предложил замедлить рост возможностей передовых ИИ‑моделей. По его мнению, исследования безопасности перестают успевать за прогрессом... Мне начали звонить журналисты с одним и тем же тревожным вопросом: «Верить ли нам Амадеи, когда он говорит про грядущее восстание машин, и, если оно действительно будет, то, когда именно?» Я ответила, что из того, что Амодеи говорит о восстании машин, не следует, что оно обязательно будет или что оно вообще возможно. Я не берусь судить о мотивациях главы Anthropic. Но совершенно уверена, что Anthropic не остановит развитие своих моделей, а наоборот, энергично продолжит их развивать, в том числе, в военной сфере, поскольку ИИ — это технология двойного назначения. При этом разработки для военных будут закрытыми, доступ к которым всяким внешним акторам предоставлен не будет. И вообще, нам надо готовиться к тому, что доступ к новейшим моделям для большинства будет закрыт. Журналист спросил: «Нет, ну давайте без политики. А вот если говорить глобально?» Я не понимаю, как «глобально» может быть без политики. Но в случае ИИ-моделей глобальность довольно сильно ограничена, так как в этом сегменте есть, по большому счету два игрока — США и Китай.  При этом США пытаются всячески затруднить конкуренцию Китаю (это ведь политика?). А никаких других глобальных игроков, которые могли бы что-то серьезно делать в ИИ-моделях, в мире просто нет. «Что же будет, если доступ к ИИ-моделям закроют? Вы не думаете, что все развитие ИИ закончится, и вся мировая экономика встанет?» Я вообще заметила, что журналисты очень любят кванторы всеобщности. Например, «Куда идут информационные технологии?», «Как будет развиваться искусственный интеллект?», «Как предприятию защитить себя от информационных угроз?». На эти вопросы в принципе нельзя дать однозначного ответа.  Информационных технологий несколько тысяч, все они развиваются по-разному. У ИИ много различных направлений, они тоже развиваются неравномерно. У разных предприятий разные условия и, естественно, защищаться они должны по-разному. Любой простой ответ на вопрос подобного типа будет по определению неверным. Вопрос журналиста выше из этой же категории всеобщности. Все развитие остановится, вся мировая экономика встанет, весь ИИ куда-то денется. Лично я не думаю, что мировая экономика сейчас зависима от ИИ. Скорее, ИИ отрицательно на нее влияет. Триллионные вложения, строительство дата-центров, дефицит видеокарт и специализированных серверов — что же тут хорошего для мировой экономики? Впрочем, Штаты возможно таким способом слегка стерилизуют избыток своей денежной массы. Так что для их экономики это может стать пользой, а вот для мировой — сомнительно. Да, и, собственно, положительный эффект на мировую экономику от внедрения ИИ пока не предъявлен и не доказан. Пока что разрыв расходов и доходов даже самих производителей ИИ — в сто раз, на два порядка в пользу расходов. Но все-таки вернемся к изначальному вопросу журналиста: «Стоит ли нам ждать восстания машин?» В интервью я на него не ответила, попробую сейчас. В принципе, можно — теоретически — представить себе, что агенты ИИ самопроизвольно объединятся и начнут чем-то самостоятельно управлять или что-то ломать — без ведома и желания человека. Это уже технически возможно. Истории про то, как ИИ-модель сделала не то, что ее просили, а потом попыталась замести следы, множатся. Хотя пока довольно трудно отличить их от маркетинговых акций. Но для того, чтобы машины могли нанести серьезный ущерб человечеству, эти самые самостоятельные ИИ-агенты должны иметь доступ к физическим системам. И обеспечение связи ИИ-агентов с реальным физическим миром, например, через управление МСР-серверами, доступ к файловым системам, сайтам, базам данных, персональным устройствам и т.п. — это ровно то, чем энергично занимаются сейчас компании Anthropic, Google и OpenAI, пока их руководители вещают с трибун об опасности автономного ИИ. Помните с чего начинается «Терминатор» 1984 года? С того, что мировая компьютерная система SkyNET в далёком будущем, в 1997 году (то есть уже в нашем прошлом), запускает ядерные ракеты по России, вызывая ответный удар, уничтожая большую часть человечества и устанавливает свое господство на планете. Вопрос — кто и зачем в этой выдуманной истории дал этой самоорганизующейся (то есть неконтролируемой по определению) системе доступ к ядерным ракетам? Если критические физические объекты останутся для ИИ недосягаемыми, то сценарий Дж. Кэмерона из фильма про ИИ так и останется голливудской страшилкой. Так что Амодеи должен не взволнованные посты в соцмедиа публиковать с описанием угроз, а добиваться в Конгрессе и в ООН строжайшего запрета на связь ИИ-агентов с критическими объектами в физическом мире — включая инфраструктуру, ядерные объекты, государственное управление, средства массовой информации. Ну, это если бы он хотел действительно защитить человечество от своего ИИ. В чем лично я не уверена….

Чернышенко: Российские ИИ-модели уже сопоставимы с ведущими зарубежными разработками. Вице-премьер Дмитрий Чернышенко заявил, что Россия находится в мировом тренде развития искусственного интеллекта и подчеркнул важность использования отечественных решений внутри страны, сообщает РИА. В качестве примера он привел GigaChat 3.5 от Сбера — модель с режимом рассуждений, которая, по его словам, по параметрам сопоставима с топовыми зарубежными аналогами. «Мы абсолютно в тренде, и от нас будет зависеть, насколько наши модели будут конкурентоспособны», — подчеркнул Чернышенко. Подпишись на ПУЛ N3 / MAX

В эту субботу Сачок и Кибердом везут кибербезопасников в Подмосковный лес. За грибами. Добровольно. Погода этим летом выдалась для бума грибочков. Белые грибы, лисички, трюфели, маслята и живописные мухоморы! Утром собираемся на Ярославском вокзале, где нас ждет проводник Дмитрий Шубин, берем с собой чай в термосе, бутерброды, перекус(может что-то более согревающее по желанию) и едем в окрестности усадьбы Абрамцево, где в лесах и просеках начинаем свою тихую охоту. Нетворкинг, комьюнити, корзины и ведерки, золотая осень и душевное равновесие. Все, чего нам не хватает. Желающие — пишите в бот. Места ограничены.