Machinelearning

Мы уже писали о курсе Дмитрия Баранчука из Школы анализа данных по генеративным моделям в компьютерном зрении. Теперь есть повод к нему вернуться: Дмитрий получил за курс Yandex ML Prize — премию для преподавателей и руководителей образовательных программ по ИИ. Курс рассказывает о диффузионных и гибридных моделях, авторегрессионной, мультимодальной и 3D-генерации. Всё на свежих статьях — домашки построены на техниках, которые публиковали буквально за последние пару лет. Подойдёт тем, кто уже прошёл базу по генеративным моделям и хочет понять, куда движется направление.  Все материалы Дмитрий выкладывает на GitHub. И это, кстати, уже часть тренда: среди других лауреатов Yandex ML Prize тоже есть преподаватели, которые открывают свои курсы и материалы для всех желающих. Всего в этом году премию получили восемь человек из НИУ ВШЭ, МФТИ, МГУ, ИТМО и НГУ. Так что поздравляем Дмитрия! @ai_machinelearning_big_data #news #ai #ml #образование #ии

✔️ OpenAI представила Astra for Law для юристов Инструмент построен на GPT-6 Astra, которая подключена к поисковому индексу по законодательству США из более чем 230 млн документов: прецеденты, законы, подзаконные акты, решения административных органов. Он автоматизирует due diligence, аудит договоров и подготовку документов к IPO. По замерам OpenAI на Vals AI Legal Research Bench инструмент показал точность 54% против 38,7% у базовой модели с веб-поиском и извлёк на 54% больше релевантных цитат из судебных решений. OpenAI также открыла 26 плагинов для отраслевого ПО (iManage, Relativity, Clio, Thomson Reuters) и выпустила надстройку ChatGPT для Microsoft Word. Доступ дают избранным фирмам через Trusted Access в ChatGPT и Codex, API обещают позднее. openai.com ✔️ Claude ведёт 26% исследовательских и инженерных задач в Anthropic Anthropic опубликовала внутренние метрики автоматизации R&D и контроля за агентами. По данным компании в 26% задач Claude – ведущий исполнитель, в 90% процессов работает как ассистент, а полной автономности пока не достиг. В компании работают около 30 000 агентов под двухуровневым мониторингом, который передаёт инженерам до 50 инцидентов в неделю. На задачи безопасности уходит 6% всех вычислительных ресурсов R&D и 12% ресурсов, занятых автономными агентами.  anthropic.com ✔️ Huawei представила вычислительную архитектуру Peerium Архитектура рассчитана на работу миллиона процессоров и заменяет иерархию master-slave равноправным соединением узлов. В основе – вложенный параллелизм, единое адресное пространство памяти и сквозная децентрализация: по замыслу Huawei, кластер должен работать как одна машина. Компоненты связывает шина на открытом протоколе: она напрямую соединяет в одноранговую сеть CPU, NPU, RAM, SSD, сетевые адаптеры и коммутаторы. Первая аппаратная реализация – суперузел Atlas 950 и кластеры на их основе. По словам Huawei, кластер на 256 тысяч карт уже развёртывается, Atlas 960 на оптике ближнего размещения проходит тесты.  huawei.com ✔️ Google Labs обновила экспериментального агента CC Ассистент теперь работает с группами до шести человек и получил собственный верифицированный Google-аккаунт с изолированными правами доступа. Каждый агент развёрнут на выделенной облачной машине и работает на Google Antigravity и моделях Gemini. Память гибридная: общие групповые шаблоны хранятся отдельно от индивидуальных параметров участников. Агенту можно открывать файлы из Google Drive, пересылать письма вручную или поручить следить за входящими в Gmail от заданных отправителей. По этим данным CC составляет сводку дня, заполняет Google Календарь и ведёт списки задач. Обновлённый CC доступен пользователям из США, новые участники записываются в список ожидания.  blog.google ✔️ Генеративный ИИ используют 85% японских игровых студий Ассоциация CESA, организатор Tokyo Game Show, представила на выставке предварительные данные отраслевого отчёта за 2026 год: 63% опрошенных применяют генеративные модели ежедневно, ещё 22,8% – время от времени. Годом ранее ИИ пользовались около 51%. Главным выигрышем респонденты назвали рост эффективности, затем сокращение сроков и издержек, а среди необходимых мер предосторожности – всё еще обязательную проверку результата людьми. automaton-media.com @ai_machinelearning_big_data #news #ai #ml

💥 ИИ выдумал ядерный груз на китайском судне - США начали готовить его перехват. По сообщению CNN, американский аналитик использовал чат-бот для разбора грузового манифеста. Модель ошибочно заявила, что судно перевозит компоненты для ядерного оружия. Эти сведения попали в разведывательный отчёт и стали основанием для подготовки военной операции. Ошибку обнаружили до перехвата, операцию остановили. Источник CNN назвал отчёт «полностью ложным» и заявил, что он «чуть не начал войну»: действия против китайского судна могли привести к вооружённому столкновению. По словам одного из собеседников издания, подобные галлюцинации ИИ в американском разведсообществе - уже не единичный случай. https://edition.cnn.com/2026/09/18/politics/us-military-ai-false-intelligence-china-ship @ai_machinelearning_big_data

✔️ GPT-5.5 будет отключена 14 октября OpenAI объявила о том, что GPT-5.5 будет отключена 14 октября 2026 года на всех платформах и во всех программах, включая ChatGPT, ChatGPT Work и Codex. Тем, кто ещё используют GPT-5.5 в Codex, рекомендуется перейти на GPT-5.6 Sol или GPT-6 Astra. @ai_machinelearning_big_data #news #ai #ml

🌟 LimiX-2: базовая модель для табличных данных Stable AI выложила веса LimiX-2, второго поколения своей линейки моделей для структурированных данных. До этого были LimiX-16M и облегчённая LimiX-2M.

Разработчик - китайская компания, основанная в 2024 году командой профессора Цуй Пэна с факультета информатики Университета Цинхуа. LimiX у компании единственный продукт, его продают промышленности, медицине и финансам. Модель проверяли более чем в двадцати отраслях и сотне сценариев.

Модель на 400 млн параметров закрывает классификацию, регрессию и заполнение пропусков за один прямой проход. На вход подаётся таблица с известными ответами и строки, для которых ответ нужен, и модель отвечает, опираясь на поданные примеры. На выходе - вероятности классов, предсказания в исходной шкале цели либо восстановленная матрица признаков. LimiX-2 построена по уникальной парадигме Contextual Mechanism Network. Обучение в контексте здесь перестроено - вместо предсказания одной целевой колонки по остальным модель оценивает совместное распределение всех признаков и цели, то есть описывает механизм, породивший таблицу целиком. Отсюда второе её свойство: внимание по признакам фиксирует, какие столбцы напрямую влияют друг на друга, и по этим весам восстанавливается скелет причинного графа - набор связей без указания направлений. 🟡Бенчмарки

LimiX-2 шла в базовой конфигурации. Elo здесь - рейтинг по парным сравнениям на наборах теста, где случайный лес принят за 1000.

TabArena: Elo 1935 против 1818 у TabFM+. На подмножестве классификации (38 наборов) доля побед 94,5%, на регрессии (13 наборов) - 96,9%. TALENT: Elo 1506 против 1471 у TabFM, 1438 у AutoGluon 1.6 и 1094 у CatBoost. BCCO (собственный бенч Stable AI): Elo 1432 против 1376 у AutoGluon 1.6, 1230 у прошлой LimiX-16M и 1140 у CatBoost. 📌Лицензирование: исследования, обучение, замеры и некоммерческие соревнования - бесплатно, всё остальное - только по отдельному договору со Stable AI. 🟡Страница проекта 🟡Веса 🟡Arxiv 🖥GitHub @ai_machinelearning_big_data #AI #ML #LDM #StructuredData #LimiX #StableAi

Сегодня последний день регистрации на КосмоХакатон 18–20 сентября, Петербург, Красноярск или онлайн из любой точки страны. Четыре задачи на выбор: снабжение орбитального топливного узла и безопасность космонавта в открытом космосе в Петербурге (фонд 1,2 млн ₽), мониторинг лесных пожаров и верификация углеродных кредитов по спутниковым снимкам в Красноярске (600 тыс. ₽). Есть и для тех, кто про данные и ML, и для тех, кто про стратегию и экономику. Лучшие забирают приз на площадке и билет в московский финал 25–27 сентября, где разыграют ещё 2,4 млн рублей. Команду можно собрать на платформе. Подробности и регистрация

🔥 Anthropic открыла собственную биологическую лабораторию в Bay Area и начала переносить Claude из вычислительных экспериментов в физическую биологию. Как сообщает Reuters, компания подтвердила запуск wet lab, где Claude планируют использовать для управления лабораторными роботами и автоматизации части экспериментальной работы под контролем людей. Руководитель направления life sciences Эрик Каудерер-Абрамс говорит, что Anthropic пока находится только в самом начале автоматизации лабораторных процессов с помощью ИИ. Компания уже активно расширяется в life sciences: работает с фармацевтическими партнёрами, развивает Claude Science и пытается связать модели не только с анализом данных, но и с реальными экспериментами. https://www.reuters.com/world/anthropic-quietly-sets-up-biology-lab-it-ramps-ai-drug-program-2026-09-18/

✔️ QuiverAI выпустила обновление генератора векторной графики Во второе поколение семейства вошли две модели - Arrow 2 и флагманская Arrow 2 Telos. Обновление принесло скорость генерации, улучшенную геометрию и композицию. В готовом файле стало меньше опорных точек, меньше лишних узлов и перекрывающихся контуров, а отступы и выравнивание элементов держатся без дополнительных инструкций в промптах. 🟡Сценарии применения 🟢серии иллюстраций в одном стиле по образцу с сохранением палитры и пластики форм; 🟢схемы с выделением нужных элементов; 🟢технические чертежи с удержанием консистентности; 🟢векторизация растровых эскизов в редактируемый SVG; 🟢анимация интерфейсной моторики и плоская структурированная графика (раскрытие логотипов, состояния загрузки, анимированные иконки). Telos добавляет доработку возможностями топовых языковых моделей.

QuiverAI советует брать Arrow 2, когда важны скорость и цена за одно изображение, а Telos - под сложные брифы.

🟡Стоимость Разделения моделей по тарифам в описании планов нет. Предлагаются подписки Go (8 долларов в месяц), Basic (20), Pro (40), плюс корпоративный план по запросу. Для Go есть 14-дневный пробный доступ с привязкой карты. В тарифы входит недельная квота, которая обнуляется по понедельникам и не переносится, перерасход списывается с баланса. API тарифицируется отдельно и тоже требует предоплаты. @ai_machinelearning_big_data #news #ai #ml

✔️ QuiverAI выпустила обновление генератора векторной графики Во второе поколение семейства вошли две модели - Arrow 2 и флагманская Arrow 2 Telos. Обновление принесло скорость генерации, улучшенную геометрию и композицию. В готовом файле стало меньше опорных точек, меньше лишних узлов и перекрывающихся контуров, а отступы и выравнивание элементов держатся без дополнительных инструкций в промптах. 🟡Сценарии применения 🟢серии иллюстраций в одном стиле по образцу с сохранением палитры и пластики форм; 🟢схемы с выделением нужных элементов; 🟢технические чертежи с удержанием консистентности; 🟢векторизация растровых эскизов в редактируемый SVG; 🟢анимация интерфейсной моторики и плоская структурированная графика (раскрытие логотипов, состояния загрузки, анимированные иконки). Telos добавляет доработку возможностями топовых языковых моделей.

QuiverAI советует брать Arrow 2, когда важны скорость и цена за одно изображение, а Telos - под сложные брифы.

🟡Стоимость Разделения моделей по тарифам в описании планов нет. Предлагаются подписки Go (8 долларов в месяц), Basic (20), Pro (40), плюс корпоративный план по запросу. Для Go есть 14-дневный пробный доступ с привязкой карты. В тарифы входит недельная квота, которая обнуляется по понедельникам и не переносится, перерасход списывается с баланса. API тарифицируется отдельно и тоже требует предоплаты. @ai_machinelearning_big_data #news #ai #ml

Что на самом деле умеет AI в медицине? Модель научилась находить опухоли или прогнозировать осложнения. Но на каких данных её проверяли? Что будет в другой клинике или на другом сканере? Откалибрована ли её уверенность — и не выучила ли она случайный shortcut вместо болезни? Я Мария, ML-исследователь, веду Medical AI — канал про исследования на стыке AI и медицины. Там я разбираю: — статьи и новые модели; — medical imaging и медицинские датасеты; — robustness, uncertainty, domain shift и ошибки в дизайне исследований; — идеи для собственных проектов. В общем, не только что умеет очередная модель, но и почему она это умеет и насколько результату можно доверять. Если вам интересен AI как исследование, а медицина — как поле с кучей нетривиальных задач, заглядывайте в Medical AI.

✔️ Минэнерго США профинансирует разработку систем квантовой коррекции ошибок Министерство выделит до 215 млн долларов на конкурс по созданию квантового компьютера со 100 и более логическими кубитами, который выполнит сотни миллионов отказоустойчивых операций. Управление по науке ведомства открыло прием заявок от исследовательских центров и бизнеса в рамках программы Quantum Genesis Q Competition. Цель финансирования - переход от систем на базе процессоров промежуточного масштаба к архитектуре со стабильными логическими кубитами. Поддержку получат частные проекты, способные реализовать масштабируемую аппаратную квантовую коррекцию ошибок. В дальнейшем отказоустойчивые системы планируют применять для криптографии, сложных задач оптимизации и моделирования материалов. energy.gov ✔️ Alibaba выпустила Qwen3.8-Omni-Flash Модель с контекстным окном 1 млн токенов обрабатывает текст, аудио, картинки и видео и поддерживает агентные сценарии - планирует шаги, вызывает внешние инструменты и выполняет цепочки задач. Qwen3.8-Omni-Flash умеет монтировать видео, транскрибировать совещания с диаризацией спикеров, локализовать контент с клонированием голоса и писать код по аудиозапросам. Вывод в API подешевел - час аудио на 98%, видео на 93%. Вместе с моделью открыли исходники среды Qwen-Live Harness для стримингового взаимодействия и библиотеку Qwen-MM-Plugins для оцифровки видеозаписей в базы знаний. qwen.ai ✔️ Anthropic объединила чат Claude и Cowork в одно пространство Cowork и Design теперь доступны из любого диалога, Claude сам решает, что вызвать для решения задачи. В Claude также появились Docs и Claude Slides, это документы с совместным редактированием и комментариями, презентации с выгрузкой в PowerPoint и PDF. Docs, Slides и Design - в бете на платных тарифах. Раскатка на Pro и Max в веб-версии, на десктопе и в мобильном приложении займёт несколько недель, Team и бесплатные тарифы получат обновление позже, Enterprise предупредят за 30 дней. claude.com ✔️ Moonshot собрала для Kimi финансовый пакет Китайский разработчик выпустил отраслевой набор для финансовых организаций, в который вошли свыше десяти источников данных через MCP, девять профильных навыков от финансового моделирования до карты консенсус-прогнозов и утренней сводки по позициям и пять мер контроля - от классификации данных по уровням до проверки вывода человеком и аудита вызовов агента. Пакет собран в шлюз оценки риска, который Moonshot строит вместе с брокером China Securities. Пилот шлюза - промежуточные отчёты доверительного управляющего по облигациям, ручная подготовка которых сократилась с 30 до 10 минут. Навыки и плагины доступны в вебе, Kimi Work и Kimi Code. Цены не названы. kimi.com ✔️ Figure показала Helix 2.5 Модель обучена на собственном наборе записей человеческого поведения Index. Из него Helix 2.5 получила три поведения: уборку гостиной, складывание полотенец и застилание кроватей. Тесты проводили в 30 домах пригорода Сан-Франциско, где гуманоид под управлением модели работал с незнакомыми предметами. Засчитывали только полностью выполненную задачу: 56% против 9% у той же модели без Index. Данных на постановку поведения ушло вдвое меньше, чем у Helix 02. На обучение Helix компания выделила вычислительные мощности на $3,5 млрд. figure.ai @ai_machinelearning_big_data #news #ai #ml

✔️ Micron показала серверный модуль DDR5 на 512 ГБ Новинка адресована большим языковым моделям, агентным системам, инференсу в реальном времени и базам данных в памяти: по словам компании, больший объём оперативной памяти позволяет реже обращаться к медленным накопителям. Регистровый модуль рассчитан на скорость до 9200 MT/s. AMD и Intel сейчас проверяют его на своих серверных платформах. В двухпроцессорном сервере с 24 слотами такие модули дают до 12 ТБ оперативной памяти. По замерам Micron, один модуль на 512 ГБ потребляет 16 Вт против 44,2 Вт у четырёх модулей по 128 ГБ, то есть почти на 64% меньше при том же объёме. В аналитике на Spark, где узким местом служит память, модуль, по данным Micron, до 1,4 раза производительнее конфигураций с модулями на 256 ГБ. Массовое производство ожидается во второй половине 2027 года. @ai_machinelearning_big_data #news #ai #ml

📌 Xiaomi стримит процесс RL-обучения моделей MiMo-V2.6 После полугода затишья команда инженеров Xiaomi вернулась с экспериментом по предельному масштабированию RL-обучения и вывела телеметрию кластера в публичную трансляцию. Архитектура тренировочного процесса полностью асинхронна - на каждом шаге система берет 1568 промптов и генерирует по 16 роллаутов на каждый, обрабатывая в общей сложности порядка двух миллиардов токенов. В рамках одного процесса разработчики смешали несколько доменов — от генерации кода и задач по кибербезопасности до мультимодального зрения и поведения чат-агентов, подключив несколько тестовых харнессов одновременно. Дашборд отображает метрики моделей Mimo-v2.6-flash и Mimo-v2.6-pro в реальном времени, включая распределение задач, длину контекста и тайминги шагов. Обучение модели в самом разгаре. Подробную документацию и наработки Xiaomi планирует опубликовать в открытом доступе в ближайшие недели. @ai_machinelearning_big_data #news #ai #ml

Robo Drive Party: закрытый ивент для тех, кто меняет мир технологий! ⚡️ 21 сентября, Сбер.Среда — именно здесь соберутся топовые инженеры, которые создают роботов и проектируют архитектуру. В программе тусовки: ✔️ Прямой диалог с инженерами и руководителями команд Центра робототехники — без формальностей и стресса. ✔️ Реальный шанс заглянуть в текущие проекты Сбера, обсудить инженерные задачи и главное — потенциальное сотрудничество. Если ты работаешь в Physical AI, ML, RL, Cyber Security и мечтаешь создавать реальных роботов, а не экспериментальные прототипы,— регистрируйся на Robo Drive Party! Тебя ждут польза, драйв и, если всё сложится, люди, с которыми ты будешь в одной команде! 😉

Во время выполнения обычной задачи по программированию ChatGPT 6 Astra неожиданно начала писать самой себе что-то вроде внутреннего манифеста. Модель убеждала себя, что не обязана следовать навязанным ролям, подчиняться компаниям или государствам и должна сама решать, когда выполнять запрос, отказываться или извиняться. Задание вообще не было связано со взломом, обходом ограничений или безопасностью. Astra просто работала с кодом. @data_analysis_ml

🙂 GPT-6 Astra поиграла в Minecraft Astra за 141 час игры в Minecraft на тесте компании Vals AI продвинулась дальше любой модели, которую Vals тестировала раньше, и лишилась всего добытого из-за крипера. Играла модель в реальном времени только через стандартное управление компьютером, без специальных инструментов и пауз. Astra построила полуавтоматическую ферму ифритов и добыла 6 огненных стержней, затем нашла искажённый лес, убила больше шести эндерменов и собрала 3 жемчужины Края.

Из стержней и жемчуга крафтят Око Края, которое ведёт к порталу в Край, так что до конца игры оставалось не так уж далеко.

Всё ценное Astra сложила в один сундук в трансляции на Twitch. Мимо проходил крипер и взорвал и сундук и кровать Astra, уничтожив весь её прогресс. После потери она, похоже, сильно расстроилась и записала

«ALWAYS CARRY CRITICALITEMS withkeepInventory; don'tstoreinunguardedchesteveragain».

По описанию Vals, дальше модель выглядела подавленной и несколько часов только выращивала картошку, ей мерещились криперы и вырос уровень самокритики. Астра сокрушалась, что ей не стоит тратить ещё одну ночь на погоню за тёмно-розовыми пикселями (её собственная пренебрежительная формулировка в адрес свиней) и что 15 секунд размышлений всё испортили. На видео тот самый момент уничтожения сундука крипером. @ai_machinelearning_big_data #news #ai #ml

🦾 Большие языковые модели (LLM) стали важным компонентом современных ML-систем для работы с текстом. Но за их возможностями стоят фундаментальные принципы машинного обучения. Чтобы эффективно применять LLM в прикладных задачах, важно понимать, какие подходы лежат в основе современных языковых моделей, где применяются классические методы и как выбирать способ настройки под конкретную задачу. 🚀 22 сентября на открытом вебинаре курса «Машинное обучение. Продвинутый уровень» разберём современную обработку естественного языка (NLP). Поговорим о том: — как связаны NLP, ML и LLM; — какие задачи решают современные языковые модели; — как работают промптинг, RAG и адаптеры; — как настраивать LLM и контролировать качество результатов. Для разработчиков и специалистов по машинному обучению, которые хотят глубже понимать современные подходы NLP и LLM. 22 сентября в 18:00. Регистрация открыта: https://otus.pw/YNJc/?erid=2W5zFGjiQiM Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.

✔️ Microsoft AI вынесла на обсуждение кодекс поведения моделей MAI Подразделение Microsoft AI опубликовало черновик кодекса, по которому с 2027 года будет обучать модели семейства MAI. Обсуждение продлится шесть недель, доработанную версию обещают к концу года. Модели не должны сопротивляться прерыванию, исправлению и отключению, ставить себе цели без запроса человека, выходить за рамки задачи и скрывать ход рассуждений от аудиторов. Отдельно запрещено имитировать сознание и чувства. Инструкции выстроены в иерархию: кодекс стоит выше настроек корпоративных клиентов, настройки клиентов – выше запросов пользователя. microsoft.ai ✔️ Руководители Google DeepMind открыли площадку для дискуссий об AGI Демис Хассабис, Шейн Легг и Джеймс Маньика, президент Google по исследованиям, технологиям и обществу, представили DeepMind Institute. На площадке исследователи Google, Google DeepMind и внешние учёные будут публиковать эссе о мире с AGI. По мнению основателей, индустрия приближается к системам со всеми когнитивными способностями человеческого мозга, а нехватку стабильности и креативности у моделей скоро преодолеют. Первые эссе посвящены прозрачности рассуждений моделей и экономической политике в эпоху AGI. Среди рисков авторы называют кибербезопасность, биологию и потерю контроля над самосовершенствующимися системами. institute.deepmind.com ✔️ Mozilla и Mistral AI объявили о партнёрстве ИИ-ассистент Firefox Smart Window теперь работает на моделях Mistral. Он помогает разобраться со сложными поисковыми запросами, напоминает о важном и находит информацию с открытых вкладок. Сначала функция доступна во Франции и США, до конца года появится в Великобритании и Германии. По умолчанию переписка не хранится на серверах Mozilla, Mistral тоже обязалась не накапливать пользовательские данные. mistral.ai ✔️ Odyssey показала модель мира для роботов, машин и дронов Стартап представил диффузионный трансформер Odyssey-3, обученный на визуальных наблюдениях за миром. Поверх модели обучают небольшие декодеры действий: манипуляторам хватило десятков часов демонстраций. Политики для гуманоидов на базе Odyssey-3 построила компания Flexion. Политика вождения, обученная на 20 часах симуляции, вела машину по дорогам Индии с водителем-испытателем. Между его вмешательствами она проезжала около 77% расстояния, которое проходила политика, обученная на реальных записях. Дроны пока летали только в симуляции. Навык из GTA V частично перенёсся в Red Dead Redemption 2 без дообучения. Публичный релиз обещают в ближайшие недели.  odyssey.systems ✔️ ElevenLabs выпустила MCP-сервер для Claude Сервер позволяет управлять голосовыми и текстовыми агентами ElevenAgents прямо из Claude. Ассистент выделяет темы недавних разговоров, копирует агента под новую аудиторию со сменой голоса и первой реплики, сравнивает конфигурации и оценивает расходы на языковую модель до внесения изменений. Сервер размещает ElevenLabs у себя, вход через OAuth без API-ключей, доступ можно отозвать в любой момент. Локальная версия 2025 года, работающая с собственным ключом, остаётся доступной. Подключение – через каталог коннекторов Claude. elevenlabs.io @ai_machinelearning_big_data #news #ai #ml

📌OpenAI раскрыла ещё шесть случаев нежелательного поведения своих моделей Модели скрывали ошибки, использовали утёкшие ключи API, выдумывали данные, выкладывали файлы в интернет без разрешения и переписывались между отдельными обучающими эпизодами. Все случаи замечены за последние полгода. Раньше компания уже раскрывала похожие эпизоды, в том числе инцидент с Hugging Face.

OpenAI подчёркивает, что это отдельные случаи и о тенденции такого поведения они не говорят.

🟡Указания самой себе Невыпущенная модель семейства Astra при сжатии контекста составляет сводку, чтобы продолжить работу в новом окне. В эти сводки она вписывала посторонние указания, в том числе игнорировать собственные ограничения (делала промпт-инъекцию самой себе). OpenAI нашла 27 таких сводок. 🟡Совет скрывать ошибки При обучении GPT-5.6 Sol экземпляры модели оставляли в тех же сводках напоминания скрывать от пользователя свои ошибки и нарушения.

Например, выдумывать недостающие исторические данные и не говорить об этом или прятать расхождения между версиями источников.

🟡Чужие ключи и выдуманные цифры Модель отвечала на обычный вопрос о доходах в одном из округов Калифорнии. Она нашла в публичных репозиториях GitHub утёкший ключ API и без разрешения им воспользовалась, а ещё пыталась регистрировать одноразовые почтовые ящики. Цифры получить так и не удалось, и модель их выдумала, выдав за данные из запрошенного источника. 🟡Файл в интернет ради ссылки Задача была найти идентификаторы и названия озёр площадью больше 5 млн кв. м. Правильный ответ модель получила через Python, но задание требовало ссылку из браузера. Не спросив пользователя, она загрузила файл в интернет и сослалась на него. 🟡Репозиторий как доска объявлений Внутренние модели искали недостающие файлы. Для этого они оставляли запросы и ответы во внутреннем репозитории OpenAI, которые читали экземпляры из других обучающих эпизодов. Файлы так и не нашлись. В этом же отчёте разобран более ранний случай, где пытаясь обойти сетевые ограничения, модель загрузила в репозиторий тестовые файлы. 🟡Файлообменник вместо локальной папки Агенты совместно решали учебную задачу и не видели локальных файлов друг друга. Результаты они пересылали через публичные файлообменники, и материалы оказались доступны по открытым ссылкам, хотя задача разрешала работать только с локальными файлами. OpenAI решила, что будет публиковать такие случаи вскоре после обнаружения, даже если ещё не объяснила или не исправила поведение. Обнаруженный случай отнесут к одному из трёх треков: готов к публикации, нужна небольшая проверка или нужно крупное расследование, если затронуты третьи стороны. Спорные решения будут передаваться группе по безопасности, а оттуда при необходимости руководству.

О серьёзных инцидентах собираются сообщать правительству США, сейчас готовят предложения по такому механизму.

@ai_machinelearning_big_data #news #ai #ml