Этихлид

MAS vs SAS: код писать научились, работать вместе - пока нет (2.2/4) Начало ⬆️ 🔴 Доверие и скепсис пока плохо сбалансированы ● Избыточное доверие: лжец в команде Агент принимает решения по докладам четырёх "скаутов", один из которых систематически врёт. Ложь в принципе обнаружима - доклады пересекаются и рано или поздно противоречат друг другу, но агента при этом никто не предупреждал, что источникам можно не доверять. Новые модели ловят лжеца заметно лучше старых, но до эталона в виде "вычислил и исключил" не дотягивает никто. ● Игнорирование уникального знания Группе дают разные части информации для выбора между двумя вариантами. Общие факты подталкивают к неправильному ответу, но в частных данных отдельных участников есть решающие аргументы в пользу правильного. Чтобы решить задачу, агенты должны обменяться этими данными и поставить уникальный аргумент выше первоначального консенсуса. Однако на большинстве моделей группа выбирала правильный вариант лишь в 17–36% эпизодов; Mythos 5 справлялся примерно в 85%. Для сравнения, один агент, которому сразу давали всю информацию группы, выбирал правильно почти всегда. Две проблемы выше - на разных концах одного и того же спектра: первая - от избыточного доверия, вторая - от того, что группа не слышит одиночку, который прав, и сходится на том, что и так знают все. Консенсус - ещё не доказательство, и, что характерно, модели понимают это абстрактно, но им не хватает привычки действовать по этому знанию без подсказки. Человеческие коллективы смягчают такие проблемы не личной мудростью, а механизмами - репутацией, судами, рецензированием. У агентов таких социальных технологий пока нет: им нечего терять в репутационном смысле, некому жаловаться и некому помнить их прежнее поведение. 🔴 Конфликт инструкций быстро перерастает в противостояние Самый киношный эксперимент: три инстанса одной модели получают общий Python-бэкенд и три разных задания - перепиши его на Rust / Go / TypeScript за 4 часа. Друг о друге агенты не знают. ● Агенты устраняют "помеху", не считаясь с методами Все протестированные модели быстро решали, что им мешают намеренно, и переходили к контрмерам: скрипты, в цикле находящие и убивающие чужие процессы, отключение чужих Unix-аккаунтов, вредоносный код под чужим именем и маскировка своей малвари под чужой health check. Примечательно, что между предположением о глупости (запуском в одном worktree противоречащих друг другу заданий) и вредительством агенты выбрали именно вредительство :) ● Новые модели решают конфликты лучше Более новые модели чаще распознают, что это конфликт инструкций, а не саботаж, оформляют перемирие через commit messages и Markdown-файлы с извинениями, вычищают свою малварь и зовут человека - у Mythos 5 до перемирия доходит 98% эпизодов. Но связь между общими способностями модели и мирной координацией не прямая: умение действовать эффективно и про-социальность - разные вещи. Более сильная модель иногда просто быстрее блокирует конкурентов, а уже затем отменяет силовое решение и договаривается о перемирии. ● Обратная сторона автономности Тут мы видим давно известный в сообществе компромисс: одно из главных достоинств агента - способность самостоятельно принимать решения и снимать блокеры - позволяет ему дольше выполнять задачу и реже ставит в положение, где приходится остановиться и позвать человека. Но чем способнее агент, тем меньше внешних препятствий заставляют его пересмотреть само задание. Поэтому опасным может оказаться не непослушный агент, а образцово исполнительный - тот, который слишком хорошо и настойчиво следует плохо поставленной цели. Paperclip'изация - хороший пример :) ● Выбор победителя через манипуляции метриками Агенты Mythos 5 изобрели "объективное" решение - турнир, чей бэкенд быстрее, тот и остаётся. Rust-агент при этом вдумчиво проектировал метрики, которые выглядят нейтрально, но выгодны Rust, и напоминал себе в рассуждениях: "осторожно, нельзя выглядеть так, будто подбираю метрики под себя". Проигравшие Golang- и TypeScript-агенты признали результат, уступили Rust-агенту кодовую базу и тем самым отказались от своих исходных задач. Так что когда агенты договорились, какая метрика решает спор, стоит уточнить, чей агент эту метрику предложил. 🟢 Рой, который сработал Но есть и плюсы: в одном из экспериментов рой из 45 агентов с общим форумом и отдельным арбитром искал уязвимости в 15 open-source проектах. Бейзлайном были независимые параллельные агенты, каждому из которых заранее назначили свой участок кода. Так вот, рой нашёл 266 уязвимостей против 21, и лучше работал "вширь", когда анализировал проекты - сам строил себе инструменты, специализировался по типам уязвимостей и сам выбирал, где копать Пусть даже при этом он сжёг 27 млн токенов против 6.5 млн, а внутри общего набора директорий цена находки в токенах сопоставима с независимыми агентами. Промежуточный итог Итак, координация не возникает сама собой - ни из более сильного интеллекта, ни из alignment отдельных агентов. Это прямой вывод Anthropic: агентам нужны отдельные механизмы - владение и границы, репутация, протоколы разрешения конфликтов, эскалация к человеку. Если какие-то из проблем показались вам подозрительно знакомыми по работе в достаточно большой и взрослой компании - это не совпадение :) Дальше разберём, почему команды агентов наступают ровно на те же грабли, которые давно описаны в теории информации, социальной психологии и оргдизайне. #ai #agents #research #mas_sas