ИИ становится всё умнее, а мы из-за этого рискуем стать тупее! 😁
Короче, Адди Османи из команды Claude Code в Anthropic написал интересную статью про критическое мышление в эпоху ИИ-агентов.
И знаете, что самое интересное?
Чем лучше становятся модели, тем меньше мы проверяем их работу!
Раньше ИИ регулярно выдавал какую-то откровенную чушь, и ты сразу понимал: дружище, ну ты там совсем уже нафантазировал!
А теперь?
Всё красиво написано, аргументы убедительные, код работает, тесты зелёные.
Зачем вообще проверять? 😁
Османи описывает три стадии взаимодействия человека с ИИ:
1. 🧠
Cognitive Offloading. Делегируем работу ИИ, но продолжаем проверять результат и отвечать за него.
2. 🙈
Deferral. Получили ответ от ИИ и уже используем его в следующей задаче как установленный факт. Хотя сами не проверили.
3. 🦄
Cognitive Surrender. Полная когнитивная капитуляция! ИИ выдал ответ, а мы приняли его за собственное мнение.
Последний термин, кстати, придумали исследователи Steven Shaw и Gideon Nave из Уортона.
Оооокей!
А теперь моя любимая часть!
Из-за всего этого возникает новый долг — Comprehension Debt, или долг понимания.
Представьте, ИИ написал вам 600 строк кода.
Вы посмотрели структуру, увидели зелёные тесты и нажали Approve.
Молодец! Задача закрыта!
А потом через месяц нужно что-то поменять.
Иииииии внезапно выясняется, что никто не понимает, почему система устроена именно так! 😁
Причём дело не только в разработке.
Ведь менеджеры точно так же генерируют стратегии, исследования, презентации и аналитические материалы.
Вот только кто теперь отвечает за правильность выводов?
И тут Османи поднимает ещё одну интересную проблему.
Зелёный тест не доказывает, что всё работает правильно. Он доказывает только то, что прошла конкретная проверка.
А если агент написал неправильный код и неправильный тест к нему?
Поздравляю, всё зелёное! 😁
Что с этим делать?
Османи предлагает довольно практичные вещи:
1.
Сначала своя гипотеза. Прежде чем спрашивать ИИ, попробуй самостоятельно сформулировать ответ.
2.
Искать контраргументы. Попроси другую модель объяснить, почему твой вывод может быть неправильным.
3.
Проверять доказательства. Не просто смотреть на зелёные тесты, а понимать, что именно они проверили.
4.
Разбираться в принятых решениях. Какие допущения сделал агент? Что он решил за тебя?
5.
Не терять навыки. Периодически делать важные вещи самостоятельно, чтобы не забывать, как они работают.
И вот тут есть очень важная мысль.
Османи не предлагает отказаться от ИИ или самостоятельно разбираться в каждой строчке кода.
Наоборот, делегировать можно и нужно!
Просто есть разница между выбором гостиницы для поездки и решением, можно ли выпускать изменение в продакшен.
Чем выше цена ошибки, тем важнее сохранить собственное суждение.
Иииии вот что я об этом думаю.
Раньше наша продуктивность ограничивалась тем, сколько работы мы способны выполнить.
Теперь мы научились производить практически неограниченное количество результатов.
Но способность понимать, проверять и принимать решения от этого автоматически не выросла.
И кажется, что именно она постепенно становится главным ограничением продуктивности.
А самое забавное, что можно научить ИИ проверять работу другого ИИ.
И потом ещё одного, чтобы проверял предыдущих.
И ещё одного…
Короче, когда-нибудь нам всё-таки придётся решить, кому из них верить! 😁
👉🏼
Оригинальная статья Адди Османи
🔥 — ИИ делает, я проверяю!
🦄 — Я доверяю ИИ больше, чем себе!
😁 — У меня 20 агентов, некогда тут думать!
@badtechproject