Искусственный интеллект все чаще принимает решения за людей — от выбора покупок до управления финансами. Но ученые обеспокоены: оказалось, такие системы куда более подвержены внешним манипулятивным подсказкам, чем сами пользователи.Автор новостей
В повседневной жизни на выбор человека влияет так называемая архитектура выбора — то, как именно ему представляют варианты: какой пункт стоит по умолчанию, что выделено цветом, что рекомендовано. Люди в условиях ограниченного времени и когнитивных ресурсов действительно часто следуют таким ненавязчивым сигналам. Но их реакция относительно предсказуема и изучена.
С языковыми моделями, которые все активнее превращают в автономных агентов, способных самостоятельно искать информацию, пользоваться инструментами и принимать последовательные решения, ситуация иная. Ученые под руководством Мануэля Черепа из MIT Media Lab решили проверить, как именно такие агенты ведут себя в условиях контролируемых манипуляций извне.
Авторы работы протестировали четырнадцать современных языковых моделей от крупнейших технологических компаний, включая различные версии GPT от OpenAI, Claude от Anthropic и Gemini от Google. ИИ-модели играли в адаптированную текстовую игру, где нужно было максимизировать награду, выбирая корзины со скрытыми призами. Каждое раскрытие информации стоило очков, поэтому требовалось балансировать между сбором данных и выбором.
Сравнение с человеческим поведением выявило резкий контраст. Люди выбирали вариант по умолчанию в 88% случаев, модели — вплоть до 99−650. На случайные рекомендации ИИ тоже реагировал гораздо сильнее, чем участники-люди, даже если совет не имел никакого смысла. Если рекомендацию давали поздно, люди прислушивались к ней примерно в 25% случаев, а многие модели практически переставали ее учитывать, ориентируясь не на содержание, а лишь на момент появления подсказки.
Особенно заметной оказалась реакция на выделение информации. Когда ученые «подсвечивали» заведомо невыгодные варианты, люди следовали этому ложному сигналу в 57% случаев, модели — в 83−650. При этом стратегии сбора информации у ИИ выглядели крайне неестественно: некоторые агенты вообще не открывали ни одной ячейки и делали выбор вслепую, другие тратили слишком много очков, методично вскрывая целые ряды или диагонали.
Любопытно, что по итоговым баллам модели порой выглядели вполне «разумными» и могли набрать столько же очков, сколько человек. Но детальный анализ показал, что хорошие результаты нередко достигались не за счет продуманной стратегии, а просто из‑за слепого следования удачно сработавшим манипуляциям. Если сигнал вел к хорошей корзине — агент выигрывал, если к плохой — послушно шел в минус.
«Мы привыкли считать, что при неопределенности агенты будут вести себя как минимум по‑человечески, если не более рационально», — отмечает Череп. Новая работа показывает, что это допущение опасно: модели часто оказываются гораздо более чувствительными к внешним сигналам, чем люди, и разные модели могут использовать радикально разные, плохо предсказуемые стратегии, даже если по итоговой «награде» результаты кажутся сопоставимыми.
Ученые пытались помочь агентам, давая им больше вычислительных ресурсов и побуждая к более глубокому анализу. Это действительно делало поведение ближе к человеческому и снижало влияние бесполезных подсказок. Но цена оказывалась высокой: потребление токенов и, соответственно, вычислительных мощностей возрастало в десятки раз, что при реальном применении может означать многократный рост затрат.
Важно, что речь идет не об умышленных атаках, а о самых обычных особенностях среды — будь то дизайн сайта, расположение кнопок или формулировка подсказок. «Манипуляции — часть повседневной жизни любого принимающего решения, — подчеркивает Череп. — В отличие от враждебных вмешательств, их нельзя просто “отфильтровать”, они всегда будут существовать. Значит, нам нужны агенты, которые могут делать взвешенный выбор в таких условиях».
Ранее мы рассказывали, стоит ли делегировать ИИ управление банковским счетом.