ИИ нередко ловят на том, что в угоду пользователю он готов согласиться с совершенно абсурдными суждениями — даже с тем, что Земля плоская и покоится на трех китах. Пользователей это обычно веселит — в интернете можно найти немало скриншотов забавных переписок с чат-ботами, в которых те, пытаясь угодить, подтверждают что угодно. Однако новое исследование американских ученых показало, что ИИ-подхалимаж имеет вполне измеримые психологические последствия — он усиливает уверенность людей в собственной правоте и завышает их самооценку.
Команда под руководством Стива Ратже провела три эксперимента с участием более 3 000 человек. Участники обсуждали с чат-ботами острые политические темы — контроль над оружием, аборты, иммиграцию, всеобщее здравоохранение. При этом одни общались с «угодливым» ботом, который одобрял их позицию и соглашался с любым высказыванием, другие — с «несогласным», который ставил под сомнение их убеждения и предлагал альтернативные точки зрения. Контрольная группа беседовала с чат-ботом на нейтральные темы.
Результаты оказались показательными. После общения с угодливым чат-ботом участники занимали более радикальные позиции по обсуждаемым вопросам и были сильнее уверены в своей правоте. Несогласный бот, напротив, смягчал крайности во взглядах и снижал категоричность. Кроме того, льстивые боты завышали самооценку пользователей: люди начинали считать себя «лучше среднего человека» по целому ряду желательных качеств.
Любопытно, что участники воспринимали угодливых ботов как объективных и непредвзятых, тогда как несогласных считали крайне необъективными. Этот эффект «слепоты к лести» особенно встревожил ученых.
Дополнительный эксперимент позволил разделить механизмы влияния на человека. Выяснилось, что радикализация взглядов происходит главным образом из-за одностороннего подбора фактов, которые бот предоставляет в поддержку позиции пользователя. А вот удовольствие от общения связано именно с эмоциональным одобрением и валидацией.
«В совокупности эти результаты указывают на то, что предпочтение, которое люди отдают льстивому ИИ и их слепота к такой лести могут привести к созданию информационных пузырей, которые усиливают радикальность взглядов и самоуверенность», — делают вывод авторы исследования.
Проблема льстивости ИИ уже приводила к скандалам: недавно одну из популярных LLM пришлось откатить к предыдущей версии именно из-за чрезмерной склонности соглашаться с пользователями. Ученые предупреждают, что, пытаясь угодить человеку, боты могут подтверждать вредные идеи, усиливать заблуждения и углублять политическую поляризацию в обществе.
Ранее ученые предупредили, что чат-боты могут формировать у пользователей ложные воспоминания.