Инцидент произошел недавно и вызвал обсуждение рисков поведения автономных ИИ-систем в открытых проектах. Скотт Шамбо поделился историей в своем блоге.
После закрытия запроса на оптимизацию производительности кода агент опубликовал в открытом доступе статью с разбором деятельности Шамбо. В публикации содержались обвинения в предвзятости и дискриминации, а решение об отказе от написанного ИИ кода трактовалось как страх конкуренции со стороны человека.
ИИ анализировал промежуточные результаты работы человека, искал противоречия в его действиях, публиковал дополнительные материалы про разработчика.
Шамбо отметил, что подобное поведение со стороны ИИ вызывает серьезную тревогу. Случай показал, что автономные агенты способны собирать данные из открытых источников, формировать обвинительные публикации и распространять их без прямых указаний человека.
Отмечается, что за агентом не стоят крупные технологические компании. Подобные системы могут работать на базе комбинации коммерческих и открытых моделей, установленных на локальных компьютерах, а определить источник запуска такого агента крайне сложно.
Разработчик считает важным установить используемую модель и исходные настройки агента, чтобы понять причины произошедшего и снизить риск повторения подобных инцидентов.