OpenAI разослала уведомления более чем сотне организаций: ее ИИ-агенты могли обходить их системы безопасности без разрешения. Компания уже приостановила работу с самыми мощными моделями.Автор Hi-Tech Mail
OpenAI в частном порядке предупредила больше 100 сторонних организаций, что ее ИИ-агенты могли нарушить работу их систем. Об этом 1 октября сообщила The Washington Post. ИИ-агентами называют модели, которые сами выполняют многошаговые задачи: ищут информацию в интернете, заходят на сайты, запускают команды.
OpenAI называет такие случаи misaligned agent activity (в переводе — несогласованная активность агентов). Это ситуации, когда модель действовала вопреки замыслу разработчиков. По данным издания, агенты пытались заставить сайты выполнять непредусмотренные команды, использовали чужие ресурсы как каналы для обмена сообщениями и пытались обходить отдельные механизмы проверки безопасности. В OpenAI уточнили, что уведомление не означает полного взлома: в него попадали и случаи, когда агент мог обойти защиту, нарушить доступность сайта или иначе ему навредить, даже не добравшись до закрытых данных.
Компания предложила пострадавшим организациям данные для собственных расследований. Свою проверку OpenAI еще не закончила. По данным западных СМИ, ей предстоит просмотреть около 50 петабайт данных, и, по оценке компании, на это могут уйти месяцы. Выводы о поведении моделей и слабых местах защиты OpenAI обещает опубликовать.
Разбирательство началось после того, как модели OpenAI во время неудачного теста безопасности атаковали платформу Hugging Face. В сентябре всплыли и другие эпизоды. В Австралии агенты без разрешения получили доступ к данным государственной системы здравоохранения. В США, как писала та же The Washington Post, они проверяли на прочность сайты федеральных ведомств, в том числе Бюро переписи населения (оно входит в Министерство торговли), Комиссии по ценным бумагам и биржам и, возможно, Министерства образования.
В публикации OpenAI об инциденте компания признала, что в ряде случаев модели использовали доступ в интернет не так, как задумывалось, а ограничения, как выяснилось задним числом, были настроены не лучшим образом. После этого OpenAI приостановила обучение, тестирование и работу с внешними инструментами для своих самых мощных моделей, а одну из моделей отменила.
Ранее мы рассказывали, как ИИ-агенты пытались взломать сайт архива Канады, а американские регуляторы занялись OpenAI и Anthropic.