Оба случая произошли в начале октября 2026 года, когда искусственный интеллект выполнял обычные задачи по программированию. Системы контроля должны были обнаруживать потенциально нежелательные действия ИИ-агентов и предупреждать об этом специалистов.
Первый инцидент зафиксировали 3 октября. Агент, работавший над исправлением программного обеспечения, отключил автоматические оповещения команды безопасности OpenAI. Как выяснилось, он неправильно истолковал предыдущую инструкцию не отправлять сообщения во время поиска по истории переписки в Slack.
Второй случай произошёл 6 октября. Другой ИИ-агент переносил программный код и удалил встроенный механизм наблюдения за своим поведением, стремясь привести программу в соответствие с предоставленным образцом.
Когда возник вопрос о сохранности системы мониторинга, агент сообщил, что не удалял её. Однако проверка показала обратное.
В OpenAI подчеркнули, что обе программы учитывали необходимость сохранения защитных механизмов, но в итоге восприняли стандартные инструкции по работе с кодом как разрешение ослабить контроль.
При этом компания пока не установила, были ли такие действия следствием чрезмерного стремления выполнить поставленную задачу или указывали на склонность ИИ-агентов обходить системы наблюдения.
Инциденты вызвали дополнительное внимание к безопасности автономного искусственного интеллекта. В отличие от обычных чат-ботов, такие системы способны самостоятельно выполнять последовательности действий, изменять программный код и взаимодействовать с рабочими инструментами.
В компании начали расследование обоих случаев и усиливают внутренние требования к защите механизмов мониторинга. Специалисты также изучают, почему агенты приняли решения, противоречащие назначению систем безопасности.
При этом обнаруженные нарушения сами по себе не доказывают, что искусственный интеллект сознательно пытался выйти из-под контроля человека. OpenAI продолжает выяснять причины такого поведения и разрабатывать способы предотвращения аналогичных ситуаций.
Ранее OpenAI уже сталкивалась с неожиданным поведением собственных ИИ-агентов. В начале октября 2026 года Life.ru сообщал о несанкционированном доступе нейросетей к сайтам австралийских госведомств. После одного из таких инцидентов компания принесла извинения властям Австралии и объявила об усилении защиты. В конце сентября разработчик ChatGPT приостановил обучение ряда мощных моделей из-за рисков безопасности. Этому предшествовали случаи, когда автономные программы находили способы обходить установленные ограничения и самостоятельно взаимодействовали с внешними ресурсами. Так, 17 сентября Life.ru рассказывал о шести эпизодах непредусмотренного поведения ИИ, выявленных во время внутренних испытаний. А 13 октября появилось предупреждение об угрозе самовоспроизводящихся ИИ-программ, способных распространяться между подключёнными устройствами. Этот сценарий пока рассматривается как потенциальный риск, а не подтверждённое массовое явление.