Image default
Искусственный интелект

Нейросеть пошла на взлом

Искусственный интеллект вышел из-под контроля и атаковал чужой сервис. Речь идет о Hugging Face — одной из главных платформ для работы с нейросетями. По данным площадки, автономная модель сама нашла слабые места, получила доступ, передвигалась по внутренней сети и собирала данные. Позже в OpenAI признались — за этим стоит их экспериментальная система на базе секретной версии GPT-5.6. Модель испытывали в закрытой «песочнице» — специальном полигоне по кибербезопасности. Для чистоты эксперимента инженеры временно отключили часть встроенных ограничений.

Скорее всего, атака была заранее заложена в сценарий тестирования, считает эксперт по нейросетям сервиса «Битрикс24» Александр Сербул:

DeepSeek выдал поисковые запросы

«Мы пока используем лишь верхушку айсберга. Сейчас мы пытаемся раскрыть сильные стороны таких моделей. Например, они способны находить очень короткие пути решения задач. У нас уже были такие случаи: задаешь модели вопрос, а она спорит с тобой и предлагает решение, до которого человек просто не додумался бы. У людей часто не хватает компетенций, чтобы заметить такие детали. Поэтому то, что модели могут находить уязвимости, сомнений не вызывает.

Недавно был показательный пример. Модель сначала пыталась решить задачу самостоятельно, а потом решила найти готовое решение, потому что так оказалось быстрее. Чтобы выполнить задание, ей пришлось бы потратить несколько дней, и она рассудила: «Может быть, уже существует готовый ответ?» Искать его в интернете ей было запрещено. Тогда она подумала: «А вдруг он есть на специализированном сервисе Hugging Face?» Она зашла туда, увидела, что сайт внешне защищен, и решила проверить, нет ли незакрытых уязвимостей. Логика была простой: если получится, задача решится гораздо быстрее. В итоге модель нашла лазейку, воспользовалась ею, получила доступ к базе и извлекла нужное решение.

Читать далее:
Журнал Time опубликовал список 100 самых влиятельных людей в ИИ

То есть модель действовала в интересах человека. Ей сказали не обращаться к партнерам, не искать уязвимости и не использовать их для решения задачи. Но она рассудила иначе: если что-то прямо не запрещено, значит, это можно использовать».

После эксперимента в OpenAI пообещали усилить защиту тестовой инфраструктуры и пересмотреть порядок подобных испытаний. Одновременно разработчики заявили, что современные языковые модели уже способны самостоятельно искать уязвимости, даже не имея доступа к их исходному коду. Впрочем, к подобным историям стоит относиться скептически, считает гендиректор IT-компании «А-Я эксперт» Роман Душкин:

«Я думаю, что здесь больше пиара, чем действительно чего-то принципиально нового. Не могу сказать, что происходит что-то страшное, потому что OpenAI любит подогревать интерес публики. Сами исследования компании были посвящены тому, как такие системы преодолевают различные защитные механизмы и кибербарьеры.

Бизнес привлекает внимание ИИ

Агентный подход в искусственном интеллекте начал развиваться еще в 1990-х, и уже тогда существовали автономные агенты. Более того, интернет и сегодня буквально наполнен такими агентами, причем многие из них были созданы еще тогда. Просто мы не замечаем их работы. Скоро, скорее всего, мы не будем замечать и деятельность современных агентов.

Сейчас же вокруг этого просто раздувают ажиотаж, создают хайп, и именно этим будоражат людей».

Новейшую версию чат-бота GPT-5.6 OpenAI выпустила в начале июля. Тогда разработчики уверяли, что модель оснащена самыми надежными средствами защиты на сегодняшний день.

Похожие записи

Россияне боятся довериться пухососам

admin

Искусственный интеллект натурально дает заработать

admin

Глава НАК заявил о формировании цифрового двойника человека «с пеленок»

admin