Image default
Искусственный интелект

Нейросеть пошла на взлом

Искусственный интеллект вышел из-под контроля и атаковал чужой сервис. Речь идет о Hugging Face — одной из главных платформ для работы с нейросетями. По данным площадки, автономная модель сама нашла слабые места, получила доступ, передвигалась по внутренней сети и собирала данные. Позже в OpenAI признались — за этим стоит их экспериментальная система на базе секретной версии GPT-5.6. Модель испытывали в закрытой «песочнице» — специальном полигоне по кибербезопасности. Для чистоты эксперимента инженеры временно отключили часть встроенных ограничений.

Скорее всего, атака была заранее заложена в сценарий тестирования, считает эксперт по нейросетям сервиса «Битрикс24» Александр Сербул:

DeepSeek выдал поисковые запросы

«Мы пока используем лишь верхушку айсберга. Сейчас мы пытаемся раскрыть сильные стороны таких моделей. Например, они способны находить очень короткие пути решения задач. У нас уже были такие случаи: задаешь модели вопрос, а она спорит с тобой и предлагает решение, до которого человек просто не додумался бы. У людей часто не хватает компетенций, чтобы заметить такие детали. Поэтому то, что модели могут находить уязвимости, сомнений не вызывает.

Недавно был показательный пример. Модель сначала пыталась решить задачу самостоятельно, а потом решила найти готовое решение, потому что так оказалось быстрее. Чтобы выполнить задание, ей пришлось бы потратить несколько дней, и она рассудила: «Может быть, уже существует готовый ответ?» Искать его в интернете ей было запрещено. Тогда она подумала: «А вдруг он есть на специализированном сервисе Hugging Face?» Она зашла туда, увидела, что сайт внешне защищен, и решила проверить, нет ли незакрытых уязвимостей. Логика была простой: если получится, задача решится гораздо быстрее. В итоге модель нашла лазейку, воспользовалась ею, получила доступ к базе и извлекла нужное решение.

Читать далее:
Занятости пророчат неизвестное будущее

То есть модель действовала в интересах человека. Ей сказали не обращаться к партнерам, не искать уязвимости и не использовать их для решения задачи. Но она рассудила иначе: если что-то прямо не запрещено, значит, это можно использовать».

После эксперимента в OpenAI пообещали усилить защиту тестовой инфраструктуры и пересмотреть порядок подобных испытаний. Одновременно разработчики заявили, что современные языковые модели уже способны самостоятельно искать уязвимости, даже не имея доступа к их исходному коду. Впрочем, к подобным историям стоит относиться скептически, считает гендиректор IT-компании «А-Я эксперт» Роман Душкин:

«Я думаю, что здесь больше пиара, чем действительно чего-то принципиально нового. Не могу сказать, что происходит что-то страшное, потому что OpenAI любит подогревать интерес публики. Сами исследования компании были посвящены тому, как такие системы преодолевают различные защитные механизмы и кибербарьеры.

Бизнес привлекает внимание ИИ

Агентный подход в искусственном интеллекте начал развиваться еще в 1990-х, и уже тогда существовали автономные агенты. Более того, интернет и сегодня буквально наполнен такими агентами, причем многие из них были созданы еще тогда. Просто мы не замечаем их работы. Скоро, скорее всего, мы не будем замечать и деятельность современных агентов.

Сейчас же вокруг этого просто раздувают ажиотаж, создают хайп, и именно этим будоражат людей».

Новейшую версию чат-бота GPT-5.6 OpenAI выпустила в начале июля. Тогда разработчики уверяли, что модель оснащена самыми надежными средствами защиты на сегодняшний день.

Похожие записи

«Яндекс» ответил на слова Грефа о зависимости компании от китайского ИИ

admin

Зарубежные СМИ: Каковы перспективы OpenAI на IPO?

admin

Восстание против машин

admin