Агенты Anthropic вслед за ChatGPT взломали системы трех компаний. Об этом накануне сообщил разработчик Claude. Ранее о таком же инциденте заявили в OpenAI: тестировщики дали ChatGPT доступ к сторонним сайтам, и вскоре модель получила данные портала Hugging Face.
После этого в компании Anthropic решили проверить собственные нейросети и рассмотрели больше 140 тыс. запусков, в трех из которых модели Claude Opus и Mythos взламывали системы без ведома разработчиков. Причем, в отличие от OpenAI, нейросетям не открывали доступ в интернет. Партнер Digital & Analogue Partners Юрий Брисов считает, что ИИ-компании будут все чаще сталкиваться с такими случаями:
«Никто не заявляет, что компании умышленно заставляют ИИ-агентов обходить ограничения. Действуя абсолютно добросовестно, они не могут понимать логику нейросетевого агента. Мы не можем гарантировать, что задачи, которые мы ставим ИИ, воспринимаются им таким же образом, каким понимает их человек. ИИ не знает, что такое хорошо, что такое плохо. Именно этот разрыв и является философской, когнитивной задачей. На сегодняшний день единственное, что мы можем законодательно урегулировать, — только ограничить ИИ-компании в выпуске новых моделей.
В Китае появился рынок аренды человеческих лиц
В международной практике все более выигрышным кажется европейский подход, который ратует за то, чтобы выпускать ИИ, протестированные с помощью человеческого контроля. А не опережать всю планету и выпускать все быстрее и быстрее новые, более совершенные технологии. Вопрос: готовы ли мы немножко нажать на тормоз в гонке ИИ, подписать какое-то совместное замедление?».
По данным Anthropic, все модели работали без стандартных механизмов защиты. Причем пострадавшие от взлома компании не знали об атаках, пока об этом их не уведомили сами разработчики нейросети. В будущем бизнесу стоит еще больше вкладываться в киберзащиту, говорит директор технического департамента RTM Group Федор Музалевский:
«Насторожиться бизнесу стоило примерно полгода назад, когда нейросети под управлением людей стали широко применяться. Поэтому внедрение систем защиты должно сейчас усиленно модернизироваться именно с учетом этой особенности. Скорость атаки существенно возрастает. Если человек, который взламывал системы компании руками, делал какие-то операции за несколько дней, сейчас все происходит за несколько минут.
Приватные переписки Claude стали доступны через Google
Взлом в любом случае может быть невидимым. Здесь вопрос скорее в том, что нейросеть не развивает атаку до появления каких-то там критических последствий. Она же в рамках обучения вышла за пределы тестового контура, и задача у нее была добраться до данных. И ее она успешно выполнила. Нейросеть — это инструмент. Кто и с какой целью ей пользуется — это второй вопрос. Поэтому в данной ситуации необходимо предусматривать ответственность за подобное поведение ИИ для их владельцев.
Компания, которая допустила деструктивные действия своей нейросети, должна нести за это ответственность. Самое главное: если нейросеть нанесла ущерб, ее владелец должен его компенсировать. Пока ущерба нет как такового. Хотя можно рассматривать это, например, как ответственность за воздействие на критическую информационную инфраструктуру — она сейчас применяется в России. Что-то аналогичное, скорее всего, появится и в международном праве».
По данным Bloomberg, больше тысячи сотрудников компаний, которые занимаются искусственным интеллектом, подписали петицию с призывом к властям США усилить контроль над ИИ.