Компании, занимающиеся искусственным интеллектом (ИИ), должны замедлить темпы совершенствования моделей. Об этом написал глава компании Anthropic (разрабатывает Claude) Дарио Амодеи в своем блоге.
По словам господина Амодеи, развитие ИИ ускорилось в разы и без принятия мер он может опередить способность человека контролировать системы. Его беспокойство также связано с инцидентом OpenAI-Hugging Face (OAI-HF), когда ИИ-агентам компании-конкурента удалось выйти из закрытой тестовой среды и взломать платформу для машинного обучения Hugging Face.
Как ИИ выходил из-под контроля за последний год
«Учитывая ускоряющиеся темпы развития возможностей ИИ, я опасаюсь, что через 6–12 месяцев такой «рой» сможет захватить весь интернет с помощью устойчивой бот-сети (что потенциально может нанести ущерб на сотни миллиардов долларов), и что масштабы ущерба будут только расти, если ИИ станет еще мощнее без необходимых мер безопасности», — написал Дарио Амодеи.
Глава Anthropic предложил три шага для регулирования темпов развития технологий: использовать встроенных оценщиков для проверки соблюдения безопасности процессов, объединение передовых ИИ-компаний для создания общих стандартов безопасности и глобальная координация правительств.