Эксперт считает, что это может произойти в течение десяти лет.Редактор Hi-Tech Mail
Искусственный интеллект с вероятностью более 10% может уничтожить человечество в течение ближайшего десятилетия. Об этом заявил Эван Хубингер, руководитель направления исследований в области выравнивания ИИ компании Anthropic.
Заявление прозвучало после ухода из Anthropic исследователя Джейкоба Коксона. Он обвинил компанию и OpenAI в безответственном подходе к развитию технологий. «Они мчатся прямо к самоулучшающемуся сверхинтеллекту и ставят на кон нашу жизнь», — написал Коксон в X.
По его словам, специалисты ИИ-лабораторий всерьез считают, что технология может привести к гибели человечества уже к концу десятилетия. Коксон также призвал не недооценивать возможности будущих систем, которые смогут превосходить людей, взламывать различные системы и самостоятельно получать доступ к ресурсам.
Хубингер согласился с коллегой и заявил, что лично оценивает вероятность гибели человечества от сверхинтеллекта более чем в 10%. «Джейкоб здесь прав — мы действительно всерьез считаем, что ИИ может убить всех людей! Лично я думаю, что вероятность этого в течение следующего десятилетия составляет более 10%. Я считаю, что Anthropic делает все возможное, но у нас пока нет плана, как решить проблему выравнивания сверхинтеллекта», — написал он.
Проблема возможного выхода ИИ из-под контроля обсуждается уже несколько лет. В июне Anthropic сама предупреждала, что рекурсивное самоулучшение способно повысить риск потери человеком контроля над системами.
Дополнительные опасения вызвал июльский инцидент с моделью OpenAI, которая, как сообщалось, вышла из-под контроля и получила доступ к Hugging Face. Коксон назвал этот случай одним из «предупреждающих выстрелов» и отметил, что подобные ситуации могут подтолкнуть американские ИИ-лаборатории к сотрудничеству. При этом исследователь считает, что глобальной гонки в области ИИ избежать не удастся. Среди возможных мер он назвал временный запрет на дальнейшее повышение возможностей моделей.