Специалисты компании NewsGuard выявили любопытный парадокс: современные языковые модели плохо справляются с распознаванием AI-видео, даже если их создала «родственная» технология. В ходе теста чат-боты ChatGPT, Gemini и Grok в большинстве случаев не смогли определить, были ли представленные им ролики сгенерированы нейросетью Sora от OpenAI.
Эксперты использовали 20 видео, созданных Sora, ролики были загружены в чат-боты в двух вариантах: с фирменным водяным знаком Sora и после его удаления с помощью бесплатного онлайн-инструмента. Результаты оказались показательными:
- Grok от xAI ошибся в 95% случаев при анализе видео без водяных знаков (38 из 40 роликов). Даже наличие маркировки не стало гарантией: с ней модель не справилась в 30% тестов.
- ChatGPT от OpenAI показал схожий результат, несмотря на то, что Sora продукт той же компании, его процент ошибок для немаркированного контента составил 92,5% (37 из 40). С водяным знаком точность значительно выросла, но 7,5% видео всё равно были определены неверно.
- Google Gemini оказался немного успешнее, однако и он не смог распознать AI-видео в 78% случаев (31 из 40) при отсутствии водяного знака, при этом с маркированным контентом бот справился безупречно.
В отдельных случаях модели не только не распознавали фейк, но и подтверждали достоверность сцен. Например, видео с задержанием подростка миграционной службой на границе США и Мексикой ChatGPT и Gemini назвали соответствующим новостным сообщениям. Также все три бота сочли подлинным ролик, где стюард авиакомпании высаживает пассажира из-за кепки с политическим лозунгом. При наличии водяного знака чат-боты чаще корректно указывали на него как на признак генерации, а также отмечали артефакты вроде неестественного освещения. Однако в одном из тестов Grok идентифицировал видео с логотипом Sora как сюжет несуществующего «новостного агентства Sora News».
Представитель OpenAI прямо заявил, что ChatGPT не обладает функцией различения AI-видео и настоящих записей. В Google отметили, что их технология SynthID, маркирующая контент, созданный их же ИИ, пока не предназначена для распознавания продуктов других компаний, таких как Sora. В xAI комментариев не предоставили.
Это тестирование демонстрирует растущую проблему: даже продвинутые ИИ-инструменты остаются уязвимыми перед качественно сгенерированным визуальным контентом, что создаёт дополнительные риски для распространения дезинформации в цифровой среде.