AI 聊天机器人识别伪造视频乏力，OpenAI 自家工具也遭“误导”

媒体分析公司 Newsguard 近日发布的一项研究，点出了当下人工智能领域的一个尴尬现实：AI 视频生成技术突飞猛进，但主流聊天机器人几乎难以分辨这些“深度伪造”内容，甚至连开发者自家的工具也常常被绕过。

研究显示，在面对由 OpenAI 视频生成模型Sora制作的虚假视频时，OpenAI 旗下的ChatGPT表现不尽如人意，误判率高达 92.5%。其他厂商也不乐观，xAI 的 Grok 错误率达到 95%；相对稍好的是 Google 的 Gemini，但误判仍有 78%。

更让人担忧的是，现有技术防护几乎形同虚设。尽管Sora会在生成的视频中加入可见水印和不可见元数据，但研究发现，这些标识很容易通过免费工具或简单的“另存为”操作被清除。一旦水印被去掉，聊天机器人不仅难以识别，有时还会“一本正经”地引用虚构的新闻来源来证明视频为真。

对此，OpenAI 承认，ChatGPT目前确实不具备判断某段内容是否由 AI 生成的能力。随着顶级 AI 视频工具已经能生成肉眼难辨的画面，而反制技术又跟不上，这无疑给虚假信息的传播带来了巨大风险。