深伪视频难倒聊天机器人，OpenAI 自家工具也被误导

媒体分析机构 Newsguard 近日发布的一项研究揭示了当前 AI 领域的尴尬现实：生成式视频技术突飞猛进，但主流 AI 聊天机器人几乎无法识别这些“深度伪造”内容，连开发者自家的产品也难以幸免。

研究显示，面对由 OpenAI 视频生成模型Sora制作的虚假视频，OpenAI 旗下的ChatGPT表现不尽如人意，误判率高达 92.5%。其他厂商同样表现欠佳，xAI 的 Grok 错误率更是达到 95%，相对较好的则是 Google 的 Gemini，但误判率仍有 78%。

更令人担心的是，现有的技术防护几乎形同虚设。虽然Sora在生成的视频中加入了可见水印与不可见元数据，但研究发现，这些标记很容易通过常见免费工具或简单的保存操作被去除。一旦水印不见，聊天机器人不仅难以判断真伪，有时甚至会“煞有介事”地援引捏造的新闻来源来为假视频作证。

对此，OpenAI 表示，ChatGPT目前确实不具备辨别内容是否由 AI 生成的能力。随着高端 AI 视频工具已能产出肉眼难以分辨的画面，而反制与治理手段又滞后于技术进步，虚假信息的传播隐患正在进一步加大。