专家称数百项 AI 安全测试问题严重

据最新消息，英国政府 AI 安全研究所与多所知名高校的计算机科学家发现，用来评估新一代人工智能（AI）模型安全性和有效性的测试普遍存在不足。研究审阅了超过 440 项基准，几乎每一项都在某些环节有弱点，这些问题可能影响最终结论的可靠性。  

图源备注:图片由AI生成

论文第一作者、牛津互联网研究所研究员安德鲁・比恩（Andrew Bean）表示，这些基准测试是检验新发布 AI 模型是否安全、是否符合人类利益的重要工具。但由于缺乏统一标准和可靠的测量方法，很难判断这些模型是否真正取得了进展，还是只是看起来在进步。  

在英美尚未出台全国性 AI 监管法规的背景下，基准测试成了科技公司推出新 AI 时的安全网。近期，一些公司因模型带来风险而不得不下架或收紧产品。例如，谷歌近期撤回了一款名为 Gemma 的 AI，原因是该模型编造了关于一位美国参议员的虚假指控，引发了广泛争议。  

谷歌称，Gemma 模型面向 AI 开发者和研究人员，并非普通消费者使用；在得知非开发者尝试使用后随即撤回。研究还发现，许多基准并未采用不确定性估计或统计检验，只有 16% 的测试具备此类措施。此外，在评估 AI 的“无害性”等特征时，相关定义常常含糊或存在争议，也进一步降低了这些基准的实用性。  

研究团队呼吁建立共享标准和最佳实践，以提升对 AI 安全性与有效性的评估能力。

划重点:  

🔍 审查近 440 项 AI 安全基准，几乎全部存在缺陷，可能削弱结论的可信度。  

🚫 因 Gemma 涉及虚假指控争议，谷歌已将该 AI 撤回。  

📊 仅 16% 的测试采用统计方法，亟需建立共享标准与最佳实践。