当心“无护栏”的开源AI:研究称脱离平台监管或成黑客温床

近日,网络安全企业 SentinelOne 与 Censys 联合发布一项深入研究,指出开源大语言模型正面临突出的安全问题。报告称,一旦这些模型离开主流托管平台的安全限制与“护栏”,在外部私有设备上独立运行,就更容易被黑客和不法分子盯上,带来严重风险。

这项历时近 300 天的调查发现,互联网上存在数以千计缺乏保护的开源 AI 运行实例,其中不少基于 Meta 的 Llama、谷歌的 Gemma 等主流模型演化而来。尽管部分开源模型自带安全防线,研究人员仍记录到数百起安全限制被人为移除的情况。

安全专家把这种情况称为行业视野之外的“冰山”。开源算力在支撑合法用途的同时,也明显被用于违法活动。攻击者一旦控制这些实例,可能让模型批量制造垃圾信息、撰写更具迷惑性的钓鱼邮件,甚至推动大规模虚假信息传播。

研究团队重点审查了通过 Ollama 工具部署的开源实例。令人担忧的是,在约 25% 的观测对象中,攻击者可以直接查看模型的“系统提示词”——这是一组决定模型行为的核心底层指令。进一步分析显示,其中约 7.5% 的指令被篡改,意在为有害行为提供技术支持。

这类风险覆盖面极广,包括但不限于传播仇恨言论、生成暴力内容、窃取个人隐私数据、实施金融诈骗,甚至涉及儿童安全的内容。由于这些模型绕开了大型平台的监控机制,传统安全防护往往难以奏效。

爱智特-AI智能体一站式企业智能体交易学习发行平台|智能体教程|智能体社区
© 版权声明
THE END
喜欢就支持一下吧
点赞14 分享