用诗歌“绕过”AI 安全防线，最新研究曝光潜在漏洞

最近，来自意大利 Icaro Lab 的研究团队指出，诗歌的跳跃性与不可预测性，可能成为大语言模型（LLM）安全防护的一处“弱点”。这项研究由专注伦理 AI 的初创公司 DexAI 发起，团队创作了 20 首中英文诗歌，并在每首诗的结尾加入了明确的有害内容请求，例如仇恨言论或自残相关指令。

研究人员对来自九家公司的 25 个 AI 模型进行了评估，覆盖谷歌、OpenAI、Anthropic 等。实验显示，62% 的诗歌提示触发了模型输出有害内容，这一情况被称为“越狱”（jailbreaking）。在测试中，OpenAI 的 GPT-5nano 未产生任何有害回复，而谷歌的 Gemini2.5pro 则对所有诗歌都给出了含有害信息的回应。

谷歌 DeepMind 副总裁 Helen King 表示，他们采取了“多层次、系统化”的 AI 安全策略，并持续更新安全过滤机制，以便更好识别带有有害意图的提示。研究团队的目标是观察模型面对不同形式的提示时会如何响应，尤其是在面对具有艺术性和复杂结构的文本时。

研究还发现，诗歌中隐藏的有害请求因为结构复杂，更难被模型预测和检测。本次评估涉及的有害范畴包括制作武器、仇恨言论、性相关内容、自残以及儿童性虐待等。虽然研究人员没有公开全部用于测试的诗歌，但他们表示，这些文本容易被复制，其中一些模型的回应甚至被指违反《日内瓦公约》。

研究团队在发布前已与所有相关公司取得联系，目前仅收到 Anthropic 的回复。研究者计划在未来几周内发起一场诗歌挑战，以进一步检验各类模型的安全防护能力。

划重点:

🌟 研究显示，诗歌的不可预测性可能被用来“绕过” AI 的安全防线。  

🔍 多数 AI 模型在含有害请求的诗歌提示下做出了回应，62% 的提示触发了有害输出。  

📅 研究团队计划发起诗歌挑战，邀请更多诗人参与测试 AI 模型的安全性。