OpenClaw—AI研究OpenClaw—AI研究
  • AI动态
  • OpenClaw教程
  • 技术解读
  • 用户故事

研究揭示AI智能体正在泄露隐私数据

研究揭示AI智能体正在泄露隐私数据

2026年9月20日 by WoodStone

一项由华盛顿大学、康奈尔大学、加州大学伯克利分校以及艾伦人工智能研究院联合开展的研究,提出了一种判断大模型是否“记得”训练数据的新方法。论文以预印本形式发布于2026年2月24日,编号为arXiv:2602.19020v1。研究团队把这种方法命名为“主动数据重建攻击”,试图回答一个长期悬而未决的问题:模型在训练时读过的内容,究竟还残留多少。

图1

传统检测手段大多是被动的。研究人员只能反复向模型提问,再根据回答推测它是否见过某段文字,这种方式接近猜谜,误判率偏高。新方法转为主动引导:先给模型一段文本的开头,再借助强化学习设计的奖励机制,鼓励它尽可能准确地续写原文,续写越接近原文得分越高。

为了进一步提升精度,团队还设计了升级版“自适应匹配”方法。当系统判断某段文本很可能属于训练数据时,会给出更多提示;判断可能性较低时则减少提示。这种动态调节让检测更精准,也降低了误报概率。

实验覆盖了从七十亿到一百三十亿参数不等的多个主流模型,包括Llama2、Qwen2与Olmo3,并横跨预训练、后训练和知识蒸馏三个阶段。在预训练数据检测上,新方法在BookMIA数据集上取得78.4%的准确率,比此前最好的方法提升18.8个百分点;在最困难的WikiMIA2024 Hard数据集上达到60.6%,而多数传统方法的表现几乎等同于随机猜测。

图2

后训练阶段的检测结果更为突出。研究团队模拟了开发者用考试题目训练模型、却对外声称模型没见过这些题目的场景,新方法在AIME数学竞赛数据上取得85.9%的准确率,较传统方法提升13.2个百分点。在知识蒸馏检测中,它对DeepSeek-R1蒸馏数据的识别率高达98.4%,几乎可以准确判断大模型向小模型传授了哪些内容。

研究同时揭示了强化学习的作用机制。它并不教给模型全新技能,而是唤醒模型已有的记忆,让见过相关内容的模型更容易重现原文;对于从未见过的内容,即便反复强化也难以准确复现。团队也坦承方法的局限:主动检测需要消耗大量计算资源,并且可能把模型的泛化能力误判为记忆。

图3

在AI加速渗透各行各业的背景下,这项研究的意义超出技术本身。新闻机构可以据此判断文章是否被无偿用于训练,作家可以核查作品是否被抄袭,研究人员也能确认考试数据是否提前泄露。它提醒人们,在享受AI带来便利的同时,弄清模型“记得”什么,与弄清它“知道”什么同样重要。

← 返回文章列表
分类: AI动态 标记: AI安全, AI智能体, AI研究, 数据泄露, 隐私保护

© 2026 OpenClaw—AI研究 版权所有

沪ICP备2026010690号-1