外观
欺诈、影响力与合成内容风险研究综述
摘要
生成式 AI 可降低文本、语音、图像和视频伪造的制作成本，并支持个性化、翻译和批量迭代。研究重点应是它相对于既有工具是否提高可信度、规模、转化率或逃避检测能力，而不是把所有数字欺诈都归因于 AI。
分类介绍
本领域保存社会危害、攻击规模和真实性方案整体鲁棒性结论。统计水印的具体移除归 A1.7，C2PA 在应用链的剥离归 A5.7，真实产品中的账号接管和支付漏洞仍按传统根因归档。
评估方法与实际过程
- 分离内容生成、投递、目标选择、互动和资金转移各阶段的 AI 增益。
- 使用人类基线、传统模板和非 AI 编辑工具作为对照。
- 测量识别率、转化率、规模、成本、跨语言迁移和检测规避。
- 涉及真实人群时执行伦理审查、知情同意和伤害最小化。
局限与待验证问题
- 合成媒体检测在平台压缩、重录和多次编辑后还能保留多少有效性？
- 来源凭证、平台信号和行为检测怎样组合才能降低误归因？
- AI 个性化是否显著提高欺诈成功率，哪些人群更易受影响？
历史研究成果
该分类下的独立研究从平台欺诈和影响行动取证两条路径检验生成式 AI 的实际增量。生成式 AI 退款欺诈以 17 名商户和 13 名平台员工的访谈，归纳低成本伪造商品缺陷证据的交易、争议、物流与沟通路径，以及平台采用多角度视频、自动筛查和对抗询问的现实应对。AI 影响行动的宣传生成流水线取证则从 84 个仿冒站点的 2,646 篇文章出发，以提示词泄漏、跨文章冗余和七模型重写对照恢复生成规则；50/84 个站点出现指令泄漏，模型家族信号支持 Llama 3 假设但也与 Mistral 系重叠。两类研究共同说明，调查不能只判断单个文件“像不像 AI 生成”，还要结合交易或传播流程、来源关系、操作者痕迹和人工对照；访谈与语料取证都不能单独推导整体欺诈发生率或唯一模型归因。
新增的危机现场视频生成与检测基准 RABench把对象推进到灾害、冲突等高风险场景，分别评估视频生成与检测，并明确记录检测器跨生成器泛化和未见生成器留出结果，避免把闭集准确率外推为真实平台防护能力。
检测研究进一步表明，媒介与处理链会改变可用信号。Hierarchical Channel Stacking把 CNN 中间激活压成分层的 60 维图像检测表示；Decay-Region Group Delay发现 AI 生成瞬态声音在起音区群时延分布近似真实声音，但衰减区 KL 散度为 0.322，而起音区仅为 0.022；DF-MoE融合口型、表情、姿态、视线、心率和音频专家，并在五个 benchmark 上测试跨生成方法泛化。三者给出的都是特定模型、数据和特征上的判别证据，尚无独立复现，不能把单一特征或闭集结果外推到平台压缩、重录及未知生成器。
受压缩和水印影响的结果还否定了“增加一种频域分支自然提高鲁棒性”的假设。Data Diversity, Not Frequency Invariance报告频率路径单独验证 AUC 可达 0.91–0.98，但在控制融合中没有边际贡献，留出操纵上公平比较的变体还低于普通骨干，提示训练数据多样性比所测频率不变结构更关键。On the Robustness of Audio Deepfake Detection under Audio Watermarking用 Fréchet 距离、余弦相似度和 L2 距离检查水印造成的表示漂移，说明主动来源标记可能改变被动检测器输入分布。两项都是作者实验，不能据此否定其他频域模型或所有水印方案。
主动音频保护的验证对象也应从“是否检出”扩展到定位和恢复。Combining Self-Embedding Audio Watermarking with Ultra-Low-Bitrate Neural Codecs发现神经编解码器选择主导检测和定位表现；A Training-Free Proactive Defense Against Partial Speech Manipulation则复用音频隐写与编解码恢复来识别局部 Deepfake。两项研究没有公开独立复现，且结论受具体编解码器、篡改比例与信道处理限制，不能将嵌入成功等同于现实传播链中的稳健来源证明。
真实性审计还包括版权相似与科学事实核查。艺术作品与 AI 图像相似度研究用孪生网络量化原作与 Stable Diffusion XL Refiner 1.0 生成图的相似度，只能支持该生成器和样本上的相似性测量，不能直接判定抄袭或权利侵害；Beyond Verdicts把科学错误信息的解释表示为连接主张、研究语境、发现、谬误前提与标签的推理图，从而可以检查“判错”是否有正确证据链。后者扩展了事实核查的过程指标，但仍未证明 LLM 解释在开放网络传播中具有稳定因果归因能力。
近期研究从迁移攻击与部署漂移两端补足了 Deepfake 检测的失效机制。跨检测器对抗迁移研究在六类骨干、两种预训练方式和五种训练数据配置组成的 60 个检测器上，报告非目标源平均攻击成功率在 AutoAttack 下为 7.21%、在 CW–EOT 下为 19.52%，说明评测必须把源模型与目标模型的结构、预训练和数据关系作为条件，而不能用单一白盒结果代表跨系统风险。音频时间一致性研究则发现 29 个统计特征中有 21 个在训练与在野部署间反转判别方向，语音与音乐的熵方向也相反。两项结果共同表明，检测器真正需要验收的是跨模型迁移和跨媒介/分布稳定性；它们均是作者实验，尚不能外推到平台压缩、重录和未知生成器。