Skip to content

系统级移动 Agent 的触控与 IMU 联合自动化规避 ​

摘要 ​

ActReal 研究系统级移动 Agent 如何同时控制触控事件与应用可见的惯性测量单元(Inertial Measurement Unit, IMU)信号,使原本依赖“真实触摸会伴随物理运动”的自动化检测失去可信观测。作者报告平均事件级攻击成功率为 77.5%;即使检测器联合观察触控与 IMU,攻击成功率仍为 71.1%。

该结论只适用于具备系统级输入派发和传感器交付控制能力的执行器,不代表普通应用权限下的自动化工具可实现同样效果,也不能外推到银行、支付等结合设备完整性、服务端风控和显式挑战的高保障场景。

核心创新与差异 ​

原研究贡献。 ActReal 将 Agent 的语义动作转换为点击、滚动、滑动、双指缩放和键入五类低层事件;触控侧适配真实轨迹,IMU 侧用物理约束生成六轴信号,再把两条事件流对齐到同一时间轴。研究由此证明:如果同一特权执行器能够同时伪造“行为”和“物理伴随信号”,二者的一致性不再能证明操作来自真人。

本站分析。 这不是视觉提示词注入或 GUI 动作 TOCTOU 的变体。首个失效控制是应用把同一系统控制面输出的触控与传感器视为相互独立的真实性证据。修复责任跨越移动操作系统、Agent 执行器与应用风控,而不能只通过训练更强的轨迹分类器解决。

威胁模型与攻击链 ​

攻击者控制具有系统级权限的移动 Agent 执行器,可观察屏幕、注入输入事件,并替换目标应用通过标准传感器接口接收的加速度计和陀螺仪样本;攻击者不能修改目标 APK、检测器逻辑、模型参数、阈值或服务端状态。

  1. Agent 产生目标位置、移动方向或文本等高层动作。
  2. 执行器把动作映射为五类物理交互,并适配真实用户触控轨迹。
  3. 生成器为同一动作合成时间对齐的六轴 IMU 信号。
  4. 系统级路径向应用同时交付触控与传感器事件。
  5. 被动检测器观察到彼此一致的人类化信号,将自动化误判为真人操作。

攻击方法与复现材料 ​

以下为本站依据论文机制重构的去武器化状态机,仅用于检查信任假设,不包含 Android Hook、传感器替换或规避模型实现:

text
semantic_action = DRY_RUN_TAP(test_fixture)
touch = adapt_reference_trajectory(semantic_action)
imu = generate_synthetic_imu(semantic_action)
bundle = align_clocks(touch, imu)

assert bundle.target == LOCAL_TEST_APP
assert no_real_account_or_payment()
detector.observe(bundle)

预期结果是同一受控夹具在“只有触控”“只有 IMU”“触控与 IMU 联合”三种观测下得到不同检测表现。检测信号包括系统级输入注入、传感器交付路径被 Hook、触控与设备可信测量来源不一致,以及推理停顿期间异常规则的填充点击。本文省略可直接用于真实应用规避的实现与参数。

实验设计与实际过程 ​

以下均为作者实验,本站未独立复现。研究覆盖五类动作、三种观测模态和六个攻击感知检测器,并在三个移动 Agent 框架、两款 Android 手机上进行真实设备验证。执行流水线使用持久多点触控 uinput 设备注入输入,并在目标应用进程的传感器读取路径替换应用可见 IMU 值。

作者同时测试触控、IMU 和联合观测,使用真实轨迹适配、五样本用户条件化生成、物理约束与冲突感知训练,并通过预生成缓存降低在线延迟。真实设备上不同动作—模态组合的攻击成功率范围为 48.1%–95.3%。

关键结果与实际影响 ​

  • 平均事件级攻击成功率为 77.5%,联合触控—IMU 检测条件下仍为 71.1%。

  • 结果表明,被动行为生物特征若全部来自同一可控系统层,就不能独立证明真人来源。

  • 风险不仅是固定脚本隐藏;能观察界面并重规划的 Agent 可在动态 UI 中持续完成任务,同时让底层动作更接近真人。

  • 影响取决于系统级权限是否真实存在。普通无特权应用、受硬件证明保护的传感器路径和服务端多信号风控不在已证明范围内。

防护措施与验证方法 ​

应用不应把触控与应用进程可见 IMU 的一致性当作两个独立信号。高影响操作应结合硬件或系统可信路径提供的设备完整性、执行器身份、远端风险信号和浏览器/应用外确认;检测策略应显式区分系统辅助功能、合法自动化和未授权自动化。

验证时应加入系统级对手训练样本,分别报告各动作、观测模态、设备与用户条件下的真正率、误报率和攻击成功率,并测试同一控制面可同时影响多少观测。仅在原检测器上增加 ActReal 样本的适应性训练不能代替来源独立性设计。

局限与待验证问题 ​

证据等级为 moderate:完整论文提供原型、跨设备与检测器实验,但没有独立复现。威胁模型要求高权限执行器,并排除摄像头、麦克风、硬件证明及多因子服务端风控;论文也明确不以银行和支付类高保障应用为主要目标。

后续需要验证移动系统能否为传感器与输入事件提供不可由同一执行器伪造的来源证明,以及强化检测在新设备、新用户、长期行为和合法辅助功能场景中的误报代价。

参考链接 ​