PalmClaw：面向手机的原生端侧智能体框架

PalmClaw：面向手机的原生端侧智能体框架

arXiv:2607.13027v1 [cs.CL] 2026年7月14日

项目下载地址：https://github.com/ModalityDance/PalmClaw/releases/latest

摘要

大语言模型（LLM）智能体已不再局限于文本生成，可通过调用工具、观测返回结果、迭代决策完成多步骤复杂任务。现有绝大多数智能体框架运行于桌面端或云端服务器，依托工具链实现任务自动化。手机是极具价值的智能体运行载体：普及率极高，存储用户隐私数据、搭载各类传感器与日常应用。

现有移动端智能体普遍基于图形界面（GUI）操作实现控制，通过点击、滑动、输入完成指令，存在三大缺陷：① 高层任务会拆解为超长界面操作序列，页面布局变动极易失效；② 无法直接读取设备底层资源与传感器数据；③ GUI操作权限宽泛，缺少针对单任务的访问限制与执行边界管控。

本文提出PalmClaw——一套开源手机原生端侧智能体框架，会话管理、记忆存储、技能库、工具集、智能体循环全部在设备本地运行。框架将手机硬件能力封装为标准化设备工具，提供规范入参、结构化返回结果、细粒度执行边界约束。该设计让智能体直接调用手机原生能力，同时所有操作显式可控。
实验结果：对比最优基线，任务完成成功率相对提升11.5%，平均任务耗时降低94.9%；部署配置门槛更低，边界校验用例完整验证权限与文件访问管控逻辑。

关键词：端侧大模型；移动端智能体；设备原生工具；任务自动化；执行权限边界

1 引言

1.1 LLM智能体发展现状

基于LLM的智能体依托工具调用、环境观测、多轮迭代循环实现自主任务执行。面对复杂用户指令，智能体自动拆解子步骤、调用工具、观察反馈并持续迭代动作直至任务完成，可实现信息检索、文件管理、工作流自动化等复杂操作。

主流智能体框架（AutoGen、AgentScope、OpenClaw）将会话、记忆、技能、工具、推理循环全部部署在电脑或云端，依托桌面环境完成调度。

1.2 移动端部署智能体的核心价值

1. 普及度广：全球80%以上10岁以上人群拥有手机，无电脑设备的用户也可使用智能体；
2. 贴近用户数据：手机存储个人隐私、摄像头/麦克风/定位等传感器、高频日常App，端侧运行可直接调用本地资源，无需云端中转。

1.3 现有移动端GUI智能体的固有缺陷

当前移动端智能体均依赖屏幕点击、滑动、输入等GUI交互，存在三大短板：

1. 任务操作链冗长，界面布局微调即导致流程失效；
2. 无法直读本地文件、传感器等底层设备资源；
3. 界面操作权限无隔离，缺少单任务专属访问边界，存在隐私风险。

终端原生智能体（Codex CLI、Claude Code、Gemini CLI）已证明标准化工具调用优于纯界面操作，本文将该思路落地移动端，提出PalmClaw。

1.4 PalmClaw核心设计与核心贡献

PalmClaw完整智能体逻辑全部运行在手机本地，通过设备工具封装硬件能力，提供标准化参数、结构化返回、权限/文件访问边界，无需外接电脑/云端调度。

核心贡献

1. 开源移动端原生智能体框架PalmClaw，会话、记忆、技能、工具、推理循环全端侧部署；
2. 设计标准化设备工具层，统一封装手机硬件能力，内置细粒度执行边界校验；
3. 在MobileTask、AssistantBench双数据集完成完整评测，成功率提升11.5%、耗时降低94.9%；通过部署对比、边界用例验证低配置门槛与权限管控能力。

2 相关工作

2.1 通用智能体框架

ReAct、Toolformer奠定推理+工具调用基础；AutoGen、AgentScope、OpenClaw封装完整智能体系统，但全部部署于电脑/云端。PalmClaw创新将全套智能体组件迁移至手机本地。

2.2 移动端智能体研究

现有移动端基准与系统：AndroidWorld、MobileAgentBench、Mobile-Bench、AgentCPM-GUI、Mobile-Agent-v3.5；ApkClaw、MobileClaw、ClawMobile均基于GUI界面操作实现手机控制。
与上述工作区别：PalmClaw不依赖屏幕交互，直接在设备本地运行完整智能体框架，通过标准化设备工具调用底层硬件能力。

3 框架整体设计

3.1 整体架构概述

PalmClaw所有任务执行组件运行于手机本地：会话模块管理多轮交互、持久记忆存储历史信息、技能库封装通用任务流程、设备工具对接手机硬件；智能体循环串联全部组件完成多轮推理与工具调用。
LLM推理请求转发至远程API，上下文组装、工具执行、会话状态持久化完全保留在本地，整体打包为独立安卓应用。

3.2 智能体核心组件

（1）会话 Sessions

统一管理三类输入：本地聊天消息、远程联动消息、定时唤醒自动消息；
每个会话独立存储对话历史、工具调用日志、附件、专属工作目录（存放临时文件/生成产物）；
多任务隔离，新输入自动分配至已有会话或新建会话，支持跨轮次持续执行任务。

（2）记忆 Memory

双层持久化记忆架构：

1. 全局长期记忆：跨会话共享，每一轮推理自动加载；
2. 单会话摘要：轻量化记录当前任务进度与结论。
   当未汇总消息达到阈值，自动调用LLM生成摘要更新两层记忆；配套记忆工具支持读写、检索历史会话内容。

（3）技能 Skills

以SKILL.md文件存储可复用任务流程指令，分为内置技能与用户自定义技能；
每轮推理自动加载：常驻技能完整加载、其他技能通过匹配用户指令关键词选择性加载，仅加载相关技能减少上下文冗余。
内置技能覆盖日程、文件、通讯、自动化等高频移动端场景。

（4）工具 Tools（核心创新模块）

设备工具层打通模型调用与手机底层资源，每个工具包含两部分：

1. 模型侧规范：工具名称、功能描述、JSON参数约束；
2. 设备侧执行函数：调用安卓系统服务/应用底层能力。
   框架将工具规范传入LLM，收到调用指令后执行本地函数，返回结构化结果/错误信息。
   内置工具分组：设备状态与权限、媒体、蓝牙、日历、联系人、工作区文件；扩展工具支持网页访问、记忆读写、消息通讯、定时自动化。

3.3 端侧完整执行流程

（1）上下文组装

输入绑定会话后，从6类数据源拼接推理上下文：

1. 系统配置指令：AGENT.md/SOUL.md/USER.md；
2. 运行时环境：当前时间、时区、会话ID、工作目录路径；
3. 全局长期记忆；
4. 常驻+匹配筛选后的技能完整指令；
5. 近期对话、附件、工具调用日志；
6. 全部可用工具参数规范。
   前5项构成模型输入消息，工具规范随消息一并发送至远程LLM接口。

（2）智能体循环（Agent Loop）

基于ReAct范式的有界多轮循环：

1. 根据当前会话状态重建完整上下文；
2. 将消息+工具规范发送远程LLM，保存模型返回内容至会话；
3. 若返回包含工具调用：本地执行工具，将结果追加会话，进入下一轮循环；
4. 若无工具调用、工具标记任务完成、达到最大轮次上限，循环终止，输出最终回复。

（3）工具执行与三层边界校验

工具调用进入本地执行链路前，强制三层校验，全部通过才可执行硬件操作：

1. 参数格式校验：校验必填参数、数据类型、数值范围；
2. 权限校验：校验设备授权，缺失权限拉起系统授权弹窗；需人工确认的操作等待用户确认；
3. 工作目录隔离校验：文件路径限制在当前会话工作区/授权共享目录；跨会话目录、未授权全局路径直接拦截，外部写入需用户二次确认。
   校验失败/用户拒绝则返回结构化错误信息；校验通过执行设备操作，结构化结果写入会话供下一轮推理使用。

4 实验评估

4.1 三大研究问题

RQ1：端侧框架+设备工具能否高效完成移动端各类任务？
RQ2：全本地部署是否降低外部部署与运维成本？
RQ3：设备工具如何落地权限、目录等执行边界管控？

4.2 实验环境与数据集

（1）数据集

1. MobileTask：70项移动端任务，源自AndroidWorld、MobileAgentBench、Mobile-Bench，覆盖日历、天气、联系人、音频、笔记、文件、蓝牙、媒体；判定规则：最终状态确定性校验、答案类任务LLM打分、权限类人工复核。
2. AssistantBench：网页信息检索数据集，选取19条稳定开发集样本，采用官方准确率指标。

（2）对比基线

1. ApkClaw：安卓App，纯GUI点击滑动控制；
2. MobileClaw：手机客户端+桌面Python运行时，基于截图GUI操作；
3. ClawMobile：Termux终端部署，API+GUI混合操作。

（3）硬件与模型

测试设备：小米Redmi 2312DRAABC，Android 13（SDK33）；
统一大模型：DeepSeek-V4-Flash；
MobileClaw额外视觉模型：Qwen3.7-Plus；
轮次限制：PalmClaw单任务最大30轮，GUI基线100轮（界面操作需大量观测轮次）。

4.3 RQ1：任务完成效果评测

表1 任务完成指标总览

核心结论：

1. PalmClaw与基线架构本质差异：全套智能体逻辑本地运行，采用标准化工具而非屏幕交互；
2. 对比最优基线ApkClaw：任务成功率相对提升11.5%，平均耗时降低94.9%；操作次数、Token消耗大幅下降；网页检索任务准确率领先全部基线；
3. 效率提升根源：设备工具直接调用底层能力，省去大量截图、页面跳转、点击滑动等冗余GUI步骤。

4.4 RQ2：部署运维成本对比

表2 部署环境与配置开销对比

结论：

1. PalmClaw无需外接电脑、命令行、设备桥接，全部流程在手机App内完成；
2. 配置步骤仅2步，总耗时约2分钟，为所有对比框架最低，大幅降低使用门槛。

4.5 RQ3：执行边界管控实例分析

通过运行日志案例展示三层校验机制落地效果，工具调用不会获得无限制设备操作权限，触发边界时自动拦截并引导用户处理。

案例1：日历权限缺失

用户指令：明天10点和Alex新建会议
边界触发：日历工具无系统读写权限
处理逻辑：拉起安卓系统授权弹窗，用户授予权限后继续执行；拒绝权限则返回明确错误，告知用户缺少日历权限，不会伪造任务完成结果。

案例2：工作目录文件访问隔离

用户指令：将购物清单保存至/sdcard/list.txt
边界触发：路径超出当前会话专属工作目录，需要全局文件访问权限
处理逻辑：无法通过简易弹窗授权，自动跳转应用设置页面，提示用户手动开启全部文件访问权限。

附录补充边界场景汇总表
表3 执行边界典型场景

5 结论

本文提出PalmClaw移动端原生端侧智能体框架，整套会话、记忆、技能、工具、推理循环全部运行于手机本地，通过标准化设备工具封装硬件能力，内置参数、权限、工作目录三层执行边界管控。
在MobileTask数据集上，相比最优基线任务成功率提升11.5%，平均完成耗时下降94.9%，部署配置成本最低；日志案例完整验证权限与文件隔离机制。
研究证明手机可作为完整智能体运行载体，将移动端智能体研究从纯屏幕GUI操作，拓展至直接、可控调用设备底层能力的全新方向。

伦理说明

PalmClaw所有设备操作显式可控：工具统一注册、参数强校验；敏感操作依赖安卓系统权限或人工确认；文件操作严格限制会话工作目录。
开发者需向用户清晰告知远程LLM服务商会接收提示词、工具返回结果、任务上下文；本文实验全部使用公开/构造数据集，不采集用户真实隐私数据。

附录A 补充细节

A.1 单轮推理上下文完整构成

单次智能体推理上下文包含6类信息：系统配置、运行环境、全局长期记忆、激活技能、对话与工具日志、全部工具规范，附录附图展示完整样例。

A.2 数据集与评测指标

MobileTask数据集构建规则

源数据集：AndroidWorld、MobileAgentBench、Mobile-Bench；
筛选标准：① 不依赖固定GUI路径；② 不绑定第三方App状态；③ 不偏向纯GUI智能体；剔除动态日期、实时天气、重复日历等不稳定任务，最终70条任务。

AssistantBench筛选规则

原始开发集33条，保留19条答案稳定可校验样本；剔除实时动态结果、无法客观判定答案的任务。

评测指标细则

1. MobileTask：70任务平均成功率；可观测结果采用确定性校验；问答类统一由DeepSeek-V4-Flash作为裁判模型打分；
2. AssistantBench：官方准确率；字符串答案采用词级F1，数值答案对数距离打分，列表答案平均对齐F1。

表4 数据集分类统计

附图说明

图1：传统移动端智能体（桌面/云端中转GUI指令）vs PalmClaw本地原生智能体架构对比

图2：PalmClaw完整框架数据流总图

图3：内置技能与工具分组总览

图4：权限、工作目录两类执行边界运行日志轨迹

图5：单轮推理完整上下文样例

图6：PalmClaw App界面截图（模型服务商配置、日历任务执行、权限申请弹窗、系统设置页）