UI-TARS 桌面版一句话 GUI 自动化快速部署与配置指南【免费下载链接】UI-TARS-desktopThe Open-Source Multimodal AI Agent Stack: Connecting Cutting-Edge AI Models and Agent Infra项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS-desktop想说句话就操作自己的电脑但传统 GUI 自动化脚本一旦界面变动就失效写坐标和选择器又很烦。UI-TARS Desktop 是一个基于视觉语言模型的桌面 GUI 自动化应用它通过查看屏幕截图来理解界面把帮我打开新标签页搜索这样的一句话直接翻译成鼠标键盘动作不用写代码也不用记坐标。能力概览它能帮你做什么桌面应用操作打开本地软件、填写表单、调整设置只要界面上看得见的控件它都能定位并点击适合没有开放接口的老软件。浏览器任务搜索、查数据、填表、导出结果整个过程像真人浏览网页一样推进布局变化后能通过视觉重新识别元素。跨平台一致体验同一套交互方式运行在 macOS 和 Windows 上权限配置流程略有差异但使用方式相同。从零跑起来部署配置的 4 个步骤第 1 步检查环境需要 Node.js 20 及以上版本使用 pnpm 管理依赖如果要用浏览器操作模式先装好 Chrome、Edge 或 Firefox 之一。第 2 步获取代码并安装依赖克隆仓库后安装依赖即可git clone https://gitcode.com/GitHub_Trending/ui/UI-TARS-desktop cd UI-TARS-desktop pnpm install第 3 步构建并运行。开发调试用 dev 模式启动打包正式安装包用 buildpnpm run dev pnpm run buildmacOS 上安装时把应用拖入 Applications 文件夹并在系统设置 → 隐私与安全性中开启辅助功能与屏幕录制两项权限前者负责模拟键鼠后者负责截图识别macOS 安装界面拖拽到 Applications 后还需授予屏幕录制与辅助功能权限第 4 步配置视觉语言模型。应用启动后进入设置页填入模型服务的 Base URL、API Key 和模型名。注意 Base URL 需以/v1/结尾提供商要选与模型版本匹配的选项否则动作解析会出错VLM Provider: Hugging Face for UI-TARS-1.5 VLM Base URL: https://your-endpoint/v1/ VLM API KEY: your_api_key VLM Model Name: UI-TARS-1.5-7B以上四项是决定识别精度的关键参数模型服务可用 Hugging Face 部署本地推理也可以选火山引擎的云端推理服务。配置完成后界面如下模型设置界面VLM 提供商、Base URL、API Key 与模型名是四个必填项架构速览主进程、operator 与 UTIO应用采用 Electron 主进程 渲染进程的结构核心逻辑集中在apps/ui-tars/src/main/agent/负责任务执行与操作器调度services/负责模型设置、窗口管理以及 UTIO 事件上传。UTIO 全称 UI-TARS Insights and Observation是一套内部机制用于采集和上报任务执行过程中的事件数据方便回溯每次操作。可复用能力被抽成独立包放在packages/ui-tars/下包括 SDK、动作解析器和多种 operator本地电脑、浏览器、ADB 等。整体主循环是截取屏幕 → 交给视觉语言模型判断 → 解析出动作 → 执行并验证流程图见下图指令接收、任务分发与结果记录的主循环流程实战场景用得最多的两个用法浏览器查数与表单填写。比如输入打开机票网站查 7 月 20 日上海到北京的最低票价并截图你不需要告诉它按钮在哪里它看到当前页面截图后自行识别输入框和按钮逐项填写点击每步之后重新判断页面状态。界面改版时靠视觉理解重新定位元素不会因为选择器失效而中断适合定期查数据、批量导出报表这类重复劳动。任务执行界面左侧输入自然语言指令右侧展示屏幕操作过程本地应用的菜单外操作。也可以让它直接操控桌面软件打开文档、整理窗口、在目录间移动文件。这类操作往往没有现成接口只要界面上可见就能执行。两点提醒macOS 下务必授予屏幕录制和辅助功能权限否则既截不了图也点不动鼠标多显示器环境可能让部分任务失败建议先在单显示器上跑通关键流程再正式使用。调优与排错高频问题与性能建议任务完全无响应或识别失败优先检查三处Base URL 是否以/v1/结尾、API Key 是否有效、VLM 提供商是否选对模型版本与提供商不匹配是高频错误。鼠标键盘点了没反应基本是权限问题。macOS 回到隐私与安全性确认辅助功能和屏幕录制都已开启 UI-TARS改完权限后重启应用再试。性能方面一组实用建议日常快任务用 7B 级别模型响应快、成本低复杂页面再考虑更大模型把大任务拆成小指令分步下发单步失败便于定位也方便人工介入保持单显示器环境任务执行期间不要手动抢鼠标键盘延伸资源快速上手文档安装、模型获取与配置的完整步骤部署指南自建模型推理服务的说明设置参考全部配置项的字段说明SDK 文档用代码方式搭建自己的 GUI Agent操作器源码本地电脑、浏览器、ADB 等操作器的实现【免费下载链接】UI-TARS-desktopThe Open-Source Multimodal AI Agent Stack: Connecting Cutting-Edge AI Models and Agent Infra项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS-desktop创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 UI-TARS 桌面版：一句话 GUI 自动化，快速部署与配置指南
UI-TARS 桌面版一句话 GUI 自动化快速部署与配置指南【免费下载链接】UI-TARS-desktopThe Open-Source Multimodal AI Agent Stack: Connecting Cutting-Edge AI Models and Agent Infra项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS-desktop想说句话就操作自己的电脑但传统 GUI 自动化脚本一旦界面变动就失效写坐标和选择器又很烦。UI-TARS Desktop 是一个基于视觉语言模型的桌面 GUI 自动化应用它通过查看屏幕截图来理解界面把帮我打开新标签页搜索这样的一句话直接翻译成鼠标键盘动作不用写代码也不用记坐标。能力概览它能帮你做什么桌面应用操作打开本地软件、填写表单、调整设置只要界面上看得见的控件它都能定位并点击适合没有开放接口的老软件。浏览器任务搜索、查数据、填表、导出结果整个过程像真人浏览网页一样推进布局变化后能通过视觉重新识别元素。跨平台一致体验同一套交互方式运行在 macOS 和 Windows 上权限配置流程略有差异但使用方式相同。从零跑起来部署配置的 4 个步骤第 1 步检查环境需要 Node.js 20 及以上版本使用 pnpm 管理依赖如果要用浏览器操作模式先装好 Chrome、Edge 或 Firefox 之一。第 2 步获取代码并安装依赖克隆仓库后安装依赖即可git clone https://gitcode.com/GitHub_Trending/ui/UI-TARS-desktop cd UI-TARS-desktop pnpm install第 3 步构建并运行。开发调试用 dev 模式启动打包正式安装包用 buildpnpm run dev pnpm run buildmacOS 上安装时把应用拖入 Applications 文件夹并在系统设置 → 隐私与安全性中开启辅助功能与屏幕录制两项权限前者负责模拟键鼠后者负责截图识别macOS 安装界面拖拽到 Applications 后还需授予屏幕录制与辅助功能权限第 4 步配置视觉语言模型。应用启动后进入设置页填入模型服务的 Base URL、API Key 和模型名。注意 Base URL 需以/v1/结尾提供商要选与模型版本匹配的选项否则动作解析会出错VLM Provider: Hugging Face for UI-TARS-1.5 VLM Base URL: https://your-endpoint/v1/ VLM API KEY: your_api_key VLM Model Name: UI-TARS-1.5-7B以上四项是决定识别精度的关键参数模型服务可用 Hugging Face 部署本地推理也可以选火山引擎的云端推理服务。配置完成后界面如下模型设置界面VLM 提供商、Base URL、API Key 与模型名是四个必填项架构速览主进程、operator 与 UTIO应用采用 Electron 主进程 渲染进程的结构核心逻辑集中在apps/ui-tars/src/main/agent/负责任务执行与操作器调度services/负责模型设置、窗口管理以及 UTIO 事件上传。UTIO 全称 UI-TARS Insights and Observation是一套内部机制用于采集和上报任务执行过程中的事件数据方便回溯每次操作。可复用能力被抽成独立包放在packages/ui-tars/下包括 SDK、动作解析器和多种 operator本地电脑、浏览器、ADB 等。整体主循环是截取屏幕 → 交给视觉语言模型判断 → 解析出动作 → 执行并验证流程图见下图指令接收、任务分发与结果记录的主循环流程实战场景用得最多的两个用法浏览器查数与表单填写。比如输入打开机票网站查 7 月 20 日上海到北京的最低票价并截图你不需要告诉它按钮在哪里它看到当前页面截图后自行识别输入框和按钮逐项填写点击每步之后重新判断页面状态。界面改版时靠视觉理解重新定位元素不会因为选择器失效而中断适合定期查数据、批量导出报表这类重复劳动。任务执行界面左侧输入自然语言指令右侧展示屏幕操作过程本地应用的菜单外操作。也可以让它直接操控桌面软件打开文档、整理窗口、在目录间移动文件。这类操作往往没有现成接口只要界面上可见就能执行。两点提醒macOS 下务必授予屏幕录制和辅助功能权限否则既截不了图也点不动鼠标多显示器环境可能让部分任务失败建议先在单显示器上跑通关键流程再正式使用。调优与排错高频问题与性能建议任务完全无响应或识别失败优先检查三处Base URL 是否以/v1/结尾、API Key 是否有效、VLM 提供商是否选对模型版本与提供商不匹配是高频错误。鼠标键盘点了没反应基本是权限问题。macOS 回到隐私与安全性确认辅助功能和屏幕录制都已开启 UI-TARS改完权限后重启应用再试。性能方面一组实用建议日常快任务用 7B 级别模型响应快、成本低复杂页面再考虑更大模型把大任务拆成小指令分步下发单步失败便于定位也方便人工介入保持单显示器环境任务执行期间不要手动抢鼠标键盘延伸资源快速上手文档安装、模型获取与配置的完整步骤部署指南自建模型推理服务的说明设置参考全部配置项的字段说明SDK 文档用代码方式搭建自己的 GUI Agent操作器源码本地电脑、浏览器、ADB 等操作器的实现【免费下载链接】UI-TARS-desktopThe Open-Source Multimodal AI Agent Stack: Connecting Cutting-Edge AI Models and Agent Infra项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS-desktop创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考