1. 项目概述：从“能识别”到“能操控”的跨越

在AR应用开发里，让一个3D模型出现在摄像头画面中，这已经不是什么新鲜事了。ARFoundation帮我们解决了环境追踪、平面检测这些底层难题，让开发者能更专注于应用逻辑本身。但很多时候，我们的需求不止于“看见”模型，而是想“操控”它。想象一下，你开发了一个家具摆放应用，用户不仅想看看沙发在客厅里的样子，更希望能用手指捏合旋转，看看沙发的侧面和背面；或者开发一个教育应用，学生可以用手势直接拆解一个发动机模型。这就是“模型手势控制”要解决的问题。

我最初接触这个功能时，找到的教程大多停留在基础阶段：给模型挂个脚本，响应简单的点击拖拽。但在真实项目里，尤其是移动端AR场景下，问题接踵而至：手势冲突怎么处理？旋转中心漂移怎么办？双指缩放时模型突然飞走？操作手感生硬不跟手？为了解决这些问题，我花了大量时间进行优化和打磨。今天分享的这个“优化版”教程，就是把我踩过的坑、试过的方案以及最终稳定可用的代码实践，系统地梳理出来。它不仅仅是实现功能，更侧重于在移动AR这个特定环境下，如何让手势交互变得自然、流畅且稳定。

这个教程适合已经熟悉ARFoundation基础，能成功在场景中放置和显示模型，但希望为模型增加更丰富、更专业交互的开发者。我们会从最核心的数学原理讲起，然后一步步构建一个健壮的手势控制器，最后解决那些令人头疼的边界情况。你会发现，好的交互背后，是对细节的极致把控。

2. 核心交互原理与数学基础拆解

在开始写代码之前，我们必须搞清楚手势控制背后的数学。这听起来有点枯燥，但却是避免后期各种诡异Bug的基石。移动端手势控制3D模型，本质上是在2D的屏幕触摸点与3D的世界空间之间建立映射，并计算相应的变换（位移、旋转、缩放）。

2.1 屏幕空间到世界空间的射线投射

这是所有AR交互的起点。当用户触摸屏幕时，我们得到的是一个二维坐标(x, y)。在Unity中，我们需要通过摄像机，将这个屏幕点转换为一条从摄像机出发、射向3D世界的射线。

Ray ray = arCamera.ScreenPointToRay(touch.position);

这条射线会与场景中的碰撞体（Collider）相交。这就是为什么你的模型必须带有Collider组件（如BoxCollider,MeshCollider），否则手势无法“选中”它。Physics.Raycast方法会返回碰撞点在世界空间中的位置和碰撞体的信息，这是我们后续所有计算的基准点。

注意：在AR场景中，确保你的arCamera是那个负责渲染AR画面的摄像机。有时场景中可能有多个摄像机（比如UI摄像机），用错对象会导致射线投射完全失败。

2.2 位移计算：基于平面投影

单指拖拽实现位移，最直观的想法是：记录上一帧触摸点对应的世界空间位置，与当前帧的位置求差，将这个差值向量应用到模型上。但这里有个陷阱——你不能直接用两条射线起点到终点的向量差。因为触摸点深度（即物体离摄像机的距离）在变化。

更稳定的做法是，假设模型在一个虚拟的平面上移动。这个平面通常由模型被选中时，其中心点与摄像机视线方向垂直的平面来定义。我们将当前帧和上一帧的射线，都与这个平面求交，两个交点之间的向量，就是模型本帧应该移动的位移量。这种方法能有效避免因深度估算不准导致的模型抖动或“粘手感”。

2.3 旋转计算：围绕轴心的角度变化

旋转通常由单指滑动（绕Y轴旋转）或双指扭动（绕平面法线旋转）触发。对于单指旋转，我们可以计算当前触摸点与屏幕中心（或模型投影中心）构成的向量，与上一帧对应向量的夹角变化。将这个角度变化转换为绕世界Y轴（或模型自身的上方向）的旋转量。

对于更自然的三维旋转（双指扭动），则需要计算两指连线向量的角度变化。假设初始两指触摸点为p0和p1，当前触摸点为p0'和p1'。分别计算初始向量v = p1 - p0和当前向量v' = p1' - p0'。使用Vector3.SignedAngle(v, v', Vector3.forward)可以计算出在屏幕平面上旋转的角度。然后，我们需要将这个2D屏幕上的旋转角度，映射到3D世界中模型被选中的那个点所在的、与摄像机视线垂直的平面上。

2.4 缩放计算：基于距离比率的均匀缩放

双指缩放的核心是计算两指间距离的变化率。记录初始触摸时两指的距离initialDistance，在每一帧计算当前两指的距离currentDistance。 缩放比例scaleFactor = currentDistance / initialDistance。 将这个比例应用到模型的局部缩放（localScale）上，即可实现缩放。但直接应用会导致缩放累积和中心点偏移，我们需要结合一个稳定的缩放中心点（通常是模型包围盒的中心或选中点）来进行，这会在后面的代码中详细体现。

理解这些原理后，我们就能明白，一个鲁棒的手势控制器，必须妥善处理这些空间转换和计算，并考虑到AR环境中摄像机持续运动带来的额外复杂性。

3. 优化版手势控制器的完整实现

接下来，我们一步步构建这个优化后的手势控制器。我将它设计为一个独立的ModelGestureController脚本，可以挂载到任何需要被控制的AR模型根物体上。

3.1 控制器状态机与变量定义

首先，我们定义控制器可能处于的状态和必要的变量。清晰的状态管理是避免手势冲突的关键。

using UnityEngine; using UnityEngine.XR.ARFoundation; public class ModelGestureController : MonoBehaviour { // 状态枚举 private enum ControlState { None, Dragging, Rotating, Scaling } // 必要组件引用 private Camera arCamera; private Transform modelTransform; private ControlState currentState = ControlState.None; // 位移相关 private Vector3 lastDragWorldPos; private Plane dragPlane; // 用于稳定位移计算的虚拟平面 // 旋转相关 private Vector2 lastSingleTouchPos; private float rotationSpeed = 0.5f; // 旋转灵敏度系数 // 缩放相关 private float initialTouchDistance; private Vector3 initialScale; private float scaleSpeed = 0.01f; // 缩放灵敏度系数 private Vector3 scalePivot; // 缩放的中心点（世界坐标） // 双指手势中间点（用于旋转和缩放的中心参考） private Vector2 twoFingerMidpointLastFrame; void Start() { modelTransform = this.transform; // 动态查找AR摄像机，增强脚本的通用性 if (Camera.main != null && Camera.main.GetComponent<ARCameraManager>() != null) { arCamera = Camera.main; } else { Debug.LogError("未找到AR摄像机！请确保场景中有且仅有一个带ARCameraManager的摄像机。"); } } }

实操心得：不要硬编码摄像机引用。通过Camera.main和组件查找的方式，能让脚本在不同AR场景中更具移植性。同时，在Start中进行健壮性检查，能提前暴露配置错误。

3.2 手势优先级与状态切换逻辑

在Update函数中，我们需要根据当前触摸点数来判定手势类型，并管理状态切换。我采用的优先级是：双指（缩放/旋转） > 单指（拖拽/旋转）。这是移动端的常见交互规范。

void Update() { if (arCamera == null) return; int touchCount = Input.touchCount; // 状态结束判断：手指全部抬起 if (touchCount == 0) { currentState = ControlState.None; return; } // 状态切换逻辑 switch (currentState) { case ControlState.None: // 尝试开始一个新的手势 if (touchCount == 1) { TryStartDrag(Input.GetTouch(0)); } else if (touchCount == 2) { TryStartScaleOrRotate(Input.GetTouch(0), Input.GetTouch(1)); } break; case ControlState.Dragging: if (touchCount == 1) { UpdateDrag(Input.GetTouch(0)); } // 如果拖拽过程中变为双指，则平滑切换到缩放/旋转状态 else if (touchCount == 2) { TryStartScaleOrRotate(Input.GetTouch(0), Input.GetTouch(1)); } break; case ControlState.Scaling: case ControlState.Rotating: // 缩放和旋转状态可以互相转换，由双指手势解析函数内部判断 if (touchCount == 2) { UpdateScaleAndRotate(Input.GetTouch(0), Input.GetTouch(1)); } // 如果双指变为单指，则切换到拖拽或无状态（取决于需求，这里切换到无状态需重新触摸） else if (touchCount == 1) { currentState = ControlState.None; } break; } }

这个状态机确保了手势的互斥性，防止了单指拖拽和双指缩放指令同时生效导致的模型错乱。

3.3 单指拖拽的优化实现

单指拖拽的核心优化点在于使用一个固定的Plane来进行稳定的位移计算。

private void TryStartDrag(Touch touch) { if (touch.phase != TouchPhase.Began) return; Ray ray = arCamera.ScreenPointToRay(touch.position); RaycastHit hit; // 检测是否点中了当前模型 if (Physics.Raycast(ray, out hit) && hit.transform == modelTransform) { currentState = ControlState.Dragging; // 关键优化：构建一个虚拟平面用于后续位移计算 // 平面法线方向为摄像机指向被击中点的反方向（即与视线垂直），平面穿过被击中点 Vector3 planeNormal = -arCamera.transform.forward; dragPlane = new Plane(planeNormal, hit.point); // 计算当前触摸点在世界空间平面上的投影，作为上一帧位置 float enter; if (dragPlane.Raycast(ray, out enter)) { lastDragWorldPos = ray.GetPoint(enter); } } } private void UpdateDrag(Touch touch) { if (touch.phase != TouchPhase.Moved) return; Ray ray = arCamera.ScreenPointToRay(touch.position); float enter; // 将当前帧的射线与之前构建的固定平面求交 if (dragPlane.Raycast(ray, out enter)) { Vector3 currentWorldPos = ray.GetPoint(enter); // 计算位移向量 Vector3 delta = currentWorldPos - lastDragWorldPos; // 应用位移 modelTransform.position += delta; // 更新“上一帧位置”为当前帧位置，为下一帧计算做准备 lastDragWorldPos = currentWorldPos; } }

避坑指南：这里最大的坑是dragPlane的构建。我最初尝试用模型自身的上方向或固定世界轴作为平面法线，但在摄像机大幅度运动时，拖拽会变得非常不自然。使用-arCamera.transform.forward（摄像机前方反向）能保证这个平面始终平行于屏幕，符合用户的直觉，拖拽最跟手。

3.4 双指缩放与旋转的混合处理

双指手势通常同时承载缩放和旋转的意图。我们需要在一个函数里解析这两种变化。

private void TryStartScaleOrRotate(Touch touch1, Touch touch2) { if (touch1.phase != TouchPhase.Began && touch2.phase != TouchPhase.Began) { // 并非双指同时开始，可能是一个从单指过渡的状态，这里也允许进入 // 但需要初始化数据 } currentState = ControlState.Scaling; // 初始状态设为缩放，具体由更新函数判断 // 计算初始双指距离和中间点 initialTouchDistance = Vector2.Distance(touch1.position, touch2.position); initialScale = modelTransform.localScale; twoFingerMidpointLastFrame = (touch1.position + touch2.position) / 2; // 计算缩放的基准中心点：这里使用模型包围盒的中心，比Transform.position更稳定 Renderer renderer = GetComponentInChildren<Renderer>(); if (renderer != null) { scalePivot = renderer.bounds.center; } else { scalePivot = modelTransform.position; } // 同时初始化旋转的上一帧向量 lastSingleTouchPos = twoFingerMidpointLastFrame; } private void UpdateScaleAndRotate(Touch touch1, Touch touch2) { // 1. 处理缩放 float currentDistance = Vector2.Distance(touch1.position, touch2.position); float scaleFactor = currentDistance / initialTouchDistance; // 应用缩放，以scalePivot为中心 Vector3 newScale = initialScale * scaleFactor; // 限制缩放范围，避免过大或过小（根据模型尺寸设定） newScale = Vector3.Max(Vector3.one * 0.1f, Vector3.Min(newScale, Vector3.one * 10f)); // 关键：以特定点为中心进行缩放 ScaleAround(modelTransform, scalePivot, newScale); // 2. 处理旋转（基于双指中点向量的变化） Vector2 currentMidpoint = (touch1.position + touch2.position) / 2; Vector2 deltaMidpoint = currentMidpoint - twoFingerMidpointLastFrame; // 如果中点移动量很小，则主要认为是缩放；如果移动量较大，则加入旋转 if (deltaMidpoint.magnitude > 5.0f) // 5像素阈值，可根据DPI调整 { currentState = ControlState.Rotating; // 计算旋转角度：这里使用中点位移在屏幕X轴上的变化来控制绕世界Y轴旋转 float rotationDelta = deltaMidpoint.x * rotationSpeed * Time.deltaTime; modelTransform.RotateAround(scalePivot, Vector3.up, rotationDelta); } else { currentState = ControlState.Scaling; } // 更新为下一帧准备的数据 twoFingerMidpointLastFrame = currentMidpoint; } // 辅助函数：实现以任意点为中心的缩放 private void ScaleAround(Transform target, Vector3 pivot, Vector3 newScale) { Vector3 pivotDelta = target.position - pivot; // 计算目标点与中心点的偏移向量 float scaleFactor = newScale.x / target.localScale.x; // 假设是均匀缩放，取x分量计算比例 pivotDelta *= scaleFactor; // 偏移向量随缩放比例变化 target.localScale = newScale; // 设置新缩放 target.position = pivot + pivotDelta; // 重新计算位置，保持与中心点的相对关系 }

核心技巧：ScaleAround函数是实现高质量缩放的关键。直接修改localScale会导致模型以自身坐标原点为中心缩放，如果模型原点不在几何中心，缩放时就会“乱跑”。此函数通过动态调整位置，模拟了以指定点（如包围盒中心）为中心的缩放效果，视觉上非常稳定。

3.5 惯性效果与手感优化

原生触摸事件是离散的，直接应用会导致操作生硬。我们可以为拖拽和旋转加入简单的平滑插值（Lerp）或惯性效果，来提升手感。

// 在类中增加平滑变量 private Vector3 dragVelocity; private float rotationVelocity; private float smoothTime = 0.05f; // 平滑时间，越小越跟手，越大越有惯性 // 修改UpdateDrag函数，加入平滑阻尼 private void UpdateDrag(Touch touch) { if (touch.phase != TouchPhase.Moved && touch.phase != TouchPhase.Ended) return; Ray ray = arCamera.ScreenPointToRay(touch.position); float enter; if (dragPlane.Raycast(ray, out enter)) { Vector3 currentWorldPos = ray.GetPoint(enter); Vector3 delta = currentWorldPos - lastDragWorldPos; lastDragWorldPos = currentWorldPos; // 使用 SmoothDamp 实现带惯性的平滑移动 Vector3 targetPosition = modelTransform.position + delta; modelTransform.position = Vector3.SmoothDamp(modelTransform.position, targetPosition, ref dragVelocity, smoothTime); } } // 在手指抬起后，可以继续保留一点惯性（可选） void LateUpdate() { if (currentState == ControlState.None && dragVelocity.magnitude > 0.01f) { modelTransform.position += dragVelocity * Time.deltaTime; dragVelocity = Vector3.Lerp(dragVelocity, Vector3.zero, Time.deltaTime * 5f); } }

同样的原理可以应用到旋转上。通过Mathf.SmoothDamp对旋转角度进行平滑处理。这些微小的细节，是区分“能用”和“好用”的关键。

4. 高级优化与边界问题处理

基础功能实现后，我们还需要处理一些特定场景下的问题，让控制器更加健壮。

4.1 处理AR环境下的平面锁定与碰撞

在AR中，模型通常需要放置在检测到的真实平面上（如地面、桌面）。我们的拖拽逻辑需要与之结合。一种常见做法是，在拖拽结束时，使用ARFoundation的ARRaycastManager将模型“吸附”到最近的检测平面上。

// 添加引用 private ARRaycastManager arRaycastManager; private List<ARRaycastHit> raycastHits = new List<ARRaycastHit>(); void Start() { // ... 其他初始化 arRaycastManager = FindObjectOfType<ARRaycastManager>(); } // 在拖拽状态结束时（或在LateUpdate中）调用 private void SnapToDetectedPlane() { // 从模型当前位置向下发射射线（假设模型底部中心为吸附点） Vector3 screenPoint = arCamera.WorldToScreenPoint(modelTransform.position); Ray ray = arCamera.ScreenPointToRay(screenPoint); if (arRaycastManager.Raycast(ray, raycastHits, TrackableType.PlaneWithinPolygon)) { // 找到第一个有效的平面命中点 Pose hitPose = raycastHits[0].pose; // 将模型的位置设置为命中点位置（可以根据需要调整Y轴偏移） modelTransform.position = new Vector3(hitPose.position.x, hitPose.position.y, hitPose.position.z); // 也可以让模型朝向与平面对齐（可选） // modelTransform.up = hitPose.up; } }

同时，为了避免模型在拖拽过程中与其他虚拟物体或真实环境的估计网格发生穿透，可以为模型添加刚体（Rigidbody）并设置为运动学（isKinematic = true），然后配合碰撞体来实现简单的物理阻挡。不过要注意，这会增加性能开销，需要根据场景复杂度权衡。

4.2 多模型管理与手势冲突解决

当场景中有多个可交互模型时，我们需要一个管理器来协调。基本原则是：优先响应最新被触摸的模型，并为其锁定输入，直到该手势结束。

// 创建一个简单的管理类（单例模式） public class GestureManager : MonoBehaviour { public static GestureManager Instance; private ModelGestureController currentActiveController; void Awake() { Instance = this; } public void RequestControl(ModelGestureController controller) { // 如果有其他控制器正在被控制，则先释放它 if (currentActiveController != null && currentActiveController != controller) { currentActiveController.ReleaseControl(); } currentActiveController = controller; } public void ReleaseControl(ModelGestureController controller) { if (currentActiveController == controller) { currentActiveController = null; } } } // 在ModelGestureController的TryStartDrag/TryStartScaleOrRotate中，成功选中模型后 if (Physics.Raycast(ray, out hit) && hit.transform == modelTransform) { GestureManager.Instance.RequestControl(this); // ... 后续初始化逻辑 } // 在手势结束时（如触摸数为0时） if (touchCount == 0) { GestureManager.Instance.ReleaseControl(this); currentState = ControlState.None; }

这样就能确保同一时间只有一个模型响应复杂手势，避免界面混乱。

4.3 性能优化与电量考虑

移动设备上，尤其是AR应用，性能和电量非常宝贵。手势控制器每帧都在进行射线检测、向量运算，虽然计算量不大，但仍需注意：

1. 减少不必要的射线检测：只在触摸开始（TouchPhase.Began）时进行Physics.Raycast来选中物体，在移动过程中不再重复检测。
2. 使用对象池管理射线碰撞结果列表：如上文中的List<ARRaycastHit> raycastHits，避免频繁分配内存。
3. 在模型不可见或远离时禁用控制器：通过OnBecameInvisible和OnBecameVisible回调，或者根据模型与摄像机的距离，来动态启用/禁用脚本的Update逻辑。
4. 简化碰撞体：对于复杂的模型，使用简单的BoxCollider或SphereCollider来近似其形状，而不是使用高精度的MeshCollider，可以大幅提升射线检测效率。

5. 常见问题排查与调试技巧

即使按照教程实现，在实际部署中仍可能遇到问题。这里记录几个我遇到的高频问题及解决方法。

5.1 模型对手势无反应

这是最常见的问题，排查链如下表：

5.2 操作时模型抖动或跳跃

5.3 双指操作识别不准确（旋转/缩放混淆）

5.4 在特定设备或Unity版本上的兼容性问题

1. 多点触控ID混乱：极少数情况下，Input.touches数组中触摸点的ID可能不稳定。更可靠的做法是使用Input.GetTouch(int index)并自己管理触摸点的开始和结束生命周期，但这更复杂。对于大多数情况，Unity的默认管理是足够的。
2. ARFoundation版本更新：不同版本的ARFoundation，其坐标系、会话生命周期可能有细微差别。如果从旧项目迁移代码遇到问题，请仔细阅读对应版本的官方文档和升级指南。
3. UI工具包（UITK）与旧版UI系统：如果你的项目使用了新的UI工具包，它的事件系统可能会与Input.touches冲突。确保UI工具包的面板设置了正确的pickingMode，或者考虑使用EventSystem.current.IsPointerOverGameObject(touch.fingerId)来排除UI触摸。

调试时，善用Debug.DrawRay在场景中绘制射线，用Debug.Log输出关键变量（如距离、角度、状态），能快速定位问题所在。将这些调试代码封装在#if UNITY_EDITOR预编译指令中，方便开发阶段开关。

6. 扩展思路与性能压测建议

实现基础功能后，你可以根据项目需求进行扩展：

1. 手势动画与反馈：在模型被选中、开始拖拽、缩放时，加入轻微的高亮、描边或缩放动画，能给用户更明确的反馈。
2. 手势限制：为模型添加可操作属性，例如allowTranslation,allowRotation,allowScaling，可以动态控制哪些手势被允许。
3. 操作历史与撤销：记录模型的变换操作，实现简单的撤销/重做功能，对于设计类应用非常有用。
4. 与物理引擎结合：当释放模型时，如果不是“吸附到平面”，而是给予一个初速度模拟投掷效果，并让模型与AR环境网格发生物理碰撞，能增加真实感。

在项目后期，务必进行性能压测：

• 压力测试：在场景中同时放置10-20个带手势控制器的模型，快速进行各种手势操作，观察帧率（FPS）是否稳定在60以上，检查GC（垃圾回收）频率是否异常增高。
• 内存分析：使用Unity Profiler，重点关注脚本的Update耗时、Physics.Raycast的调用开销以及内存分配情况。
• 真机测试：在不同性能档次的移动设备上测试，确保低端机上交互依然流畅。如果性能吃紧，可以考虑降低手势更新的频率（如每两帧更新一次），但这会牺牲一些跟手性。

这套优化后的手势控制方案，已经在我多个商业AR项目中得到了验证，稳定性和用户体验都达到了不错的水准。它可能不是唯一解，但其中的设计思路和问题解决方案，希望能为你节省大量摸索的时间。记住，好的交互没有终点，总是需要根据用户反馈和具体场景不断微调。