首页/资讯中心/详情

Auto_Simulated_Universe：基于图像识别与OCR的游戏自动化框架技术解析

Auto_Simulated_Universe：基于图像识别与OCR的游戏自动化框架技术解析
📅 发布时间：2026/7/26 18:02:58

Auto_Simulated_Universe：基于图像识别与OCR的游戏自动化框架技术解析

【免费下载链接】Auto_Simulated_Universe崩坏：星穹铁道 模拟宇宙自动化 （Honkai Star Rail - Auto Simulated Universe）项目地址: https://gitcode.com/gh_mirrors/au/Auto_Simulated_Universe

在游戏自动化领域，构建一个稳定可靠的自动化框架需要融合计算机视觉、模式识别和智能决策等多种技术。Auto_Simulated_Universe项目正是这样一个集成了先进图像识别技术与智能决策算法的开源游戏自动化框架，专为《崩坏：星穹铁道》的模拟宇宙玩法设计。本文将从技术架构、实现原理、实战应用和扩展定制四个维度，深入解析这一图像识别自动化解决方案的技术实现。

核心理念：非侵入式自动化设计

Auto_Simulated_Universe遵循非侵入式设计原则，不修改游戏文件或内存数据，仅通过现有用户界面与游戏交互。这种设计理念确保了框架的合规性和稳定性，同时为游戏自动化开发提供了可复用的技术模式。

框架的核心技术栈基于Python生态构建，依赖OpenCV进行图像处理、PyAutoGUI实现自动化操作、ONNX Runtime进行OCR识别。通过精确的屏幕截图分析和界面元素识别，框架能够模拟人类玩家的操作流程，实现从游戏启动到战斗结算的全流程自动化。

技术架构：模块化设计与智能识别系统

图像识别与OCR模块

项目的OCR识别系统采用ONNX格式的PaddleOCR模型，实现了高效的文字识别功能。在utils/onnxocr/目录中，包含了完整的OCR处理流水线：

# OCR识别核心类示例 class My_TS: def __init__(self, lang='ch'): self.lang = lang self.ts = ONNXPaddleOcr(use_angle_cls=False) self.text = '' def sim(self, text, img=None): if img is not None: self.input(img) self.text = self.text.strip() return self._calculate_similarity(text)

该模块支持中文游戏文本的精准识别，通过编辑距离算法处理OCR识别中的微小误差，确保祝福名称、角色技能等关键信息的准确匹配。

自动化操作控制层

框架的操作控制层位于utils/simul/keyops.py和utils/diver/keyops.py，实现了基于Windows API的精确输入控制：

# 键盘操作控制示例 class KeyController: def __init__(self): self.key_mapping = config.get_key_mapping() def press_key(self, key, duration=0.1): """模拟按键操作""" win32api.keybd_event(self.key_mapping[key], 0, 0, 0) time.sleep(duration) win32api.keybd_event(self.key_mapping[key], 0, win32con.KEYEVENTF_KEYUP, 0)

操作层通过配置文件info.yml中的key_mapping节实现键位映射的灵活配置，支持不同用户习惯的自定义设置。

游戏状态管理与决策引擎

状态管理模块utils/simul/utils.py中的UniverseUtils类构成了框架的决策核心。该类维护游戏状态机，通过实时屏幕分析判断当前游戏阶段，并触发相应的自动化操作：

class UniverseUtils: def __init__(self): self._stop = False self.stop_move = 0 self.move = 0 self.ts = ocr.My_TS() # OCR实例 self.fail_count = 0 def detect_game_state(self): """检测当前游戏状态""" screenshot = self.capture_screen() # 分析屏幕内容，判断当前界面类型 if self.is_bless_selection(screenshot): return STATE_BLESS_SELECTION elif self.is_battle(screenshot): return STATE_BATTLE elif self.is_event(screenshot): return STATE_EVENT return STATE_UNKNOWN

实战应用：配置管理与自动化流程

配置系统设计

项目的配置管理采用YAML格式，支持丰富的自定义选项。info_example.yml文件展示了完整的配置结构：

config: # 游戏难度设置，范围1-5 difficulty: 5 # 队伍类型：追击/dot/终结技/击破/盾反 team: 终结技 # 速通模式开关 speed_mode: 0 # 图像识别精度设置 accuracy: 1440 # 角色技能配置 skill: - 黄泉 - 符玄 - 阮梅

配置系统通过utils/simul/config.py模块实现动态加载和验证，确保配置项的合法性和完整性。

游戏界面识别与交互

框架通过模板匹配技术识别游戏中的关键界面元素。在imgs/目录中存储了大量的界面模板图片，用于精确识别游戏状态：

图1：游戏画质设置界面识别 - 框架需要准确识别分辨率、渲染精度等设置以确保自动化稳定性

图像识别模块采用多尺度模板匹配算法，结合边缘检测和特征点匹配，提高在不同游戏分辨率下的识别准确率：

def match_template(screenshot, template_path, threshold=0.8): """模板匹配函数""" template = cv.imread(template_path, cv.IMREAD_GRAYSCALE) screenshot_gray = cv.cvtColor(screenshot, cv.COLOR_BGR2GRAY) # 多尺度匹配 for scale in [0.8, 0.9, 1.0, 1.1, 1.2]: resized = cv.resize(screenshot_gray, None, fx=scale, fy=scale) result = cv.matchTemplate(resized, template, cv.TM_CCOEFF_NORMED) min_val, max_val, min_loc, max_loc = cv.minMaxLoc(result) if max_val >= threshold: return True, max_loc, max_val return False, None, 0

路径规划与导航系统

框架的导航系统基于小地图分析实现自动寻路。通过识别游戏小地图中的路径点和交互点，构建虚拟导航网格：

图2：场景选择界面识别 - 框架需要区分战斗区域和事件区域以做出正确决策

导航算法结合了A*路径规划和时间最优策略，确保角色以最高效率在游戏地图中移动。utils/simul/map_log.py模块负责地图数据的记录和分析，支持离线地图数据的复用。

定制扩展：模块化架构与二次开发

插件化架构设计

项目采用模块化设计，便于功能扩展和定制开发。主要功能模块包括：

  1. 核心自动化模块：simul.py（普通模拟宇宙）和diver.py（差分宇宙）
  2. GUI界面模块：基于Flet框架的图形用户界面
  3. 工具模块：OCR识别、图像处理、日志记录等
  4. 配置模块：YAML配置解析和验证

自定义地图录制功能

框架支持用户自定义地图录制，当遇到新地图时可以通过手动录制功能扩展地图库：

# 地图录制命令示例 python states.py --debug=2 --find=1 # 开始录制 python states.py --debug=2 --find=0 # 结束录制并保存

录制的地图数据保存在imgs/maps/my_xxxxx/目录中，用户可以使用图像编辑工具标记路径点、终点和交互点，扩展框架的地图识别能力。

通知系统与监控

项目集成了Windows通知系统notif.py，支持自动化任务完成时的实时通知。通知系统采用托盘图标和系统通知相结合的方式，提供良好的用户体验：

def send_notification(title, message): """发送Windows通知""" notification = winotify.Notification( app_id="Auto_Simulated_Universe", title=title, msg=message, duration="short" ) notification.show()

故障排查与技术优化

在自动化运行过程中，框架通过多层异常处理机制确保稳定性：

  1. 图像识别容错：采用多级匹配策略，当主要识别方法失败时自动降级到备用算法
  2. 状态恢复机制：检测到异常状态时自动重置游戏界面或重新开始当前阶段
  3. 性能监控：实时监控CPU和内存使用，避免资源耗尽导致的自动化中断

图3：强化选择界面识别 - 框架需要准确识别不同祝福卡片并进行智能选择

对于常见的识别失败问题，框架提供了校准工具align_angle.py，用于调整视角转动参数。当更换鼠标或调整DPI设置后，重新校准可以显著提高导航准确性。

技术挑战与解决方案

分辨率适配与兼容性

游戏自动化框架面临的最大挑战之一是不同硬件环境下的分辨率适配。项目通过以下策略解决这一问题：

  1. 相对坐标计算：所有界面元素位置基于屏幕分辨率动态计算
  2. 多分辨率模板：为常见分辨率预先生成模板图片
  3. 自适应缩放：识别算法支持图像缩放，适应不同分辨率

游戏更新兼容性

游戏界面更新可能导致自动化脚本失效。框架通过以下机制保持兼容性：

  1. 模块化界面识别：将界面识别逻辑与业务逻辑分离
  2. 配置驱动更新：界面变化时只需更新模板图片和坐标配置
  3. 版本检测：自动检测游戏版本并应用相应的识别策略

性能优化策略

为了确保自动化运行的流畅性，项目采用了多项性能优化措施：

  1. 图像处理优化：使用OpenCV的GPU加速功能
  2. 缓存机制：频繁访问的图像模板和配置数据缓存到内存
  3. 异步处理：耗时操作如OCR识别采用异步执行，避免阻塞主线程

总结与展望

Auto_Simulated_Universe项目展示了开源游戏自动化框架的技术成熟度和发展潜力。通过图像识别、OCR技术和智能决策算法的有机结合，实现了游戏玩法的全自动化执行。

项目的技术架构具有以下特点：

  1. 可扩展性：模块化设计支持新功能的快速集成
  2. 可维护性：清晰的代码结构和完善的文档便于二次开发
  3. 稳定性：多层异常处理和状态监控确保长时间稳定运行
  4. 易用性：提供GUI界面和详细的配置选项，降低使用门槛

随着计算机视觉和机器学习技术的不断发展，游戏自动化框架将朝着更加智能、自适应和通用的方向发展。Auto_Simulated_Universe项目为这一领域提供了宝贵的技术参考和实践经验。

对于开发者而言，该项目不仅是实用的游戏自动化工具，更是学习图像识别、自动化控制和软件架构设计的优秀案例。通过深入研究其技术实现，可以掌握现代自动化系统的设计理念和实现方法。

【免费下载链接】Auto_Simulated_Universe崩坏：星穹铁道 模拟宇宙自动化 （Honkai Star Rail - Auto Simulated Universe）项目地址: https://gitcode.com/gh_mirrors/au/Auto_Simulated_Universe

创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考