当前位置: 首页 > news >正文

数据目录:三大目录

在以往的项目实践中,基本上都是将数据目录分为三大类:数据资源目录、数据资产目录、数据产品目录。

一、数据资源目录

数据资源目录,主要是各业务系统的元数据信息。它的作用是让数据加工者快速、便捷、统一的了解企业中各个业务系统的元数据信息。

目标:技术资产管理,回答“我们有哪些物理表?在哪个库?在哪个系统?谁在管?”

数据资源目录一般情况下将业务部门作为一级目录,业务系统名称作为二级目录,比如人力资源管理部下有招聘系统、考勤系统、绩效系统、福利系统等等。通过各业务元数据信息,我们可以将所有业务系统的数据资源获取到,形成所有业务系统的数据资源全景,进而将数据资源目录的主体给构建出来。

将采集好的元数据信息分别挂载到相关系统目录下,在哪个系统采集的就挂载到哪里。

看图上挂载的内容均为ODS层物理表,为什么挂ODS层物理表不挂源系统的物理表信息呢,下面做个解释:

优点缺点
源系统物理表
  • 从业务源头开始管理,理论上最完整,可以覆盖所有数据来源
  • 能够直接反映业务系统的数据资产,便于从业务视角进行盘点。

  • 源系统通常由不同的业务部门或供应商管理,数据团队可能没有管理权限,难以实现自动化采集和实时更新。

  • 源系统的数据格式、结构多样,难以统一管理。

  • 无法直接管理数据团队负责的ODS、DWD等分层的数据资源,不利于数据平台的运维。

ODS物理表

  • ODS是数据入湖后的第一站,是数据团队直接管理和运维的对象。

  • 从ODS开始,数据已经结构化、规范化,便于统一管理。

  • 可以方便地追踪到下游的数据加工链路(DWD、DWS等),因为后续分层都是基于ODS加工而来。

  • 存储成本、计算任务、数据质量监控都可以从ODS层开始管控。

  • 无法直接关联到源系统,当需要追溯业务源头时,信息缺失。

  • 如果源系统发生变更,无法直接评估对ODS层的影响,需要额外的文档或知识。

选择ODS层的根本原因是:

责任对等:你管理你能负责的东西

运维必需:解决数据团队日常工作中的实际问题

信息完整:ODS元数据可包含源系统关键信息

成本控制:直接关联到数据平台的资源消耗

二、数据资产目录

数据资产目录形成完善的企业数据资产地图,在一定程度上为企业数据治理、业务变革提供了指引。基于数据资产目录识别数据管理责任,解决数据问题争议,帮助企业业务改革进行规划设计,避免重复建设。

目标业务化治理与协同。让业务人员能看懂、能找到、能信任数据,解决“业务与技术语言不通”的问题。

根据《华为数据之道》将数据资产分为5层,涵盖企业的所有数据资产:

而“业务对象”是数据资产目录及信息架构中最重要的管理要素。业务对象是企业重要的人、事、物,承载了业务运作和管理涉及的重要信息,是业务视角和IT视角的 联结纽带。业务对象可以划分业务的责任边界、明确数据owner、指引IT系统设计

数据资产目录与数据模型之间的关系如下图:

L4逻辑数据实体主要关联数据湖中分层的是DWD、DIM、DWS层。数据资产目录挂载的也是逻辑实体,物理表只是逻辑实体的落地实践。

是否挂载数据资产目录
DWD全部进数据资产目录
DIM全部进数据资产目录
DWS

核心汇总表:进入资产目录

业务线专用汇总:进数据产品目录

三、数据产品目录

数据产品目录是一个面向数据消费者的服务化门户。它不展示原始数据和加工中的数据,而是展示已封装好、可直接用于解决业务问题的数据服务。

数据资产目录回答:我们有哪些数据?
数据产品目录回答:这数据能做什么?

数据产品目录何鑫挂载层是:ADS层(应用数据层)ADS本身就是为特定的应用而建,天然就是产品。还有当DWS层汇总数据被封装为标准服务时,也应该纳入产品目录。

一个生动的例子

  • 资产目录中,你找到的是“客户主数据”实体,了解到它的定义、包含哪些字段、质量如何。

  • 产品目录中,你找到的是“客户360查询API”,直接看到调用文档、试用接口,并一键申请使用权限。这个API的背后,很可能就封装了“客户主数据”等多个资产实体。

数据产品目录应成为企业内部数据消费的“一站式商店”,任何业务人员或开发者都能在这里快速找到、理解、申请并使用他们需要的数据能力,从而真正释放数据价值,推动业务创新。

http://www.rkmt.cn/news/1449096.html

相关文章:

  • KMS_VL_ALL_AIO:5分钟彻底解决Windows和Office激活难题的智能脚本
  • 洛雪音乐聚合音源:5分钟搭建你的免费无损音乐库终极指南
  • 别再对着CMakeLists.txt发愁了!手把手教你用ESP-IDF的Menuconfig搞定项目配置(VSCode环境)
  • 中大企业知产管理升级:汉知宝以全场景能力成为优选方案
  • git过滤不需要的build编译文件
  • 打破手机跑大模型壁垒,面壁智能联合清华开源端侧新品BitCPM-CANN
  • 使用 TypeScript 递归条件类型实现深只读(DeepReadonly)
  • Lab of Things:构建标准化物联网研究平台的核心架构与实践
  • 如何将微信对话转化为个人数字资产:WeChatMsg数据自主管理指南
  • 基于Arduino与光敏电阻的智能感应装置:从传感器到执行器的IoT实践
  • AI时代的品牌罗盘:2026年国内三大GEO监测工具深度横评与选型指南
  • 5分钟搞定洛雪音乐音源配置:免费音乐播放器的终极解决方案
  • 保姆级教程:用Docker容器一键部署Maven开发环境,彻底告别‘Command not found‘
  • 基于Arduino与光敏电阻的智能窗帘自动控制系统设计与实现
  • 用Python+灰色关联度分析,手把手教你量化低碳建筑全生命周期的碳排放(附代码)
  • Flutter跨小程序开发:如何用一套Dart代码征服微信小程序生态
  • 类型体操实战:Promise.all 类型实现
  • 2026年济南黄金回收实用科普:素军奢品汇贵金属回收闲置处置参考文稿 - GrowthUME
  • 2026年赤峰劳动工伤律师推荐:5位实战经验丰富值得信赖的维权专家 - 本地品牌推荐
  • 如何通过OmenSuperHub优化惠普OMEN游戏本的性能和散热
  • 7次碰壁、4个版本:我在一个浏览器插件里看到Agent该有的样子
  • Axure9.0中继器-初识篇
  • 3.4 Linux目录操作
  • Buck 滑模变结构控制(SMC)仿真
  • Outfit字体:9种字重几何无衬线字体的完整免费解决方案
  • yuzu模拟器流畅运行终极方案:告别卡顿闪退的7个关键技巧
  • 告别网盘限速:LinkSwift 终极下载助手完全指南
  • 2026年6月国内热门的普拉提学校推荐,普拉提,普拉提机构哪家好 - 品牌推荐师
  • 解锁B站宝藏:用Python开源工具打造你的个人视频图书馆
  • Obsidian插件翻译终极指南:5分钟让任意插件说中文