✨博客主页: https://blog.csdn.net/m0_63815035?type=blog
💗《博客内容》:大数据、AI开发、Java、测试开发、Python、Android、Go、Node、Android前端小程序等相关领域知识
📢博客专栏:https://blog.csdn.net/m0_63815035/category_11954877.html
📢欢迎点赞 👍 收藏 ⭐留言 📝
📢本文为学习笔记资料,如有侵权,请联系我删除,疏漏之处还请指正🙉
📢大厦之成,非一木之材也;大海之阔,非一流之归也✨
目录
- 一、数据治理是什么
- 二、数据治理包含哪些核心模块(从属关系清晰)
- 三、数据治理和数据底座、数据资产、数据中台的关系(结合之前架构)
- 四、放到【多事业部场景】,治理怎么落地(核心难点)
- 五、厘清几组极易混淆概念
- 1)数据标准 VS 数据质量
- 2)数据治理 VS 数据资产
- 3)逻辑孤岛靠谁解决?
- 六、数据治理常见误区
- 七、结尾
一、数据治理是什么
数据治理是一套体系,通过组织、制度、流程、平台工具,制定统一规则,并持续监督落地,保障企业数据准确、一致、可信、安全、可复用,最终解决物理孤岛之上的逻辑孤岛。
简单一句话:
数据底座把数据“收集到一起”(解决物理孤岛);
数据治理负责规定“数据应该长什么样、怎么算、谁负责、不合规怎么办”,解决编码混乱、口径不一、建模杂乱等逻辑孤岛。
重要区分:
数据治理 ≠ 单纯写文档;
数据治理 ≠ 只做数据质量监控;
数据治理是**“定标准 + 落地执行 + 监督校验 + 持续优化”闭环**。
二、数据治理包含哪些核心模块(从属关系清晰)
- 数据标准管理(立法层,最前置)
分为两大块:
- 技术标准:字段命名、数据类型、日期格式、枚举字典、数仓分层命名、存储规范;
- 业务标准:主数据编码规则、指标定义、指标口径、业务术语、维度建模规范。
👉 回答问题:基础技术质量,就是用来校验数据是否遵守【技术类数据标准】
标准写清楚“应该怎么做”;质量校验检查“有没有做到”。
主数据治理(打通实体孤岛)
统一商户、门店、商品、组织等核心实体,建立全局唯一ID,维护多系统编码映射关系。
解决:A事业部商户ID、B事业部商户ID无法关联的问题。指标治理(打通口径孤岛)
搭建指标字典平台,统一指标名称、业务定义、统计范围、计算公式;
区分:集团强制统一指标 / 事业部允许差异化指标,同名不同口径必须区分编码,杜绝“同名字段两套数字”。数据质量管理(执法落地抓手)
依据上面的数据标准,配置自动化校验规则,覆盖六大维度:
- 基础技术质量(完整性、唯一性、格式合规,校验技术标准)
- 业务准确性(校验指标口径、业务逻辑)
- 跨层一致性(上下层对账)
- 实体统一性(主数据映射校验)
- 时效稳定性(SLA、波动预警)
- 安全合规性
数据标准是标尺,数据质量就是拿着标尺去检查。
元数据与数据血缘治理
采集表信息、字段信息、数据来源、加工链路;
出现质量问题可以溯源,看清影响范围,支撑模型复用、资产盘点。数据安全与权限治理
数据分级分类、访问权限、敏感数据脱敏、数据下载管控、数据共享规范,防范数据泄露与越权使用。数据生命周期治理
冷热数据分层、过期数据归档、清理无效废弃表,控制存储成本。
三、数据治理和数据底座、数据资产、数据中台的关系(结合之前架构)
数据中台五层:
- 数据基建(数据底座):采集、存储、Spark/Flink、调度
作用:归集多业务系统数据,仅解决物理孤岛;只有底座,一定会存在大量逻辑孤岛。 - 数据治理层:标准、主数据、指标治理、质量、元数据、安全
作用:制定统一规则,专门解决逻辑孤岛。 - 数据资产层:ODS/DWD/DWS/DM/ADS数仓模型、公共维度DIM
作用:按照治理标准加工数据,产出标准化可复用资产。 - 数据服务层:指标API、OLAP查询、自助提数、人群圈选
作用:统一对外出口,防止业务私自导出数据,避免新逻辑孤岛产生。 - 数据应用层:BI报表、经营大屏、业务后台、风控、算法场景
关键认知:
传统数仓 = 只有数据底座+数据资产建模;缺少治理,数据堆在一起但口径混乱。
数据中台 = 底座 + 治理 + 资产 + 服务 + 应用。
四、放到【多事业部场景】,治理怎么落地(核心难点)
矛盾:各事业部业务系统不一样,指标口径无法全部强行统一。
治理不能一刀切,采用策略:底层强统一、中层分级管控、上层按需对齐
- 强统一(治理底线,不允许变通)
- 技术标准统一:字段命名、dt格式、枚举规范;
- 主数据统一:商户、商品、门店全局唯一ID,DWD层强制转换;
- 公共维度统一:一套DIM维度表,所有事业部共用;
- 通用基础指标统一:商户数量、门店数量等无争议指标。
分级管控(尊重事业部业务差异)
事业部营收、结算毛利这类受商业模式影响、口径天然不同的指标:
✅ 允许事业部保留自有口径;
✅ 但是必须录入指标平台,完整留存口径文档(纳入指标治理);
✅ 指标编码区分,禁止同名同编码不同逻辑;
✅ 纳入数据质量监控,保障事业部内部口径稳定。上层对齐(集团大盘需求)
集团想看全事业部汇总数据,不在底层DWS强行改口径,
在集团DM集市层,按照集团统一规则做折算、对齐,产出集团统一视图。
五、厘清几组极易混淆概念
1)数据标准 VS 数据质量
数据标准:定义规范(应该是什么样);
数据质量:校验是否遵守规范(有没有达标)。
没有标准,质量校验无依据;没有质量监控,标准永远只是文档。
2)数据治理 VS 数据资产
治理是“规则体系”;资产是“按照规则加工出来的数据产品”。
先有治理标准,才能产出合格、可信的数据资产。
3)逻辑孤岛靠谁解决?
依靠整套数据治理:
主数据治理解决实体孤岛;
指标治理解决口径孤岛;
建模标准治理解决建模孤岛;
数据服务管控防止产生新孤岛。
物理孤岛依靠数据底座解决。
六、数据治理常见误区
- ❌ 买一套元数据、DQC工具 = 完成治理
工具只是载体,没有配套标准、流程、责任人和评审机制,工具只会空转。 - ❌ 治理只是数据团队的事情
指标口径、业务规则需要业务部门参与定义,纯技术推动很难落地。 - ❌ 所有指标必须强行统一口径
忽略事业部商业模式差异,强行统一只会造成指标脱离业务,无法使用。 - ❌ 治理一次性做完就结束
业务持续迭代、系统持续新增,治理是长期持续运营工作,不是一次性项目。
七、结尾
数据底座负责把分散的数据汇集起来;
数据治理负责制定全套数据规则,并通过质量监控、流程约束保障所有人按规则生产数据,从根源消除编码、口径、建模混乱带来的逻辑孤岛;
基于治理标准加工后的数据,才是可信、可复用的数据资产。
今天这篇文章就到这里了,大厦之成,非一木之材也;大海之阔,非一流之归也。感谢大家观看本文