指标平台解决"口径统一",但数据本身的质量、规范、成本问题,要靠数据治理。腾讯欧拉在这块的思考最系统。
腾讯欧拉给出一个物理学的比喻(来源:腾讯欧拉数据自治系统):
数据治理的本质是打造一个对抗熵增的系统。信息熵等价于确定性——数据没有明确用途、价值、上下游、成本,确定性就低、熵就大。
要从可理解性、规范性、易用性、可靠性、安全性、成本六个方面提升数据的确定性。
腾讯欧拉的关键洞察是,治理有两条路线(来源:腾讯欧拉数据自治系统):
| 路线 | 做法 | 类比 |
|---|---|---|
| 事后治理 | 对存量数据扫描元数据发现问题再修复 | 封闭系统对抗熵增需"对外做功"(先污染后治理) |
| 生产即治理 | 数据在生产和使用过程中就规范和自调节 | 人体是"内部自治的耗散结构",不外部做功也不生病 |
生产即治理是更优解:让新增数据在建模生产时就符合规范,从源头避免"先乱后治"。
治理需要一个可量化的目标(来源:腾讯欧拉数据自治系统 + 数据治理平台):
腾讯欧拉从规范、质量、安全、成本、应用 5 个维度定义数据资产化标准,用资产分(资产化率)量化数据体系的信息熵——资产分越高,数据确定性越高。
| 维度 | 治理内容 |
|---|---|
| 规范 | 命名、模型、字典规范 |
| 质量 | 数据准确性、完整性 |
| 安全 | 权限、脱敏、合规 |
| 成本 | 存储、计算资源 |
| 应用 | 数据被使用的情况 |
一个实操原则:资产化率的分子度量需要大量元数据分析,一开始不可能绝对准确,但"粗略的正确好过精确的错误",逐步迭代。
治理落地从两方面入手(来源:腾讯欧拉数据治理平台):
治理好的数据在统一数据服务门户上申请应用,实现降本、保安全、提升治理公信力。
腾讯基于 DataOps 理念打造规范化的数据开发建模平台(来源:腾讯欧拉数据治理平台)。
一个数仓混乱的典型 case:一张 ODS 表被多个开发者各自加工,构建 DWD 宽表 → DWS 聚合 → ADS/报表,导致三类问题:
解决方案四条:
| 措施 | 作用 |
|---|---|
| 规范化维度建模、可视化建模 | 提升数据生产效率 |
| DataOps 能力 | 提升数据编排过程效率和规范性 |
| 基于指标平台统一指标口径 | 半自助配置生产 DWS/ADS 表、统一指标出口 |
| 数据知识库 / 数据地图 | 构建统一数据地图和服务 |
DataOps 两层含义:一是像 DevOps 的生产流程编排(需求协作 → 设计规划 → 开发建模 → 集成测试 → 发布运维 → 监控服务),二是价值层面的业务流程编排。
腾讯欧拉指出数据治理的最终目标是实现数据生产和应用的工业化(来源:腾讯欧拉数据治理平台):
指标平台 + 数据治理平台的结合,正是"在复杂多变中保持秩序"的骨架。
本章要点回顾
上一章:06 查询加速与性能优化 | 下一章:08 AI 时代的指标平台