07 · 数据治理与"生产即治理":怎么避免先污染后治理

指标平台解决"口径统一",但数据本身的质量、规范、成本问题,要靠数据治理。腾讯欧拉在这块的思考最系统。

7.1 数据治理的本质:对抗熵增

腾讯欧拉给出一个物理学的比喻(来源:腾讯欧拉数据自治系统):

数据治理的本质是打造一个对抗熵增的系统。信息熵等价于确定性——数据没有明确用途、价值、上下游、成本,确定性就低、熵就大。

要从可理解性、规范性、易用性、可靠性、安全性、成本六个方面提升数据的确定性。

7.2 两条治理路线:事后治理 vs 生产即治理

腾讯欧拉的关键洞察是,治理有两条路线(来源:腾讯欧拉数据自治系统):

路线 做法 类比
事后治理 对存量数据扫描元数据发现问题再修复 封闭系统对抗熵增需"对外做功"(先污染后治理)
生产即治理 数据在生产和使用过程中就规范和自调节 人体是"内部自治的耗散结构",不外部做功也不生病

生产即治理是更优解:让新增数据在建模生产时就符合规范,从源头避免"先乱后治"。

7.3 资产分 / 资产化率:量化治理效果

治理需要一个可量化的目标(来源:腾讯欧拉数据自治系统 + 数据治理平台):

腾讯欧拉从规范、质量、安全、成本、应用 5 个维度定义数据资产化标准,用资产分(资产化率)量化数据体系的信息熵——资产分越高,数据确定性越高。

维度 治理内容
规范 命名、模型、字典规范
质量 数据准确性、完整性
安全 权限、脱敏、合规
成本 存储、计算资源
应用 数据被使用的情况

一个实操原则:资产化率的分子度量需要大量元数据分析,一开始不可能绝对准确,但"粗略的正确好过精确的错误",逐步迭代。

7.4 存量治理 + 新增治理:双管齐下

治理落地从两方面入手(来源:腾讯欧拉数据治理平台):

治理好的数据在统一数据服务门户上申请应用,实现降本、保安全、提升治理公信力。

7.5 DataOps:规范化的数据开发建模

腾讯基于 DataOps 理念打造规范化的数据开发建模平台(来源:腾讯欧拉数据治理平台)。

一个数仓混乱的典型 case:一张 ODS 表被多个开发者各自加工,构建 DWD 宽表 → DWS 聚合 → ADS/报表,导致三类问题:

  1. 开发者不统一 → 加工逻辑和口径不一致(同一个"曝光次数"在 3 张 ADS 表加和却不相等);
  2. 数据冗余、跨层依赖;
  3. 用户不知道该从哪张表取数。

解决方案四条:

措施 作用
规范化维度建模、可视化建模 提升数据生产效率
DataOps 能力 提升数据编排过程效率和规范性
基于指标平台统一指标口径 半自助配置生产 DWS/ADS 表、统一指标出口
数据知识库 / 数据地图 构建统一数据地图和服务

DataOps 两层含义:一是像 DevOps 的生产流程编排(需求协作 → 设计规划 → 开发建模 → 集成测试 → 发布运维 → 监控服务),二是价值层面的业务流程编排。

7.6 数据治理的终态:工业化

腾讯欧拉指出数据治理的最终目标是实现数据生产和应用的工业化(来源:腾讯欧拉数据治理平台):

指标平台 + 数据治理平台的结合,正是"在复杂多变中保持秩序"的骨架。


本章要点回顾

上一章:06 查询加速与性能优化 | 下一章:08 AI 时代的指标平台