企业数据治理方法论

可以将整个数据治理项目，分为四个阶段。

第一阶段：前期调研和标准制定

（一）充分调研，需要对用户的业务系统和数据进行调研和盘点。

（二）制定数据标准。

数据标准一般来说有三类：

第1类：数据的描述和定义。主要目的是统一业务口径。

第2类：技术标准。因为数据要需要通过中台集成，要共享，所以必须确定技术标准。后期需要告知各个系统的供应商，这些数据如何集成、共享、传输，这属于标准化操作工作。

第3类：管理办法相关标准。包括管理流程制度等。

第二阶段：数据仓库架构设计

本阶段需要设计好数据仓库的架构，分层分类存储和管理数据。

每个行业和领域都有自己的数据特点，需要根据实际情况确定最适合的方式。

第三阶段：开发实施

集成系统，采集数据，然后对数据进行开发治理。

第四阶段：成果输出

成果一：数据共享；成果二：数据可视化。用于给领导提供决策支持。

理论上，这四个阶段结束后，数据中台实施项目过程就结束了。但实际情况却不是这样的，因为公司的业务系统和数据在持续不断地增加，数据治理也处在一直运行的状态，这是一个长期运营的过程。

每接入一个新系统，每增加一类新数据，可能都要把上面的数据治理过程走一遍，这是数据治理的常态。

以上，是对数据治理逻辑跟方法的简单介绍。

接下来，继续为大家详细阐述数据治理的方法论。

一、调研及数据资产盘点

进行详细调研，盘点现有数据资产，摸清“家底”。公司最核心的数据是哪些？

1、指标，这是领导最关心的。

2、主数据，也就是常说的基础数据，相对稳定。

常见的主数据包括组织、人员、设备分类、物资分类、供应商名单、客户名单等等。企业对主数据的定义大同小异，这也是企业最关键的数据。

二、制定数据标准

制定统一数据标准，可以有效消除业务数据杂、乱、差，打造高质量数据资产。

数据标准，是对数据进行统一的描述。数据标准的核心，就是数据源。打比方来说，数据源就是一张数据表中的一个具体的字段。

比如说，公司有很多电脑设备，每台电脑会有对应的数据，包括品牌、型号、编号、使用者等等，这些都可以称作是数据源，记录这些数据的方式，就是在数据库表里面写入一个个字段。

为了更好地记录这些电脑设备的数据，就需要制订一套数据标准，定义好每个字段的基本属性和描述。

接下来，要把这些数据标准导入到数据治理服务平台这个工具里面。它可以：

1、指导我们建立主数据库，即建立主数据库模型。

2、可以通过这一套数据标准，来稽核采集到数据的质量。

比如说，关于人员的姓名、身份证号码、性别、学历、毕业院校等基础数据，都是可以通过制定好数据标准来校验，数据是否填写正确。

三、设计数据架构

数据治理，需要根据企业现状，制定整体数据架构规划，明确数据中台建设思路。

数据架构需要业务专家与数据专家共同规划完成。数据架构的规划应全面，但建设范围应逐步推进，聚焦于核心业务，不宜贪大求全。

通常来说，我们会把数据分为三层。

最底层：业内一般叫做ODS层。它存放的是我们原封不动，从数据源系统搬过来的这个主数据，即业务数据。现在还有种说法，叫做数据湖。把所有的数据全搬过来，堆在一起。按照数据来源去分类。

中间层：一般会根据需要，将最底层的原始数据整理成标准数据，再形成一个个分析专题库。像人资基础库、财务基础库、设备基础库，都属于标准数据。假设领导想要通过数据大屏，看一下分公司上季度的人员成本支出以及设备使用情况，这就需要搭建一个分析专题库。

应用层：常见的形式为报表、算法以及看板等。

将数据分成这三个层级，是用来干什么呢？

常见的场景就是跨部门合作，需要共享数据，这些数据一般就取自最底层，也就是基础数据层。

举例来说，规模稍大的公司，每个业务部门都有各自熟悉的供应商。这些供应商的数据一般都存在部门的数据库里面，如果需要拿另外一个部门的供应商数据，就需要找对应的业务部门。

这时候如果有个统一的基础数据库，需要找供应商就不用每次都问其他部门要了，种类全信息也准确，这样效率也会提高不少。还可以避免出现供应商重复出现在数据库里。

四、数据集成

为了打破企业中的数据孤岛问题，需要把数据统一接入一个数据库里。

企业里会存在各种各样的数据，有结构化的、半结构化的、非结构化的数据，还有很多数据很难采集到。不能通过数据库拿到的，可以通过API接口，或者爬虫机器人来采集。

五、数据治理

接下来，就需要通过数据治理开发，让企业的数据更一致、更准确、更可信、更易用。数据治理，简单来说就是要提升数据质量。

将质量规则分为唯一性、完整性、准确性、规范性、一致性、及时性六个维度。定义好数据规则后，只需要将规则与数据库中的字段进行关联，就可以来校验这些数据的质量了。

六、数据开发

业内常见的数据开发方法，都是通过ETL工具来处理数据。也可以通过可视化的方式，编排调度任务，实现流程化、跨类型、分布式的任务调度和实时监控，处理复杂的多任务协同数据开发治理。

七、数据共享

让数据高效流转利用，促使多业务系统数据充分融合，为企业带来新的价值增长点。

八、数据可视化

数据可视化是数据治理成果的直观体现，是展现自己工作成果和能力的重要一环。

数据可视化呈现形式需要根据实际情况具体分析。可以做成采用二维模型构建的数据大屏，做驾驶舱，也可以做成数字孪生那样的三维模型。

中翰软件：专注数据治理17年（http://www.jobhand.cn）