大数据时代，企业为啥必须做数据治理？

发布时间:[2021-08-06] 来源:网络点击量:

进入到大数据时代，数据领域里的工程师、分析师和科学家们可以很轻易的使用开源世界的各种技术（比如离线处理有MapReduce、Spark，实时处理有Flink、Spark Streaming，数据存储有HDFS、Hbase等等）处理数据、应用数据，但是如何将繁杂的数据结构、庞大的数据集、不断变化的元数据信息变成资产，变成可积累的知识，却是一个很难回答的问题。

对于业务驱动的公司，做数据治理并不能直接产生业务价值和效益；技术驱动的公司，数据治理也没有很高的技术含量，但是一个没有经过治理的数据，只会随着业务规模的增大，越来越混乱，直到没有人想去碰。因此如何让这繁杂的数据变成数据资产，让数据团队不做重复地工作，拥有更高的效率成了每一个数据团队需要解决的问题。

在大数据领域，数据治理可以说是高频次的出现，那么为什么需要数据治理？应该怎么来实施数据治理？下面一起来探讨一下

大数据治理的背景

说起数据治理，往往会跟数据仓库进行对标，数据治理跟数据仓库是什么关系呢？

一般而言数据仓库主要解决多源数据汇聚、存储和数据分析的问题，在数据仓库的体系中极少提到数据资产化的概念，那么数据治理在传统的数据仓库的基础上，更多的体现数据资产化的概念，所以数据治理的核心能力并不是有限的数据分析，而是数据价值的充分挖掘和体现。

那么数据治理为什么不叫数据管理呢？

数据管理更多的是如何来管理数据，而数据治理更充分的体现数据的价值，通过一系列的治理活动来提升数据的价值，发挥数据应有的作用，使数据驱动应用。

另外，数据治理与当前比较火热的数据中台又是什么关系呢？

数据治理是数据中台的技术实现，通过数据治理的技术体系来建立数据中台。

综上所述，数据治理就是在数据爆发式增长的形势下，数据价值发挥越来越显得紧迫和重要，甚至可以说未来市场的竞争就是数据价值的竞争。所以只有建立完整的数据治理体系，才能保障数据内容的质量，才能真正有效的挖掘数据价值，提升竞争力。

数据治理的设计方法

这里就不长篇大论的描述数据治理的设计方案了，主要以关键点的方式来进行简要阐述。

首先我们要考虑数据治理的目标，其一对数据通过统一的视图进行管理；其二对多源数据进行标准化处理；其三数据资产化最重要的活动，数据价值挖掘的基础。

1.标准先行，一般来说需要事先制定“数据分类及编码标准”、“数据目录标准”、“数据项标准”、“数据安全标准”、“数据交换共享标准”。

2.依据标准建立数据目录管理功能，通过数据目录管理来落实数据分类编码、数据目录和数据项标准。

3.建立数据清洗规则，使数据目录与源数据表建立映射，数据项与源表数据项建立映射，通过ETL实现对源数据的清洗。

4.建立数据质量管理功能，按照数据目录定期检查数据的质量问题，并通过数据问题库来记录和跟踪数据的质量问题，从而达到持续改进数据治理的效果。

5.建立数据安全管理功能，数据安全主要通过三方面来实现，其一是数据加密、脱敏等技术，其二是数据权限，包括表级、行级和列级权限定义，其三对数据交换共享进行日志记录，并定时自动审计数据安全问题。

6.建立数据服务功能，一般都会提供通过文件、接口的方式来提供数据服务功能，按照数据安全标准对数据服务方式进行处理。

7.ETL，支持通过表对接、文件、接口等方式归集数据，通过数据清洗规则对数据进行清洗转换的处理，从而加载到数据库中，用Hive来作为加载数据的数据仓库。

8.数据治理的高级功能，包括数据血缘、数据关联等分析的能力。

伴随以互联网、大数据、物联网、5G、AI、数据中台、新基建等为代表的新一代信息技术发展，企业数字化转型的需求加剧，但企业转型过程中，各种数据信息会成为转型的首要内容，而数据治理则是转型工作的重中之重。

通常来讲数据治理作为一项系统性工程，在企业数字化转型过程中暴露的问题也较多，如：

数据异构系统多，信息系统孤岛现象普遍存在；

数据整合难，数据标准不统一、质量差、资源共享与协同支撑作用薄弱、价值发掘难度大等；

方法及技术局限，传统的数据治理技术方法存在较大的局限性，咨询-标准-系统建设的模式往往在咨询后就难以为继，不是找不到落地抓手，就是因工作量巨大而半途而废。

面临当下这些问题，企业如何突破现有瓶颈让数据治理项目可以顺利进行，成功实现企业数字化转型？

中翰数据管控平台，可以让您掌握数据治理专业知识，有效助力企业数字化转型。

中翰软件：专注数据治理16年（http://www.jobhand.cn）

分享到： QQ空间新浪微博微信 QQ好友更多