数据治理端对端，让数据“活”起来

大数据时代，数据成为社会和组织的宝贵资产，像工业时代的石油和电力一样驱动万物，然而如果石油的杂质太多，电流的电压不稳，数据的价值岂不是大打折扣，甚至根本不可用，不敢用，因此，小编觉得数据治理是大数据时代，我们用好海量数据的必然选择。

一、数据治理，端对端

“端到端”是在供应链里看到的专业术语，现在也被借鉴到信息化、数字化的领域。说的是供应链管理应该从整个供应链的一端到另外一端全流程进行管控。

以蔬菜供应链为例，一端是农户，就是蔬菜生产端，一端是消费者，就是蔬菜消费端。好，我们用最朴素的思维去理解，对蔬菜的质量管控，应该从哪里开始？从进入批发市场吗？

很明显，必须得从农户开始，进行全流程管控好吗？进入市场之后再开始管控，等发现问题的时候，很可能已经有很多蔬菜流转到消费者餐桌上了。

从理论上来讲数据治理主要是三个目的：保证数据的可用性、数据质量和数据安全。而在实践层面，国内外谈到数据治理，其主要目的都是数据质量，对于数据安全，往往是有专门的团队和管理举措，从数据治理领域涉及的较少。我们下面的讨论也继承这种习惯，主要探讨数据质量这个目标。

二、数据生产端

其实很多数据治理项目做不到深入到“数据生产端”，并不是数据治理服务商们不懂，而是有很多因素的。比如时间、金钱成本。一旦深入到数据生产端，那就意味着数据治理的成本会成倍增长，而且短时间内看不到成效。

举个简单的例子，我们不管在哪个环节，发现一条数据有质量问题，我们怎么解决？

通常来说，数据质量一般可以分为几种情况：

01

数据不标准导致的，可以用标准化后直接处理的，比如性别代码不统一的情况，弄个mapping表统一标准就行；

相对比较规律的，比如姓名里有空格、除·之外的特殊字符的，梳理几个规则处理就行；

02

数据不标准导致的，可以用标准化后直接处理的，比如性别代码不统一的情况，弄个mapping表统一标准就行；

相对比较规律的，比如姓名里有空格、除·之外的特殊字符的，梳理几个规则处理就行；

关键信息缺失、错误的，比如姓名为空、身份证号完全不符合规则的。

03

关键信息缺失、错误的，比如姓名为空、身份证号完全不符合规则的。

其中，情况1、2可以与业务方确认规则之后，由数据工程师解决。但是数据工程师对情况3就无能为力了。大数据技术再厉害，也不能猜出对方叫啥、身份证号是多少不是？

在这个时候，就需要数据治理平台与业务系统打通，对各种渠道判定有问题的数据，进行归类后，退回业务系统。业务系统中收到信息后，让业务系统的人员另起一个流程，通过与客户沟通、查阅其他资料等方式进行补齐。这里必须要做的一件事情就是确认每一条数据的归属。

三、数据应用端

一个公司数字化程度，最简单的办法就是看他们的数字化是为谁服务的。那么数字化渗透率还是不够，将渗透了管理层。如果能够对各个部门的实际业务进行深度结合，帮助各个部门优化其流程，那渗透率已经比较高了，可以称之为数据驱动型的企业。

如果数字化已经嵌入到执行层的日常流程，甚至达到了脱离数字化手段都无法开展工作的地步，这就像武侠小说里的“坐立行走皆是功夫”，达到了佛法里的“行住坐卧皆是禅”的地步，可以称之为数字化完全体。

生产问题；在元数据管理的基础上，可进行数据生命周期管理，有效控制在线数据规模，提高生产数据访问效率，减少系统资源浪费；通过元数据和数据模型管理，将表、文件等数据资源按主题进行分类，可明确当事人、产品、协议等相关数据的主数据源归属、数据分布情况，有效实施数据分布的规划和治理。

四、总结

在大数据时代，对于企业而言数据是一项战略性企业资产，数据治理工作是极富专业性和挑战性的，需要更多进行跨界整合、外部应用的商业模式创新需要企业用战略的眼光和专业的视角，长期不懈地在此领域精耕细作，才能起到一定的价值，未来才可能在行业对标中脱颖而出。

中翰软件：专注数据治理17年（http://www.jobhand.cn）

免责声明：本网站所发布的文章为本网站原创，或者是在网络搜索到的优秀文章进行的编辑整理，文章版权归原作者所有，仅供读者朋友们学习、参考。对于分享的非原创文章，有些因为无法找到真正来源，如果标错来源或者对于文章中所使用的图片、连接等所包含但不限于软件、资料等，如有侵权，请直接致电联系，说明具体的文章，后台会尽快删除。给您带来的不便，深表歉意。