有效数据治理的几个原则

发布时间:[2020-03-19] 来源:网络

点击量:

一个好的数据中心将利用自己现有的技术和设备，向用户提供服务，尽量减少操作和维护成本，并最大限度地提高利润。如果你经常担心数据的准确性，并将大部分时间用于处理数据，而不是思考和分析业务，那么你就需要很好地管理数据。

　　有效数据治理的6大原则

　　一、为什么要进行数据治理

　　不知道你是否有这样的感受，看到数据后，一脸懵逼，不知道各个表和字段代表什么意思，再看看别的同事写的SQL，一条SQL语句有几百行，各种表关联，然后问了其中一个同事，他说“别提了，数据都不准，我快被数据折磨死了！”，此时你是不是“想死”！欲哭无泪……

　　究其背后的原因，是因为负责的人只是问题使然，哪有问题哪里去补，没有整体的统筹规划，一步错，步步错，数据最后是越来越重，查询越来越复杂，数据准确性还没有人敢打保票，同时修复的难度也大大增加。

　　二、如何进行数据治理

　　如果要想将数据治理好的话，需要遵循以下六大原则、合理制定数据中间表模型以及埋点采集到应用全流程的把控。

　　1.六大原则

　　原则1：关键概念多方共识

　　关键概念若涉及多方，比如成交客户的定义，要确保公司内部和客户相关的所有业务人员理解一致。

　　你或许会说，成交客户还不好理解么，就是购买了我公司产品且签署合同的用户就是一个成交客户，但是实际情况远非如此，笔者当时处理该块的业务时，问不同的业务人员得到的结果都不一样，这样就造成了数据指标统计的歧义甚至数据的不准确。

当一个合同主体变换名称（含工商注册名称变更、更换签约公司等），那么这个客户算一个成交客户吗？

同一个集团/公司下，不同的子公司/业务线/部门用同一个名字签署多个不同合同，属于单个成交客户还是多个成交客户？

　　当合同还在「待确认」或未拿到合同编号时，如果客户运营人员已经开始服务客户，那么这个客户算一个成交客户吗？……

　　原则2：某个类型的值经常发生变动，则需要冗余一个通用字段冗余值

　　处理过数据的同学都知道，某个指标的实现可能和其它几个关键指标相关，那么该指标的异常排查就需要逐个检查是哪个相关指标出问题了，查找到原因可能2，3天的时间就没了，但如果事先开发人员冗余了一个通用字段代表该类消费指标，那么后续不管业务人员上线多少个消费类型的任务，都不会对原来的指标产生影响。

　　原则3：每个实体都有唯一、不变的ID，最好没有实际意义

　　一是为了实体的唯一性，二是为了表关联或更新时不受业务的影响。

　　原则4：涉及协作的数据，发现问题要从修改源头做起，保证下一次拿到正确的数据

　　协作的数据可以说是一个串联的过程，源头的数据会逐层影响下层的数据，不要为了一时方便，只修改目前发现问题的地方，要从修改源头做起，方便他人即方便自己。

　　原则5：编写操作清单，操作前请三思

　　数据间存在关联，把数据间的关联关系陈列清楚、注意事项标注清楚，操作前一一核对，小数据量验证无错后，大数据量执行。

　　原则6：系统工程的方法管理数据，尽可能使用系统，监控数据错误并及时修复。

　　将使用数据的相关方都画在一张系统循环图中，观察数据错误产生于系统哪个环节，如何影响后续各个环节，避免恶性循环的产生。

　　无论如何，提高数据中心的性能、降低数据中心的能耗、降低数据中心的运营和维护成本始终是数据中心管理人员的最终目标。通过深入了解数据中心管理的六项原则，数据中心管理将变得简单有效。