数据质量分析定义的六个阶段

发布时间:[2020-08-14] 来源: 点击量:

大数据作为当下最火热的互联网行业的词汇，随之而来的数据仓库、数据安全、数据分析、数据挖掘等等围绕大数据的商业价值的利用逐渐成为行业人士争相追捧的利润焦点。同时随着大数据时代的来临，数据质量分析也应运而生，那么关于数据质量分析定义的六个阶段你是否了解?

　　（1）定义阶段（D阶段）。界定数据质量治理的范围，并将数据质量改进的方向和内容界定在合理的范围内。通过使用主数据识别法、专家小组法、问卷调查法、漏斗法等方法，定义出数据治理的对象和范围。企业数据质量治理对象一般主要包括两类数据：一类是操作型数据，例如：主数据、参照数据和交易数据。另一类是分析型数据，例如：主题数据、指标数据等。企业的数据质问题80%是由于管理不当或业务操作不规范引起的。

　　（2）测量阶段（M阶段）。在定义出数据治理对象和内容后，需要选取以下若干个指标来作为数据质量评价指标，建立数据质量评估模型，对企业的数据进行评估和测量。常用的数据质量评价指标就是我们上述提到的：数据唯一性、数据完整性、数据准确性、数据一致性、数据关联性、数据及时性等。

　　（3）分析阶段（A阶段）。基于数据质量评估模型，执行数据质量分析任务，通过数据分析，找到发生数据质量问题的重灾区，确定出影响数据质量的关键因素。数据治理和大数据分析是密不可分的，数据治理的目标是提升数据质量从而提高数据分析的准确性，而大数据分析技术也可反向作用于数据治理，通过大数据分析算法和大数据可视化技术，能够更准确、更直观的定位到发生数据质量问题的症结所在。该阶段可以用的大数据技术包括：回归分析、因子分析、鱼骨图分析、帕累托分析、矩阵数据分析等。

　　（4）改进阶段（I阶段）。通过制定改进管理和业务流程、优化数据质量的方案，消除数据质量问题或将数据质量问题带来的影响降低到最小程度。我们一直在强调数据质量的优化和提升，绝不单单是技术问题，应从管理和业务入手，找出数据质量问题发生的根因，再对症下药。同时，数据质量管理是一个持续优化的过程，需要企业全员参与，并逐步培养起全员的数据质量意识和数据思维。该过程主要用到方法：流程再造、绩效激励等。

　　（5）控制阶段(C阶段）。固化数据标准，优化数据管理流程，并通过数据管理和监控手段，确保流程改进成果，提升数据质量。主要方法有：标准化、程序化、制度化等。

　　数据质量分析能够迅速和有效地简化与提炼数据流，帮助用户交互筛选大量的数据，有助于使用者更快更好地从复杂数据中得到新的发现，成为用户了解复杂数据、开展深入分析不可或缺的手段。

中翰软件：专注数据治理15年（http://www.jobhand.cn）

分享到： QQ空间新浪微博微信 QQ好友更多