- 理论支撑:企业财务大数据[2022-06-16]
- 数据治理的时代演变之道[2022-06-15]
- 数据治理的经济分析[2022-06-14]
- 实施数据治理时常犯的10[2022-06-13]
- 数据质量管理办法[2022-06-10]
- 治数VS养数[2022-06-09]
- 华为是怎么做数据治理的[2022-06-09]
- 数据发现对数据治理的重[2022-06-08]
- 工业企业数据治理的八大[2022-06-07]
- 企业数据治理团队的十大[2022-06-06]
数据中台如何进行数据治理
正所谓“工欲善其事,必先利其器!”,一套好的数据治理工具,能让企业的数据治理工作事半功倍。数据治理本质是盘点数据资产、治理数据质量,实施数据全生命周期的管理,根据不同的项目特点,会用到不同的技术或工具。
数据中台可通过数据需求、数据质量、元数据管理等领域加强数据治理。
一、增强业务需求管理,构建并持续完善数据标准体系
数据中台的运营部门,收集到来自于银行各部门、各层级管理人员和业务分析人员的业务需求,并且随着人员岗位的变化,即使同一层级、同一角色的人员提出的业务需求也可能大不相同;在不同的时间段下,根据银行的业务状况、规模和偏好调整等情况,业务需求重点和逻辑也不一样。
因此,数据中台的运营部门,应持续提炼数据中台业务需求,并与数据治理部门协同,依据需求及认责管理办法,并与不同类型的业务需求与实施工程相结合,落地与银行数据标准体系相吻合的指标体系。
分类管理业务需求:通常银行业务需求来自四个方面,包括临时类数据需求、接口类数据需求、报表类数据需求、综合类数据需求。其中临时类数据需求的数据时效性比较高,开发时间较短。但接口类、报表类和综合类数据需求都相对复杂,有较多的业务口径定义和数据探源工作,实施工程种类也较多。
识别和提炼业务需求:从数据角度总结和归纳共性的指标与公共维度,并对指标的名称、业务口径、数据口径进行定义与描述,形成企业级可共享的指标库。同时,由数据管理部门牵头,明确指标的归属部门和更新机制。
二、建立跨系统数据质量检核机制,强化数据的质量管控
数据中台的数据质量问题,不仅取决于源头系统及外部数据的数据质量,并决定于采集、加工、存储、生成与应用整个数据生命周期的数据处理流程的准确程度。因此数据中台对于数据质量的管理,需要通过组织管理、技术方法、业务流程理解以及数据语义理解等多个方面,进行综合管理。
组织管理:数据中台开发与运维部门,主动参与或者主导数据治理过程,积极建立数据质量管理机制,推动落实数据管理流程,更大力度的辅助数据治理归口管理部门,发现与解决数据质量问题。
技术方法:数据中台推动数据质量问题的识别与解决,具有企业级、跨系统的平台和能力,又是提升数据服务能力的必要基础。通过归纳数据质量问题的类型及产生原因,利用技术方式实现跨部门、跨系统的数据质量问题的监测与预警,并可以持续验证与跟踪数据质量问题的解决。
业务流程及数据语义理解:数据中台的开发及运营部门,由于持续梳理各个部门、各个系统的内外部数据,通过不断的进行数据理解、数据分析,可以识别与发现部门之间业务术语、规则、逻辑等不一致而导致的数据问题,可与数据管理部门一道进行数据管控。
三、提升元数据的数据质量,深化元数据分析及应用
随着数据中台各种来源数据增多,数据应用越来越丰富,数据处理过程也必然越来越复杂。在各种数据中,如何聚焦业务关注的数据内容、使用方式以及未来应用趋势,对于数据中台的架构演变、模型设计以及数据治理等活动来说,将变的越来越重要。
识别数据:通过数据中台建设流程,整理业务层面的数据资产目录,以及维护开发方面的物理数据模型和数据字典,清晰定义各个字段项名称、含义等,实现数据资源的语义化。
评价数据:通过获取表级及字段级基础元数据、关联元数据、应用日志等,运用图计算、标签传播算法等技术,系统化、自动化地对计算与存储平台上的数据进行打标、整理、归档,计算相关评价指标,如字段的查询次数、关联次数、聚合次数、过滤次数等。
一个完整的数据中台重点提供了数据的“采、管、存、用”四种能力,而数据治理工具就是提供了最核心的“管”数据的能力和一部分“采、存、用”数据的能力。