大数据时代,众多企业沉淀了大量的数据,如何挖掘数据价值,管理数据资产,是企业发展过程中的一项重要任务。数据资产化就是将企业中的数据看作是一种具有经济价值和潜在利润的资产,并采取措施来最大程度地开发和利用这些数据资产。
下面就跟大家一起探讨数据资产管理的概念,以及如何有效地管理和利用数据资产。
一、什么是数据资产管理?
数据资产管理其实和管理土地、机器设备、人力资源是一样的,旨在有效地收集、维护、分析和利用企业数据,以便更好地理解、评估和最大化数据的价值。
6个数据资产管理关键点:
l 数据采集和存储:确保数据以可管理的方式被采集、存储和保存,以便随时访问。
l 数据质量和准确性:确保数据的质量和准确性,以防止错误决策和不准确的分析。
l 数据分类和标记:对数据进行分类和标记,以便更好地管理敏感信息和合规性。
l 数据访问和共享:建立有效的访问控制措施,以确保只有授权人员可以访问数据,并且可以安全地分享数据。
l 数据分析和报告:利用数据进行分析和生成有关业务运营、客户需求和市场趋势的报告。
l 数据备份和恢复:实施数据备份和恢复策略,以确保数据在意外故障或灾难事件中不会丧失。
10个数据管理职能:
l 数据治理
l 数据架构管理
l 数据开发
l 数据操作管理
l 数据安全管理
l 参考数据和主数据管理
l 数据仓库和商业智能管理
l 文档和内容管理
l 元数据管理
l 数据质量管理
![image1.jpg](/d/file/shujuzhishixuexi/shujubiaozhun/2024-01-04/e056b3d18ae69c8c7646cb6aaf141472.jpg)
二、企业如何进行数据资产管理?
1、构建数据体系
构建企业数据体系之前,需要先梳理清楚企业数据资源管理的业务体系,才能保证数据来源的可靠性。
数据生命周期运维体系图
数据的业务体系,首先从数据的整个生命周期来看每个阶段都需要什么数据做支撑,才能形成庞大的数据体系,然后再基于业务体系去划分数据体系,具体解决的思路、业务流程以及需要注重的功能点如下图所示:
数据资源目录体系图
2、建立数据标准体系
数据资源体系架构图
梳理汇总企业现有的各类业务的数据标准后,筛选出可直接参考和使用的标准与行业标准相互结合,制定出新的数据标准体系,形成一套标准化的数据规范,对具体数据项的定义、口径、格式、取值、单位等进行规范说明,提升数据质量,最终实现企业数据资源的统一管理和展现。
3、数据资源整合
通过汇集企业全域级数据,做数据资源整合,为业务融合提供有利支撑
数据资源规划图
1)构建数据画像,理清数据脉络
数据分类:基于业务体系进行数据分类,建立数据资源目录,对各类数据进行相应的描述数据关系:明确数据之间的流转关系,设计出合理的数据流路径,统一数据的口径责任主体:确定数据生命周期中每个阶段数据的责任主体和归属状态
2)构建数据管理,规范数据秩序
数据存储管理:基于集中统一共享,分层分级管理的思路原则,对于不同类型的数据,采用不同的数据存储方式。
数据规整入库:对已存入数据库中的数据、未建库的数据以及各种纸质/电子文档数据进行统一规整,建立数据入库标准与秩序,保证数据有序存储和使用的便捷性。
数据更新管理:在机制和工具上设置双重保障的前提下,保障数据更新管理的规范性、安全性和隐私性。建立完善的动态更新机制和操作规范流程,对数据进行统一管理,为数据入库更新提供有效的支持;同时,结合数据库更新管理系统对数据进行安全检测、入库更新、数据导出,提供全链路的保障机制。
3)提供数据内外共享服务
在确保数据安全和数据隐私的前提下,设计合理的数据共享与数据服务。
三、数据资产在地产行业的应用与实践
1、某千亿房企的数据资产架构之路
1)在与某top级房企合作数据资产咨询工作时调研发现,在集团报表体系框架下,隐藏着数据资产架构不清晰带来的重重危机——
2)核心数据资产不明确,各版块进行报表开发时出现重复取数、多维度核对、口径不一致的问题;
3)各版块开发报表时,缺乏核心的报表资产体系指引,导致各版块间数据分析语言交流不畅;
4)报表体系的散乱直接导致数据中台向报表集群输出数据服务时不够聚焦,效率降低;
5)重点关注的住开板块,被动式响应业务部门的零散需求,局部战役偏多;
某top级房企报表需求框架图
因此,在本次咨询工作中,核心第一要务就是提升视角,把数据价值提升工程拉到房企数字化转型战略的高度,把局部战争的思维革新成集团军作战的视角。
所谓局部战争,就是我们通常意义上,很多企业的信息部响应业务部门的各种报表、数据需求,通过报表工具去输出结果。这种类型的数据工作很容易让人迷失于取数、核数、制表、改表等不成体系的事情之中,同时还会造成巨量的人力物力的浪费——重复造轮子。
所谓战略引导,就是要求我们把头抬起来,把视角拉高,从二维平面的角度上升到三维立体的视角。在响应需求—>取数—>制表—>确认成果,这个简单二维闭环之上找到能够统领数数据工作、提升数据价值的战略目标,并以此去指导数据资产工作、企业的数据中台、业务中台以及集团报表中心等一系列规模化战役。
提升视角——从赢得每一场局部战争到战略目标引导战役成功
在实现需求统一化、资产集约化、业务智能化的战略目标框架下,某第一梯队房企基于原有的各条线数据中心,对集团业务产生的各项数据资产进行重新梳理定义,形成了以指标、口径、维度、计算规则和责任管理矩阵等多维立体式的数据价值资源池。
并在此基础之上,对集团内部各业务板块、对集团外部各数据应用,输出数据价值服务,如集团报表中心以及千人千面计划等数据价值提升工程的具体落地。
数据价值提升工程在某房企的具体落地
2、某电力公司数据资产解决方案
经过内部不断沟通与梳理,该电力公司发现主要存在以下数据方面的问题:
1)缺乏统一的数据平台化管理,导致数据使用有滞后和延时
业务发展迅速,企业现有的数据服务能力有限,比如目前数据共享仍通过数据库交换实现,未实现平台化管理,长期以往会造成数据服务实效延迟,响应不及时等问题,影响到业务端数据使用体验和展业效果,有必要进行统一的、模块化、标准化的服务能力管理和输出,实现对业务端的数据需求的精准满足和高效响应。
2)过去的烟囱式系统建设,导致资源使用重复和浪费
缺乏对公司数据体系的整体规划,随业务规模扩展,多个业务线烟囱式地建设各自的从“数据接入>数据集成>数据开发>数据应用>数据治理”等阶段的产品,会出现大量的重复建设,导致计算、开发人力、运维人力、存储等资源的重复浪费。
3)数据质量层次不齐,数据价值得不到释放
面对业务已经沉淀的大量数据,逐步形成了企业的数据资产。而这些数据资产如何成为可持续使用的,为企业带来价值的数据,需要通过数据治理进行提升数据质量,比如设计数据质量校验的规则和使用流程,设计数据管控权限,数据如何安全输出及共享的设计等,在整体上发挥出数据的协同效应,为业务提供更高价值的数据服务链路。
【项目背景】
为了解决如上数据相关的问题,该电力公司于2020年开始规划并建设了一系列的数据资产解决方案,以实现数据生命周期管理的标准化、自动化、智能化。
图1:该电力企业数据资产整体方案整体规划进度
该电力公司从顶层设计出发,抽调精干人员开展数据资产管理的大科研项目,在该科研项目的引领下开展共享大数据平台建设,从数据全生命周期体系出发,拟完成数据底座、数据中台、数据支撑相关子系统的建设工作。
l 建设包括数据共享三期平台、Hadoop平台数据底座,统一全公司层面的数据存储;
l 建设包括数据建模平台、指标平台、数据资产管理平台、数据资产门户等中台系统,保障数据的可用、可靠、可视;
l 建设智慧运维、智慧安全等支撑系统,保障各子系统的平稳运行。
【解决方案】
按照DCMM量化管理级的要求,通过分析该电力公司的数据管理问题,理清数据管理需求,规划了项目实施方案,决定通过“标准产品+定制开发+应用落地”的服务体系来推动产品的有效落地应用。
图2:项目实施方案与步骤
建设完成后的该电力公司数据资产管理平台,主要实现如下功能:
l 数据资产管理平台的建设过程中,对标国家标准DCMM《数据管理能力成熟度评估模型》8个能力域,28个能力项的相关要求,理清平台建设的目标及方向。
l 根据数据资产管理平台的核心目标,结合该电力公司数据资产管理的业务实际,平台的功能设计及实现深度对标DCMM元数据管理、数据集成与共享、数据质量需求、数据质量检查、数据质量分析、数据质量提升、数据服务7个能力项第四等级--量化管理级要求,为后续该电力公司的数据治理评估工作夯实基础。
图3:数据资产管理各能力域服务内容
【应用效果】
项目经过业务调研-定制开发-服务应用咨询等过程的稳步推进,将数据资产管理平台在全公司进行推广应用,将各项公司落到实处,有效推动了公司数据资产管理的能力。
l 数据资产统一管理
将公司29个系统的数据资产通过平台线上化展现,消除部门间数据信息差,实现公司数据资产的统一管理;
l 数据标准统一管理
将公司已经梳理的22000余项数据标准导入平台进行线上化管理;
l 数据共享和服务提供持续稳定支撑
将公司元共享二期提供的200余项数据接口服务迁移到资产管理平台对下游提供;
l 数据质量提升
按照业务系统、大数据平台对数据质量任务进行拆分,建立50余数据质量检测任务,保证数据质量。
【方案亮点】
数据资产管理平台作为该电力企业数据资产管理的核心平台,是为实现该企业数据战略与规划目标的重要组成部分。
通过平台产品的有效落地,帮助实现了该企业数据的可视、可控、可用
图4:帮助企业实现了数据的可视、可控与可用
l 与该企业业务充分契合,确保功能持续应用;
数据资产管理平台的建设时并未存在可直接参考的行业经验,平台在需求设计期时将数据资产管理的通用功能纳入考虑,后续采用敏捷迭代模式结合业务实际不断优化平台功能。
平台配合该企业的数据资产管理内部流程,从功能要素、操作流程、展现结果等多角度对平台的各项模块进行全面优化,合计优化100余项功能点,其中全局功能模块12项,元数据管理功能模块22项,数据标准管理模块23项,数据质量监控模块25项,数据资产管理功能模块27项,满足实际业务需求。
l 制度体系有效协同,支撑该企业全面应用落地。
在数据资产管理的体系文档中,将数据资产管理平台的操作嵌入业务流程及模板,有力支撑了平台在该电力企业的全面应用。
图5:该电力企业数据资产管理制度细则
中翰软件:专注数据治理19年(http://www.jobhand.cn)
免责声明:本网站所发布的文章为本网站原创,或者是在网络搜索到的优秀文章进行的编辑整理,文章版权归原作者所有,仅供读者朋友们学习、参考。对于分享的非原创文章,有些因为无法找到真正来源,如果标错来源或者对于文章中所使用的图片、链接等所包含但不限于软件、资料等,如有侵权,请直接致电联系,说明具体的文章,后台会尽快删除。给您带来的不便,深表歉意。
下面就跟大家一起探讨数据资产管理的概念,以及如何有效地管理和利用数据资产。
一、什么是数据资产管理?
数据资产管理其实和管理土地、机器设备、人力资源是一样的,旨在有效地收集、维护、分析和利用企业数据,以便更好地理解、评估和最大化数据的价值。6个数据资产管理关键点:
l 数据采集和存储:确保数据以可管理的方式被采集、存储和保存,以便随时访问。
l 数据质量和准确性:确保数据的质量和准确性,以防止错误决策和不准确的分析。
l 数据分类和标记:对数据进行分类和标记,以便更好地管理敏感信息和合规性。
l 数据访问和共享:建立有效的访问控制措施,以确保只有授权人员可以访问数据,并且可以安全地分享数据。
l 数据分析和报告:利用数据进行分析和生成有关业务运营、客户需求和市场趋势的报告。
l 数据备份和恢复:实施数据备份和恢复策略,以确保数据在意外故障或灾难事件中不会丧失。
10个数据管理职能:
l 数据治理
l 数据架构管理
l 数据开发
l 数据操作管理
l 数据安全管理
l 参考数据和主数据管理
l 数据仓库和商业智能管理
l 文档和内容管理
l 元数据管理
l 数据质量管理
![image1.jpg](/d/file/shujuzhishixuexi/shujubiaozhun/2024-01-04/e056b3d18ae69c8c7646cb6aaf141472.jpg)
二、企业如何进行数据资产管理?
1、构建数据体系构建企业数据体系之前,需要先梳理清楚企业数据资源管理的业务体系,才能保证数据来源的可靠性。
![image2.jpg](/d/file/shujuzhishixuexi/shujubiaozhun/2024-01-04/8193c485aa2fd69d9368cf7710e07e60.jpg)
数据生命周期运维体系图
数据的业务体系,首先从数据的整个生命周期来看每个阶段都需要什么数据做支撑,才能形成庞大的数据体系,然后再基于业务体系去划分数据体系,具体解决的思路、业务流程以及需要注重的功能点如下图所示:
![image3.jpg](/d/file/shujuzhishixuexi/shujubiaozhun/2024-01-04/af5b186ca754b18255a012982b3573c4.jpg)
数据资源目录体系图
2、建立数据标准体系
![image4.jpg](/d/file/shujuzhishixuexi/shujubiaozhun/2024-01-04/6beae2311c087f7bcd2f45420ef16e15.jpg)
数据资源体系架构图
梳理汇总企业现有的各类业务的数据标准后,筛选出可直接参考和使用的标准与行业标准相互结合,制定出新的数据标准体系,形成一套标准化的数据规范,对具体数据项的定义、口径、格式、取值、单位等进行规范说明,提升数据质量,最终实现企业数据资源的统一管理和展现。
3、数据资源整合
通过汇集企业全域级数据,做数据资源整合,为业务融合提供有利支撑
![image5.jpg](/d/file/shujuzhishixuexi/shujubiaozhun/2024-01-04/22bac71970ca30204ac3b416971bb183.jpg)
数据资源规划图
1)构建数据画像,理清数据脉络
数据分类:基于业务体系进行数据分类,建立数据资源目录,对各类数据进行相应的描述数据关系:明确数据之间的流转关系,设计出合理的数据流路径,统一数据的口径责任主体:确定数据生命周期中每个阶段数据的责任主体和归属状态
2)构建数据管理,规范数据秩序
数据存储管理:基于集中统一共享,分层分级管理的思路原则,对于不同类型的数据,采用不同的数据存储方式。
数据规整入库:对已存入数据库中的数据、未建库的数据以及各种纸质/电子文档数据进行统一规整,建立数据入库标准与秩序,保证数据有序存储和使用的便捷性。
数据更新管理:在机制和工具上设置双重保障的前提下,保障数据更新管理的规范性、安全性和隐私性。建立完善的动态更新机制和操作规范流程,对数据进行统一管理,为数据入库更新提供有效的支持;同时,结合数据库更新管理系统对数据进行安全检测、入库更新、数据导出,提供全链路的保障机制。
3)提供数据内外共享服务
在确保数据安全和数据隐私的前提下,设计合理的数据共享与数据服务。
三、数据资产在地产行业的应用与实践
1、某千亿房企的数据资产架构之路1)在与某top级房企合作数据资产咨询工作时调研发现,在集团报表体系框架下,隐藏着数据资产架构不清晰带来的重重危机——
2)核心数据资产不明确,各版块进行报表开发时出现重复取数、多维度核对、口径不一致的问题;
3)各版块开发报表时,缺乏核心的报表资产体系指引,导致各版块间数据分析语言交流不畅;
4)报表体系的散乱直接导致数据中台向报表集群输出数据服务时不够聚焦,效率降低;
5)重点关注的住开板块,被动式响应业务部门的零散需求,局部战役偏多;
![image6.jpg](/d/file/shujuzhishixuexi/shujubiaozhun/2024-01-04/05348c181f2d091d4d5515033c6129d1.jpg)
某top级房企报表需求框架图
因此,在本次咨询工作中,核心第一要务就是提升视角,把数据价值提升工程拉到房企数字化转型战略的高度,把局部战争的思维革新成集团军作战的视角。
所谓局部战争,就是我们通常意义上,很多企业的信息部响应业务部门的各种报表、数据需求,通过报表工具去输出结果。这种类型的数据工作很容易让人迷失于取数、核数、制表、改表等不成体系的事情之中,同时还会造成巨量的人力物力的浪费——重复造轮子。
所谓战略引导,就是要求我们把头抬起来,把视角拉高,从二维平面的角度上升到三维立体的视角。在响应需求—>取数—>制表—>确认成果,这个简单二维闭环之上找到能够统领数数据工作、提升数据价值的战略目标,并以此去指导数据资产工作、企业的数据中台、业务中台以及集团报表中心等一系列规模化战役。
![image7.jpg](/d/file/shujuzhishixuexi/shujubiaozhun/2024-01-04/032778dac4a7b765e22763ad0ab6f5ce.jpg)
提升视角——从赢得每一场局部战争到战略目标引导战役成功
在实现需求统一化、资产集约化、业务智能化的战略目标框架下,某第一梯队房企基于原有的各条线数据中心,对集团业务产生的各项数据资产进行重新梳理定义,形成了以指标、口径、维度、计算规则和责任管理矩阵等多维立体式的数据价值资源池。
并在此基础之上,对集团内部各业务板块、对集团外部各数据应用,输出数据价值服务,如集团报表中心以及千人千面计划等数据价值提升工程的具体落地。
![image8.jpg](/d/file/shujuzhishixuexi/shujubiaozhun/2024-01-04/0ef53e5b26cc08b53e8f3160c7b12c22.jpg)
数据价值提升工程在某房企的具体落地
2、某电力公司数据资产解决方案
经过内部不断沟通与梳理,该电力公司发现主要存在以下数据方面的问题:
1)缺乏统一的数据平台化管理,导致数据使用有滞后和延时
业务发展迅速,企业现有的数据服务能力有限,比如目前数据共享仍通过数据库交换实现,未实现平台化管理,长期以往会造成数据服务实效延迟,响应不及时等问题,影响到业务端数据使用体验和展业效果,有必要进行统一的、模块化、标准化的服务能力管理和输出,实现对业务端的数据需求的精准满足和高效响应。
2)过去的烟囱式系统建设,导致资源使用重复和浪费
缺乏对公司数据体系的整体规划,随业务规模扩展,多个业务线烟囱式地建设各自的从“数据接入>数据集成>数据开发>数据应用>数据治理”等阶段的产品,会出现大量的重复建设,导致计算、开发人力、运维人力、存储等资源的重复浪费。
3)数据质量层次不齐,数据价值得不到释放
面对业务已经沉淀的大量数据,逐步形成了企业的数据资产。而这些数据资产如何成为可持续使用的,为企业带来价值的数据,需要通过数据治理进行提升数据质量,比如设计数据质量校验的规则和使用流程,设计数据管控权限,数据如何安全输出及共享的设计等,在整体上发挥出数据的协同效应,为业务提供更高价值的数据服务链路。
【项目背景】
为了解决如上数据相关的问题,该电力公司于2020年开始规划并建设了一系列的数据资产解决方案,以实现数据生命周期管理的标准化、自动化、智能化。
![image9.jpg](/d/file/shujuzhishixuexi/shujubiaozhun/2024-01-04/22d0dd49286e876ca696210bf8a91256.jpg)
图1:该电力企业数据资产整体方案整体规划进度
该电力公司从顶层设计出发,抽调精干人员开展数据资产管理的大科研项目,在该科研项目的引领下开展共享大数据平台建设,从数据全生命周期体系出发,拟完成数据底座、数据中台、数据支撑相关子系统的建设工作。
l 建设包括数据共享三期平台、Hadoop平台数据底座,统一全公司层面的数据存储;
l 建设包括数据建模平台、指标平台、数据资产管理平台、数据资产门户等中台系统,保障数据的可用、可靠、可视;
l 建设智慧运维、智慧安全等支撑系统,保障各子系统的平稳运行。
【解决方案】
按照DCMM量化管理级的要求,通过分析该电力公司的数据管理问题,理清数据管理需求,规划了项目实施方案,决定通过“标准产品+定制开发+应用落地”的服务体系来推动产品的有效落地应用。
![image10.jpg](/d/file/shujuzhishixuexi/shujubiaozhun/2024-01-04/da78f1cb226fcb1561bbb580064dfd96.jpg)
图2:项目实施方案与步骤
建设完成后的该电力公司数据资产管理平台,主要实现如下功能:
l 数据资产管理平台的建设过程中,对标国家标准DCMM《数据管理能力成熟度评估模型》8个能力域,28个能力项的相关要求,理清平台建设的目标及方向。
l 根据数据资产管理平台的核心目标,结合该电力公司数据资产管理的业务实际,平台的功能设计及实现深度对标DCMM元数据管理、数据集成与共享、数据质量需求、数据质量检查、数据质量分析、数据质量提升、数据服务7个能力项第四等级--量化管理级要求,为后续该电力公司的数据治理评估工作夯实基础。
![image11.jpg](/d/file/shujuzhishixuexi/shujubiaozhun/2024-01-04/4c3ba649041000c0efc647f06321c1c9.jpg)
图3:数据资产管理各能力域服务内容
【应用效果】
项目经过业务调研-定制开发-服务应用咨询等过程的稳步推进,将数据资产管理平台在全公司进行推广应用,将各项公司落到实处,有效推动了公司数据资产管理的能力。
l 数据资产统一管理
将公司29个系统的数据资产通过平台线上化展现,消除部门间数据信息差,实现公司数据资产的统一管理;
l 数据标准统一管理
将公司已经梳理的22000余项数据标准导入平台进行线上化管理;
l 数据共享和服务提供持续稳定支撑
将公司元共享二期提供的200余项数据接口服务迁移到资产管理平台对下游提供;
l 数据质量提升
按照业务系统、大数据平台对数据质量任务进行拆分,建立50余数据质量检测任务,保证数据质量。
【方案亮点】
数据资产管理平台作为该电力企业数据资产管理的核心平台,是为实现该企业数据战略与规划目标的重要组成部分。
通过平台产品的有效落地,帮助实现了该企业数据的可视、可控、可用
![image11.jpg](/d/file/shujuzhishixuexi/shujubiaozhun/2024-01-04/6de18c0fe787579b042993fa9e53f7fc.jpg)
图4:帮助企业实现了数据的可视、可控与可用
l 与该企业业务充分契合,确保功能持续应用;
数据资产管理平台的建设时并未存在可直接参考的行业经验,平台在需求设计期时将数据资产管理的通用功能纳入考虑,后续采用敏捷迭代模式结合业务实际不断优化平台功能。
平台配合该企业的数据资产管理内部流程,从功能要素、操作流程、展现结果等多角度对平台的各项模块进行全面优化,合计优化100余项功能点,其中全局功能模块12项,元数据管理功能模块22项,数据标准管理模块23项,数据质量监控模块25项,数据资产管理功能模块27项,满足实际业务需求。
l 制度体系有效协同,支撑该企业全面应用落地。
在数据资产管理的体系文档中,将数据资产管理平台的操作嵌入业务流程及模板,有力支撑了平台在该电力企业的全面应用。
![image13.jpg](/d/file/shujuzhishixuexi/shujubiaozhun/2024-01-04/05543dc0754bef3bd6c5ebb6b62700f4.jpg)
图5:该电力企业数据资产管理制度细则
中翰软件:专注数据治理19年(http://www.jobhand.cn)
免责声明:本网站所发布的文章为本网站原创,或者是在网络搜索到的优秀文章进行的编辑整理,文章版权归原作者所有,仅供读者朋友们学习、参考。对于分享的非原创文章,有些因为无法找到真正来源,如果标错来源或者对于文章中所使用的图片、链接等所包含但不限于软件、资料等,如有侵权,请直接致电联系,说明具体的文章,后台会尽快删除。给您带来的不便,深表歉意。