知识分类

文章推荐

谈谈数据质量管理在数据资源入表中的实施方法和路径

摘要：数据资源入表是数据资产化的标志，数据资源是否能够顺利的向数据资产转化并计入资产负债表很大原因取决于数据的质量。本文系统的论述了数据质量管理在企业数据资源入表中的实施方法和路径，包括数据资源入表的背景、数据资源入表的方法、数据质量管理在数据资源入表中的定位以及数据资源入表中数据质量管理的方法和实现数据资源入表数据质量管理的路径及建议。本文的论述为当前企业数据资源入表中的数据质量管理提供了可行的思路和方法，希望能为企业数据资源入表起到借鉴作用。

一、数据资源入表背景

数据相当于数字化转型的“货币”。企业若能解锁数据价值，就能够充分发挥边缘到云端数据的作用。数据价值指的是组织从数据资产中获得的益处和优势，比如创新、服务、安全措施、改进决策、改善客户体验、提升运维效率以及开辟新价值创造模式。在当今的数字化经济时代，数据是组织的重要资产。近些年来，数据价值已取得显著增长。虽然产生的数据量惊人，但获取、存储、处理和分析数据的技术越来越便利，组织因而能够从数据中获得新洞见，进而做出数据驱动型决策。数据对于企业至关重要的原因如下：

第一，数据是一种重要资源。若妥善利用，可推动创新。组织通过利用数据和诸如人工智能与机器学习之类的尖端技术，可以获得解决问题的新思路，并推进所属领域的创新。

第二，数据可以帮助组织改善客户体验并提高客户忠诚度。组织可以通过利用客户数据，为客户提供个性化的产品和服务以及互动体验，这有助于提高客户满意度和忠诚度。此外，组织可以利用数据加深对客户行为的了解，发掘有利于业务增长和创收的新商机。

第三，数据可以帮助企业开辟新的价值范式。组织可以利用他们的数据资产开发新产品和新服务，以及洞悉新商机。组织还可利用数据建立新的盈利模式，比如向第三方销售数据驱动型洞见。

第四，数据对于企业安全措施的采用至关重要，因为数据可以帮助组织识别进而防范安全威胁。此外，组织还能利用数据开发预测模型，通过识别反映安全漏洞的行为模式检测潜在的安全事件，防患于未然。

最后，数据为组织提供宝贵的洞见，可帮助企业做出更明智的决策。组织可以深入了解其情况运营、客户以及市场，做出有利于提升总体效率和成效的数据驱动型决策。

那么如何衡量数据的价值呢？结合具体贡献和重要性来看待数据是最简单的价值衡量方式。诚然，收集、分析和存储数据难免会产生成本，但当数据真正带来盈利或用于决策时，诸多优势便会显现出来。众所周知，数据会贬值，因为数据价值会随时间的流逝而减少乃至消失。数据固有风险的水平往往可用于确定其价值：风险越大，价值越高。巨大的风险也昭示着数据具有同等水平的价值。领先的企业会在数据密集型问题尚未显现之前，便在策略和工具方面进行相应的投资。衡量数据价值的方法多种多样，包括：

l 如何利用数据为企业运营和决策提供支持、推动销售、提升生产效率，进而创造更多业务价值。

l 从外部来源获取同等数据所需的费用。

l 数据对于决策过程的贡献。

l 数据固有的价值涉及多项要素，比如准确度、完整性以及相关性。

l 保护数据收集和使用人员的隐私。

同时，数据价值具有随机性，且取决于具体的用例和使用场景。企业可以通过多种方式为衡量数据价值提供支持，包括：

l 数据质量评估：评估数据的准确性、完整性和相关性，以确定其信息价值。

l 数据盈利：评估可从数据中获得的潜在收入，包括通过销售数据或依据数据洞见开发新产品和服务。

l 数据治理：确保妥善管理和保护数据以维护其隐私价值。

l 数据分析：通过使用数据为决策提供支持，提高效率、增加收入，进而创造更多业务价值。

数据是具有价值的重要资产成为企业普遍共识。2020年中共中央、国务院提出将数据并列作为第五大项生产要素，围绕数据要素、数据资源、数据应用等相关政策和话题研究成为了社会关注的焦点之一。2022年12月中共中央、国务院发布的数据二十条明确了数据权属的三权分置，为数据向数据资产转化提供了重要基础。2023年8月财政部发布的《企业数据资源相关会计处理暂行规定》提出企业应当按照企业会计准则相关规定，根据数据资源的持有目的、形成方式、业务模式，以及与数据资源有关的经济利益的预期消耗方式等，对数据资源相关交易和事项进行会计计量、确认和报告。数据不仅是企业的重要资产，同时我国把数据上升为生产要素，既然是生产要素就要衡量其对企业的价值贡献，因此就要把数据资产的价值按照无形资产或存货计入资产负债表。

二、数据质量对数据入表影响

数据资源入表是数据资产化的重要标志！那么，数据资源入表也体现了数据的价值化和货币化，就需要对数据资产的价值进行的评估。根据《数据资产评估指导意见》，确定数据资产价值的评估方法包括收益法、成本法和市场法三种基本方法及其衍生方法。

在收益法中提到：要综合考虑数据资产的的更新时间、数据资产的时效性、数据资产的权利状况以及相关产品生命周期等因素，合理确定经济寿命或者收益期限，并关注数据资产在收益期限内的贡献情况。

在成本法中提到：确定数据资产价值调整系数，例如：对于需要进行质量因素调整的数据资产，可以结合相应质量因素综合确定调整系数；对于可以直接确定剩余经济寿命的数据资产，也可以结合剩余经济寿命确定调整系数。

在市场法中提到：对比该数据资产与可比案例的差异，确定调整系数，并将调整后的结果汇总分析得出被评估数据资产的价值。通常情况下需要考虑质量差异调整、供求差异调整、期日差异调整、容量差异调整以及其他差异调整等。

也就是说，无论采用收益法估值、成本法估值还是市场法估值，数据质量都对数据资产的价值产生重大影响。意味着入表的数据质量越高，数据资产的估值就会越高，入表的数据质量越低，数据资产的估值就是越低。数据质量影响数据资产化，数据资产化影响数据资源入表。因此，数据质量对数据入表就产生重要影响。

三、数据质量管理在数据资源入表中的方法

1.数据资源入表的方法

数据资源入表可以分为四大阶段十六项核心工作，如下图1所示。

 

 

图1数据资源入表方法

 

第一阶段：政策解读

这一阶段需要企业的数据管理部门、信息管理部门、财务管理部门、法务管理部门及各核心业务部门需要了解数据资源入表的背景及政策，主要涉及以下几个国家政策及法规：

（1）《关于构建数据基础制度更好发挥数据要素作用的意见》也叫“数据二十条”

（2）《企业数据资源相关会计处理暂行规定》

（3）《会计准则》关于无形资产和存货的认定相关内容

（4）《数据安全法》

（5）《个人信息保护法》、《网络安全法》及行业相关管理规定

第二阶段：入表准备

这一阶段是入表前的准备阶段，包括企业财务制度修订、数据资源标准化及数据治理、数据资源盘点、数据资源认定。

（1）财务制度修订主要是指有些企业以往的财务规章制度可能没有数据类无形资产和存货的规定和要求，所以需要进行修订为入表做制度保障。

（2）数据资源标准化及数据治理主要是企业针对数据资源要进行分类、编码、说明以及数据治理相关工作，以免同类数据资源在不同分子公司重复入表的风险。同时，标准化的数据资源也有利于管理，保障数据资源的质量，通过数据治理更好体现数据资源价值。

（3）数据资源盘点主要是指按照分类将所属的数据资源盘清的过程，该过程有利于盘清数据资源底数，有利于数据资源质量保证，有利于资源向资产转化。

（4）数据资源确认是根据盘点的结果确认为是企业数据资源。

第三阶段：入表阶段

这一阶段是正式入表工作开展，主要包括入表条件确认、资源价值评估、入表风险评估、数据资源入表及核查。

（1）入表条件确认主要是确认作为资产的数据资源到底哪些是无形资产、哪些是存货、哪些可以入表、哪些无法入表。

（2）数据资源价值评估在首次入表主要采用成本计价法入表，需要按照数据资产采集、维护、管理等各项成本计入，注意的是避免重复计价。

（3）入表风险评估主要是根据数据安全法、个人信息保护法、行业法规要求进行核验，保证入表的数据资源是合规的。

（4）数据入表及核查主要是确定入表的数据资源根据企业财务管理办法逐项计入，注意的是通过核查避免重复计入。

第四阶段：常态运行

数据资源入表是新开展的工作，是一项新事物，必然有个从开始到常态化管理的过程，因此在实践中要不断总结经验，加强行业和跨行业的入表工作交流，实现常态入表的实现。这一阶段工作主要包括持续数据资源入表、数据资源审计及数据资源披露。

（1）持续数据资源入表类似于其他生产要素，实现常态化数据资源入表，数据是不断产生的、管理和运维工作持续进行、数据价值不断变化等，因此数据资产入表也是一项持续的工作。

（2）数据资产审计类似于财务审计，也会有内部审计和外部审计，因此做好数据资产审计也是确保数据资产价值有效性的保证。

（3）数据资产披露主要分为强制披露和自愿披露，不同行业性质不同，披露的要求和策略也不相同，因此企业需要根据自身的所在行业和特点制定相关的披露制度。

同时在数据资源入表时也要建立相应的组织保障体系，包括数据治理组织、数据管理组织、财务管理人员、法务合规管理人员等。数据治理组织开展制度、流程、考核机制建设；数据管理组织保障最大实现数据资产价值；财务管理人员客观评估数据资产价值；法务合规人员保障数据资产的应用符合法律法规的要求。

2.数据质量管理在数据资源入表中的定位

数据质量是数据向数据资源和数据资产转化的基础。数据质量不高将导致数据价值不高，就无法实现数据向数据资源和数据资产的转化，因此数据质量管理对数据资源入表起到至关重要的作用。数据质量的主要作用体现在数据全生命周期管理中的数据质量管理和数据治理中的数据质量治理，如图2所示。

 

 

图2数据质量在数据入表中的定位

 

数据质量是企业取得成功的基石，是企业做出明智决策、提高运营效率和推动增长的基础，这也是数据的价值所在。数据质量差的后果可能是深远的，并且有损于企业的利润。例如，基于不准确的客户资料或依赖于过时信息的销售预测的营销活动，后果也是灾难性的，导致资源浪费、错失机会并损害客户信任。也就是说低质量的数据难以成为数据资产，从而影响数据价值导致无法入表。

在数据资源入表工作中建立强大的数据质量标准至关重要。下面我们从识别数据质量挑战、建立数据质量标准、明确数据质量目标、实施可衡量指标、实施数据清理、开展数据质量验证、持续数据质量监测等七个方面阐述数据生命周期中数据质量管理和数据质量治理的定位。

（1）识别数据质量挑战

企业遇到的一项常见挑战是数据丢失或不准确。这种不准确可能会导致资源浪费和活动无效。组织必须实施确保数据可靠和最新的策略，从而最大限度地减少做出错误决策的风险。数据之间的不一致也是常见挑战。通常，组织内的不同部门维护单独的数据库，而没有用于集成或同步数据库的标准化流程。因此，当尝试从这些不同的来源分析或提取见解时，就会出现冲突。过时的信息是获取高质量数据的另一个挑战。在当今快节奏的世界中，趋势瞬息万变，客户偏好不断变化，过时的信息可能会阻碍准确的决策过程，从而阻碍业务增长。

缺乏标准化流程进一步加剧了组织内维护数据质量标准所面临的挑战。如果没有明确的数据收集、存储和管理实践指南，随着时间的推移，不一致会渗透到数据集中。这些不一致不仅影响日常运营，而且妨碍从数据中提取有意义的见解的能力。建立标准化流程对于确保整个组织内数据的收集、存储和管理的一致性至关重要。通过识别维护数据质量方面的这些常见挑战，组织可以制定适当的策略和解决方案来解决这些挑战。

（2）建立数据质量标准

在数字经济时代，高质量的数据已成为企业的命脉。它是明智决策、运营效率和可持续增长的基础。然而，实现数据的高质量并非易事。下面我们探讨在企业内建立稳健的数据质量标准的最佳实践：通过定义明确的目标、实施可衡量的指标并培养持续改进的文化，企业可以更好地驾驭数据质量环境。

（3）制定明确的目标

要成功开启卓越数据质量之旅，企业必须首先制定明确的目标。如果心中没有目的地，就不可能有效地前进。这些目标应与业务的总体目标保持一致，并考虑与数据准确性、完整性、一致性、及时性和相关性相关的具体要求。

通过在数据质量计划或项目开始时明确阐明这些目标，组织可以设定衡量进度的基准。例如，如果一家公司的目标是在六个月内通过提高数据准确性来减少10%的客户流失，那么这个目标就会成为推动他们努力的指路明灯。

（4）实施可衡量指标

一旦在组织的数据质量框架内确立了目标，实施可衡量指标以准确跟踪进度就至关重要。如果没有这样的指标，监控改进或识别需要进一步关注的领域就变得具有挑战性。指标本质上可以是定量的和定性的。定量指标可能包括错误率或完整性百分比等指标，而定性指标可能涉及利益相关者对数据准确性或相关性的满意度的反馈。

通过根据预定义的目标或行业基准定期衡量这些指标，企业可以深入了解实现既定目标的进度。这不仅可以帮助他们确定需要改进的领域，还可以提供有关现有流程是否有效或需要调整的反馈。建立数据质量标准不是一次性的工作。它需要持续监控和改进，以确保数据随着时间的推移保持准确、可靠和相关。这就需要开发有效的流程，使组织能够识别数据质量问题、采取纠正措施并不断增强其数据资产。

（5）实施数据清理

数据清理过程从识别重复记录开始。重复可能来自多种来源，例如手动输入错误或合并多个数据集。这些重复数据不仅消耗了宝贵的存储空间，而且阻碍了准确的分析和决策。为了应对这一挑战，企业可以采用先进的算法，根据名称、地址或唯一标识符等特定标准来比较记录。通过匹配和合并技术，可以成功识别和消除重复项。一旦组织成功解决了这些挑战并清理了数据集，他们就可以从高质量数据中获益。准确可靠的信息是做出明智决策、制定有效战略和推动企业高质量发展的坚实基础。

（6）通过验证方法确保数据质量

数据是决策的核心，企业对其数据集的可靠性和可信度充满信心变得至关重要。为了实现这一目标，组织可以采用各种验证方法，每种方法都具有独特的优势和考虑因素。一种验证方法是手动验证检查。这种方法需要由拥有深厚领域知识的人类专家仔细检查收集的数据。手动验证检查可能非常耗时且占用资源，特别是在涉及大量数据时。此外，人为错误或偏见可能会无意中影响评估过程。为了缓解这些挑战并最大限度地提高效率，组织通常将手动验证与使用人工智能算法的自动化流程结合起来。自动验证方法提供了一种更方便的方法，同时保持高水平的准确性。通过利用机器学习算法和自然语言处理技术，企业可以自动化根据预定义规则或模式验证数据的过程。这样可以快速识别和标记数据集中潜在的不准确之处。

为了确保验证方法的有效性，企业应根据其特定需求制定明确的验证标准。定义这些标准有助于组织确定哪些内容构成其独特环境的准确数据。它涉及了解潜在不准确的根源并开发与期望结果一致的规则或算法。此外，持续监控在保持数据准确性方面发挥着至关重要的作用。定期评估验证流程的性能并根据需要进行调整可确保企业始终应对数据集中出现的挑战和变化。通过反馈循环进行持续改进使企业能够快速适应并随着时间的推移保持高质量的数据。

（7）通过持续监控维护高质量数据

持续监控是维护高质量数据的基石，实施数据治理框架和建立定期审计以确保持续遵守定义的质量指标是非常重要的。

数据治理是指导企业维护高质量数据的指南针。它包含一组促进数据资产有效管理和利用的政策、流程和程序。通过建立明确的数据收集、存储和使用指南，企业可以在其运营中强制实施一致性。数据治理充当了防范低质量信息带来的潜在风险的守护者。

有效数据治理的核心是被称为数据管理员的专门人员的角色。这些人充当组织内有价值的数据集的保管人。他们负责确保遵守既定标准，同时发现改进机会。数据管理员对组织的目标有深入的了解，并与各个利益相关者密切合作，以推动数据质量的持续提高。

3.数据质量管理在数据资源入表中的方法

数据质量管理在数据资源入表中的管理方法主要包括数据资源资产化前的事前管理、数据资源资产化前的事中监测、数据资产使用后的事后评价以及数据资源和资产质量的持续提升，其管理关键点如图3所示。

 

 

图3数据质量在数据资源入表中的管理阶段

 

（1）事前管理

数据质量事前管理需要从数据的整个生命周期出发，对每个环节进行预防和监控。通过建立完善的数据质量事前管理体系，提高企业数据质量，降低数据风险，为企业的数据向数据资源转化提供可靠支持。事前管理的主要管理内容包括：

l 建立数据质量标准：制定数据质量标准和指标，明确数据的精度、完整性、一致性和及时性等方面的要求。根据实际业务需求，对不同类型的数据制定相应的质量标准。

l 规范数据采集和处理过程：制定统一的数据采集和处理规范，确保数据采集和处理过程的标准化和规范化。采用合适的数据清洗和校验方法，消除异常值和错误数据。

l 重视数据源管理：对数据源进行全面梳理和评估，确保数据源的可靠性和稳定性。建立数据源变更管理流程，确保数据源变更时及时通知相关人员，并进行必要的验证和测试。

l 建立数据质量监控机制：通过定期检查和监控数据质量，及时发现和解决潜在的数据质量问题。同时，建立数据质量评估机制，对数据质量进行持续评估和监测。

l 建立长效工作机制：根据组织特点，制定符合自身环境的工作制度，制定每个环节的工作流程，规定各个参与方的责任，确定各项数据的权威部门，制定数据质量指标，制定数据质量修复流程等等。

l 培训和意识提升：提高员工的数据质量意识和技能水平，使其能够按照规范和标准操作数据采集、处理、存储和分析等过程。

通过数据质量事前管理，可以提前发现并解决潜在的数据质量问题，避免问题发生后才进行处理，从而降低了数据质量问题的风险。同时可以对数据进行全面检查和评估，确保数据的准确性、完整性和一致性，提高数据的质量水平。因此，数据质量的事前管理是数据资源化的重要保障。

（2）事中监测

数据质量的事中监测是指对生成的数据资源的质量有目的性的监测。数据质量事中监测的意义在于，可以在数据操作或数据处理过程中及时发现并处理数据质量问题，避免问题扩大化，提高数据的准确性、完整性和可用性。对数据资源的事中监测是保障数据资产价值稳定性的基础。事中监测的主要管理内容包括：

l 数据实时监测：在数据操作或数据处理过程中，对数据资源进行实时监测，及时发现并处理异常数据或错误数据，避免数据质量问题对业务和交易造成的影响。针对待管理的数据元素，配置数据相似性算法或数据关联性算法，在数据新增、变更、处理、应用等环节调用预置的数据质量算法，进行相识度或关联性分析，并给出数据分析的结果。通过建立数据质量预警机制，可以及时发现并解决潜在的数据质量问题。

l 数据质量评估：通过制定数据资源质量标准和指标，对数据资源进行质量评估，包括数据的准确性、完整性、一致性和及时性等方面。通过对数据资源的评估，可以及时发现并解决潜在的数据质量问题，从而保障数据资产的价值。

l 数据修复和纠正：一旦发现数据资源的质量问题，需要及时进行修复和纠正。数据修复和纠正包括查找错误原因、修正错误数据、重新验证数据等步骤，以确保数据的准确性、完整性、唯一性等。

l 数据审计和监控：对数据资源进行定期的审计和监控，确保数据的准确性和完整性。同时，通过对数据的审计和监控，可以发现并解决潜在的数据质量问题，持续提高数据的质量水平。

通过对数据资源的事中监测，可以帮助企业识别数据资源潜在的质量问题，如数据质量低、数据不准确等，并及时采取措施进行修复和纠正。同时，数据资源的质量也决定了数据资产的质量和价值，因此数据资源的事中监测是确保数据资产价值的重要环节。

（3）事后评价

数据入表中数据质量的时候评价主要关注数据质量对数据资产价值的影响。数据质量对数据资产价值有着重要的影响。高质量的数据可以提供更准确、更可靠的信息，从而在决策、业务操作和创新等方面发挥更大的作用。相反，低质量的数据可能会导致决策失误、业务风险和数据安全问题，从而对数据资产价值产生负面影响。事后评价的主要管理内容包括：

l 数据质量对数据资产价值的影响评估：评估数据质量对数据资产价值的影响程度，包括数据质量的高低如何影响数据资产的价值、数据质量问题对数据资产价值的影响等。

l 数据资产价值与数据质量的关系评估：评估数据资产价值与数据质量之间的关系，包括数据质量与数据资产价值之间的关联性、数据质量对数据资产价值的影响程度等。

l 数据质量管理措施的评估：评估企业采取的数据质量管理措施的有效性，包括数据采集、处理、存储和分析等环节的质量控制和管理措施是否得当、是否能够提高数据质量等。

l 数据质量与业务应用的关系评估：评估数据质量与业务应用之间的关系，包括高质量的数据如何支持业务应用、低质量的数据如何影响业务应用等。

通过对这些方面的评估，可以更好地了解数据资产价值和数据质量之间的关系，为企业数据资产增值提供重要基础，比如数据质量的优化改进策略与数据资产增值的路径关系等。

（4）数据资产质量的PDCA

PDCA循环，即Plan（计划）、Do（执行）、Check（检查）和Act（行动）的循环，是质量管理的基本方法。在数据入表的数据资产质量管理中，PDCA同样适用。

l Plan（计划）：在数据入表的数据质量管理中，计划阶段主要是确定入表数据的数据质量的目标和策略。这包括确定需要关注的数据类型、设定数据质量标准，以及确定如何去实现这些标准。此外，还需要明确责任和任务分配，制定详细的实施计划。

l Do（执行）：在执行阶段，根据计划阶段设定的目标和策略，开始进行实际的数据处理和分析工作。这包括数据的采集、清洗、存储、处理和分析等环节。在执行过程中，需要确保按照既定的标准和流程进行操作，以保障数据的质量。

l Check（检查）：检查阶段是对执行阶段的结果进行评估和检查。这包括对数据进行质量检查，以确保数据符合既定的质量标准。此外，还需要对数据处理和分析过程进行审计，以识别可能存在的问题和风险。

l Act（行动）：在行动阶段，根据检查阶段的结果，采取相应的措施来改进数据质量。这可能包括修复数据问题、调整数据处理和分析流程、培训员工等。行动阶段的目标是持续改进数据质量，确保数据始终符合企业的需求和标准。

数据资产管理中数据质量的PDCA新周期开始于：

①现有数据资产的数据质量测量值低于目标值。

②新数据集增加到数据资产中。

③对现有数据资产提出新的数据质量要求。

④业务规则、标准或期望发生了变更。

PDCA循环在数据入表数据质量管理中的应用可以帮助企业建立完善的数据质量管理体系，通过持续的质量改进活动，提高数据质量，从而提高数据资产的价值。同时，PDCA循环的循环不止的特性也使得企业可以持续优化和改进数据质量管理流程和方法，不断提升数据质量管理的水平。

四、数据质量管理在数据入表中的实施路径

数据质量管理在数据入表中的实施路径包括制定数据资产标准、搭建数据资产质量平台、实施数据资产质量监控、开展数据资产质量评价和强化数据资产质量运营五个阶段，如图4所示。

 

 

图4 数据质量在数据入表中的实施路径

 

1.制定数据资产标准

数据资产标准是数据资产质量得到保障的基础，数据资产标准包括数据资产分类标准、数据资产编码标准和数据资产描述标准。

（1）数据资产分类标准

对于企业而言，数据资产的分类目前看有业务视角、技术视角和场景视角等分类，现实情况看起来还比较初级，分类思路还是站在技术的层面看，未能按照数据作为产品的视角去分。未来，在企业内部数据资源入表实际上是参考了数据的产品、物资或设备属性，也就是把数据作为了生产要素，那么数据资产的分类是否也可以按照产品的视角进行分类呢，也就是把数据资源作为物料分类的一部分。表1是数据资产在企业内部的分类示例：

 

 

表1数据资产分类示例

 

（2）数据资产编码标准

对于企业而言，通过该资产产生了多少收益，对该资产的维护费用是多少，该资产的所有者是谁，该资产的投资收益率是多少等等，就能够形成企业内部数据资产的360度视图。因此，对于数据资产来说，编号至关重要。

企业内部数据资产编号可以参考物料编码规则，采用无意义的流水码组成，一旦该类数据资产退役，编码冻结永不使用。比如，以D开头的8位流水码——D0000001，也能涵盖D99999999-D00000001千万个数据资产。

（3）数据资产描述标准

数据资产描述标准就像产品包装盒上的产品说明一样，是说清产品由什么组成、哪里生产、营养成分、保质期等。数据资产也应该有类似的说明书，也就是描述数据资产的元数据。需要定义描述数据资产的元模型，描述数据资产的组成、数据权属、应用场景等。

企业数据资产描述标准的目标是清晰定义数据资产，包括数据资产编号、数据资产类别、数据资产组成、数据资产用途、数据资产所有者等信息。表2为数据资产描述标准的示例。

 

 表2数据资产描述示例

 

 

数据资产标准是规范数据要素管理的必要措施，通过数据资产标准的建立，可以规范数据采集、处理、交易、分析等环节，确保数据的质量和合规，提高数据要素的价值和作用。数据资产管理及数据资产标准化也是数据治理的重要内容，通过数据治理规范数据资产管理行为和方式，在合规合法的前提下，最大化释放数据要素的生产力价值。同时，数据资产标准化也是数据资产向数据资本转化的重要前提条件。

2.搭建数据资产质量平台

通过数据资产标准的建设，需要通过数据资产质量管理平台保障数据资产的质量。数据资产质量管理平台的功能主要包括以下几个方面：

（1）数据资产标准管理：数据质量管理平台的核心功能之一是数据标准管理。支持企业建立和维护数据资产质量标准，确保数据的规范化和标准化。通过数据标准管理，企业可以定义数据类型、格式、规则等，确保数据的一致性和准确性。

（2）数据资产质量评估：数据资产质量管理平台可以对数据资产进行质量评估，包括数据的准确性、完整性、一致性、及时性等方面。通过设定数据资产质量标准和指标，系统可以对数据资产进行质量检查，并提供相应的评估结果和报告，帮助企业了解数据资产的质量状况。

（3）数据清洗和校验：数据资产质量管理平台可以自动识别和修复数据中的错误和不一致之处，包括重复、缺失、异常值等问题。通过数据清洗和校验，系统可以确保数据的准确性和一致性，提高数据资产的质量水平。

（4）数据资产质量监控和预测：数据资产质量管理平台可以实时监测数据资产质量指标，并生成相应的报告和警报。这样可以帮助企业及时发现潜在的数据质量问题，并采取纠正措施。同时，通过预测分析，系统可以帮助企业预测数据资产质量问题的趋势，提前做出相应的决策。

（5）数据集成和共享：数据资产质量管理平台可以支持跨部门和团队的数据集成和共享。通过统一的数据接口和标准，平台可以确保不同系统和团队之间的数据一致性和完整性，提高数据的可用性和协同效率。

数据资产质量管理平台在提高数据资产质量、提高工作效率、降低风险和成本、提升决策效率以及促进团队协作等方面发挥着重要作用。

3.实施数据资产质量监控

数据资产质量监控是跟踪、测量和提高给定数据资产质量的过程。这涉及设置质量控制检查和审计、建立数据资产质量基线以及跟踪一段时间内的变化等事情。数据质量资产监控是一项关键功能，在数据入表中发挥着至关重要的作用。数据资产质量监控可帮助企业检测数据错误并在它们对数据资产价值造成任何损害之前修复它们。数据资产质量监控包括数据资产质量监控的内容和实施方法。

（1）数据资产质量监控的内容

实现和维护数据资产质量标准需要采用包含各个组件的综合框架。以下是数据资产质量监控的一些关键组成部分。

1）数据资产分析

l 数据资产分析使组织能够更深入地了解其数据特征、模式和异常。

l 通过分析数据资产类型、分布和频率，组织可以识别潜在的数据质量问题并采取纠正措施。

l 数据资产分析有助于识别缺失值、不一致和意外的数据分布，为数据质量改进奠定基础。

2）数据资产验证

l 数据资产验证涉及应用预定义的规则、算法或统计方法来验证数据的准确性、完整性和一致性。

l 验证检查可确保数据资产符合预定义的标准和业务规则，从而为其可靠性提供保障。

l 通过根据预定义的范围、格式或依赖性验证数据，组织可以及早检测并解决数据质量问题。

3）数据资产清理

l 数据资产清理涉及识别和删除数据中的错误、重复、不一致和不准确的内容。

l 通过自动化流程，组织可以消除重复数据、标准化格式并纠正不一致之处，从而提高数据质量。

l 对于需要人判断或领域专业知识的复杂数据问题，可能需要手动干预。

4）持续数据资产监控

l 持续数据资产监控对于实时识别和解决数据质量问题至关重要。

l 它涉及使用自动化工具和流程定期评估数据资产质量指标并触发异常警报。

l 通过主动监控数据源、转换和存储，组织可以及时检测与预定义数据资产质量标准的偏差。

5）数据资产治理

l 数据资产治理通过定义管理数据资产的政策、标准和程序来设置数据资产质量监控框架。

l 它确保明确定义数据资产质量责任，建立角色和职责，并满足合规性要求。

l 数据资产治理促进问责制，确保持续监控和改进数据资产质量。

（2）实施数据资产质量监控

通过采用系统方法，企业可以为稳健的数据资产质量监控实践奠定基础，从而始终保持宝贵数据资产的准确性、可靠性和可用性。以下是实施数据资产质量监控的重要步骤。

1）定义明确的数据资产质量目标

l 根据组织要求和行业标准明确定义具体的数据资产质量目标。

l 确定需要监控以满足既定目标的关键数据资产元素和属性。

l 为每个数据资产质量目标建立可衡量的指标和目标。

2）建立数据资产质量基线

l 对数据资产质量现状进行全面评估，建立基线。

l 识别影响数据资产质量的数据源、数据集成点和数据转换过程。

l 执行数据资产剖析和分析，以了解现有的数据资产质量问题及其潜在影响。

3）开发数据资产质量监控框架

l 开发数据资产质量监控框架，概述关键组件、流程和职责。

l 根据数据元素的重要性调整数据资产质量监控活动的频率和范围。

l 定义将在监控过程中应用的数据资产质量规则、验证和检查。

4）实施数据资产质量工具和技术

l 评估并选择符合企业要求的适当数据资产质量工具和技术。

l 实施数据资产质量管理软件、自动化数据分析工具和数据资产验证框架。

l 将数据资产质量工具与现有数据系统和工作流程集成，以实现无缝监控。

5）建立数据资产治理

l 建立数据资产治理框架，概述数据资产质量监控的政策、角色和职责。

l 任命专门团队负责监督和提高数据资产质量。

l 定义数据资产质量升级和问题解决流程，以确保及时采取行动。

6）持续监控数据资产质量

l 实施定期且持续的数据资产质量监控流程，以跟踪和评估数据资产质量指标。

l 监视数据源、数据转换和数据存储系统是否存在可能影响数据资产质量的更改。

l 持续评估数据资产质量指标，识别新出现的问题，并采取积极的改进措施。

监控入表的数据资产质量对于确保数据可靠性和可信度的企业至关重要。通过数据资产质量监控，可以使业务运营更顺畅、错误更少、决策更好并遵守重要法规。建立数据资产质量监控使企业能够充分释放数据资产的潜力，推动创新，获得竞争优势，从而保障数据资产价值的可获得性。

4.开展数据资产质量评估

数据资产质量评估是一系列科学和统计评估，用于确定数据资产是否符合公司的数据资产质量标准。数据资产质量评估的步骤如下：

（1）界定数据资产评估范围

数据资产质量评估的范围可以从数据资产质量的维度、评估的具体数据元素、使用的方法和工具以及评估的时间范围来界定。

（2）确定评估中包含的数据源

可以通过查看回答研究问题所需的数据资产类型来确定评估中包含的数据源。例如，如果研究问题是关于新产品对销售的影响，则数据源可能包括公司财务记录中的销售数据、客户调查中的数据以及市场研究报告中的数据。

（3）制定数据资产质量评估清单

数据资产质量评估清单是可用于评估不同业务功能和流程的数据质量的问题列表。该清单应在流程的不同阶段以及工作流程或技术发生变化时完成。该清单还应根据技术、业务实践等的变化定期更新。

此类清单中可包含的一些常见要素包括：

l 数据是否完整、准确、最新

l 数据的格式和结构是否正确

l 数据是否没有错误、重复和其他异常情况

l 授权人员是否可以访问和使用数据

l 数据是否得到充分保护，免遭未经授权的访问和修改

（4）与主要利益相关者进行访谈

与主要利益相关者进行访谈以进行数据资产质量评估有几个关键步骤。首先，需要确定谁是主要利益相关者。其次，需要提出一系列问题来询问利益相关者。最后，需要分析对问题的回答，以确定任何值得关注的数据资产质量领域。

（5）审查数据资产质量指标

数据资产质量指标根据组织及其使用的数据质量指标而有所不同。然而，审查数据资产质量指标的一些技巧包括查看一段时间内的总体趋势、比较不同的数据源以及确定需要改进的领域。

（6）进行数据资产质量分析

数据资产质量分析的方法有很多种，常见的方法包括使用统计方法、数据挖掘和机器学习。

数据资产质量评估的目的是识别数据资产的有效性，估计对数据入表的影响，并实施纠正措施。

5.强化数据资产质量运营

数据资产质量运营是指通过建立数据资产质量基础、制定数据资产质量计划、分配数据资产质量责任和将数据资产质量融入企业文化的一系列数据资产质量保证的体系机制。组织必须强化数据资产质量运营以确保拥有最新且干净的数据资产。企业必须执行这样的程序才能获得并维持高质量的数据资产。建立数据资产质量运营体系包括4个关键步骤：

（1）建立数据资产质量基础

数据质量是许多企业关注的问题。这不仅仅关乎准确性和完整性，它还涉及及时性、一致性和有效性。数据资产质量是公司数据质量工作的基础。数据资产质量必须与业务流程相关，以将一个业务领域的改进复合到另一个业务领域。一旦建立了这些联系，就应该根据它们映射KPI，以确定哪些流程需要改进，以及哪些流程运行良好。列出企业面临的所有数据资产质量问题以及它们如何影响收入和业务KPI。

（2）制定适合目标的行动计划

每个企业都是不同的，从一开始就定义什么是“最适合”企业的数据资产质量目标非常重要。有必要与相关利益相关者一起制定行动计划，说明他们将如何使用数据资产并识别其中的任何问题。同样重要的是提醒项目团队已制定的KPI，以证明数据资产质量运营的有效性。

（3）分配治理一致的质量责任

数据质量的重要性长期以来一直被忽视。必须改变这种状况并分配责任和问责制，以确保整个企业的合规性和成功。在每次董事会或高管和高级管理团队会议上，数据资产质量都应成为议程项目。需要数据治理和合规性，以确保符合当地和行业法规。董事会可以将这些职责分配给首席数据官，首席数据官将确保制定强有力的政策来维护数据资产质量。

（4）将数据质量融入组织文化

数据资产质量成熟之路的最后阶段是数据资产质量必须在文化层面嵌入到组织中。数据资产质量不是一次性事件，而是一个持续的过程。为了推动数据资产入表的成功，数据资产质量保障必须嵌入到组织文化中。

当前，企业面临的挑战是在开始数据入表之前不知道数据的确切质量。使用重复、不完整和不准确的数据是一个致命的风险。企业必须积极主动地制定数据资产质量运营策略，以避免在数据入表过程中出现潜在问题。

五、数据质量管理在数据资源入表中的建议

数据质量管理是数据资源入表中的核心管理内容，为了保障数据资源能够有效转化为数据资产并计入资产负债表，本文给出了在数据资源入表中针对数据质量管理的十个建议。

l 明确设置和定义数据资产质量要求：首先定义与数据资源入表目标相符的特定数据质量要求。明确定义什么代表数据资产相关的高质量数据，包括准确性、完整性、一致性、及时性和相关性。

l 数据分析和评估：执行数据分析以了解数据结构、内容和质量。通过检查数据模式、识别异常和测量数据完整性来评估数据质量。此步骤有助于发现数据问题，并为后续数据质量改进和数据资产化奠定基础。

l 数据清理和标准化：实施数据清理技术来解决数据质量问题。包括删除重复记录、更正错误以及标准化数据格式、值和表示。自动化的工具和流程可以帮助有效地清理和标准化数据。

l 制定数据治理框架：制定数据治理框架以确保数据质量的问责制和责任。定义数据质量管理的角色、职责和流程，包括数据管理、数据所有权和数据质量监控。

l 数据质量指标和监控：定义符合入表的数据资源质量要求的关键数据质量指标。持续监控这些指标以评估数据质量并识别潜在问题或趋势。定期数据质量审核可以帮助跟踪改进并确定需要进一步改进的领域。

l 数据检验和验证：实施数据检验和验证流程，确保数据的准确性和一致性。这包括根据预定义的业务规则验证数据、执行引用完整性检查以及在ETL（提取、转换、加载）过程中验证数据转换。

l 数据质量培训和意识：提供数据质量培训和意识计划，教育员工了解数据质量的重要性以及他们在维护数据质量方面的作用。促进数据驱动的文化并强调整个组织中高质量数据的价值。

l 与数据提供商协作：如果企业从外部来源或合作伙伴接收数据，需要建立数据质量协议并与数据提供商协作，以确保满足数据质量标准。定义传入数据的数据验证流程，并建立有关数据质量问题的反馈和沟通机制。

l 实施数据质量工具：利用数据质量工具和技术来自动化数据分析、清理和监控流程。这些工具可以提供数据分析、异常检测和数据质量报告的高级功能，从而节省管理数据质量的时间和精力。

l 持续改进和迭代方法：数据质量是一个持续的过程。根据反馈、分析见解和不断变化的业务需求持续监控和提高数据质量。采用迭代方法，从数据质量问题中学习并随着时间的推移改进流程

 

 

中翰软件：专注数据治理19年（http://www.jobhand.cn）

 

 

免责声明：本网站所发布的文章为本网站原创，或者是在网络搜索到的优秀文章进行的编辑整理，文章版权归原作者所有，仅供读者朋友们学习、参考。对于分享的非原创文章，有些因为无法找到真正来源，如果标错来源或者对于文章中所使用的图片、链接等所包含但不限于软件、资料等，如有侵权，请直接致电联系，说明具体的文章，后台会尽快删除。给您带来的不便，深表歉意。