数据治理：需要一个“村庄”！

随着更多数字化转型的完成、物联网(IoT)的不断扩展以及我们的数字足迹不断扩大，云数据库、数据仓库、数据湖、数据湖房屋和数据海洋正在增长。企业将需要在数据治理方面进行更多投资以应对这种增长。

01 企业数据治理与数字化转型

1、糟糕的数据质量会影响组织的底线
永远不要将数据质量视为理所当然，这一点一直很重要，但在大流行期间尤其如此。执行紧急响应、分发医疗数据或帮助恢复工作的组织密切关注这一重要性，但每个组织都需要信任其数据才能有效。

数据不足的成本体现在很多方面，包括员工每天花在寻找数据而不是使用数据上的时间。知识工作者可以将一半的时间用于寻找数据、发现和纠正错误，以及尝试确认他们不信任的数据。最明显的影响是在底线。Gartner的一项研究发现，糟糕的数据质量使组织每年平均损失1500万美元。

为了信任他们的数据，组织需要知道收集数据的地点和频率。信息管理解决方案可以自动将元数据添加到信息中，为其提供关键上下文，从而使组织对其所有数据充满信心。

2、数据需要上下文才是有价值的

没有上下文的数据只是随机信息，无法提供有价值的见解。在大流行的早期，互联网上充斥着比较不同国家（例如美国和意大利）的感染率的帖子，这些帖子以原始数字为依据，而没有诸如人口年龄、感染率等背景信息。医疗保健或疾病传播了多长时间。没有上下文，这些数字根本没有任何实际价值。

数据上下文是必不可少的，远远超出了简单的仪表板可视化。了解数据背后的内容也很重要。例如，商业提案可能主要依赖于现有协议和最近的通信，但与提案相关的过去协议或通信，即使它们涉及另一家公司，也可以为决策制定提供信息。

上下文不仅可以添加相关信息，还可以过滤掉可能影响决策的无关的、不重要的噪音。例如，使用由人工智能驱动的高级分析的信息管理平台可以快速定位相关信息，将数据置于清晰的上下文中，无论手头的问题涉及合同、合规性、记录管理、数据治理还是生命周期管理。没有上下文，数据驱动的决策就不会有效。

3、数据驱动型企业在危机中茁壮成长

无论以何种方式衡量，企业和其他组织都在使用他们的数据。但对许多人来说，发展真正的数据驱动文化已被证明是一个难以实现的目标。面向数据的文化涉及相互信任和以数据为中心的流程，重点关注协作、敏捷软件开发和部署以及数据的质量和安全性。

具有这种文化的组织已经具备了平稳运行所需的组件。对于其他人来说，他们可以采取具体步骤来创建面向数据的文化，例如实施数据治理，这可以管理组织数据的可用性、完整性和安全性，以及控制对数据的访问。

以数据为导向的组织将使数据成为所有决策的一部分，这要求数据准确、最新并且可供需要它的每个人使用。它可以帮助组织在危机出现时快速响应并应对随之而来的任何新数据挑战。

在新冠疫情出现之前，许多组织已经开始向基于数据的数字化流程转变，但大流行加速了这些转变，并在此过程中使数据变得更有价值。展望未来，组织需要实施信息管理实践，以确保其数据的可用性、质量、完整性、安全性和可共享性。他们的未来将取决于此。

02 企业数据治理需要一个“村庄”

随着云数据量的不断增长，企业必须应对保护所有这些数据的挑战。保护数据的最大问题是谁应该拥有云数据治理，以及哪个人应该负责/负责保护数据。让我们探索潜在的替代方案。

1、安全团队

CISO和安全团队通常拥有最多的预算和最精通技术的员工。他们熟悉云环境，并且已经被授权防止外人侵入企业基础设施并检测/防止敏感数据离开企业。当然，他们应该拥有数据保护，对吧？

虽然安全团队擅长保护云基础设施和数据存储，但他们通常缺乏保护特定数据集或数据字段所需的基本要素：上下文。他们不知道给定字段（随机命名为“SSX_246”）是否包含敏感数据，或者是否应该将其与其他字段一起存储在给定表中。他们根本没有时间跟上每个新的云数据存储来了解添加到这些云数据存储中的每个新字段的上下文。因此，CISO和安全团队无法单独保护云数据。

2、数据团队

因此，如果安全团队没有足够的上下文来保护数据，那么数据团队肯定应该有足够的上下文吗？数据团队是否应该拥有数据保护？

在大多数组织中，数据团队负责管理数据集，并负责整个企业的数据可用性、质量和可发现性。数据团队负责维护数据字典。在某些组织中，数据团队负责决定哪些员工应该/不应该访问特定的数据集。

数据团队当然知道他们数据集的细节。但数据团队通常不知道组织需要遵守哪些法规和第三方数据处理协议。数据团队也没有技术资源来实时或近乎实时地了解谁在访问数据，他们如何使用数据，数据使用是否表明存在违规或受损凭据，以及要遵循哪个剧本来纠正潜在的违规行为。

换句话说，数据团队知道数据，但他们不知道法规和安全性。

3、隐私与合规团队

隐私与合规团队还担心保护数据。他们有责任及时了解适用于其组织收集的数据的所有法规。隐私与合规团队通常负责确保客户审查并同意组织的隐私政策，并确保组织以准确、及时的方式处理数据编辑、删除和披露等数据主体请求(DSR)。隐私与合规团队还知道必须如何保护数据以保持与第三方DPA的合规性。

但是隐私与合规团队没有足够的数据和访问控制背景。因此，他们依赖于耗时且不准确的手动、定期审计和自我证明。他们依靠数据团队提供敏感数据审计，并要求安全团队进行数据基础设施审计和访问控制审计。

4、需要良好的基础设施

在当今的云优先环境中，没有一个团队有足够的上下文来保护端到端的数据。数据治理基本上是跨职能的；真正需要一个跨职能的村庄来有效地管理数据。

安全、合规、隐私和数据团队需要共同努力，以云规模和云速度保护和管理数据。他们需要定义流程并创建系统

● 监控静态数据和使用中的数据；

● 根据适用法规、第三方DPA和其他内部数据治理指南考虑数据、用户和基础设施环境；

● 在初步评估后继续保护数据；

● 减少对耗时和偶尔审计的依赖；

● 改进其组织中的数据管理方式。

由于数据治理本质上是跨职能的，因此很难实现良好的数据治理。古语有云：“人人有责，无人有责”。由于模糊的所有权和责任制，太多的事情发生在裂缝之间。

5、一个跨职能的治理“村庄”

组织必须通过为跨职能村庄创建基础设施来正面解决这种模糊性。他们需要定义流程并投资于为跨职能团队成员提供相同统一上下文的系统，以更好地管理数据并帮助他们无缝协作。

数据治理需要一个村庄。伟大的数据治理需要流程和系统。通过定义明确的跨职能流程和自动化系统，您的村民可以避免手动、耗时的任务和功能孤岛，您可以实现出色的数据治理。

03成功数据治理的6个步骤

成功的企业依靠数据蓬勃发展。但是当数据太多时会发生什么？太多的组织正淹没在他们从传感器和设备创建、收集和接收的信息的海量数据中。

过多的数据最终会扰乱运营，使其难以实现真正的价值，并带来风险和高成本。

曾经只有数据架构师和数据库管理员单独负责管理数据，现在是每个人的事。数据管理现在由每个工作日生成、共享、使用和存储大量数据的任何业务专业人员共享。

您如何帮助您的员工认识到需要进行适当的数据管理以保护关键数据不丢失或被盗？他们如何知道有价值数据和多余数据之间的区别？当数据穿越多个部门、设备和人员时，他们如何理解数据的整个生命周期？

答案在于理解和实践智能数据管理的能力。如果您的组织难以在海量数据中维持生计，这里有六个步骤可帮助您的员工学习如何管理数据并提取关键见解以帮助您的业务发展。

1、知道数据在哪里以及如何查找数据

我们大多数人都知道如何在我们的应用程序和共享文件系统（如DropBox或其他基于云的存储服务）中查找数据。但通常，这些数据是部落数据，仅限于我们的角色或部门。据IDC称，对于一个组织中的每1,000人，每年平均有570万美元的劳动力成本被浪费在搜索而不是查找数据上。

数据评估有助于将可见性扩展到我们的主要角色和组之外，以发现有多少数据处于动态和静止状态。该评估提供了一项数据调查，有助于突出其价值，降低丢失或被盗的风险，并帮助估计任何相关项目的成本、阶段和及时性。

评估从发现整个组织的数据库和非结构化数据孤岛的主要存储资源开始。主存储可以存在于本地服务器、DAS/NAS/SAN资源、基于云的数据仓库和数据湖中。

非结构化数据可以存在于端点中，例如设备、共享驱动器、电子邮件服务器、文件、电子邮件、聊天和应用程序数据。在一些企业规模的组织中，多达80%的数据是非结构化的，可以位于数据库之外，并且永远不会被分析。

2、识别您的数据 

清楚地了解数据所在的位置后，您需要确定您管理的数据类型。您的一些数据可以由您的数据库识别。但最重要的发现是在非结构化数据池中发现的。

智能数据管理需要对整个企业的数据进行快速有效的分类和识别。您需要使用元数据标记数据源和元素，以提供有关如何组织和处理每个数据的上下文。通过使用元数据标签对数据进行索引，您将识别每个数据的网络地址、地理位置和基本特征，例如文件名、时间戳、类型和大小。

3、实践基本数据质量

一旦你知道你的数据，你就可以开始清理它了。数据质量实践有助于减少导致不必要成本、流程摩擦和风险的数据蔓延。这通常从搜索您的数据资产开始，以识别重复文件和孤立数据。

然后，您可以创建将目标分配给复杂搜索的数据质量策略。例如，一种策略可能是清除垃圾文件或删除重复文件。该策略可以生成有限的数据列表，没有人为错误和非常需要的标准，以实现进一步的行动。   

4、保护您的数据生态系统

您的数据安全问题可能围绕着遵守行业法规和网络安全威胁。智能数据管理实践可以涵盖两者。

强大的安全事件监控和授权、身份和访问控制是保护企业数据的良好起点。但这些工具还应迅速告知数据利益相关者即将到来的威胁、潜在或引入的数据漏洞以及潜在的隐私或合规性问题。

确定何时以及如何安全地锁定或丢弃数据。合规性和安全性问题应共享本地、云中或通过服务的数据的决策工作流。这些决定应涵盖需要保留哪些数据，无论是开展业务所必需的还是满足公司合规要求的数据。

5、优化您的数据

大多数组织利用各种应用程序来移动和存储数据。例如，他们的库存可能包括基于云的存储库、基于SaaS的生产力应用程序、流数据服务或备份和恢复工具。

智能数据管理应该完全索引这些来源和目的地中的数据，以改进优化，而不是撕掉和替换任何必要的工具。

6、利用您的数据

通常，过多的数据会导致更高的成本和更大的风险。但我们也知道，数据对于企业组织的生存和发展至关重要。为了保持这种平衡，您必须从数据中提取最大价值，无论是用于提高员工的工作效率、提高我们的战略洞察力以做出更好的决策，还是提供更新的学习型客户服务。

这要求您将数据与组织最关键的用例对齐，然后继续优化其他基本流程。例如，一家制药研究公司可能会优先考虑机器学习，而一家财产保险公司可能会倾向于改进事件管理和索赔解决方案。

优化您的数据，以确保对搜索和应用程序查询的高性能响应，满足员工和客户在每个用例中的需求，并实现更高的投资回报率。

然后，您就可以清楚地设置复制、移动、归档、检索和删除数据的策略，这对这些工作负载更具适应性和响应性。

智能数据管理可以帮助您获得更大的投资回报率，并与组织中的所有利益相关者进行社交和分享见解。有了真正的可见性和知识，每个人都可以更好地了解他们每天与之交互的数据的性质。

中翰软件：专注数据治理17年（http://www.jobhand.cn）

免责声明：本网站所发布的文章为本网站原创，或者是在网络搜索到的优秀文章进行的编辑整理，文章版权归原作者所有，仅供读者朋友们学习、参考。对于分享的非原创文章，有些因为无法找到真正来源，如果标错来源或者对于文章中所使用的图片、连接等所包含但不限于软件、资料等，如有侵权，请直接致电联系，说明具体的文章，后台会尽快删除。给您带来的不便，深表歉意。