大数据管理中面临的困难解析

中国企业数据治理联盟（www.chinaedg.com/）

随着企业数据存储量持续在成倍增长，管理这些数据变得越来越困难。有些企业经常会发现他们拥有的数据已经成为了过去式，或者与系统中的其他数据冲突，又或者数据完全不准确。

2017年全球数据管理基准报告中，数据验证供应商Experian Data Quality发现，“尽管全球大多数企业机构都表示数据支持他们的业务目标，但全球只有不到一半的组织(44%)相信他们的数据能够做出重要的业务决策。”

对数据缺乏信任会错失良机。没有准确数据的企业机构决策项目是拿捏不定的，甚至会遭遇品牌价值或客户满意度的下降。

为了避免这些后果，企业需要从数据分析及数据管理方面开展工作。他们建立的数据政策和投资方案可以帮助到企业避免诸多不必要的支出和错误的决策。

数据分析之前我们提到很多，在本篇中我们重点了解下大数据管理：

大数据管理是一个广泛的概念，包括用于收集、存储、治理、组织、管理和交付大型数据存储库的策略、过程和技术。它可以包括数据清理、迁移、集成和准备，以便在报告和分析中使用。

大数据管理与数据生命周期管理（DLM）的思想密切相关。这是一种基于策略的方法，用于确定哪些信息应存储在组织的IT环境中，以及什么时候可以安全删除数据。

在一个典型的企业中，许多不同职位的人可能会参与大数据管理。其中包括首席数据官(CDO)、首席信息官(CIO)、数据管理、数据分析师、数据库管理员、数据架构师、数据建模师、数据科学家、数据仓库经理、数据仓库分析师、业务分析师、开发人员等人员。

在IDG 2016数据和分析调查中，90％的受访者表示他们遇到了与大数据管理相关的挑战。几个不同的因素使大数据管理比管理较小的数据存储库更具挑战性。常见问题包括：

1、数据孤岛：在大多数企业中，不同的部门和业务部门使用不同的应用程序并将信息存储在单独的数据库中，这些单独的数据库可能包含类似的信息，但数据从一个数据库到另一个数据库并不总是一致的。例如，零售商可以将客户地址存储在营销数据库、客户服务数据库、会计数据库和电子商务网站数据库中。如果这些数据库中只有一个对特定客户的信息略有不同 例如当其他数据库将其列为“街道”时将客户的街道地址列为“路”则可能导致问题出现，丢失跟踪等问题客户服务记录，双重账单或不准确的报告。

此外，孤立的数据对企业来说是一个非常普遍的问题。Unisphere Research 的2016年企业数据管理调查发现，59％的被调查者只有很少或只有少数数据系统集成，而大多数数据仍然存在于孤岛中。

2、不断增长的数据存储：管理大数据也很困难，因为所涉及的数据规模庞大，而且数据量不断增大。对于只有客户较少的公司来说，修复客户记录相当容易。在这种情况下，有人可以查看所涉及的记录并修复它们。但对于拥有数百万客户和数PB的数据的全国零售商而言，需要一种不同的解决方案。

3、数据和架构复杂性：企业数据不仅存储在不同的孤岛中并且不断增长，如今的数据也非常复杂。企业通常具有结构化数据（驻留在数据库中的数据）和非结构化数据（包含在文本文档、图像、视频、声音文件、演示文稿等中的数据），并且数据存在于各种不同的格式中。单个企业可能在其系统上拥有数千个应用程序，并且每个应用程序可以读取和写入许多不同的数据库。因此，简单地编目组织在其存储系统中具有哪些类型的数据可能是一项非常困难的工作。

4、确保数据质量：所有这些问题使企业很难确保其数据的可靠性和准确性。跨数据孤岛缺乏同步可能使管理人员难以知道哪条数据是正确的，但人为错误的数据质量也是一个大问题的影响。

在Experian研究中，56％的受访者表示人为错误是影响其数据准确性的最大挑战。打字时每个人都会犯错误，但是，当数据驱动的组织使用人类输入的信息作为主要业务决策的基础时，简单的输入错误可能会带来潜在的灾难性后果。

5、人员配置不足：使大数据管理复杂化的另一个重大问题是缺乏训练有素的员工，没有足够的数据分析师和其他大数据专业人员来填补所有可用的职位。

6、缺乏高管支持：大数据管理工作面临的另一个潜在问题是高级管理人员，他们不了解良好数据管理的重要性和价值。预测分析和人工智能等更加节能的技术可能会得到很多关注和预算，而移动和清理数据的平凡过程并不会产生太多的兴奋。但是，这个问题似乎有所减少。在Experian的研究中，被称为高级管理层支持不足的受访者数量是对数据管理的一大挑战，从2016年的21％降至2017年的19％。在2017年NewVantage Partners大数据执行调查中，52.5％的高管表示数据治理对大数据业务的采用至关重要。

7、建立数据友好型文化：对于任何企业而言，从人们根据自己的直觉，观点或经验做出决策的文化转向数据驱动的文化标志着一个巨大的转变。52.5％的高管指出“企业障碍”是他们未能实现大数据项目目标的原因，只有27.9％的受访者表示他们已经成功地建立了数据驱动的文化。改变员工和经理的心态需要时间，但大多数专家都认为大数据管理必须有效。

中翰软件：专注数据治理15年（http://www.jobhand.cn）