企业应该如何实施数据协调策略

  原文: In-DepthInterview: Five Steps to Data Harmonization with Absolutdata CEO Anil Kaul

  来源: http://www.dataversity.net/depth-interview-five-steps-data-harmonization-abolutdata-ceo-anil-kaul/

  品觉导读：

  由于不同类型的非结构化数据和多种格式的数据从传感器、网络以及传统数据库大量涌入，这使得数据整理变得更加困难。必须先对这些数据进行清理和组织，然后才能使用数据分析工具。这就是自动化工具的用武之地。自动化和人工智能可以帮助整理不同来源的数据，然后把经过整理的数据以图表方式呈现。

  数据协调把数据和需求联系起来，从而提高了企业数据的质量和效用。它还可以让企业用户在无需IT参与的情况下，转换数据，并建立新的数据分析和可视化分析。提高了企业数据的质量和效用，有助于迅速部署新的先进技术，比如机器学习、人工智能和物联网，而且费用不高。

原文翻译：

  数据协调是提高数据质量的一种方法，旨在改善企业治理和数据的有效性。这是如何做到的？企业应该如何实施数据协调策略？

  为了解答这些问题，我们采访了Absolutdata联合创始人兼CEO阿尼尔·考尔（Anil Kaul）。考尔被评为印度十大最具影响力的数据分析领袖之一。他在数据分析、市场研究和管理咨询方面拥有二十多年的从业经验，曾获得康奈尔大学市场营销硕士和博士学位，也是一位备受尊敬的作家和演讲者。

  以下是经编辑整理的采访实录。

  问：你对数据协调的定义是什么？

  答：简单来说，数据协调在于创造一个单一的真相来源，方法是从不同的来源获取数据，去除具有误导性或者不准确的数据，并以整体方式来呈现数据。这意味着，你会得到一个可以观察一切的窗口，为决策提供支持，包括财务信息和企业表现。数据的来源虽然不同，但经过协调后，数据就会被整理、分类和汇总，为你提供全面的视野。

  问：按照Informatica对数据协调的定义，机器学习是这一过程的重要组成部分。在数据协调的过程中，机器学习等智能数据工具和人工智能扮演了什么样的角色？

  答：机器学习是一种数据分析方法，可以使分析模型的构建实现自动化。利用从数据中迭代学习的算法，机器学习能够让电脑发现隐藏的规律，而不必通过具体的编程来实现。

  可用数据的体量越来越大、类型增多，加之计算处理能力越来越便宜，数据存储和挖掘能力日益强大、实惠，这使得在短时间内自动构建模型成为可能，从而让我们有能力分析更庞大、更复杂的数据，并更快得出更准确的结果——哪怕数据规模非常之大，也能做到。通过建立精确的模型，企业更有可能发现机遇，或者避免风险。机器学习工具和人工智能在这方面提供了支持。

  由于不同类型的非结构化数据和多种格式的数据从传感器、网络以及传统数据库大量涌入，这使得数据整理变得更加困难。必须先对这些数据进行清理和组织，然后才能使用数据分析工具。这就是自动化工具的用武之地。自动化和人工智能可以帮助整理不同来源的数据，然后把经过整理的数据以图表方式呈现。

  人工智能可以使数据准备和协调变得更加容易，从而加快大数据技术的普及。来自物联网等新兴网络来源的数据种类越来越多，这使我们更加渴望得到更多、更好的自动化工具。

  问：数据协调是否只是主数据管理的另一种说法？二者之间有什么重要区别？

  答：主数据管理主要是管理被多个IT系统和群组所共享的引用数据或者主数据，能够提供对核心数据储存库的访问。它还通过关注业务流程、数据质量以及信息系统的标准化和整合，来解决数据问题。数据协调则是之前进行的一步，涉及数据的清理，去除多来源数据的不一致性和不准确性，试图让不同来源的数据“和谐相处”，提供全面统一的视野。数据协调过程如同把一块块的拼图拼接起来，在此过程中，不同的数据元素和变量被识别、清洗和处理，然后形成一个有利于决策的数据储存库。

  问：数据协调的主要好处是什么？

  答：数据协调把数据和需求联系起来，从而提高了企业数据的质量和效用。它还可以让企业用户在无需IT参与的情况下，转换数据，并建立新的数据分析和可视化分析。你不必去想你是否把握了全局。你可以完全依靠数据提供的真相，作出更明智的决定。

  简单来说，数据协调提高了企业数据的质量和效用，有助于迅速部署新的先进技术，比如机器学习、人工智能和物联网，而且费用不高。

  有了一个定期或实时更新的真相来源，就不需要花时间去核实、重新校验和追溯数据的多个来源。信息就在那里，你可以据此作出决策。这将使你的公司更加灵活，对市场变化的反应更加迅速。数据协调大幅缩短了发现和获取商业智能洞见所需要的时间，同时降低了数据分析的总体成本。

  假设你在一个团队中开始使用经过协调的数据。随着系统的演化，积累了更多的相关数据，它可以较快地把这个过程复制到其他业务领域。随着使用量和采用量的增加，该系统会变成一个巨大的知识库。

  问：数据协调过程应该如何开始？要想恰当地实施，需要哪些基本步骤？

  答：数据协调过程应从确定目标开始。然后，再制定协调和研究方案来实现这些目标。还要设计一个针对IT系统和所需元素的架构，启动数据整合和协调过程。实施的基本步骤包括：

  第1步：识别微数据的相关来源，进行数据收集和获取，形成数据集。

  第2步：清理和协调。数据清理过程包括识别不正确、不准确或不一致的数据，并加以修改。这是为了提高数据质量，形成干净、统一、一致的数据集以供协调。

  第3步：对数据进行质量检查，确保数据达到可接受的完整性和有效性水平。检查是否存在重复的数据录入以及不一致或不适用的数据。

  第4步：变量被识别并被挑选出来进行协调。这会相当棘手，因为不同来源的变量时常会前后不一致。必须在实用性（找到类似并共同发挥作用的信息）与纯净性（完全一致的信息）之间    找到一种平衡。

  第5步：数据被处理，必要时将其转换成常见格式，并实现共享。现在，公司的各个部门都能访问同样的最新数据。数据可以按照各个部门的不同需求，进行过滤和呈现。

  通过最终检查后，数据被存储起来，在需要时使用。经过协调的数据并非静止不变，而是会定期或实时更新，以确保数据能用于解决各种问题。

  问：对于一家正在探索数据协调各种可能性的公司，你有什么建议？

  答：数据协调就是未来，因为它为有效的数据处理和决策提供了补充和支持，从而确保了数据的准确性和可靠性。今后几年，数据协调将成为企业实现高效与成功的必需品。

  数据协调不止是缝隙填充物。它有助于把各种数据元素和变量无缝地结合起来，变成一个按功能使用的数据集。完全不同、毫不相关的数据需要我们花时间去处理，因而拖慢了决策过程，且缺乏准确性。但现在，通过数据管理和数据协调，企业能够作出适当、最优化的决策，从而以灵活的姿态脱颖而出，领先于竞争对手。

…

  数据协调的作用显而易见，但谈到具体的实施方法，很多人并不清楚。考尔的五个步骤为那些有意从事数据协调的企业提供了坚实的基础。数据协调能带来诸多好处，包括能更迅速地获得更好的商业智能洞见。不过，在实施每一步的过程中，每家企业都会有各自的方法来实现数据协调。即便如此，任何旨在发现“单一真相来源”的方法必定都值得我们去探索。

【end】

  本次转自：品觉 微信公众号（pinjueche.com）；

  车品觉 简介

  畅销书《决战大数据》作者；国信优易数据研究院院长；红杉资本中国基金专家合伙人；

  全国信标委大数据标准工作组副组长；贵阳市大数据委顧问；上海市司法局大数据实验室专家；CCF大数据委副主任；乌镇智厍理事；

  浙江大学管理学院兼职教授；清华大学（大数据项目）教育指导委员；Advisory Committee of Big Data institute - HKUST； 

  原阿里巴巴集团副总裁；原阿里健康（00241）独立董事；原阿里数据委员会会长。

  版权声明：本号内容部分来自互联网，转载请注明原文链接和作者，如有侵权或出处有误请和我们联系。

 中国企业数据治理联盟官网

 点击进入》 主数据管理    企业数据治理   信息资源规划   数据安全管理