数据空间
您当前的位置: 首页 /数据知识

数据分析的发展和演变经过哪几个阶段

发布时间:[2018-11-14] 来源:网络大数据 点击量:

中国企业数据治理联盟www.chinaedg.com/

进入》主数据管理        企业数据治理         信息资源规划          数据安全管理

1.jpg

近年来,我们在信息技术领域取得了巨大进步,在技术生态领域中取得的一系列革命性成果也确实值得称赞。在过去的十年到二十年里,数据和分析一直是非常热门的词汇。因此我们需要明确它们是如何相互关联的,市场中扮演什么角色,以及将如何重塑商业业务。

对于那些已经意识到其潜力的人群来说,科技是一种福音,然而对于那些无法跟上其快速发展的人群来说,这也是一种考验。如今,几乎每个行业都离不开数据分析

在本文中将总结近年来数据分析的发展和演变,简化各种术语,对一些常见应用场景进行解释。让我们开始吧!

数据分析1.0 → 商业智能需求

这是数据仓库的兴起时期,客户(业务)和生产过程(交易)被集中到巨大的存储库中,如eCDW(企业整合数据仓库)。在对商业现象的客观理解方面取得了真正的进展, 从而让管理者在做出决策时能够基于对事实的理解,而不是仅凭直觉。

 1.jpg

这个阶段中数据通过ETLBI工具收集、转换和查询。分析类型主要分为描述性(发生了什么)和诊断性(为什么会发生)

然而,这个阶段的局限在于数据仅在公司企业内部使用,即商业智能活动只能处理过去发生的事情,而不能对未来趋势进行预测。

数据分析 2.0 →大数据

随着各大企业都纷纷走出舒适区,试图用更广泛的方法进行更复杂的分析时,前一阶段的数据分析局限性变得更加突出。

 2.jpg

企业都开始通过外部资源获取信息,比如点击流、社交媒体、互联网等,与此同时对新工具的需求也越发明显。不可避免地,“大数据”一词出现了,为了区分那些纯粹来自公司内部系统的小数据。

在这个阶段,公司希望员工能够通过快速处理引擎帮助处理大量数据。他们没预想到的是,因此应运而生的新兴的群体,即如今所称的“开源社区”将产生巨大的影响力,这也是数据分析 2.0时代的标志。

在社区前所未有的支持下,大数据工程师,Hadoop管理员等角色在就业领域发展壮大,并且对每个IT企业都至关重要。科技公司急于开发新的框架,这些框架不仅能够收集、转化处理大数据,而且还能在集成预测性分析。而且,进一步通过描述性和诊断分析的结果检测趋势、聚类和异常,并预测未来趋势,这也使其成为重要的预测工具。

在今天的技术生态系统中,我个人认为“大数据”这个术语已经被大量使用,甚至滥用。从技术上讲,如今“大数据”指的是所有数据,或者只是指数据。

数据分析 3.0→ 功能强大的数据产品

开创性的大数据公司开始投资数据分析,从而支持面向客户的产品,服务和功能。它们通过更好的搜索算法、购买建议以及针对性广告吸引用户访问其网站,所有这些都是由数据分析所驱动的。大数据现象迅速蔓延,如今不仅是科技公司在通过数据分析开发产品和服务,几乎每个行业的公司都是如此。

 3.jpg

另一方面,大数据技术的普及带来了好坏参半的影响。在科技巨头收获大量利润取得成功的同时,大多数企业和非科技公司却因为忽略数据而失败惨重。因此,数据科学领域应运而生,旨在使用科学方法、探索过程、算法等从各种形式的数据中获得知识和分析见解。

实际上,数据科学领域是跨学科的,它被定义为“结合统计、数据分析、机器学习等相关方法的概念”,从而用数据“理解和分析实际现象”。换句话说,良好的数据加上出色的训练模型能够产生更好的预测结果。新一代的量化分析师被称为数据科学家,他们拥有计算和数据分析技能。

科技行业在数据科学的帮助下迅速发展,并充分利用预测性和规范性对未来趋势进行预测。企业间也开启了数据分析的竞争,公司不仅通过改善内部决策等传统方式,而且还在不断开发更有价值的产品和服务。这是数据分析 3.0时期的精髓。

如今数据分析产生了巨大转变。公司正以超乎想象的速度发展,在内部设立更多的研发部门,比如数据科学家、数据工程师、解决方案架构师、首席分析师等人员构成的数据分析团队。

数据分析 4.0 → 自动化功能

主要有四种分析类型:描述,阐述过去; 诊断,利用过去的数据研究现在; 预测,通过基于过去数据的见解来预测未来; 规范,通过模型指导最佳行为。

虽然数据分析3.0包含了上述所有类型,但它强调的是最后一种,并且引入了小规模自动化分析的概念。

 4.jpg

通过机器学习创建更多模型,从而让预测变得更加细化和精确。但是,部署这类定制模型的成本和时间是十分昂贵的。最终,通过智能系统实现自动化的数据分析4.0时代到来了。

毫无疑问,人工智能、机器学习、深度学习将带来深刻的影响。机器翻译、智能回复、聊天机器人、会议助理等功能将在未来几年内得到广泛应用。数据挖掘技术、机器学习算法都已取得了大量成果,自动化分析将成为数据分析的新阶段。

数据分析 5.0 → 接下来会是什么

我们可以将自动化理解为,人与智能机器的强强联合,从而实现更好的成果。

 5.jpg

与其思考“人类的哪些工作将被机器取代?”我宁愿乐观地考虑,在机器的帮助下,企业能取得哪些新成就?我们该如何在灾难易发地区,通过人工智能程序减少伤亡人数;或者如何在贫困地区建立人工智能驱动的电子学校等。

总而言之,我对数据分析的发展充满自信,关键在于我们能否积极地接受和应对其带来的影响。

原文链接:

https://towardsdatascience.com/the-evolution-of-analytics-with-data-8b9908deadd7

作者: Deepesh Nair

 

编译: Mika

来源:网络大数据


发表评论 共有条评论
用户名: 密码:
匿名发表