知识分类

文章推荐

从5个视角看AI和大数据实践

中国企业数据治理联盟（www.chinaedg.com/）

进入》主数据管理      企业数据治理       信息资源规划      数据安全管理

前言

在这个五句话不离大数据和 AI 的时代，让我们来看看它们给我们带来了什么，以下是麻省理工科技年度科技评论近 5 年来评选出的“全球十大突破性技术”，我们为每一年挑选了一项作为例子：

2014 年，脑部图谱(Brain Mapping)

2015 年，基因互联网(Internet of DNA)

2016 年，分享型机器人(Robots That Teach Each Other)

2017 年，刷脸支付(Paying with Your Face)

2018 年，AI 共享(AI for Everybody)

从这些例子不难看出，大数据和 AI 已经引领了整个技术的突破，为人类的美好未来带来了不可估量的影响。这个潮流，确实难以抵挡，那么不如就投身其中吧。

对大多数软件从业人员来说，我们不知道如何开发大数据或人工智能项目，甚至不知道如何进入这些领域。事实上，市场的反应已经能够体现所谓的“热炒”或者“热潮”，特别是：

作为企业老板，意外收获了一笔投资
作为业务部门，面对大量的数据
作为分析部门，想变得更聪明
作为开发部门，被用户抱怨越来越慢

可以看到，各个职能部门都多多少少会受到影响，目的也是想在井喷的信息量中获得洞见。下面这张图把业务按照数据和分析这两条线进行拆分，它们相辅相成，大数据和 AI 分别从传统数据和 BI 扩展而来，并形成一个闭环。

 

我将从几个不同的视角对这个问题做一些思考：如果你想要从零开始做一些大数据和 AI 相关的事情，该如何思考，该如何行动，该如何与正确的人一起做正确的事。文中没有提及任何与流行的大数据或 AI 相关的技术或产品，因为那是下一步甚至是下下步才要做的事情，这里只是做一个引子和方法论介绍。

企业视角

这是一个很大的主题。如果我们从这个视角看问题，可能什么都看不清楚，因为我们并不是创业家，不用思考生存获利的问题。不过我们可以有如下操作：

1. 如何驱动愿景或策略?

我有一个美好的初步愿景，为了成为人人敬仰的 Doctor Who(神奇博士)，为了人类能够决定自己的命运，为了大家都能受到启发，为了推广这些概念，为了生活变得更丰富多彩，为了人人都能成为大数据或 AI 专家。

有点想法总是好的，没准哪天实现了呢?为此，我需要一个品牌，姑且就叫它“Simple Man”吧。为什么不叫“Super Man”?因为是刚刚起步，所以还是不要定太高的目标。

在刚刚起步时，可以试着像大多数人一样表现得毫无畏惧。大数据，无非就是数据多些，不规范些;AI，无非就是智能些，只是比无知多点技能罢了。

SWOT(态势分析法)说，我的优点是懂点皮毛，我的缺点也是懂点皮毛。这样显然是不行的。我们要真的知道自己的竞争力在哪里以及和别人的区别在哪里才行。差异化决定了你是不是真的“神奇”，不然人人都是神奇博士了。“人人都是产品经理”或者“人人都能发财”，这些只是骗人的宣传口号。

接下来的市场计划，我得参考黑客增长(growth hacking)一样做一些病毒式宣传，在聊天工具上贴些文案，央求他们转发，以便增加点击率。种子用户总是那么的善良，他们愿意帮助你，因为他们百分百相信你是专家。

2. 什么是可执行规范?

说总比做容易得多。所以，要建好一所房子，光想是不够的，要付诸行动把它造出来。如果碰巧腰不好，或者没这个手艺，那么至少得告诉建筑工人你想要的弧形吧台是什么样子的。

规范，在英语里是 Specification，缩略语为 Spec。那么什么时候需要用到规范?当你的下游(你是老板，下游就是你的经理;你是用户，下游就是业务分析师;你是产品经理，你的下游就是技术人员;你是技术人员，你的下游就是测试或者支持人员)需要和你对接工作时，你得写点东西，你可以随便写点，然后等着挨骂;或者，如果你不想挨骂，就逼着他们签字画押，如果出了问题他们就不会找你，这样就合同化了，就成了规范了。

大数据的 Spec 怎么写?AI 的 spec 怎么写?其实不难，可以通过大数据和 AI 技术来写大数据和 AI 的 Spec。搜集网上所有包含这两个关键词的海量信息，大数据就有了。然后，你希望用这些数据来做些什么?对了，前面说了，我想成为一个神奇博士。为了它，我得具备神算子的本事(像极了算命先生)。作为神奇博士(或算命先生)，不管谁问我问题，我都应该能够解答。

“可执行的东西”是指 SMART(Specific/Measurable/Attainable/Relevant/Time-bound)的人能够在规范里写得出来的东西。那么多的机器人每天阅读很多信息量，你也可以，训练你自己，有人做到了，你也可以做到。

于是，一个可执行规范就有了，不管 * 谁问我任何问题，我都能解答，并且，我未来真的可以做到，不然就是忽悠，而不是规范了。

3. 什么时候达到目标?

好了，一个月过去了，好像什么也没发生。我正在找工作，但是没找到。神奇博士不太“神奇”了。虽然我每天写 500 字的 KPI 是完成了，但和我原来的美好愿景还是有些差距。我的目标应该重新定义下，比如混个职业经理的职位如何?稍等，我不是已经就是个职业经理了吗?还是再来梳理一下吧。

目标还是想当个神奇博士，那么：

每天阅读 2 篇有关大数据的需求文档

每天阅读 2 篇有关 AI 的技术文章

……

但这些 KPI 无法把我自己推销出去，这些只是我的短期目标，我要设法活下去才能实现最终的愿景。

4. 正确的方向在哪里?

看来是方向不对。愿望虽好，但有点不太切实际。像下面这样改一下，是不是好很多?

每天阅读 2 篇一流互联网企业需要的大数据需求文档

每天阅读 2 篇一流互联网企业需要的 AI 技术文章

(Brand)自己是谁?(Revenue)价值是什么?(Success)是不是能成功?(Launch)** 路线图好不好实现?(Pipeline) 有没有计划?(Product) 学得会新技能吗?(Milestone)里程碑是什么?(Lifecycle)你能活到那个时候吗?(Addedd Value)** 能带着别人一起玩吗?

这些问题不用多解释，但值得深究。

客户视角

什么是用户?用户就是用你东西的人，就是这么简单。

1. 谁能发现这个机会?

一张来自 eWeek 的分析图表显示，客户仍然是大数据最大的直接受益者，这点无论何时都是毋庸置疑的：

 

我们都知道，产品要给用户带来良好的体验，他们才会“使用”产品，才会好好地“使用”产品，才会反复“使用”产品，才会很久之后还知道怎么“使用”产品。

机会在哪?无处不在。问自己几个问题：

你如果是用户，想得到什么?先去了解。

用户在日常生活中是如何进行体验的?其他产品是怎么做到提供这些体验的?先去学习。

用户得到了最想要的东西了吗?反复思考。

用户最不喜欢什么?反复反思，有时候这比前一个更关键。

一句话，用户想花最少的钱获得最佳体验。别反驳，如果你作为一个用户，肯定也是这么想的。

2. 向什么看齐?

通常，产品越做越起劲，但老板却跳出来说这不是他们想要的。这个时候你应该反思，而不是去顶撞老板。老板眼里只有利润和效益，90% 的老板都这样，除非钱多了脑袋烧坏了。如果你说自己还不是老板，体会不到老板的想法，那么你就听话，向老板妥协并看齐。

有时候用户也会跳出来说，这也不是他们想要的。这个时候你要反思，而不是拖延。比如产品经理通常的反应是：对不起，我的计划表里排满了高优先级的事项，它们都非常重要，实在没法再快了。

用户认为一个产品好不好，他们的标准通常不会是你想的那样。所以，应该向什么看齐?把自己变成一个用户，这是第一步。否则，你和用户的关系将变成“偶尔治愈，常常帮助，总是安慰”。

3. 如何展示和发布?

很多人觉得，展示和发布很高大上，西装、发型和腔调缺一不可。其实不然，请注意乔布斯的蓝色牛仔裤，扎克伯格的灰色上衣。那么什么才是重要的?

乔布斯的 PPT 永远是那么简洁明了，让你看了就只想到一件东西，能做到这样就足够了。

所以，60 秒就能让人们看懂的简单展示就是好的展示。

同样，10 秒就能上手的发布就是好的发布。

我们有太多糟糕的展示和发布经验。展示了“一堆东西”，只为证明有好多东西。所以，我们从一开始就已经错了。价值主张是非常重要的，从一开始就要想清楚你要展示什么价值，否则你拿什么展示给别人?

4. 什么时候提醒或推荐?

在做出一个完美的产品之前，作为老板，是什么都不知道还是什么都知道的好?而作为用户，是什么都知道还是什么都不知道的好?

作为一名大数据和 AI 的应聘者，我希望知道：

如何能知道我的个人竞争力?(我需要一名职业规划师，懂大数据和 AI。)

哪里能体现我的优势，并打败我的竞争者。(我需要一个招聘网站，用大数据和 AI 来开发。)

找到合适的企业，好的文化、价值观，行业合适，技能合适，最好还要离家近不出差。(我需要一个猎头，动大数据和 AI。)

面试者会问什么?他们对我满意吗?他们都喜欢什么话题?我是不是可以再提高一下，这样就可以加入心仪的企业，毕竟我真的是个人才，只是面试发挥不太好而已。(我需要一个 HR，懂大数据和 AI。)

好吧，被拒了就被拒了吧。我开始反思，我究竟缺了哪些东西?我是不是找错了对象?(我需要一个顾问帮我分析分析，或者我也也可以自己来，毕竟我懂大数据和 AI。)

谁能提醒或推荐给我?大数据和 AI 世界，机会无处不在，要看你在哪里以及在想什么。

商业视角

商业是一种有组织的为顾客提供所需物品与服务的行为。

1. 具备洞察力吗?

洞察力揭示了这种行为的本质是什么。

人才：为什么下属总要我指导才能完成工作?工作超过 5 年的员工为什么这么少?

客户：上个月为什么没多少人光顾?这个月怎么顾客全跑去对面了?

企业：为什么那么多奶茶店只开半年就关门?为什么还不断有新的奶茶店开业?奶茶店为什么都看起来都带有台湾风格?

商业：它家的商品清单好长，到底卖的什么?不过每次排队的人很多是为啥?

流程：热线电话为什么总是打不进去?打进去也解决不了问题，到底有没有人管?

洞察力就是指回答所有这些问题并解释背后的原因。这不是一个从无到有、从有到多的过程，它有点像是回答如何提高孩子学习成绩这类问题，很难做到，并且能做到的是极少数。

2. 问题是什么?

问题一直在哪里，只是换了个问法。比如，数据和大数据、分析和高级分析。

让我们做一个对比：

普通领导易怒，就算最后事情做好了。高级领导易喜，就算最后事情做砸了。

普通数据，便利店。大数据，大卖场。

普通分析，描述性。高级分析，预测性。

所以，问题在于在解决问题时出现了问题。比如，数据太大、分析太简单。如果没问题，就没大数据和高级分析什么事。用高射炮打蚊子，资本市场常干这事。

3. 如何盈利?

来看看两个公式：

利润 = 收入 - 成本 - 费用

数据: 集市 (Mart) => 仓库 (Warehourse) => 湖 (Lake) => 沼泽 (Marsh)

我们可以做一个表来交叉分析上面两个公式：

 

不同类型的数据产品的利润到底来自哪里?很简单，从收入那一列就可以看出不同之处。因为它们处理的业务外延扩大了，除了 Data Marsh。成本和费用出自哪里?考虑下面几个：

操作性
存储性
敏捷性
安全性

下面是百度指数的搜索热点结果(对比 Data、BI、大数据、AI)

 

备注：2012 年 4 月发生了什么?因为 3 月奥巴马在白宫发布了《联邦大数据研发战略计划》(The Federal Big Data Research and Development Strategic Plan)，并提供了 2 亿美金，作为大数据时代开启的标志，所以“数据是什么”变成了搜索热词。

如何盈利? 看看你手头的工作跟这个有没有关系，如果没关系，那么就赶紧跟上这个趋势。

4. 什么时候做诊断?

洞察力我们可以理解了，好吧，下一步想想怎么量化它。

比如，上个月为什么没多少客户光顾?你需要做出一下诊断：

有客户光顾的数据吗?
有客户的信息吗?
有上个月的数据吗?
没多少具体是指多少?
谁想知道这些数字?
要多久以后才能知道?
知道了以后该怎么办?
做了一些事情以后，怎么知道做对了?
如果没做对又该怎么办?

流程视角

过程就是指如何完成一件事。人们需要管理过程，设计过程，相互沟通，并以高质量的流程向前推进，然后获得我们所期望的价值。

1. 我们需要管理什么?

对流程而言，从无序到有序，再去改进，要一步一步来。

随时问自己一个问题，什么需要管理?一个企业家白手起家，从 0 到 10，每走一步都会碰到各种问题，有很多下属要管，有很多供应商要央求，有很多客户要迎合。甚至大数据也不光光是数据量大而已，它还涉及各种异构系统、各种渠道。

我们需要管理流程去应对内部建设，需要业务流程去应对客户。我们需要由内至外，比如 Dev to Ops，也需要由外及内，比如 Ops to Dev。不分先后，取决于那方实力更大。

那么我们到底该期望些什么?从人力到有经验的人力，再到半自动化，然后是人力和自动化打架，再到自动化替代人力，这个过程困难重重，不是你期望的就是正确的。编排无疑是流程中最重要的环节，让我们能够有的放矢，沉着应对。

除此之外，框架与流程相辅相成。企业可以有 ESB，但你会发现其实核心竞争力不在这里，不过没关系，可以托管给 SaaS/PaaS/IaaS。有趣的是，iPaaS 还为大数据中的各种异构提供了支持。

AI 呢?我们对 AI 有需求，有客户在催，但是不一定能做得出来。投入比产出大是常态，AI to Ops 是一个解决办法。这是现在的一个炒作热点，所幸是刚刚起步，所以别犹豫。

2. 如何有效地设计?

首先，不管对业务还是对企业而言，每一步都要实现增值，这是毋庸置疑的。

其次，是标准化还是定制化?理论上讲，力推标准化有各种好处，这是事实。但在实践当中，人人都要求定制化，这也是事实。定位不同，目标也不同。

第三，是分布式还是集中化?就像找行业专家合作或培养复合型人才一样，一切取决于管人的经理是否能花 50% 的精力来做些事情，以及企业的价值观是不是把人摆在第一位，不然还是靠权力，如果是这样就别浪费时间了。

最后，学习学习再学习，B2C 或 B2B2C 或 C2C 或……最复杂的流程取决于最复杂的商业模式。

3. 与谁沟通?

只要有人在的地方就有江湖。只要有江湖，就有利益纷争。所以，只要你在江湖中，就要和利益相关者保持一致。

那么问题来了，谁是大数据和 AI 的利益相关者?不管是大数据还是 AI，都不是一个人能够默默做出来的，需要很多人沟通交流。大数据和 AI 意味着总会有人各说各话，不可能都讲统一的语言。你要么雇很多翻译帮你去沟通，要么学习很多方言直接和他们沟通。

难点在于大家都想变成利益相关者，但这已经违反了客观规律。这也是很多想在这两个领域落地的公司举步维艰或失败的根本原因。该如何走出这个困境?不知道。

4. 在哪里添加工作流或质量检查?

BPM(业务流程管理)告诉我们，流程优化应该小步走，保持简单，甚至不要关注增值业务，而应该关注KISS或MVP 原则。我们把质量这个词转化成一些问题，并经常问自己：

能不能完成业务的功能?
能不能很快达成一致?
能不能很快讲清楚?
有没有有人叫好?
不重要的东西是不是可以直接去掉?
是不是可以再简单点?

如果答案都是“是”，那么应该就没问题了。

至于 AI 应该怎么做，这个问题其实蛮难回答的。比如，AIOps 是一个新的名词，现在的成熟度几乎为零，但是愿景很美好。对于将人脸识别应用在门禁中的场景，我们可以尝试回答以下这些问题：

能不能完成业务的功能?——可以替代门卫。

能不能很快达成一致?——人脸整容可能造成识别失败，不过还算信得过。

能不能很快讲清楚?——它就是门卫的替代品。

有没有人叫好?——老板会叫好，因为可以省人力成本。

不重要的东西是不是可以直接去掉?——要能够识别出你是市场部的?算了吧，这种花哨的功能不重要。

是不是可以再简单点?——可以用就行了。

技术视角

技术是一个很宽泛的词。全世界有多少技术人员?不知道，可能数以亿计吧。围绕技术的热门话题太多：

如何实现一个需求?

操作太复杂，怎么办?

技术决定生产力。那么什么是生产力?生产力是生产的价值，那么价值又是什么?对于大数据和 AI 而言，它是 21 世纪末期人类进步历史中呈指数增长的区域，而驱动它的，是同样呈指数增长的人类需求。

对大数据而言，价值不在于业务本身，而是业务的延伸。价值存在于“大”中，而不在于“数据”。

对于 AI 而言，一个基本问题是，为什么叫人工智能，而不是简单智能?价值无处不在，需要解决的问题也无处不在。这些全是技术的范畴。比如，如何存储数以千亿计的脑信息、如何识别一个人的喜怒哀乐。它不是简单的关联分析，比如一个人在看喜剧片，但他不一定开心。

我们可以更多地讨论如何看待技术，比如我们的同伴是谁、什么叫技术专家、怎样培养一个技术专家、什么样的技术人是合格的，这些问题都是面向人、能力提升、文化价值这类话题。

1. 在哪里建立伙伴关系?

为什么合伙人的工资很高?除了他是技术专家、是公司需要的人之外，他们与公司有着一致的目标。简单说，他们给公司带来很高的价值，反过来公司也给他们带来很高的价值，这是一种双赢关系。

那么，公司知道他们的价值在哪里吗?在招聘的时候可以知道其中的 20%，但 80% 的人并不是公司原本期望要的人。如何识别候选人的价值取决于这个公司的文化。这是建立伙伴关系必不可少的步骤，当你发现需要花重金才能招到公司需要的高级人才时，应该反思一下。

那么，合伙人知道公司的价值在哪里吗?从 CEO 到实习生，层层传递，基本没剩下多少。而扁平的组织结构，除了解决了执行效率问题，也解决了价值观传递问题。

大数据和 AI 的合作伙伴比较难找，除非一起解决过双 11 的交易崩溃问题，否则你们的认知是完全不同的。要找到合作伙伴，就简单问对方：

为什么你要使用大数据和 AI 技术?

回答：挖掘用户行为特征。

为什么要挖掘用户行为特征?

回答：为营销、运营及决策提供数据支持。

为什么要为营销、运营及决策提供数据支持?

回答：因为市场需要扩大，企业需要提高价值，公司需要盈利。

为什么公司需要盈利?

公司盈利了才能发我高薪啊!!!

好吧，听到这里，合作伙伴关系就确定了。

2. 你是行业专家吗?

比如给用户提供自助服务，并不是简单地建一个数据库，用户就可以为自己提供服务了。它需要：

明白用户需要看什么数据?比如市场部要做渠道分析，如果不知道什么是客户维度、什么是 NPS(Net Promoter Score)、什么是产品宣传(Campaign)就玩不下去。

知道用户什么时候要看数据，否则用户每天要花 1 个小时才能得到他们想要的数据，那么谁还会继续使用它?数据清洗、加工、整合、分析，能走到哪一步，取决于你对数据了解的程度。

Hadoop 的生态圈产品随便一列就是几十个，从 Kafka 到 Storm 到 Flink 到 Parquet， 没人能完全解释清楚，当然也没这个必要。知道它们能解决什么问题，适用于什么的样场，再抱有从失败中进步的决心，这样就可以了。

3. 如何辅导?

作为一个工作导师(Mentor)，你知道 Google Analytics 能用来什么，但你的下属知道么?最省力的做法就是发一个网站给他，然后给他 2 周时间。而通常在 2 周之后，他觉得浪费了时间，而你觉得他完全没有理解你的意思。

正确的做法应该是告诉他：

这里有一个流量分析工作，是为了给客户提供用户分析结果;

现在碰到一个问题，因为不知道用户的访问数据和访问方式，所以没法进行分析;

这里有一个工具，叫 Google Analytics，它最基本的功能就是支持这类工作;

请你花 2 周时间拿出一套方案，告诉我怎么用它解决用户分析问题;

或者如果你有更好的方案，也可以提出来，我会因此感到开心的。

4. 什么是好资源?

一个有趣的问题，我们是需要什么都会但都不精通的万金油，还是只会一样但非常精通的专家?这个需要平衡，这是一个管理问题。我们需要的是一个会 Java 的、会 Hadoop 的、懂业务的、懂管理、会外语、会沟通、能演讲、非常细心、重视质量、有大局观、可以出差的人，因为他要面对老板、面对客户、会推销、会讨价还价、精通计划、知道权衡成本和利益、了解技术趋势、知道业务哪里出了问题……但是，世界上有这样的人吗?

针对上面那个问题，我们可以使用矩阵把人按照能力和态度分为 4 类。20% 的企业认为态度决定一切，他们更注重过程，而 80% 的企业是反过来的，他们认为能力决定一切，更注重结果。

最后，怎样才算“好”?先问自己一个问题，我们有好的文化吗?如果有，那么可以去找出能和你保持一致目标的人，不然的话，烧钱吧。

来源：网络大数据      编辑：hely