大数据矿工，你的艰辛别人知道吗？

传统矿工，如果也采用大数据用户画像的思维来做标签，映入眼帘的一定是环境恶劣、与世隔绝、非洲、矿场、事故……即便在现代社会，已经研制出采矿机器人等矿产采掘业的智能装备，建立自动控制系统，连通卫星通讯，部署物联网监控等技术工具，但还是有很多矿场处于机械设备不高、危险指数不减的境况。尤其在金矿储量丰富且尚未形成大规模现代化采掘的肯尼亚西部地区，还存在着成千上万的规模小且多为手工开采的矿工。矿工，应该是这个世界上最辛苦的工人！

  这让笔者不经联想到，一个月以前，在风风火火的“2016贵阳数博会”上，总理又给中国市场指出了一块新“矿源”——大数据。

  那么问题来了，大数据矿工，你的艰辛别人知道吗？

  或许曾今，凑热闹的我们只关注绚丽的数据可视化效果、炫酷的用户画像模型，期待着数据支撑决策后的指点江山……可是，最基础的数据怎么来？城市规划专家曾讲，“我国现阶段城市人口最基础真实的数据，还是需要依靠大规模的人口普查工作，这是支撑一个城市利用大数据等技术进行科学规划的基础”。

  换言之，传统的数据采集方法根本不会因为技术的发展而变得简易快捷或者消失，甚至还可能因为数据需求地不断提高，使得采集工作更加艰巨。尤其是对于做传统行业的大数据应用企业来说，他们不仅要做好大数据的分析应用，还要扮演好大数据矿工的角色。于是乎，数据源，不仅是金矿的源头，更是大数据矿工的“拦路虎”。

  大数据矿工的“诉说”来自一场活动——中关村大数据产业联盟会员思享汇，这次活动让笔者感慨：

数据矿工，肯定是这个世界上最艰辛的IT人！

  本期活动到访的企业共有三家，均是联盟新晋会员单位：

  北京佳格天地科技有限公司——涉足传统农业，通过环境和农业大数据收集、处理、分析和可视化系统，为大型种植企业、农场主提供环境和农业信息化SaaS级解决方案；为政府、研究机构等领域提供农业评估报告，辅助农田和农产品生产管理决策。

  北京数字冰雹信息技术有限公司——提供集设计、程序开发、硬件集成为一体的一站式系统解决方案。系统兼备顶级视觉效果与高性能操控，可广泛用于航空航天、国防军工、商业智能、智慧城市等领域，助您站在行业前沿，统领掌控全局，成就大智决策。在前不久数博会上，该公司发布了新产品—数字冰雹智慧城市大数据可视化平台，吸引全球关注。

  北京泰格斯信息技术有限公司——涉足传统汽车行业，旗下“车鉴定”平台，通过对车辆维修记录、保养记录等车数据的收集、处理，为二手车商、保险公司、汽车后市场等提供历史数据信息和业务决策服务。

  联盟赵国栋秘书长分析，“传统矿产资源，不管挖不挖，它都在那里；但是传统行业的数据源不一样，你想挖，即使找对矿点，也配备清洗打磨技术，它也不一定有现成的数据。”

  的确，面对深耕传统行业的大数据应用企业，在采集传统数据源的过程中会面对三类问题：①没有数据；②基础IT系统并不被重视；③数据标准化程度低。

  没有数据

  在具备互联网基因的企业里，能应用的海量数据采集工具种类繁多，方式齐全。例如系统日志采集法、网络爬虫、公共API接口、物联网终端采集法、还有对流量进行采集的DPI或DFI等宽带管理技术等。因此，大数据在电商、互联网金融、政府信息化等本身能自产和积累数据的企事业单位，大数据的应用是非常显著且收效见快；然而对于农业、车辆维修等传统行业，是没有数据积累的。制约数据生产和保留的原因各种各样，从业人员数据意识低、同行竞争保护、数据无显性价值论等，这就使得农耕一年年种，但除了作物和收成，没有更多有价值的数据积累；车辆一台台修，除了零件损耗量和维修收入，也没有其他有价值的数据产生。没有可用数据，就成了大数据矿工的第一道“拦路虎”。

  基础IT系统并不被重视

  搭建基础IT系统实现信息化是企业做强做大的必经之路，但是实际情况却不竟如人意。

  首先，成本问题。佳格天地科技有限公司顾博士分析，“在农业领域，大田产值低，农户生存本身也是靠国家补贴，因此让农户为各种数据采集设备付出额外成本基本等于缘木求鱼。即使国家资助部署传感器，也有可能会被其他人拔掉，甚至拿去换钱。”传统农业没有原始数据积累，又囿于成本和价值产出的限制，像佳格公司这样拥有气象、无人机航拍和卫星等高科技方式采集的数据，也只能给3000亩以上的中大型农场提供农业种植指导、大田气象和病虫害预警、作物监测和产量预测、农机调度等服务。

  第二，数据产值问题。“大量的小微汽车维修企业，数据记录极不规范，而且维修数据对于企业经营本身并不产生任何直接价值，相反还会耗费更多人力和时间成本。”所以这些企业没有培养数据记录和分类的意识，更不会考虑企业信息化。泰格斯创始人翟总还说到，“中国车的保有量1.4亿，每年二手车交易量500万台，交易次数可达1400、1500万次。采集每一辆车的各类数据，从中立第三方的角度提供客观的评估，是发展二手车市场不可或缺的一环。采集车辆维修数据的第一手地方就是星罗密布的汽车修理厂，中国从事汽修场的企业和小作坊约有150万家，其中70%~80%没有进行信息化改造，可想而知，要真正了解一辆汽车全部的历史维修数据，对于大数据企业的采集工作要求，是多么艰巨和难行！”

  数据标准化程度低

  目前，传统行业留存的数据多为手工记录，这些数据的应用水平和标准化程度有限，因此无法直接拿来取用。数据标准化问题不仅出现在不同行业领域之间，对于同一行业，因为企业习惯和知识水平的差异，其数据记录的格式和标准也会不同，这就加大了数据采集后的取义和分析难度。像美国等发达国家，已经完整地经历了工业时代到信息时代的变革，他们各行业内的标准化作业基本形成了固定流程和格式；而中国的工业化还没走全，信息化又变化太快，现在数据化虽然与世界同处一个起跑线，但是远没有夯实的数据基础。顾博士和数据冰雹邓总形象地比喻到，“现在中国农业购买得起最先进的机器，但是用最粗犷的方式去操作，好像用开拖拉机的方式去开奔驰”，“大部分企业BI阶段还没做好，哪能跳起来做大数据！”

  我们的呼吁：给大数据矿工减负！

  联盟深入产业，发现目前发展大数据两极分化非常严重。一方面，代表大数据高端业态的交易市场在各地方的发展如火如荼，但另一方面，产业末端，尤其是大量的小微企业、农户等，信息化应用处于“零”的水平，遑论什么大数据意识。

  综合上述三个问题，就是末端信息化水平低。所以，很多这些试图改造传统行业的大数据创业公司，普遍还要承担教育市场的重任，用最笨拙的方式去挖掘“数据源矿”。

  产业末端信息化不足，直接制约产业生态的发展。联盟所倡导的产业升级、产业融合都将成为镜中月、水中花。

联盟呼吁，要给他们减负。

  一是，建议国家各相关行政监管部门统一协调工作，从金融财政、工商管理、质量监测等多路径，共同制定传统行业的基础信息化建设政策，推动信息红利的释放，激发数据活力，强化民众大数据意识。

  二是，建议国家积极引导和扶持农户、个体户、小微企业等传统行业末端群体的信息化改造工程，出台相关具体措施。

  三是，建议依靠政府发挥顶层规划和资源配置作用，制定阶梯式信息化工作目标，对传统行业末端群体逐级实现信息化改造目标。

点击进入》 主数据管理  企业数据治理  信息资源规划  数据安全管理