交管大数据治理的挑战及应对方法

针对交管大数据建设，虽然有明确目标、公安部局平台架构指引、重点任务方向，但大数据、数据治理等技术、理论与交管实际业务结合，仍面临建什么、怎么建以及建后可用性等方面的问题。在交通大数据治理、数据资源中心建设中，要依据公安大数据“四化”顶层设计思路，以“数据应接尽接、统一架构、共享互通、分层解耦、协同创新”的建设理念，自上而下总体设计、自下而上优化流程，推动交管大数据的深化建设、改造及应用。

一、概 述

十三五期间，交通管理科技水平稳步提升，已构建集成指挥、交通管理综合应用、交管大数据研判分析、互联网交通安全综合管理的四大核心平台，同时大数据、人工智能等技术与交通管理业务结合，在违法AI预审、车辆布控预警等场景已进行较深入应用。

2021~2023年交通管理三年科技规划中指出，交通管理改革和创新发展，需要充分发挥科技力量，加强交通管理精细化、智能化、专业化建设，不断推动共建共治共享交通安全治理新格局的形成，而新基建将加速交通管理的数字化进程。

交管科技创新中明确提出深化交管大数据分析研判，鼓励有条件的地方建设本地交通管理大数据资源池，包括可视化建模、模型创新、数据共享等目标任务。

针对交管大数据建设，虽然有明确目标、公安部局平台架构指引、重点任务方向，但大数据、数据治理等技术、理论与交管实际业务结合，仍面临建什么、怎么建以及建后可用性等方面的问题。

二、构建交管数据治理体系

数字化转型是个持续性过程，只有开头、没有终点，面向未来业务的不确定性，通过数字化手段及思维，敏捷响应并驱动业务升级改造。

在交通大数据治理、数据资源中心建设中，要依据公安大数据“四化”顶层设计思路，以“数据应接尽接、统一架构、共享互通、分层解耦、协同创新”的建设理念，自上而下总体设计、自下而上优化流程，推动交管大数据的深化建设、改造及应用。

定义创新开放的总体架构

交管大数据架构应围绕交管科技规划的目标，依托技术侧分层解耦等通用规则，结合具体项目所在的外部系统、跨网传输、安全要求等情况来确定。同时，《部级公安交通管理大数据分析研判平台应用架构》可作为架构定义的有效参考基础，该规范中将架构分为支撑层、接口层、模型层、应用层。

支撑层用于建设数据底座以及通用引擎能力集。模型层基于数据治理后的标准数据创新业务模型，模型建设由项目的数据治理团队、业务科室警员依托可视化建模工具自行构建。接口层作为中枢系统依托微服务技术，将数据能力、通用引擎能力在安全可控情况下对外提供。应用层则面向业务科室警员通过系统应用、可视化大屏、BI等丰富形式提供数据应用、检索、挖掘分析能力。

围绕提升道路交通治理体系和治理能力现代化的总目标，个人理解侧重架构设计应遵循扩展性、规范性、安全性、分层解耦等原则。

以往，数据需求科室或下级支、大队获取六合一等数据，通常以线下提交申请书的方式开展，在申请书中描述所需的数据表、字段、用途场景等信息，审批通过后再以下发库的方式获取相应数据。数据需求方流程繁琐、效率低下，主管数据的科室也缺乏有力的监管手段。

依托接口层安全规范的数据共享交换能力，面向已汇聚的跨部门、跨系统、跨层级的数据资源，数据需求方可在线浏览数据目录，通过接口层工具提交数据需求申请，依托线上审批流程的方式获取数据，且申请记录及数据共享情况均可在后台留痕，极大提升了数据资源获取的效率。

制定符合本地要求的标准规范

“在项目建设期、数据运营期中，通过制定标准来界定分工权责、规范交管资源池及相关平台的建设并沉淀业务知识。”

从主管单位的角度出发，对内，应制定数据质量、主数据管理等标准，规范数据平台的建设及内部数据治理的实施过程；对外，应制定输出数据元、数据字典等标准，规范治理过程及提供至外部系统建设单位及外部系统相关业务科室的输出过程。从数据源头开始，站在全局视角上制定标准架构及流程规范。

当前交通管理体系暂未形成统一的数据标准，未来在标准制定中，应调研本地交管核心信息化系统的建设情况、拉通各系统建设方私有的数据标准，特别是数据字典、数据元等，从治理后主要的业务场景出发，准确评估内部ETL、外部系统在未来改造过程中的工作难度。

建议按照交管六合一、公安行标、地方标准、国标、自定义优先顺序的原则，梳理制定数据标准。

强化源头数据治理

交管数据常见问题分为以下几种：

l 感知设备问题，例如GPS定位错误、时间同步等

l 数据格式错误，例如车辆所有人电话格式不符合要求、号牌长度及字符

l 数据重复问题

l 数据录入不完整等问题

主要原因有：接入数据的系统缺少必要的输入校验、人员操作规范性、设备时间同步，以及核心系统多年迭代修改，数据库设计不符合范式，治理人员较难掌握设计细节等方面问题。

治理团队应通过科室调研等方式，持续积累各科室核心业务，通过业务加深对底层数据结构的理解，但数据治理只能解决其中部分问题，例如格式、重复等。同时，更需要辅助大数据建设的主导单位来制定数据标准，配合完成数据标准体系的培训，提升整体数据治理意识，构建起数据问题闭环处理机制。

此外，应推动明确各类数据的唯一来源以及负责单位，在组织体系中主管领导支持下，由牵头部门从上至下推动整改，通过信息化系统改造、信息录入规范性等方式系统提升数据质量，并遵循数据标准规划建设新系统。

打造完善的数据治理组织体系

当前虽然已建成了统一的公安交通管理大数据分析研判平台，但是因各地方数据资源差异、关注点不同以及需求差异性，往往存在水土不服、应用效果不理想的情况。但针对数据创新治理有更高要求的交警总队、支队会倾向于参考部级平台来建设本地化的大数据应用及系统。

构建弹性的、符合现状的、完善的数据治理组织体系，必定是一场持续性、进阶性的逐步完善过程。

我们通常将治理工作拆分为数据接入、数据标准化、数仓建设、数据模型集市、服务共享接口开发等环节，也包含横贯各项任务的数据运维、标准规范工作等工作任务。

围绕以上数据治理的工作任务，在实践操作中一般分为两种治理组织模式。

l 模式一：横向划分

按照任务类型，指派专人承担，同时基于具体的工作量，人员可兼任多项治理任务。例如A可同时承担数据接入及数据标准化工作。

由于各环节工作目标、范围清晰，对治理人员综合能力要求较低，此种方法适合批量的数据治理工作，环节内的工作效率优化。

l 模式二：纵向划分

以治理场景驱动，按照业务划分，治理人员承担该业务需求相关的数据接入、标准化、建模及接口研发工作。

此种方法，以建模、业务场景驱动，可以降低不同治理环节负责人之间的沟通成本。治理人员为最终成果的交付时间、数据准确性负责。

两种治理组织模式各有优劣，应按照治理人员能力水平（复合型、专业性）、治理阶段性工作节奏（快速实现场景或是稳步全面推进）来选择最优方案，但无论选择哪种，都需要有熟悉交管业务的数据治理架构师整体统筹工作，牵头数据标准规范工作，制定好工作分工及计划。

此外，数据运维是交管数据治理价值体现的基础保障性工作。但当前交管大数据处于起步发展阶段，数据运维还不够体系化，安排运维人员值守式人工巡检现象仍较为普遍，存在效率低、用例覆盖不全、依赖人员经验等问题。未来除了借助大数据平台能力（例如常规的系统运维平台、数据质量规则设置、异常预警等技术手段），面对持续增加的治理场景，还需要借助人工智能，基于海量历史数据，定义数据运维智能化模型，从而提升数据运维效率。

中翰软件：专注数据治理17年（http://www.jobhand.cn）