知识分类

文章推荐

企业数据治理之主数据中心管理与实践连载四-1

 一、目前有效管理主数据的方法

  目前随着企业信息化程度的不断提高，各类应用系统同时并存并支撑着企业的业务应用，主数据不能有效的统一管理，数据管理现状中的问题已经严重影响到企业的正常发展。

  发达国家的一些企业，在上世纪70年代中至80年代初的计算机应用协同开发工作中，已经遇到过包括”信息孤岛”问题在内的“数据处理危机”问题。当前在许多企业中，所谓的信息系统实际上是一些互不关联的数据结构（数据文件和应用数据库）和一些程序的堆砌。这类信息系统已变成一张难解的、充满冗余数据存储的复杂大网。由于每个应用所存储、变换的冗余或重叠的数据近近交织在一起，要修改或扩充这样系统的任何部分，都是十分困难和代价高昂的。

  事实上，那些期望通过建立数据接口来实现系统集成的企业，也只是一种期望而已，可能5-10年过去了，仍然无法很好的解决系统集成的问题，而由此造成的数据环境的混乱却越来越严重。

  很多企业对于主数据的收集、整理和维护目前还只是停留在数据仓库阶段，通过ETL技术将数据整合在一起，再通过前端应用分析实现主数据的共享。在现有的数据仓库系统中管理这些主数据必然存在先天的缺陷，如数据整合难度大，数据规范性差、准确度差，数据仓库中存在大量的冗余数据等。但相对而言，这种不完整的方法对系统的重新开发效率要高，也适合企业在过渡阶段的使用。

  但是，从治病的角度来讲，大家希望的都是治本。企业数据治理如何也能达到治本的效果呢？那就是我们首先要明确数据治理的目标是什么些，抓住要点，然后制定合理、详细的数据治理策略，严格监督数据治理的过程，最后做好数据治理后的持续优化和质量监测，全方位彻底解决数据质量问题。

二、主数据治理的类型

  现在提出的主数据治理的概念和方法，正式为了解决这些问题而做出的重要贡献，国内外许多企业纷纷开始了自己企业的主数据治理工作。

  根据企业的实际情况，主数据治理解决方案一般可以分为三种类型：操作型主数据治理、分析型主数据治理和企业级主数据治理。

  操作型主数据治理主要被集成到主要应用系统如ERP、CRM、财务管理系统等；分析型主数据治理主要应用在数据仓库中，因为数据的变迁和目的而创建新的数据结构。

  企业级主数据治理是操作性和分析型的综合，并且是比他们更广泛的概念，通常我们叫作面向数据分析及业务管理的主数据治理。

  在一些机构对企业主数据治理的调查中可以发现，许多有实施数据仓库的企业已经将下一步目标瞄准了主数据治理。许多成功实施了主数据治理的企业认为他们已经从良好的主数据信息中获得了收益。主数据治理对于数据仓库和商务智能有着深远的影响，未来的企业大数据分析很大程度上也必须基于主数据的质量。

第一节  主数据治理目标

1. 实现静态数据（含主数据、私有档案数据）标准化、规范化管理

  企业的业务信息化建设过程中，数据管理方面存在的重复、不一致、不规范等问题愈加凸显，希望通过企业数据治理平台及厂商数据管理咨询结合企业的现状，制定出一套完全符合企业的主数据中心管理的规范和标准，并最终实现系统落地，保证企业及其下属核心分子公司的主数据唯一性和准确性。

2. 净化现有数据环境，打造全企业数据标准化管理体系

  数据的质量问题，很大程度取决于数据所处环境的状况。因此需要从根本上打造一整套数据标准化管控体系以确保数据质量的可控制性，数据标准化管控体系包括数据管理制度、流程、组织、考核机制，数据安全、质量管理体系，数据权限管控体系，元数据管理体系，数据交换规范体系等。

3. 规范现有的编码体系，实现编码灵活化、自动化

  目前很多企业没有数据编码器，编码过程是发起人电话或者QQ通知编码员在各业务系统中添加的，随意性较强，且缺乏编码的审核监督过程，很容易出现数据重复，输入不规范等问题。希望实施企业数据治理平台后，可以实现自动编码，保证编码的唯一性、准确性、一致性。

4. 清洗历史数据，为各业务系统提供数据支撑

  大部分企业信息化经历了多年快速的发展，各业务系统中积累了大量的历史数据，希望借助企业数据治理平台及厂商对现存的历史数据进行全面梳理和规范，通过成熟、专业的数据清洗方法、清洗策略、清洗工具，降低人为清理的成本，并将清理后的数据准确发布到各业务系统中，保证各业务系统中历史数据的准确。

5. 打造企业级主数据中心，降低业务系统成本投入

  360度全方位立体描述企业静态数据（含主数据和私有档案数据），为未来企业主数据的动态变化奠定坚实的基础。

  建立企业级主数据中心，形成企业数据交换（数据采集、分发）的雪花状结构，在保证数据准确性、一致性的同时降低原有企业业务系统间数据交换的网状接口开发成本。

  建立企业级主数据中心，还可以借助企业数据治理平台，完成主数据的编辑和录入，关闭业务系统的档案维护功能，因此可以减少ERP等系统的节点占用，从而节省比如ERP的高额成本投入。

6. 为未来的智能决策打下坚实基础

  企业信息化未来会考虑实施商务智能系统（BI）以及未来大数据的分析平台等，需要准确的数据来源，可以通过企业数据治理平台提供准确的数据，保证BI 抓取的数据准确、全面。

第二节 主数据治理原则

1. 统一性

统一的系统建设规划（特别是统一的技术架构的规划、设计）；

统一的访问控制策略；

统一的资源展现规划。

2. 可扩展性

  满足企业现有项目的需求基础上，要充分考虑到系统的可扩展性以及应用及系统不断扩展的要求，以形成一个易于管理、可持续发展的体系结构。未来业务的扩展只须在现有机制的基础上，增加新的应用与服务模块。

3. 安全性

  全面考虑系统安全的多个方面，从网络安全、系统平台安全、应用安全的各项设计，防止非法用户对重要的不宜公开的数据的侵入。

4. 经济性

  从经济成本与效益角度考虑，能简单快速地建设平台，充分利用现有的应用系统和IT投资，尽快为企业提供回报；

  随着平台业务的发展与扩充，增值平台的任何一部分均可相对独立地扩充。未来应用的扩展将是叠加式的，而不是取代式的。

5. 先进性

  采用市场领先的技术，使管理平台项目居于国内外同业领先的地位，保证平台在未来一段时间内顺应IT技术的发展趋势。

6. 技术稳定性

  采用市场当前已经成熟的技术，保证系统高可用性和高稳定性。

7. 标准性和开放性

  应遵循通用的国际或行业标准。

8. 合规性、安全性、可审计

  符合相关法规（如SOX法案）对 IT方面的规定，满足相应的安全标准，并符合审计方面的要求。

第三节 主数据治理策略

  策略，百度百科解释为计策，谋略。一般是指，可以实现目标的方案集合。在这里主数据治理策略就是指解决数据质量问题的方案集合。

  大家都知道顽疾要想痊愈，肯定是非常的难。企业多年来积累下来的数据质量问题，要想彻底全面的解决同样是一个非常繁重的工作，周期长且成绩很难显现，急于求成或者力求一步到位很容易出现半途而废的情况，因此制定一个好的主数据治理策略是相当的重要和必要的。

事实证明，循序渐进、先治标后治本等是解决顽疾的最佳方案。具体如下：

1. 领导支持

  首先，此类浩大的工程获得高层领导的支持是必须，这是项目成功的基本保障。至于如何获得高层领导的全面持久的支持，这就要看个人魅力和忽悠能力了，此部分自己琢磨，重点参考结合炒的火热的大数据等。

2. 项目立项

  有了领导支持，接下来就要考虑如何去做这个事了。那么现在开始衡量自身能力，也就是企业内是否可以通过努力完成这么浩大的主数据治理工程，如果感觉可以（不就这点事吗！），那就挽起袖子大干一场吧！如果衡量后不可以，那建议立项，引入外援，让专业的主数据治理公司参与进来，通过正规的治疗以致痊愈。

3. 找“痛点”

  这么大的工程，这么多的问题，接下来怎么干呢？这时我们要从业务和数据规范的角度出发，找到真正关键的‘痛点’出来，明确我们的方向。

4. 方向确定好

我们开始确定‘起点’与目标，如下表格：

起点	找到合适的项目启动契机
目标	快速提升数据质量

5. 确定原则，框定范围

1)以主数据管理为关键；

2)以元数据管理为基础；

3)由于主数据的动态特性，强化私有静态数据管理，建立企业级主数据中心；

4)完善指标数据管理体系，360度全方位立体管控，建立狭义数据中心；

5)改善动态交易数据的存储、分析机制，推行二代BI的全面使用。

6. 选择最合适的治理工具

数据治理平台性能要求
安全、稳定	J2EE架构
开放性良好	orcale 11g以上等数据库支撑
界面友好，满足前台可视化自定义配置	拥有完善的数据安全管控机制
权限粒度够细，如可到属性字段的操作权限等	满足快速、方便的数据识别
流程粒度够细，实现流转方式多样化	满足多类型数据的不同清洗机制
数据交换专业性强， 避免ESB等的简单替代	满足快速部署的项目实施节奏
拥有完善的海量数据推送机制	… …

 第四节 主数据治理准备

4.4.1组建项目基础团队 

1. 团队组建原则

信息部门主导，采购部门辅助；

信息部门副总亲自挂帅；

包含重要部门一把手或者核心数据管理人员。

2. 项目基础团队职责

选择外部合作厂商；

协助组建项目联合实施团队；

协助组建项目后期运维管理团队。

3、项目基础团队分工

信息部门负责信息技术以及选型过程中的工作协调；

采购部门负责采购环节的监督；

重要部门相关人员负责本业务域内的数据管理的前期需求提供、方案审核，积极配合组建项目联合实施团队以及积极参与项目后期运维团队建立。

4.4.2选择合适的外部厂商 

1. 主数据治理厂商分类

按照地域划分

	发展来源	擅长
国外厂商	发源于客商数据治理	客商数据的自动化数据治理
国内厂商	发源于物资编码管理	物资、客商等数据治理

按照数据治理内容划分

具体分类如图4-1，具体缘由不方便在此详述。

                   图4-1  主数据数据治理内容分类

2. 厂商选择原则标准

数据治理目标	建议厂商选择
客户数据治理为主，自动化程度要求高	国外主数据管理厂商
物资编码管理为主	国内物资编码管理厂商
物资主数据管理为主（只考虑现阶段主数据）	国内主数据管理厂商
主数据中心管理为主（考虑主数据的动态性）	主数据中心管理厂商

4.4.3成立项目联合实施团队  

1.联合实施团队组建原则

业务部门、外部厂商主导，和信息部门辅助支持；

业务或者信息部门分管副总挂帅；

外部厂商委派经验丰富的项目经理；

企业选择有数据管理经验的权威人员做项目经理；

各业务、信息部门经理全程跟踪、参与；

各业务部门核心数据管理人员全程参与。

2.联合实施团队组织架构

具体见图4-2

                                        图4-2  实施团队组织机构

4.4.4确定主数据治理方法论 

  终于到了最关键的地方，大家都知道主数据治理的成败取决于过程控制的是否合理、科学。因此，根据多年的企业主数据治理经验，在这里正式推出一套成熟、科学的企业主数据治理方法论-----双311主数据治理方法论，具体内容见图4-3：

                                       图4-3  主数据治理方法论

1. 三驱动：三个驱动因素为主线，业务驱动因素、分析驱动因素、规划驱动因素；

2. 一体系：建立一个以主数据中心数据管理体系（含数据管理制度、流程、组织、数据模型）为核心，以主数据中心数据质量管理体系、主数据中心数据安全管理体系、主数据中心数据验证管理体系、主数据中心数据权限体系、主数据中心数据交换规范标准为辅助的一整套数据管控体系；

3. 一落地：实现一个企业主数据治理平台（主数据中心管理平台）的落地；

4. 三清洗：针对历史数据进行三种不同的清洗机制，彻底解决历史数据的质量问题；

5. 一交换：构建一个开放的数据交换（采集、分发）平台，实现企业主数据治理平台和其他业务系统的数据双向传输畅通；

6. 一模拟：一个月的模拟运行，一次性彻底挖掘和解决各种隐患问题。

4.4.5明确主数据治理路线图 

  到了这里，我们在严格遵循双311企业主数据治理方法论的基础上就可以清晰地画出主数据治理路线图了，具体如图4-4、图4-5。

                                  图4-4  主数据治理路线图 

                                  图4-5  主数据治理方法论（续）

第五节  主数据治理过程

  从以上主数据治理路线图7、图8中可以看出，企业主数据治理可以划分出两个部分，即数据管理体系咨询（数据环境治理）部分和数据管理体系落地（含落地后）两大部分。之所以这样分估计大家也能感觉到，那就是数据管理体系咨询部分是主数据治理项目很重要也很繁琐的一部分，到了可落地的部分也说明我们的项目已经进展了50%以上了。回头再看一下我们数据质量出现问题的主要原因也是数据管理体系的不规范甚至是混乱导致数据管理过程中的执行不可控造成的，本着治病要除根的原则，我们首先看数据管理体系咨询（数据环境治理）部分的详细过程。

4.5.1主数据治理项目调研分析  

1. 调研原则

严格遵循数据治理方法论--三驱动因素（业务驱动因素、分析 驱动因素、规划驱动因素）；

以数据管理为核心，杜绝被业务管理的错误引导；

以部门核心数据管理人员和部门经理为主要调研对象。

2. 调研方法

实地走访；

集中会议交流；

电话、网络交流。

3. 调研内容

目前数据质量对业务管理的影响；

目前数据质量对报表、BI分析等的影响；

目前数据质量对未来企业数据战略规划的影响。

4. 调研涉及数据类型及管理部门

根据不同的数据类型，调研所涉及的部门如下表可做参考：

数据类型	调研所涉及的部门
物资数据（含原料、设备、产品、备品备件）	采购部、仓储部、销售部、设备管理部、技术部、生产部等
人员、组织机构	人力资源部、企管部、集团办公室等
供应商数据	采购部
客户数据	销售部
科目数据	财务部
合同数据	采购部、销售部、商务部
项目数据	项目管理部
银行数据	财务部
成本中心	财务部、成本管理部
固定资产	财务部
BOM	设计部、工艺中心、生产部等
参考数据	信息部等
……	……

5. 差距分析

  差距分析数据治理项目中非常关键的一个环节，只有非常清楚的分清目前企业数据质量的差距才能最有效的解决数据质量中的相关问题，也才能使数据治理项目化繁为简直到成功。

我们通过一个实例来看一下某企业数据编码质量调研的具体情况，见下表：

某化工企业各部门数据质量调研--编码质量问题调研结果分析
问题	部门	质量现状	造成的影响	期望目标
一物 多码	复合肥 仓库	1、名称叫法不统一； 2、编码申请填写没有规范（PS:设备是按照铭牌内容填写，原材料是按照采购单的容填写）。
	化肥仓库	每个分厂对物料的叫法都不一样。		建议根据国家标准建立专业的管理制度，统一管理；已知重复的编码，建议使用已用的；杜绝套用编码现象，确保一码对应一物。
	复合肥技术部	编码填写不规范。	重复编码一直在用，对于财务和库存会造成一定的影响。	统一编码，排除重复编码。
	化肥技术部	因填写不规范，ERP系统内前期是标准数据，在后期运行中逐渐出现一物多码。	存在重码现象，对库存统计和存放造成一定的影响。
	复合肥二厂成品库		重码现象，造成业务人员下订单的时候选择错误，业务上存在发货错误。	杜绝重码。
	复合肥质检部	1、名称叫法不统一； 2、编码信息不完整、不规范。	需要手动查百度，然后及时给采购部沟通；发生购买错误的情况。	统一编码，建立规范（依据学名）。
	财务部	1、名称叫法不同； 2、编码规则不一致	1、出库手续需要重新办理； 2、统计出错。	需要分类和模型规范，保证编码唯一。
	复合肥采购部	1、信息是按照个人习惯填写，填写不规范， 2、信息填写不全； 3、名称叫法不同。	1、重复编码对采购影响不大，只是业务人员选择编码的信息不全时无法根据编码信息采购，需要找需求人员重新确认； 2、通用物资重复量大，查询时信息不全，精确查询困难。	1、统一物料名称； 2建议统一的模型填写规范。
	生产管理设备处	很多人都可以添加编码，无统一规范。	1、看不到完整的准确的物料信息； 2、买不到想要的物资。	由专人添加编码，增加审批流程，一个类一个专家。
	化肥销售		统计会出现问题。
一码 多物	化肥仓库	部分业务部门存在套用编码现象，造成了一条编码对应多个实物。	因编码信息存在问题，现在仓库主要是根据实物进行管理。	杜绝套用编码现象。
	化肥 采购部	套用编码。	采购时需要见样品，不能直接采购。	不允许套用编码。
名称叫法不一	复合肥 仓库	分工公司和总部物料叫法未统一。	需要业务人员根据经验判断哪些编码是叫法不同。	统一物资名称。
	复合肥 质检部		1、需要人工根据经验来判断是否同一种物料； 2、有的时候会领错货，更改错误。	统一物资名称。
	财务部	各部门依据各自习惯命名	出库手续需要重新办理。	物资名称需要统一。
	复合肥 采购部	同一种物料，多人申请	重复编码。	建立统一的物料名称。
编码信息不完整、不规范	复合肥 仓库	缺少规范管理。	一物多码。
	复合肥技术部	缺少规范管理。	一物多码。	统一编码。
	复合肥质检部	缺少规范管理。	需要手动查百度，然后及时给采购部沟通；发生购买错误的情况。	统一编码，建立规范（依据学名）。
	生产管理设备处	缺少规范管理。	导致出错，买不到想要的物资。	制定完善的数据模型和规范。
部分编码信息不是最新信息	复合肥技术部	部分编码信息未根据国家标准更新而进行修正。		依据国家标准进行更新。

  上面表格是我们在企业实际的数据治理项目中的针对数据编码问题的真实调研结果，虽然数据编码的质量只是数据质量的一部分，但是还是可以很清楚的感受到目前企业数据质量问题的严重性，同时可以看到业务部门对数据质量管理的诉求，通过这些我们是不是可以很轻松的找到我们想要的差距分析呢？答案是肯定的，当然需要结合数据治理厂商的经验。

6. 框定数据治理范围

1)确定数据治理宽度，明确顺序

  为了更好的解决企业的数据质量问题，必须统筹规划且从科学的角度拟定一个合理的治理计划，这样就需要梳理出数据治理的轻重缓急，明确治理的先后顺序。根据我们的经验，一般有三种情况较多。

  一期先从人员和组织机构开始，等时机成熟再逐步拓展实施；

  一期把范围适当扩展到物资数据、客商数据、人员数据、组织机构等，剩余部分等时机成熟再逐步拓展实施；

  一次性进行企业相关数据的全部治理，这需要企业的管理力度够大，执行力够强，这样的项目近两年也经常出现，毕竟数据质量问题的严重后果无法让企业再多等待。

2)确定数据治理深度

  关于数据治理的深度问题，这也是目前企业数据治理中的难点之一。因为目前大家接触到的所谓的数据治理厂商，基本分三个层次（具体划分详见5.6.2章节内容），这三个层次也决定了数据治理深度的大不相同，具体缘由不再赘述。但是考虑到主数据的动态特性，我一直建议企业进行主数据中心的管理。针对企业主数据中心的管理深度可以参考下边表格中的某企业具体实例。

序号	数据类型	主数据中心数据包含信息
1	物资	用于描述物资实体的静态信息，物资包括备品备件、消耗性材料、劳保用品等，如编码、规格型号、技术参数等，业务系统私有属性
2	供应商	用于描述资质评价合格的供应商及财务专用供应商相关数据属性信息，如编码、名称、业务能力、联系方式等，业务系统私有属性
3	客户	用于描述资质评价合格的供应商及财务专用供应商相关数据属性信息，如编码、名称、业务能力、联系方式、信贷信息，业务系统私有属性
4	固定资产	用于定义并描述电站离线固定资产和在线固定资产的属性信息，如编码、规格型号、技术参数、原值等，业务系统私有属性
5	员工信息	用于描述员工信息是指员工本人的自然属性与社会属性信息，如工自然信息、组织分配信息、资格技能信息，业务系统私有属性
6	组织机构	用于描述公司计组织机构的属性信息，如代码、名称、编制人数等，业务系统私有属性
7	岗位	用于描述处室职责及承担任务的属性信息，如岗位代码、岗位名称、编制人数、人员资格等，业务系统私有属性
8	项目数据	用于描述项目的名称、性质、状态、关联合同、项目负责人、负责部门等，业务系统私有属性
9	设备	用于描述设备实体的静态信息，如编码、规格型号、技术参数等。业务系统私有属性
10	销售BOM	用于描述销售品的明细产品的名称、规格型号、技术参数、组成数量、计量单位等，业务系统私有属性
11	生产BOM	用于描述产品组成的基本元素的名称、规格型号、技术参数、组成数量、计量单位等，业务系统私有属性
12	工艺BOM及工作中心	用于描述产品加工过程和工作中心的详细信息等，业务系统私有属性
13	采购清单	含采购货源清单和信息记录等
14	QM	用于描述质量管理过程的明细信息等，业务系统私有属性
15	财务类数据	利润中心，成本中心，财务科目，银行等，业务系统私有属性
……	…….

4.5.2主数据环境治理

企业数据标准化管理体系应该包括：

主数据中心管理体系；

主数据中心数据质量管理体系；

主数据中心数据安全管理体系；

主数据中心数据交换管理体系。

具体如图4-6：

                                 图4-6  企业数据标准化体系

从上图4-6中可以看出，企业的主数据中心管理体系包括：

数据管理组织、制度，流程；

主数据中心数据模型；

主数据中心验证管理体系；

主数据中心数据管理权限体系。

1、主数据中心管理组织、制度和流程规划过程

  制定数据编码管理办法、组织机构、人员、物资、客商等主数据的维护细则及相关管理制度，保证运维的高效性和资源共享，统一的管理体系为企业数据治理平台做了强有力的支撑。

1)把握原则

利用外部先进管理思想，结合企业主数据中心管理现状及管控要求， 实现“统一管理、多级申请、分级审核”数据管控机制；

主数据中心管理组织：以先虚拟常态，再虚实结合常态，最后实体常态为原则，建立主数据管理的组织保障体系，数据在此都有对应的业务牵头部门；

主数据管理制度：涵盖企业主数据管理机构人员构成及职责、主数据管理标准、运维流程、监督及考核办法；

主数据管理流程涵盖主数据的建立维护、审核、生效、变更、归档等流程，是对企业主数据整个生命周期的流程管控。

2) 策略步骤

引入外部咨询专家；

  充分调研企业现有数据管理制度，结合未来数据管理的要求和目标确立企业主数据中心管理组织架构；

  结合企业不同业务域对数据的管理要求，制度主数据中心的数据管理权限体系，明确主数据中心内不同数据视图的管控机制，如主数据管理权限、机制，财务私有数据管理权限、机制，仓库私有数据管理权限、机制等；

理清主数据中心中各类数据的权限单位和应用单位，明确责任；

制定主数据中心中各数据的详细管理流程，明确流程中各环节对数据的操作权限、操作责任人、操作要求等内容；

主数据中心管理组织、制度和流程体系定稿，发布。

3)主数据中心管理组织举例

  由企业及各下属公司主数据管理组织组成，在企业数据标准化委员会门领导下开展工作。企业总部主数据管理组织由数据标准化委员会领导小组、工作小组（申请、审核小组和专家团队）组成。各下属公司主数据管理组织由申请人、专业审核人组成。

如图4-7示例：

                                图4-7  主数据中心管理组织机构

数据标准化管理委员会是数据标准制订及数据管理的归口管理机构，各岗位的主要职责为：

标准委员会领导小组（主任、副主任及数据相关的部门、公司、项目部负责人）

负责数据标准化管理的全面工作，协调解决工作中出现的相关问题；组织起草、修订企业数据相关管理办法。

标准委员会工作小组（审核组、专家组）

负责数据标准管理，协调解决数据标准及运维管理相关问题；负责数据标准的制定以及修订工作，定期组织企业专家组就数据分类体系进行讨论，完善数据标准，定期清理系统中不合格的数据。

审核各部门、分子公司提交的数据新增申请，并对合格的数据进行数据分发。

审核数据分类及属性维护申请、数据基础数据修改停用申请，通过讨论分析评估维护、修改停用影响，给出合理的解决方案。

2.主数据中心数据模型体系规划设计过程

1)  主数据中心数据模型包括

编码体系

分类体系

信息模型体系

物资数据模型、客户数据模型和供应商数据模型等；

每一类模型又可分为编码属性、公有属性（或称之为公有视图）、私有属性（或称之为私有视图）。

2)主数据中心数据模型设计的原则

数据模型的设计原则

数据模型设计按照先进性、可靠性、一致性、通用性进行设计。研究国际上、行业内成熟的矿业企业数据标准体系，形成企业特色的数据模型基础。并且保证数据模型的相对稳定，支持数据模型的扩展与优化，进而保证企业信息资源的可持续利用。

元数据模型设计标准

元数据模型采用公共仓库元模型（Common Warehouse Metamodel，简称CWM）。CWM的主要目的是在异构环境下，帮助不同的数据中心工具、平台和元数据知识库进行元数据交换。

元数据的存储：元数据以数据库存储，便于管理，维护和扩展。

数据交换：元数据以XML等标准进行数据交换。

应用编程接口（API）：通过API接入为元数据管理提供所需的灵活性。

元数据集中控制：元数据为整个经营分析系统的信息资源提供了记录，应对元数据集中管理控制，以确保信息的一致性和准确性。

影响分析：从元数据中发现任何变化给全局带来的影响，确定某个实体的用途和与其它实体的关联。

版本控制：测试和生产过程中的版本控制，应按部门进行。允许多个开发人员同时开发项目，并且开发人员可以根据要求修改对象，而不影响其他开发人员。

3)主数据编码原则

  唯一性，同一系统内一个编码只能代表一种对象，避免同一系统内多个对象一个编码和一个对象多个编码，一般来说主要属（特）性不完全等同的视为两种对象。

  完整性，企业所有的对象，包括信息系统涉及的信息都应编码。以保持编码完整，杜绝对象无编码的情况出现。

  准确性，对编码定义和描述必须准确，不能模棱两可。不能为了简单套用传统工作模式的人工解读，而在编码中加入大量描述性、易变动的信息。而对于易于变动的属性应通过独立的数据项进行描述。

  适应性，在设计编码规则时，应从企业的全局出发，考虑对象的不同使用者的需求，如不同组织和不同业务域的需要。

  继承性，对于已有国家标准、行业标准的编码，可以依据企业实际需求有区别地、全部或部分引用或借鉴。对于企业已普遍使用的编码，在确保符合编码原则的基础上应尽可能考虑沿用或在原编码基础上进行完善。

  拓展性，在编码结构和容量的设计中，不应仅考虑现状，要为企业未来业务发展、运营变更和管理方式向更高的阶段发展预留编码的扩展空间。避免使用中无法增加新的编码。

  稳定性，编码要统一而有一贯性，编码规则一经确定，就应一直沿用下去，中途不得随意改变。编码已经使用也不应改变，已免造成数据混乱和丢失。

  易用性，在不违反上述原则，满足管理要求的前提下，编码应尽量简短，规则应尽量简单，以易于对数据的维护和使用。如应采用易于记忆的文字、数字，或赋予暗示及联想性的编码，同时考虑编码录入的方便性，编码尽可能短、少，避免使用特殊符号，如‘#’、‘-’、‘*’等。

4) 数据分类原则

  纬度一致：一个类别结构中不允许出现不同标准的分类方式，避免同一类别结构中出现不同纬度的分类方式。如，供应商数据行业类别结构中应全部是以供应商的行业进行划分出来的，不应参杂以地区纬度划分的类别结构。还如，物资数据以‘用途’划分的类别结构就不能有‘原材料’、‘半成品’等类别的存在。

  粒度统一：一个完整的类别结构中尽量避免相同层级的类别划分粒度区别较大，且有重叠性。如物资数据类别结构中04大类为‘五金产品’，05大类为‘螺栓’，这种情况直接会造成类别结构的层次不一，会增加后期管理的难度。

  避免其它类：标准的类别结构应全面考虑类别的划分纬度和完整性，一定杜绝出现传统的‘其他类’，因为其他类的出现直接导致编码新增时出现错放、乱放的情况，短期内即可造成编码的混乱。

  允许多类别结构的存在：传统的主数据管理平台只允许一个类别结构的存在，一般建议重新划分类别结构，这样直接造成传统使用习惯的直接破除，导致类别结构建立周期的延长，增加了项目实施难度。允许多类别结构的存在，即允许在建立类别结构的同时允许老的类别结构的继续使用，这样即保证了类别结构的科学、完整，又沿袭了传统习惯，使整个项目的实施过程的可控性增强。

5）主数据中心信息模型规划设计原则

  数据模型的确立一般分三个部分，即‘编码属性’、‘公有属性’和‘私有属性’，‘公有属性’中又分为‘基础数据’和‘业务数据’。其中公有基础数据就是我们传统定义的‘主数据’部分，主数据包含了编码数据，但是为了更清晰的描述此部分数据，一般建议专门建立公有基础数据（主数据）视图进行区别管理。公有业务数据为产生于一个业务系统，但是其他系统需要引用后使用，为了规范管理和避免二次输入的错误出现，公有业务数据也需要单独建立视图进行区别管理。

 ‘私有属性’分为‘业务系统私有属性’和‘组织机构私有属性’两部分，这里的私有属性全部为基础数据部分，没有业务数据涉及，因为私有的业务数据为业务系统中的交易性动态数据，私有业务数据没有共享性，且变化频率较高，需要在后期的BI或者数据中心中单独管理。

主数据中心信息模型结构如图4-8：

                                  图4-8  主数据中心信息模型

编码属性确立原则

  编码属性为确定一条数据的唯一性的基本属性集合，一般建议选择稳定性较强的属性作为某一类数据的编码属性，如供应商类数据一般选择‘机构代码证号’、‘税号’、‘营业执照号码’三个中的任何一个作为编码属性都可。

公有属性（含基础数据和业务数据）确立原则

基础数据部分

  严格意义上讲主数据是包含了编码数据部分的，在这里分开介绍只是为了更加清晰的描述各部分的重要性。这里暂且不提编码数据部分，针对供应商数据的除编码属性外的公有属性一般包括了‘供应商名称’、‘供应商所在地’、‘供应商联系人’、‘联系方式’、‘重要性分类’、‘公司性质’、‘所属行业’、‘邮编’、‘传真’等。

业务数据部分

  业务数据部分指的是多个业务系统都能使用到的业务过程中产生的公有业务数据，这部分数据根据企业的管理情况决定，一般属性字段不多，如某业务系统使用的‘欠款总额’、‘合同总额‘、‘应付款总额’、‘已付款总额’等。

  私有属性（不含业务数据）确立原则

  业务系统私有属性

  私有基础数据是不同业务系统针对基础数据的不同管理内容和范围，是专门为某一业务系统使用的数据。

组织机构私有属性

  组织机构私有属性’部分为不同组织机构间的不同管理内容和范围的描述，如采购部私有的‘供应商联系人’和‘联系方式’，这部分数据采购部不希望别的部门看到，所以建议专门建立组织机构私有属性视图，并设置专门的权限进行控制。

6)策略步骤

  引入外部咨询专家，明确并召集企业内部数据管理专家，成立联合数据小组；

  充分调研企业主数据中心管理体系现状；

  结合企业未来主数据中心的管理目标和规划，参照国家标准、行业标准、企业现有标准，确定主数据中心管理体系草稿；

  集团内广泛征求各级相关人员的建议和意见，形成会议讨论机制，最终定稿；

  企业主数据中心管理体系发布，体系落地。

3.主数据中心数据验证管理体系规划设计过程

                                  图4-9  主数据中心验证体系

1) 把握原则

遵从业务逻辑

遵从企业管理

细致

全面

2) 策略步骤

引入外部咨询专家；

确立主数据中心数据验证目标；

明确数据验证范围，企业数据验证范围包括：文本、数字、英文、特殊符号、取值范围、关联验证、日期、电话、邮箱、地址、必填项等；

针对每一类型的数据确定验证方法，相关附表校验、正则表达式校验、同名词库校验、相似度实时校验、编码查重、限定表校验；

针对每一类型的数据确定验证机制，输入验证、提交验证、保存验证；

企业主数据中心数据验证管理体系评审、发布、平台落地。

4、主数据中心数据管理权限体系规划设计过程

1)把握原则 

遵从业务逻辑

遵从企业管理

细致

全面

2)策略步骤

引入外部咨询专家；

结合企业现有业务管理模式；

确立主数据中心数据权限分配目标。管控粒度方面：字段级、元数据级。管控角度：显示权限、编辑权限、操作动作（申请、变更、审核等）；

明确权限分配对象。组织、角色、岗位、用户；

确立权限分配内容。功能权限：功能菜单；数据权限：数据模型、数据视图、属性字段；数据类别权限：类别树、类别树节点；组织权限等；

企业主数据中心数据管理权限体系评审、发布、平台落地。

5、企业主数据中心数据质量管理体系建设过程

1)把握原则

遵从企业管理、业务模式，抓住数据质量问题重点、难点；

全面、细致，先易后难，逐步推进；

一次性、一劳永逸为原则的历史数据清洗策略；

选择最适合的历史数据清洗工具等；

数据质量监测日常化。

2) 策略步骤

引入外部咨询专家；

结合已有的数据管理组织架构，组织相关人员，明确数据质量管控责任人；

形成一把手挂帅，全民动员的质量管控制度、奖惩机制等；

制定历史数据清洗范围界定方法，企业清洗范围如，物资数据清洗、客商数据清洗、人员数据清洗、组织机构清洗等；

制定历史数据清洗技术选择方法，企业清洗范围如，语义识别技术、自动分词技术、相似度匹配技术、自动合并技术等；

制定选择最合适的历史数据清洗工具的方法。专业的历史数据清洗工具有，物资数据专业清洗工具、客商、人员数据专业清洗工具、组织机构专业清洗工具；

制定主数据中心数据质量日常监测机制，明确检测工具，明确问题数据的处理方式、方法等；

企业主数据中心数据质量管理体系评审、发布、平台落地。

6.企业主数据中心数据安全管理体系建设过程

1）把握原则

根据企业实际情况、数据安全管理的分类，分别制定企业数据安全管理的制度规范，做到制度约束，规范管理。

数据安全管理是计划、制定、执行相关安全策略和规程，确保数据和信息资产在使用过程中由恰当的认证、授权、访问和审计等措施。

2)策略步骤

理解数据安全需要和监管要求：实现企业内部数据安全首先需对业务要求进行透彻的了解；

定义数据安全策略：基于数据安全要求定义的数据安全策略工作，需要IT安全管理员、数据管理专员、内部和外部审计小组及法律部的协同努力；

定义数据安全标准：目前企业还没有统一的方式实施数据安全以满足隐私和保密要求。但是企业的利益相关者和监管者都需要关注数据访问、隐私和保密性要求，因此利用这些要求，企业可以创建一个实用的、可执行的安全策略，以及数据安全指导原则；

定义数据安全控制及措施：企业需要设计自己的安全控制措施，并证明这些措施符合法律法规要求，同时记录这些措施的执行情况；

管理用户名、密码和用户组成员：在工作组和和业务单位层面创建组定义，在层级结构中对角色进行组织，通过子角色进一步限制父角色的权限；

管理数据访问视图、字段和权限：通过授予权限，控制用户对敏感数据的访问，没有权限的用户无法执行任何操作；

监控用户身份认证和访问行为：在多个层面或数据接触点出执行监控。如，应用程序监控；对某些用户和角色组实施监控；用于数据完整性验证监控；对配置和核心元数据验证实施监控；对跨异构系统依赖关系检查实施监控；

划分信息密级：典型的密级分类模式主要包括以下5个等级。公众级、内部使用、机密、受限机密、注册机密；

审计数据安全：按照最佳实践和需求，分析数据安全策略和标准；分析实施规程和实际做法，确保数据安全目标、策略、标准、指导方针和预期结果相一致；评估现有标准和规程是否适当，是否与业务要求和技术要求相一致；验证机构是否符合监管法规要求；评价违背数据安全行为的上报规程和通知机制；评审合同、数据共享协议、确保外包和外部供应商切实履行他们的数据安全义务，同时保证组织要履行自己应尽的义务；向高级管理人员、数据管理专员以及其他利益相关者报告组织内的数据安全状态，以及组织的数据安全事件安全成熟度；推荐数据安全的设计、操作和合规改进工作。

7、企业主数据中心数据交换管理体系规范建设过程

系统间的数据交换标准包括系统连接方式、数据交互方式、数据信息的传输管理、信息传递的逻辑约束、信息传递的监控，数据交换的维护和异常处理等。并与基础标准、信息代码标准紧密相关。

1）把握原则

依据信息系统建设要求、系统集成要求进行设计的，信息交换的方式、信息交换的内容、传输逻辑、信息交换的软件不同，其相应的信息交换标准也不尽相同。所以信息交换标准不仅仅是规范，更是一种技术的选择与集成，也就是技术路线的选择；

结合集团信息化规划、信息功能分担及系统的集成要求，在充分调研的基础上，制定本企业的信息交换标准；

包含数据采集、分发

策略步骤

引进SOA理念，确定数据交换技术标准；

明确数据交换的系统范围；

明确数据交换具体内容；

明确数据交换机制，如时间、方式、消息机制、重发机制等；

选择适合的数据交换平台，形成数据交换长效机制；

企业主数据中心数据交换管理体系规范评审、发布、平台落地

 点击进入》 主数据管理  企业数据治理   信息资源规划   数据安全管理