- 实际工作中的数仓分层是怎[2022-06-30]
- 数据安全防控:数据脱敏[2022-06-29]
- 数据治理的制度、机制、流[2022-06-28]
- 数据仓库体系之贴源层、历[2022-06-27]
- 数据域和主题域是什么关系?[2022-06-24]
- 数据资产管理:关于数据发现[2022-06-23]
- 央企国企数字化转型,必须先[2022-06-22]
- 数字化转型是建个系统那么[2022-06-20]
- 非结构化数据,怎么治理?[2022-06-17]
- 如何打造数据治理闭环?以保[2022-06-16]
实际工作中的数仓分层是怎样的
实际业务中数仓分层
数仓分层要结合公司业务进行,并且需要清晰明确各层职责,要保证数据层的稳定又要屏蔽对下游影响,一般采用如下分层结构:
数据分层架构
数据层具体实现
使用四张图说明每层的具体实现:
1.数据源层ODS
数据源层主要将各个业务数据导入到大数据平台,作为业务数据的快照存储。
2.数据明细层DW
数据明细层事实表中的每行对应一个度量,每行中的数据是一个特定级别的细节数据,称为粒度。维度建模的核心原则之一是同一事实表中的所有度量必须具有相同的粒度。这样能确保不会出现重复计算度量的问题。
维度表一般都是单一主键,少数是联合主键,注意维度表不要出现重复数据,否则和事实表关联会出现数据发散问题。
有时候往往不能确定该列数据是事实属性还是维度属性。记住最实用的事实就是数值类型和可加类事实。所以可以通过分析该列是否是一种包含多个值并作为计算的参与者的度量,这种情况下该列往往是事实;如果该列是对具体值的描述,是一个文本或常量,某一约束和行标识的参与者,此时该属性往往是维度属性。但是还是要结合业务进行最终判断是维度还是事实。
3.数据轻度汇总层DM
此层命名为轻汇总层,就代表这一层已经开始对数据进行汇总,但是不是完全汇总,只是对相同粒度的数据进行关联汇总,不同粒度但是有关系的数据也可进行汇总,此时需要将粒度通过聚合等操作进行统一。
4.数据应用层APP
数据应用层的表就是提供给用户使用的,数仓建设到此就接近尾声了,接下来就根据不同的需求进行不同的取数,如直接进行报表展示,或提供给数据分析的同事所需的数据,或其他的业务支撑。
最后
技术是为业务服务的,业务是为公司创造价值的,离开业务的技术是无意义的。所以数仓的建设与业务是息息相关的,公司的业务不同,数仓的建设也是不同的,只有适合的才是最好的。