ods系统主要有三个层级:
1、
接入层:底层的数据源或者是操作数据层,一般在公司的话,统一都是称为ODS层。
2、
中间层:是做数据仓库同学需要花费更多精力的一层,这一层包括的内容是最多的、最复杂的。
3、
应用层:对不同的应用提供对应的数据。该层主要是提供数据产品和数据分析使用的数据。
ods系统各个层级
您好,ODS系统通常包括以下层级:
1. 数据源层:数据源层是ODS系统中最基础和最关键的层级,它用于从各种数据源中收集数据。数据源可以是企业内部的数据库、文件、日志、传感器等,也可以是外部数据源,如API、社交媒体平台等。
2. 数据抽取层:在数据源层之后,数据需要被抽取出来,并转换成统一的格式和结构。这个过程包括数据清洗、数据转换、数据整合等。
3. 数据存储层:数据抽取层之后,数据需要被存储到ODS系统中。这个层级通常包括关系型数据库、NoSQL数据库、数据仓库等。
4. 数据处理层:数据存储层之后,数据需要被进一步处理和分析。这个层级通常包括数据挖掘、数据分析、机器学习等。
5. 数据展示层:数据处理层之后,数据需要被展示出来,以便用户进行更深入的分析和决策。这个层级通常包括数据可视化、报表生成、数据探索等。
ods系统各个层级
ODS:Operational Data Store,操作数据层,在结构上其与
源系统的增量或者全量数据基本保持一致,相当于一个数据准备区,同时又承担着基础数据的记录以及历史变化,其主要作用是把基础数据引入到MaxCompute
CDM:Common Data Model,公共维度模型层,又细分为DWD和DWS。它的主要作用是完成数据加工与整合、建立一致性的维度、构建可复用的面向分析和统计的明细事实表以及汇总公共粒度的指标。
DWD:Data Warehouse Detail,明细数据层。
DWS:Data Warehouse Summary,汇总数据层。
ADS:Application Data Service,应用数据层
ods系统各个层级
数据分层,每个企业根据自己的业务需求可以分成不同的层次,但是最基础的分层思想,理论上数据分为三个层:数据运营层、数据仓库层、数据服务层。基于这个基础分层之上,再提交信息的层次,来满足不同的业务需求。
2.1数据运营层(ODS)
ODS:Operation Data Store 数据准备区,也称为贴源层。数据仓库源头系统的数据表通常会原封不动的存储一份,这称为ODS层,是后续数据仓库加工数据的来源。
ODS层数据的来源方式:
业务库
经常会使用sqoop来抽取,例如每天定时抽取一次。
实时方面,可以考虑用canal监听mysql的binlog,实时接入即可。
埋点日志
日志一般以文件的形式保存,可以选择用flume定时同步
可以用spark streaming或者Flink来实时接入
kafka也OK
消息队列:即来自ActiveMQ、Kafka的数据等。
2.2数据仓库层(DW)
DW数据分层,由下到上为DWD,DWB,DWS。
DWD:data warehouse details 细节数据层,是业务层与数据仓库的隔离层。主要对ODS数据层做一些数据清洗和规范化的操作。
数据清洗:去除空值、脏数据、超过极限范围的
DWB:data warehouse base 数据基础层,存储的是客观数据,一般用作中间层,可以认为是大量指标的数据层。
DWS:data warehouse service 数据服务层,基于DWB上的基础数据,整合汇总成分析某一个主题域的服务数据层,一般是宽表。用于提供后续的业务查询,OLAP分析,数据分发等。
用户行为,轻度聚合
主要对ODS/DWD层数据做一些轻度的汇总。
2.3数据服务层/应用层(ADS)
ADS:applicationData Service应用数据服务,该层主要是提供数据产品和数据分析使用的数据,一般会存储在ES、mysql等系统中供线上系统使用。
我们通过说的报表数据,或者说那种大宽表,一般就放在这里