数据仓库中的ODS有什么用途
答案:
ODS(Operational Data Store)操作性数据,是作为数据库到数据仓库的一种过渡,ODS的数据结构一般与数据来源保持一致,便于减少ETL的工作复杂性,而且ODS的数据周期一般比较短。ODS存储的是当前的数据情况,给使用者提供当前的状态,提供即时性的、操作性的、集成的全体信息的需求。一般ODS中储存的数据不超过一个月,而数据仓库为10年或更多。
ODS存放的是明细数据,数据仓库DW或数据集市DM都存放的是汇聚数据,ODS提供查询明细的功能。ODS中的数据都是业务系统原样拷贝,存在数据冲突的可能,解决办法是为每一条数据增加一个时间版本来区分相同的数据。
一般来说,业务库的数据导入ODS时,不应该做太多的清洗,尽量保持原始状态,否则可能导致后期数据溯源困难。
什么是数据仓库
数据仓库是面向分析的,主要服务于数据分析。
数据仓库是有别于业务数据系统的另一个概念,它是商务智能的基础。在大数据概念还未兴起时,数据仓库主要建立在关系型数据库的基础上,在当下,它还和分布式大数据系统(前述Hadoop、Spark等)形成了紧密的联系。
在一些具备一定规模的公司里,数据仓库几乎是大数据分析师日常工作过程中经常要接触的技术,一些初创型的公司在积累了海量的数据后,对于数据系统的规划,最后也必然会走向数据仓库。