5分钟数据仓库常用术语科普

3470阅读 0评论2020-03-11 fengzhanhai
分类:大数据

数据仓库,英文名称为Data Warehouse,可简写为DW。数据仓库,是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合,出于分析性报告和决策支持目的而创建的。 为需要业务智能的企业,提供指导业务流程改进、监视时间、成本、质量以及控制。数据仓库研究和解决从数据库中获取信息的问题。数据仓库的特征在于面向主题、集成性、稳定性和时变性。
一、数据仓库的特点
1、数据仓库是面向主题的;操作型数据库的数据组织面向事务处理任务,而数据仓库中的数据是按照一定的主题域进行组织。主题是指用户使用数据仓库进行决策时所关心的重点方面,一个主题通常与多个操作型信息系统相关。
2、数据仓库是集成的,数据仓库的数据有来自于分散的操作型数据,将所需数据从原来的数据中抽取出来,进行加工与集成,统一与综合之后才能进入数据仓库;
3、数据仓库是不可更新的,数据仓库主要是为决策分析提供数据,所涉及的操作主要是数据的查询;
4、数据仓库是随时间而变化的,传统的关系数据库系统比较适合处理格式化的数据,能够较好的满足商业商务处理的需求。稳定的数据以只读格式保存,且不随时间改变;
5、汇总的。操作性数据映射成决策可用的格式;
6、大容量。时间序列数据集合通常都非常大;
7、非规范化的。Dw数据可以是而且经常是冗余的;
8、元数据。将描述数据的数据保存起来;
9、数据源。数据来自内部的和外部的非集成操作系统。
二、常用术语
1、数据集市,为了特定的应用目的或应用范围,而从数据仓库中独立出来的一部分经过加工过的维度数据,也可称为部门数据或主题数据;
2、元数据,描述数据仓库内数据的结构和建立方法的数据。可将其按用途的不同分为两类,技术元数据和商业元数据。技术元数据是数据仓库的设计和管理人员用于开发和日常管理数据仓库使用的数据。商业元数据从商业业务的角度描述了数据仓库中的数据。包括:业务主题的描述,包含的数据、查询、报表;
3、数据模型,主要有三种不同类型的数据模型:概念模型、逻辑模型和物理模型。数据模型是数据库中用来对现实世界进行抽象的工具,是数据库中用于提供信息表示和操作手段的形式架构。一般地讲,数据模型是严格定义的概念的集合。这些概念精确描述了系统的静态特性,动态特性和完整性约束条件。因此数据模型通常由数据结构,数据操作和完整性约束三部分组成 ,主要用于构建物理数据库,提供数据对象的准确表示,确保数据质量;
4、数据分层,明细层(ODS)、轻度汇总层(DWB、MID)、主题层(数据集市层)、应用层;
5、ETL,ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程,目的是将企业中的分散、零乱、标准不统一的数据整合到一起,为企业的决策提供分析依据, ETL是BI(商业智能)项目重要的一个环节;
6、BI工具,它是一套完整的解决方案,用来将企业中现有的数据进行有效的整合,快速准确的提供报表并提出决策依据,帮助企业做出明智的业务经营决策。商业智能定义为一类由数据仓库(或数据集市)、查询报表、数据分析、数据挖掘、数据备份和恢复等部分组成的、以帮助企业决策为目的技术及其应用。

上一篇:11年天猫双11对支付宝技术有什么意义?
下一篇:SMP、NUMA、MPP体系结构介绍