【系统架构设计】数据库系统(四)
数据库系统(四)
数据库模式与范式
数据库设计
备份与恢复
分布式数据库系统
数据仓库
数据仓库与传统数据库的比较
数据仓库(Data Warehouse)是一个面向主题的、集成的、相对稳定的、且随时间变化的数据集合,用于支持管理决策。
数据仓库的结构
从数据仓库的概念结构看
数据仓库系统要包含数据源、数据准备区、数据仓库数据库、数据集市/知识挖掘库及各种管理工具和应用工具,如图3-10所示。数据仓库建立之后,首先要从数据源中抽取相关的数据到数据准备区,在数据准备区中经过净化处理后再加载到数据仓库数据库,最后根据用户的需求将数据导入数据集市和知识挖掘库中。当用户使用数据仓库时,可以利用包括OLAP(On-Line Analysis Processing,联机分析处理)在内的多种数据仓库应用工具向数据集市/知识挖掘库或数据仓库进行决策查询分析或知识挖掘。数据仓库的建立、应用可以利用各种数据仓库管理工具辅助完成。
数据仓库的参考框架
数据仓库的参考框架由数据仓库基本功能层、数据仓库管理层和数据仓库环境支持层组成,如图3-11所示。
-
数据仓库基本功能层:数据仓库的基本功能层包括数据源、数据准备区、数据仓库结构、数据集市或知识挖掘库,以及存取和使用部分。本层的功能是从数据源抽取数据,对所抽取的数据进行筛选、清理,将处理过的数据导入或者说加载到数据仓库中,根据用户的需求设立数据集市,完成数据仓库的复杂查询、决策分析和知识的挖掘等。
-
数据仓库管理层:数据仓库的正常运行除了需要数据仓库功能层提供的基本功能外,还需要对这些基本功能进行管理与支持的结构框架。数据仓库管理层由数据仓库的数据管理和数据仓库的元数据管理组成。数据仓库的数据管理层包含数据抽取、新数据需求与查询管理,数据加载、存储、刷新和更新系统,安全性与用户授权管理系统,数据归档、恢复及净化系统等四部分。
-
数据仓库的环境支持层:数据仓库的环境支持层由数据仓库数据传输和数据仓库基础层组成。数据仓库中不同结构之间的数据传输需要数据仓库的传输层来完成。数据仓库的传输层包含数据传输和传送网络、客户/服务器代理和中间件、复制系统及数据传输层的安全保障系统。
大众观点的数据仓库架构
-
数据源:是数据仓库系统的基础,是整个系统的数据源泉,通常包括企业内部信息和外部信息,内部信息包括存放于RDBMS(关系型DBMS)中的各种业务处理数据和各类文档数据;外部信息包括各类法律法规、市场信息和竞争对手的信息等。
-
数据存储与管理:是整个数据仓库系统的核心。数据仓库安装数据覆盖范围可以分为企业级数据仓库和部门级数据仓库(通常称为数据集市)。
-
OLAP服务器:对分析需要的数据进行有效集成。
-
前端工具:其中数据分析工具主要针对OLAP服务器,报表工具、数据挖掘工具主要针对数据仓库。
数据仓库的实现方法
数据仓库特性决定了数据仓库的设计不同于传统的数据库设计方法。数据仓库系统的原始需求通常不是很明确,并且需求仍在不断变化、增加,所以,数据仓库的建立是一个过程,从建立简单的基本框架着手,不断丰富和完善整个系统。这过程将由以下几部分构成:需求分析、概念模型分析、逻辑模型分析、物理模型分析、数据仓库生成。
从整体角度看,数据仓库实现方法主要有** 自顶向下法、自底向上法、联合方法**。
ps: 自顶向下,是掌握技术的,优点是可以清楚描述最后实现的范围,缺点是一旦实现就无法再要求更高目标,而且刚开始没有成效;自底向上,是从局部出发,优点是成效快,后续更高目标无上限,缺点是会存在技术滞后项目发展。
数据挖掘
NoSQL
大数据
原文地址:https://blog.csdn.net/weixin_48618536/article/details/140547991
免责声明:本站文章内容转载自网络资源,如本站内容侵犯了原著者的合法权益,可联系本站删除。更多内容请关注自学内容网(zxcms.com)!