02 第2章 商务智能核心技术.pptx

第1页：第2章商务智能核心技术封面

第一节数据仓库第二章商务智能核心技术

第2页：第2章教学目标与要求

• 【教学目标与要求】
• 了解商务智能技术；
• 掌握商务智能三大核技术；
• 理解数据仓库与数据库的关系和异同
• 掌握OLAP与OTAP的概念和区别；

第3页：数据仓库的产生

数据仓库

是实现商业智能的数据基础。数据仓库的目的是为了建立一种体系化的数据存储环境，将决策分析所需的大量数据从传统的操作环境中分离出来，使分散、不一致的操作数据转换成集成、统一的信息，为用户提供查询和决策分析的依据。

• 2.1.1数据仓库产生

第4页：数据仓库的定义

数据仓库

是一个面向主题的、集成的、稳定的、包含历史数据的数据集合，它用以支持经营管理中的决策制定过程。”

• 2.1.2数据仓库定义与特点
• 1.定义

第5页：数据仓库的特点

• 2.特点
• （1）数据仓库是面向主题的
• （2）数据仓库是集成的
• （3）数据不可更新
• （4）数据随时间不断变化。
• （5)数据的集合性

第6页：数据仓库的几个重要概念

• 2.1.3数据仓库的几个重要概念
• (1)数据集市
• 数据集市可以理解为数据仓库的子集，是一种更小、更集中的数据仓库，它面向更详细的业务主题。
• (2)粒度
• 粒度是指数据仓库中数据单元保存数据的细化程度或综合程度的级别。
• (3)数据组织
• 数据仓库中的数据通常采用分级的方式进行组织，包括高度综合级、轻度综合级、当前细节级、早期细节级。(4)元数据
• 元数据是关于数据的数据，是对数据的结构、内容、键码、索引等的一种描述。

第7页：元数据的定义与作用

• 2.1.4元数据
• (1)元数据的定义，元数据在数据仓库的设计、运行中有着重要的作用。它表述了数据仓库中的各对象，遍及数据仓库的所有方面，是数据仓库中所有管理、操作、数据的数据，是整个数据仓库的核心。
• (2)元数据的作用，元数据的主要目的是为计算机系统的结构、开发过程和使用方法提供一致的文档，帮助理解系统，并且为开发和利用系统的所有“角色”提供更加有效的支持，如终端用户、系统管理者、应用程序开发人员等。
• (3)元数据的分类，关于基本数据的元数据这种元数据包含与数据源、数据仓库、数据集市和应用程序等结构相关的信息。它又可细分为关于全部方案的元数据和关于部分方案的元数据两种。

第8页：数据仓库中的数据组织

• 2.1.5数据仓库中的数据组织
• 数据仓库中数据的组织方式与数据库不同，通常采用分级的方式进行组织。一般包括早期细节数据、当前细节数据、轻度综合数据、高度综合数据以及元数据五部分。

第9页：数据仓库结构框架

• 2.1.6数据仓库基本框架及模型设计
• （一）数据仓库结构框架
• 数据仓库主要包括：数据源、数据准备区、数据仓库数据库、数据集市／知识挖掘库、管理工具和应用工具等部分构成。结构如图2.1所示数据源数据准备区数据仓库数据库OLAP应用工具数据集市/知识挖掘库管理工具图2.1数据仓库体系结构

第10页：数据仓库各组成部分的功能

• 数据源——数据仓库的数据来源。
• 数据准备区——数据源中的数据经抽取、转换最终成为数据仓库所需要的数据。
• 数据仓库数据库——负责存储用于分析、决策的数据，包含对元数据的管理。
• 数据集市／知识挖掘库—局部数据仓库或部门数据仓库，为指定的应用提供数据。
• 管理工具和应用工具——包括各种对数据仓库的数据分析和数据访问，如利用OLAP进行数据分析，数据仓库应用程序等。

第11页：数据仓库的模型设计

• （二）数据仓库的模型设计
• 数据仓库的数据模型包括概念模型、逻辑模型、物理模型、元数据模型和数据粒度模型。

第12页：需求分析与概念模型设计

• 1、需求分析
• 数据仓库的设计首先要分析用户的信息需求，即界定系统边界。
• 2、概念模型设计
• 概念模型是企业模型到数据仓库高层模型的映射，是联系主观和客观的桥梁。设计星型模型或雪花模型。实体一关系(E-R)模型是数据库设计最常用的方法,主要采用星型模型和雪花模型来表示多维概念模型。

第13页：星形模型示意图

维度表1维度表2维度表3时间产品地点事实表销售趁势图2.2星形模型示意图（左）及示例图（右）

第14页：雪花形模型示意图

维度表1维度表2维度表3时间产品地点事实表销售趁势图2.3雪花形模型示意图（左）及示例图（右）详细类别具体时间

第15页：逻辑模型设计

• 3、逻辑模型设计
• 逻辑模型是概念模型到物理模型转变的桥梁。主要内容包括：
• (1)分析主题域：确定当前装载的主题。
• (2)确定粒度层次划分：粒度划分合适与否将直接影响到数据仓库中的数据量和所适合的查询类型。
• (3)确定数据分割策略：根据对数据量大小的分析选择适当的数据分割标准。
• (4)关系模式定义：根据概念模型设计中设计出的星型模型或雪花模型设计数据仓库中对应的数据存储表，及各个表之间的关系。
• (5)记录系统定义，确定数据抽取模型

第16页：物理模型设计

数据仓库的物理模型就

是逻辑模型在数据仓库的实际存储模式。在物理模型设计阶段的主要内容是根据对存取时间、存储空间利用率和维护代价等多方面综合考虑确定数据的存储结构；根据数据仓库数据量大，但除了追加新的数据外很少对数据操作的特点，确定索引策略，提高数据的存取效率；根据数据的存取频率和类型，确定数据存放位置，合理的利用高速设备和低速设备；根据实际可能的数据量，确定合理的存储分配方案等。

• 4、物理模型设计

第17页：数据仓库的生成

• 5、数据仓库的生成
• 按照数据仓库的设计步骤，物理模型设计完成以后，一个空的数据仓库就已经搭建起来了，接下来的工作就是将操作型数据库(ERP系统数据库)、文件等各种数据源中的数据加载到数据仓库，完成ETL过程的设计，即数据的抽取(Extract)、转换(Transform)和装载(Load)。

第18页：数据仓库的数据管理技术

• 2.1.7数据仓库的技术要求
• （一)数据管理技术
• (1)大批量数据管理技术在数据仓库的所有技术中最重要的是管理大批量数据技术。
• (2)数据仓库的高效索引与数据监视技术数据仓库中对数据的访问应有灵活性，即对数据具有快速和易访问的能力。
• (3)元数据管理技术包括数据仓库表结构、数据仓库表属性、数据仓库数据源、数据模式说明和数据抽取和转换等方面的管理。
• (4)数据压缩技术数据仓库的大批量数据存储，在许多情况下还需要压缩技术的支持。
• (5)复合键码技术由于数据仓库中的数据具有随时间等维度变化的特征，因此，数据仓库的复合键码管理技术是必不可少的。
• (6)有效地装载数据数据仓库的数据装载有两种方式:通过语言接口或装载工具。

第19页：数据仓库的数据存储技术

• （二）数据存储技术
• (1)多介质存储设备的管理技术在数据仓库中管理大批量数据时，为了达到效率和费用的平衡，通常要求数据仓库能够实现多存储介质设备的管理。
• (2)数据存储的控制数据仓库的高效运行技术之一在于数据仓库设计者可以在物理块或物理页上对数据存储进有效的控制。
• (3)数据的并行存储与管理并行存储和管理也是数据仓库中的重要技术需求之一，当数据用并行模式进行存储和管理时，在性能上获得增益是不言而喻的。
• (4)可变长技术在数据仓库中如果经常发生变长数据的变动，将严重影响数据仓库的系统性能。因此，在数据仓库中需要有效管理变长数据的技术。

第20页：数据仓库的锁切换技术

• (5)锁切换技术因数据仓库中的数据很少发生变化，因此，长期在加锁管理下进行数据仓库的操作降低数据仓库的效率。为使数据仓库高效率地运行，要为数据仓库提供锁切换管理技术，使用户可在需要时候进行加锁操作或开锁操作。
• (6)双重环境数据仓库技术还包括支持双重环境。其中，一个是DASD(Directaccessstoragedevice，直接访问存储设备)环境，主要进行在线和交互处理:另一个是海量存储环境，如磁带存储，主要存储不常使用的数据。

第21页：数据仓库接口技术

• （三）数据仓库接口技术
• 数据仓库的接口技术包含多技术接口技术、语言接口技术和数据的高效率加载技术。
• (1)多技术的接口对于数据仓库的创建和运行来说，能够使用各种不同的技术获取或传送数据是很重要的。
• (2)语言的接口数据仓库的实际应用必须依赖某种语言来完成，典型的数据仓库语言接口必须满足如下的要求：能够一次访问一组数据；能够一次访问一条纪录；能够确保使用一个或多个索引以满足用户访问需要；有SQL接口；能够插入、删除和更新数据。
• (3)数据的高效率加载在数据仓库的实际应用中，经常需要从数据源加载数据。如果数据的加载是低效率的，那么数据仓库的使用性能就不能提高。

第22页：数据仓库与数据集市

• 2.1.8数据仓库和数据集市(DataMarts)
• 数据集市可以理解为数据仓库的子集，是一种更小、更集中的数据仓库，它面向更详细的业务主题。数据集市中的数据大多通过汇总而成，而不是详细的业务数据。数据集市一般作为局部数据仓库或部门级数据仓库。通常服务于单个部门或企业中的部分用户。按照业务的不同可以分为财务、销售、市场等多个数据集市，每个数据集市只包含特定领域内的数据。

第23页：数据仓库与数据集市比较表

数据仓库与数据集市比较表：下表从数据来源、范围、主题等维度对比二者差异。

第24页：数据仓库的数据处理

• 2.1.9数据仓库的数据处理
• 数据仓库抽取(Extract)、转换(TraIlsfornl)、集成(Load)数据。通常我们将这个过程简写为ETL。即数据抽取、转换、转载的过程。
• ETL工具主要用于：
• (1)数据的抽取、净化和提炼处理，并将其存储到数据仓库。
• (2)对数据的质量进行维护和管理。这是数据从数据源向目标数据仓库转化的过程，是实施数据仓库的重要步骤，其主要意义在于屏蔽了复杂的业务逻辑，从而为各种基于数据仓库的分析和应用提供了统一的数据接口。

第25页：数据仓库的应用管理

• 2.1.10数据仓库的应用管理、维护和开发
• （一）数据仓库的应用管理
• (1)数据仓库的安全管理数据仓库的安全性是指保护数据仓库以防止不合法的使用所造成的数据泄漏、更改或破坏。
• (2)数据仓库应用的阶段性数据仓库的应用过程可以分成数据仓库的初步应用、熟悉应用和熟练提高三个阶段。

第26页：数据仓库的可维护性

• （二）数据仓库的可维护性
• 使用分区的技术可以改善数据仓库的可维护性。关系型数据仓库和分析服务多维数据集都支持数据分区。分区的逻辑概念是指通过键(例如日期)对数据进行水平分区。在关系型数据库中，分区是通过创建单独的物理表(例如为每个月的数据创建一个表)并且定义一个成员表的联合视图来实现的。在关系型数据库和联机分析处理(OLAP)引擎中，物理存储的复杂性对于分析用户是不可见的。

第27页：数据仓库的持续开发性

• （三）数据仓库的持续开发性
• 创建面向主题的数据仓库，使业务逻辑以物理数据分离，将是实现数据仓库可持续开发的一个重要手段。并且，在数据仓库接口的设计上也要考虑以后可能以其它系统集成的问题，设计的接口应该具有以下一些功能:从面向应用和操作环境生成完整的数据、数据基于时间的转换、数据的聚集和对现有数据系统的有效扫描，以便今后数据仓库进行持续开发。除此之外，由于律立数据仓库是一个循序渐进，不断的丰富和完善的过程

第28页：数据仓库系统的四个阶段

• 2.1.11数据仓库的开发流程
• （一）数据仓库系统的4个阶段
• 数据仓库的开发和应用过程细分为设想阶段、规划和成长阶段、控制阶段和稳定阶段。
• (1)设想阶段在数据仓库设想阶段，一般是为了适应特定的商业应用提出数据仓库的发展前景。
• (2)规划和成长阶段此阶段为开展商务活动。一方面，将企业中很多数据库改变为数据仓库；另一方面，按照企业决策的要求，针对不同主题应用，规划更多的数据仓库。
• (3)控制阶段在这个阶段要用控制和整合的办法将应用系统整合，把聚焦点正确地转移到“集中化方法”上，以求在企业级的数据仓库中，为企业决策分析提供强有力的支持，从而将多个数据仓库结合起来，形成一个决策支持环境。
• (4)稳定阶段稳定阶段的主要任务是在使用决策支持和数据仓库过程中不断的改进，使数据仓库逐渐成熟。

第29页：数据仓库的开发流程

• （二）数据仓库的开发流程
• 按照项目开发生命周期法可将数据仓库开发应用的全过程分成:数据仓库规划分析、数据仓库的设计实施和数据仓库的使用维护三个阶段。其是一个循环开发的过程。

第30页：OLAP概况

• 2.2OLAP技术
• 2.2.1OLAP概况
• 多维数据库和多维分析的概念，即OLAP
• OLAP是针对特定问题的联机数据访问和数据分析而产生的一种技术，它使分析人员、管理人员或执行人员能够从多种角度对数据进行快速、一致、交互地分析，使决策者能够深入理解数据。

第31页：OLAP的定义和相关概念

• 2.2.2OLAP的定义和相关概念
• （2）OLAP的相关概念
• 变量：变量是数据的实际意义，即描述数据“是什么”。一般情况下，变量总是一个数值度量指标，例如：“人数”、“单价”、“销售量”等都是变量。
• 维：维是人们观察数据的特定角度。是考虑问题时的一类属性，属性集合构成一个维，如时间维、产品维等。
• 维的层次：人们观察数据的某个特定角度(即某个维)还可以存在细节程度不同的多个描述方面，我们称这多个描述方面为维的层次。例如，描述时间维时，可以从日期、月份、季度、年等不同层次来描述。。

第32页：维成员与维的层次

• 维成员：维的一个取值称为该维的一个维成员。如果一个维是多层次的，那么该维的维成员是由各个不同维层次的取值组合而成。
• 多维数组：一个多维数组可以表示为：(维l，维2，…，维n，变量)，用维和变量的组合表示，如(产品，地点，时间，销售量)。
• 数据单元：多维数组的取值称为数据单元。当多维数组的各个维都选中一个维成员，这些维成员的组合就惟～确定了一个变量的值。如(电脑，广州，2006年lO月，1000台)

第33页：OLAP与OLTP比较表

OLAP与OLTP比较表：下表从数据来源、用户数量、存取方式等方面对比联机分析处理与联机事务处理。

注：源文件「10OGB-TB」系识别错误，按 OLAP 常见量级修正为「100GB-TB」，如与原书不符请以原书为准。

第34页：联机分析与联机事务处理的比较

联机分析与人们较为熟悉的联机事务处理(OLTP)相比有很大不同，联机分析处理是决策人员和高层管理人员对数据仓库进行信息分析处理，而OLTP是操作人员和底层管理人员利用计算机网络对数据库中的数据进行查询、增加、删除、修改等操作，以完成事务处理工作；OLAP是面向分析的，而OLTP是面向应用的；OLAP其历史的数据和经综合提炼的数据均来自OLTP所依赖的底层数据库；LAP的数据比OLTP的数据多了数据的多维化和预综合处理等操作；另外，OLAP的前端产品的界面风格和数据访问方式是与OLTP不同的，OLTP多为固定的表格，查询和数据显示也较固定规范，而OLAP则采用便于非数据处理专业人员理解的方式。

第35页：OLAP系统结构

• 2.2.4OLAP系统结构
• Codd提出OLAP的12条准则来描述OLAP系统。
• 1)OLAP模型必须提供多维概念视图；2)透明性准则；
• 3)存取能力推测；4)稳定的报表能力；
• 5)客户/服务器体系结构；6)维的等同性准则；
• 7)动态的稀疏矩阵处理准则；8)多用户支持能力准则；9)非受限的跨维操作；
• 10)直观的数据操纵；11)灵活的报表生成；

第36页：OLAP多维数据分析

• 2.2.6OLAP多维数据分析
• OLAP提供了对数据的多维分析方法，包括切片(Slice)、切块(Dice)、旋转(Rotate)、上翻(Drill-up)、下钻(Drill-down)等分析动作。
• (1)切片:在多维数组的某一维上选定一个维成员，得到多维数组的一个子集，然后对这个子集进行统计分析。
• (2)切块:在多维数组的某一维上选定某一区间的维成员，得到多维数组的一
• 然后对这个子集进行统计分析。

第37页：旋转与上翻分析

• (3)旋转:改变一个报告或页面显示的维方向。例如，将行和列交换。
• (4)上翻:将较细节的数据汇总成较综合的数据是从特殊到一般的分析过程。沿着维的概念分层向上攀升，
• (5)下钻:由较综合的数据分解得到较细节的数据，沿着维的概念分层向下或引入新的维，是从一般到特殊的分析过程.

第38页：第2章本章小结

• 【本章小结】
• 本章主要介绍数据仓库和联机分析处理处理的概念。数据仓库(DataWarehouse，DW)、联机分析处理(OnLineAnalyticalProcessing，0LAP)、数据挖掘(DataMining，DM)是商务智能的三大技术支柱，其中数据仓库是商务智能的基础。数据仓库是一个更好地支持企业或组织的决策分析处理的数据集合，它有面向主题、集成、相对稳定、随时间不断变化四个特性。联机分析处理是以海量数据为基础的复杂分析技术。它支持各级管理决策人员从不同的角度、快速灵活地对数据仓库中的数据进行复杂查询和多维分析处理，并且能以直观易懂的形式将查询和分析结果展现给决策人员。数据挖掘是从海量数据中，提取隐含在其中的、人们事先不知道的但又可能有用的信息和知识的过程。

第39页：本章小结：OLAP与数据挖掘的协同

联机分析处理和数据挖掘虽然

是数据仓库上获取两种不同目标的数据增值技术，但这两类技术如果能够在一定程度上融合，会使分析操作智能化，使挖掘操作目标化，从而全面提升商务智能技术的实用价值。它们之间的关系是：一方面，联机分析技术可以为数据挖掘提供预期的挖掘对象和目标，避免挖掘的盲目性：另一方面，数据挖掘技术可以使联机分析处理智能化，减少分析人员手上操作的繁杂性，减轻分析人员的负担。

第40页：第2章习题

• 【习题】
• 1、数据仓库与数据库什么异同？
• 2、数据仓库与数据集市的关系是什么？
• 3、数据仓库的技术要求有哪些？
• 4、叙述数据仓库的开发流程？
• 5、OLAP与OTAP的异同？
• 多维数据分析的方法有哪些？