首页管理学管理工程管理信息系统 05 第05章 数据库与数据资源管理.pptx

05 第05章 数据库与数据资源管理.pptx

页数:59页文件大小:805.8 KB来源: 管理信息系统ppt课件

本课件围绕数据库与数据资源管理展开,依次讲解第5章数据库与数据资源管理、文件组织、数据库概述等主要内容,并结合引例与案例分析说明相关方法在管理实践中的应用方式与实施要点,帮助建立从概念理解到方法运用的完整认知。

第5章数据库与数据资源管理章节封面,标示本章主题与5.1文件组织、5.2数据库概述、5.3数据库设计等主要内容
主要内容内容页,说明5.1文件组织、5.2数据库概述与5.3数据库设计等要点
引例:告别“拍脑袋”决策内容页,说明啤酒和尿布、在如今的商业环境与BI近年来逐渐成为热点等要点
查看本课件的文字版(共 59 页,供检索与复制)

第1页:第5章数据库与数据资源管理

第5章数据库与数据资源管理

第2页:主要内容

主要内容

  • 5.1文件组织
  • 5.2数据库概述
  • 5.3数据库设计
  • 5.4数据仓库与数据挖掘技术

第3页:引例:告别“拍脑袋”决策

引例:告别“拍脑袋”决策

  • 啤酒和尿布
  • 在如今的商业环境中,企业面临大量的数据,如何在这些看似杂乱无章、错综复杂的信息中理出头绪,分析提炼出知识,从而帮助企业管理者做出及时、正确的决策,最终让企业占领先机、取得竞争优势,正是BI的用武之地。时至今日,BI已经成了一种定量数据分析管理技术,将存储于各种商业信息系统中的数据转换成知识,向企业各级管理者尤其是CEO提供决策支持,从而提高决策效率和水平。在西方,像沃尔玛一样运用BI技术帮助决策,在企业中已经比较普遍,许多企业的CIO(
  • BI近年来逐渐成为热点,可以说是企业信息化发展到一定程度的必然。BI能够运算大量信息,然后为企业找出市场趋势和经营上的问题,并发现市场的新机会,这正是企业一直以来都在寻找的软件

第4页:

第5页:5.1 文件组织

5.1文件组织5.1.1文件的基本概念文件属于操作系统范畴的概念。 凡是具有名字的字符序列都看成是一个文件。

程序、数据集合等,都是文件。 数据文件则是指为了某一特定目的而以一定方式形成的有名字的相关记录的集合。

数据文件是由3个层次的相关数据构成。 记录,记录的属性,记录属性的关键字。

第6页:地址是数据存储位置的标志

地址是数据存储位置的标志。 例如,用文件记录中的某种顺序编号或用符号名来标识地址。

在一个记录中,若以某一属性来表示相关记录所在的地址时,则称此地址为指针,即由该记录指向相关记录的指针。 1.指针与地址

第7页:2.链表由于每一个记录都有指针

2.链表由于每一个记录都有指针,并用它指示下一个记录所在的位置,因此,这些记录之间的前后关系完全由指针表示,称这组记录为链表结构。 3.树当记录之间存在着层次及分支的结构关系时,将一个根记录作为第0层,其指针指向第一层的若干个记录,第一层的每个记录又都含有指向第二层记录的指针,以此分层标记所有的记录。

第8页:需要注意

需要注意,记录的指针不允许指向同一层次的记录,下一层的记录允许上一层中一个记录指向,最后一层记录不再指向其他记录,或称它们只有空指针。 如果树结构的记录集合中每个记录只允许两个指针指向下一层,则称这种树结构为二叉树结构。

3.树

第9页:将记录的关键字做变换

将记录的关键字做变换,变换的结果即为记录所存放的地址。 该变换的函数称为散列函数或Hashing函数。

显然,这样变换出来的地址是不连续的,散列在某一个区域内。 因此,在选择散列函数时,要使其算法简单,而且使其变换的地址在某一区域内散列得比较均匀,尽可能地减少冲突现象。

所谓冲突现象,是指不同记录的关键字值经变换后得到的相同记录地址。 对于冲突应有冲突的处理算法。

4.散列函数5.常用的散列函数是除余法

第10页:文件组织

文件组织就是按一定的逻辑结构把有关联的数据记录组织成为文件(称为逻辑文件),并用体现这种逻辑结构的物理存储形式把文件中的数据存放到某种存储设备上,使之构成物理文件。 目前文件组织方式主要有下面4种。

5.1.2文件组织方式

第11页:1.顺序文件文件中记录的顺序按记

1.顺序文件文件中记录的顺序按记录关键字值的顺序排列。 例如,一个学生的档案记录所组成的文件按学号这一关键字的顺序排列。

这类文件关于连续存取记录的访问效率很高,因此,这种存取方式适用于需要批量处理数据的组织。

第12页:由于文件一般较大

由于文件一般较大,因此,可以建立一个索引表。 索引表由关键字及起始地址组成。

查找文件中某一记录时,先查找索引表,根据索引表的记录关键字可查到此记录的地址,由此地址即可找到该记录。 当数据文件很大导致索引表也很大时,可以建立多级索引,即在索引表上再建立一级索引。

一般情况下,索引表由软件自动生成。 2.索引文件

第13页:3.计算存取文件

3.计算存取文件(散列文件)这种文件组织中的记录是随机存放的,第i个记录的存放地址是A(Ri)=H(Ki)。 A(Ri)为第i个记录Ri的所在地址,H为某一散列函数,Ki为记录Ri的关键字。

这种文件的记录地址是通过散列函数计算出来的。

第14页:4.倒排文件前面所述文件的组织方

4.倒排文件前面所述文件的组织方法都必须使用关键字,实际问题中往往需要用一些非关键字的数据项来查找记录。 为此,我们可以按非关键字的数据项来组织索引。

其索引项为:非关键字数据项值和指针表。 其中,指针表为具有该数据项值的记录地址。

这种类型的索引表,称为倒排表。 由这种方式组织的文件有主数据文件及若干个辅助的倒排索引文件。

第15页:文件系统的功能是由操作系统实现的

文件系统的功能是由操作系统实现的,具体有以下几点功能

  • (1)决定文件的存放位置、存放形式及存取权限等
  • (2)按名存取,建立从文件名到文件地址之间的映射关系
  • (3)实施对文件的建立、删除、打开、关闭、读、写、修改、复制及各种控制操作
  • (4)管理与文件存取有关的存储空间5.1.3文件系统的功能

第16页:5.2 数据库概述

5.2数据库概述5.2.1数据库的概念1.数据库数据库(Data Base,DB)是按一定的组织形式存储在一起的相互关联的数据集合。 数据库好比一个“魔方”,通过对基本数据的“组织”与“掰动”逻辑,就可以由基本的数据单元形成人们所需的各种数据“图案”。

第17页:数据库系统

数据库系统(DataBaseSystem,DBS)是指计算机系统引入数据库后的系统构成,是一个具有管理数据库功能的计算机软硬件综合系统。 具体地说,它主要包括计算机硬件、操作系统、数据库(DB)、数据库管理系统(DBMS)和建立在该数据库之上的相关软件、数据库管理员和用户等组成部分。

数据库系统具有数据的结构化、共享性、独立性、可控冗余度以及数据的安全性、完整性和并发控制等特点。 2.数据库系统

第18页:3.数据库系统的体系结构从数据库

3.数据库系统的体系结构从数据库管理系统角度看,数据库系统是一个3级模式结构;从最终用户角度看,数据库系统分为单用户结构、主从式结构、分布式结构和客户/服务器结构。

第19页:1)单用户结构的数据库系统

1)单用户结构的数据库系统:一种早期的最简单的数据库系统

  • 包括应用程序、DBMS、数据,都装在一台计算机上,由一个用户独占,不同计算机之间不能共享数据
  • 2)主从式结构的数据库系统:一个主机带有多个终端的多用户结构
  • 数据库系统,包括应用程序、DDMS、数据等都集中存放在主机上,所有处理任务都由主机来完成
  • 各个用户通过主机的终端并发地存取数据,共享数据库中的数据资源

第20页:3)分布式结构的数据库系统

3)分布式结构的数据库系统:指数据库中的数据在逻辑上是一个整体,但物理上分布在计算机网络的不同节点上

  • 网络中的每个结点都可以独立处理本地数据库中的数据,执行局部应用;同时也可以同时存取和处理多个异地数据库中的数据,执行全局应用
  • 4)客户/服务器结构的数据库系统:把DBMS功能与应用分开
  • 网络某个节点上的计算机专门用于执行DBMS功能,称为数据库服务器,其他节点上的计算机则安装DBMS的外围应用开发工具,支持用户的应用,称为客户机

第21页:5.2.2 数据库发展数据处理的核心问题

5.2.2数据库发展数据处理的核心问题是数据管理。 数据管理是指对数据进行组织、编码、分类、存储、检索与维护等操作。

数据管理技术随着计算机硬件和软件的发展而发展。 数据库技术萌芽于20世纪60年代中期,60年代到70年代初日益成熟。

第22页:1.人工管理阶段

1.人工管理阶段:1946—1950年中期主要用于科学计算。 特点:使用的数据不保存,用完就拿走;没有软件系统对数据进行管理,而是由人工规定数据逻辑结构和存取方法;没有文件概念,用户负责数据的组织方式时,必须考虑数据存取细节;数据和程序一一对应,不同的应用程序之间不能共享数据。

第23页:2.文件系统阶段

2.文件系统阶段:1950年中期—1960年中期

  • 计算机的应用范围逐渐扩大,已大量用于数据处理、事务管理、工业控制等领域
  • 数据可长期保存在外存设备上,文件可以被反复多次地进行查询、添加、删除和修改等操作;有统一的文件管理系统。用户按照统一的方式建立和存取文件,集中精力于算法和数据的逻辑组织结构,大大提高了数据管理的效率和准确性

第24页:20世纪60年代中期标志数据库技术产生

20世纪60年代中期标志数据库技术产生有3件事:①IBM公司研制开发了基于层次结构的数据库管理系统IMS(InformationManagementSystem);②美国数据系统语言协会的数据库任务组(DataBaseTaskGroup)提出的DBTG报告,是数据库网状模型的基础和代表;③1970年,IBM公司SanJose实验室的研究员发表“大型共享数据库数据的关系模型”论文,为关系数据库的发展奠定了理论基础。 3.数据库系统阶段:20世纪60年代后期

第25页:数据库技术与其他计算机技术的相互渗透

数据库技术与其他计算机技术的相互渗透

第26页:5.2.3 数据库管理系统

5.2.3数据库管理系统(Data Base Management Systems,DBMS)数据库管理系统是一个对数据库进行管理的软件系统。 通常包括数据定义语言、编译程序、数据操纵语言、数据管理例行程序。

DBMS提供了许多命令、函数和语句让用户对数据库中的数据进行管理操作。 数据库的一切操作都是通过数据库管理系统来实现的。

第27页:Oracle体系结构InstanceSG

Oracle体系结构InstanceSGARedo logbuffer cacheShared poolData Dict.cacheLibrarycacheDBWRSMONPMONCKPTLGWROthersUserprocessServerprocessPGAControlfilesDatafilesArchivedlog filesParameterfilePasswordfileRedo logfilesDatabaseDatabasebuffer cache

第28页:1)数据定义语言

1)数据定义语言:定义数据库的各级数据结构及它们之间的映像,及各种完整性约束和安全性措施。 2)数据操纵语言:为用户或应用程序访问数据库提供接口,根据数据库系统的使用方式不同,一般可分为独立式查询语言和嵌入式查询语言两大类。

3)数据库运行控制系统:是数据库管理系统的核心,包含各种例行程序。 1.数据库管理系统的组成

第29页:结构化查询语言

结构化查询语言(SQL)的理论是1974年提出,并在IBM公司的System R上实现

  • 具有功能丰富、使用方式灵活、语言简洁易学等优点,在计算机工业界和用户中备受青睐
  • SQL成为关系数据库的标准语言
  • SQL有如下几个比较突出的优点
  • (1)完备性。(2)灵活性。(3)简洁、易学易用。2.结构化查询语言

第30页:(1)数据定义

(1)数据定义:定义和修改数据库对象,如CREATE TABLE(创建表)、DROP TABLE(删除表)等。 (2)数据操纵:数据的增、删、改和查询操作,如SELECT(查询数据)、INSERT(插入数据)、DELETE(删除数据)、UPDATE(修改数据)等。

(3)数据库和事务控制:控制用户对数据库的访问权限,如GRANT(授予权限)、REVOKE(取消权利)、COMMIT(事务提交)、ROLLBACK(事务撤销)等。 SQL的功能可以分成以下3类

第31页:3.数据库管理系统的工作方式1)

3.数据库管理系统的工作方式1)终端用户工作方式:用户使用键盘输入某一带有参数的命令,向数据库存取数据。 2)批处理工作方式(程序方式):用户应用数据库操纵语言编出完整的程序后运行,计算机根据应用程序的指示,完成所需的一系列工作。

3)在线用户工作方式(联机用户工作方式):使用数据操纵语言工作。

第32页:5.3 数据库设计

5.3数据库设计

  • (1)现实世界(reality field)
  • 人们头脑之外的客观世界,包含客观事物及其相互联系
  • (2)观念世界(Info. Field)
  • 客观世界在人们头脑中的反映,客观事物在观念世界中称为实体(entity)
  • (3)数据世界(data field)
  • 指信息世界中信息的数据化。在客观世界中的事物及其联系,在数据世界中用数据模型描述。5.3.1人类认识事物的过程模型

第33页:5.3.2 数据模型

5.3.2数据模型1.数据模型对客观事物及其联系的数据化描述数据库系统设计中用于提供信息表示和操作手段的形式结构DBMS实现的数学基础数据模型主要有3种层次模型(hierarchicalmodel)网状模型(networkmodel)关系模型(relationalmodel)

第34页:2.关系模型

2.关系模型

  • 建立在数学概念的基础
  • 应用关系代数和关系演算等数学理论处理数据库系统的方法
  • 实体-联系方法(E-R方法)是由P.P.S.Chen于1976年提出的,用于数据库设计的方法
  • 实体是客观存在的事物
  • 属性是实体某一方面的特性
  • 关系是客观存在的事物之间的联系

第35页:(1)关系

(1)关系:一个关系对应于一张二维表(2)元组:表中一行称为一个元组(3)属性:表中一列称为一个属性,给每列起一个名即为属性名(4)主关键字:是表中的某个属性组,它的值唯一地标识一个元组(5)域:属性的取值范围(6)分量:元组中的一个属性值(7)关系模式:对关系的描述,用关系名(属性1,属性2,……,属性n)来表示关系模型中的主要术语

第36页:5.3.3 数据库的设计

5.3.3数据库的设计

  • 在一个给定的应用环境下
  • 确定一个最优数据模型和处理模式
  • 构筑既能满足多个用户的数据需求与处理要求,又能被某个数据库管理系统所接受,还能安全、有效、可靠地存取数据的数据库

第37页:从现实世界到观念世界的形成

从现实世界到观念世界的形成,以及最终到数据世界的建立,是数据库建立的思维过程

  • 4个步骤:用户需求分析、概念结构设计、逻辑结构设计和物理结构设计1.数据需求分析对数据及其处理的要求,对数据的安全性和完整性的要求数据库建立的过程

第38页:2.概念结构设计根据用户的需求设

2.概念结构设计根据用户的需求设计数据库模型,称为概念模型,是面向问题的概念性的模型,与具体的数据库管理系统无关E-R图表示现实世界的实体和关系,用E-R图所描述的模式叫组织模式那些与具体的数据库管理系统有关的模式(层次的、网状的、关系的)称为逻辑模式或用户模式

第39页:概念结构设计的步骤

概念结构设计的步骤

  • 1)画出E-R图
  • (1)划分和确定实体类型
  • (2)划分和确定关系类型
  • (3)确定属性
  • (4)画出E-R图。反复执行步骤(1)~(3),找出所有实体集、关系集、属性和属性值集,在用户视图设计基础上综合各分E-R图,形成总的E-R图,再利用数据流程图,消除数据实体间冗余的联系,形成基本E-R图

第40页:E-R图定义概念序号观念世界中被描述

E-R图定义概念序号观念世界中被描述的客观事物或事物之间的联系实体(entity)1实体具有的某种特征。 实体分为个体和总体,总体是个体组成的集合属性(property)2实体之间或实体内部属性之间的关系。

(1)一对一,用1∶1表示(2)一对多,用1∶n表示(3)多对多,用m∶n表示联系(relation)3E-R方法的有关概念表

第41页:2)关系的规范化

2)关系的规范化

  • (1)第一范式(First Normal Form,1NF)在同一表中,没有重复项出现
  • (2)第二范式(2NF)每个表必须有一个数据元素为主关键字,其它数据元素与主关键字一一对应
  • (3)第三范式(3NF)满足2NF且任何一个非主属性都不传递依赖于任何主关键字规范化理论是E.F.Codd在1971年提出,他和后来的研究者为数据结构提出了5种规范化模式(Normal Form,NF),这里仅讨论前3种范式

第42页:不符合1NF的关系工资姓名教师代码附加工

不符合1NF的关系工资姓名教师代码附加工资/元基本工资/元2000.002000.00李明10011500.001500.00王军10021300.001100.00张淑红1003符合1NF的关系附加工资/元基本工资/元姓名教师代码2000.002000.00李明10011500.001500.00王军10021300.001100.00张淑红1003不符合2NF的教师与研究课题关系研究课题名研究课题号职称姓名教师代码

第43页:3.逻辑结构设计任务是

3.逻辑结构设计任务是将概念结构(即E-R图)转换为与选用的数据库管理系统所支持的数据模型相符的逻辑数据模型。 现行的DBMS一般只支持层次、网状或关系3种模型中的某一种一般转换过程分两步进行。

把概念结构向一般的数据模型转换向特定的DBMS支持下的数据模型转换。

第44页:4.物理设计

4.物理设计主要指对数据库在物理设备上的存储结构和存取方法的设计以逻辑设计结果作为输入,结合具体的DBMS功能、数据库管理系统所提供的物理环境和工具、应用环境和数据存储设备,进行数据的存储组织和方法的设计。

第45页:5.数据库的实施和维护对数据库的

5.数据库的实施和维护对数据库的物理设计进行评价数据库建立之后,对数据库试运行,继续进行测试评价维护阶段的主要工作:对数据库的安全性、完整性的控制;系统的转储和恢复,性能的监督、分析和改进;数据库的再组织和再构造等

第46页:5.4 数据仓库与数据挖掘技术

5.4数据仓库与数据挖掘技术5.4.1数据仓库(data warehouse)最早出现于20世纪90年代初在数据库基础上发展而来的,为了满足人们在高度数据积累的基础上进行数据分析的需要而产生面向主题的、集成的、稳定的、随时间变化的数据集合,是管理科学、计算机科学、网络技术和分析手段的大融合

第47页:包括数据仓库、在线分析处理

包括数据仓库、在线分析处理(OLAP)和数据挖掘技术3个方面的内容。 在线分析侧重于对所有事务进行多角度的展现,而数据挖掘则侧重于对事务中蕴涵的未知规律进行发现。

可以说,数据仓库技术使人们从全新的视角认识了数据的价值。 数据仓库是决策支持系统的一种有效、可行和体系化解决方案数据仓库的内容

第48页:5.4.2 数据挖掘技术

5.4.2数据挖掘技术1.数据挖掘技术的定义定义:从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中,抽取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程过程:数据挖掘过程可粗略地分为问题定义、数据准备和预处理、数据挖掘以及结果的解释和评估等阶段

第49页:2.网络数据挖掘网络内容挖掘就是

2.网络数据挖掘网络内容挖掘就是一个从网络信息内容中发现有用信息的过程;网络结构挖掘是挖掘Web潜在的链接结构模式;网络内容挖掘和网络结构挖掘的挖掘对象是网上的原始数据,而网络用法挖掘面对的则是在用户和网络交互的过程中抽取出来的第二手数据。 通过网络用法挖掘,可以了解用户的网络行为数据所具有的意义。

数据挖掘的对象可以是任何组织在一起的数据集合

第50页:3.数据挖掘技术的发展数据挖掘领

3.数据挖掘技术的发展数据挖掘领域充分体现了各种方法论的相互交叉、渗透和协作。

第51页:

第52页:

第53页:(1)文件属于操作系统范畴的概念

(1)文件属于操作系统范畴的概念,操作系统将一组相关的字符序列看成一个整体,给唯一的命名以区别于其他的数据集;文件组织的方式有顺序文件、索引文件、计算存取文件和倒排文件;文件系统的功能是决定文件存放位置、存放形式及存取权限等,按名存取,建立从文件名到文件地址之间的映射关系,实施对文件的建立、删除、打开、关闭、读、写、修改、复制及各种控制操作,以及管理与文件存取有关的存储空间。 本章小结

第54页:本章小结

本章小结(2)数据库
定义为存储在一起的相关数据的集合,这些数据无有害的或有必要的冗余,为多种应用服务;数据的存储独立于使用它的程序;对数据库插入新数据、修改和检索原有数据均能按一种公用的和可控制的方法进行;数据被结构化,为今后的应用研究提供了基础。

第55页:(3)数据库管理系统

(3)数据库管理系统(Data Base ManagementSystems,DBMS)是一个对数据库进行管理的软件系统,通常包括数据定义语言、编译程序、数据操纵语言、数据管理例行程序。 (4)人类认识事物的过程是从现实世界、观念世界到数据世界。

数据库设计的主要步骤是需求分析、概念结构设计、逻辑结构设计和物理结构设计。 其中概念结构设计是数据库设计的关键环节,运用E-R图的方法和规范化的理论。

第56页:本章小结

本章小结(5)数据仓库(data warehouse)是在数据库基础上发展而来的,是为了满足人们在高度数据积累的基础上进行数据分析的需要而产生的。 它是面向主题的、集成的、稳定的、随时间变化的数据集合,它是管理科学、计算机科学、网络技术和分析手段的大融合。

第57页:本章小结

本章小结(6)数据挖掘(data mining)是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中,抽取隐含在其中的、人们事先不知道、但又是潜在有用的信息和知识的过程。 数据挖掘就是在一些事实或观察数据的集合中寻找特定的模式、关联规则、变化规律等的决策支持过程,是一种在大量数据库中发现隐藏的新知识的计算技术方法。

第58页:案例:分析

案例分析:TNT的数据库攻略

  • 过去四五个月中,上海大约有700万人收到了一份精致的A4纸问卷表格,询问他们对银行、保险、汽车、电信等产品的品牌偏好,其中,有50万人把填完的表格寄回到了快递巨头TNT的全资附属公司——上海天地直复营销策划服务有限公司
  • 8月9日,已经收集到这么多数据的TNT集团宣布正式启动在中国的直复营销服务,并把其收集到的消费者数据库命名为“亿向”。亿向数据库马上就吸引了来自保险、汽车等行业的商家,要求与上海天地签订合作合同
  • 一个专注于快递及物流服务的世界500强企业怎么突然在中国经营起数据库?这又将给TNT的中国业务带来什么样的影响呢
  • 醉翁之意
  • 逆向操作
  • 竞争激化

第59页:讨论与思考题

问题

  • 为什么亿向数据库一推出,众多企业纷纷要求与TNT中国公司合作呢
  • 亿向数据库有什么特征?你认为TNT中国公司的亿向数据库能成功吗
顶部目录