页数:59页文件大小:805.8 KB来源: 管理信息系统ppt课件
本课件围绕数据库与数据资源管理展开,依次讲解第5章数据库与数据资源管理、文件组织、数据库概述等主要内容,并结合引例与案例分析说明相关方法在管理实践中的应用方式与实施要点,帮助建立从概念理解到方法运用的完整认知。
第5章数据库与数据资源管理
主要内容
引例:告别“拍脑袋”决策
5.1文件组织5.1.1文件的基本概念文件属于操作系统范畴的概念。 凡是具有名字的字符序列都看成是一个文件。
程序、数据集合等,都是文件。 数据文件则是指为了某一特定目的而以一定方式形成的有名字的相关记录的集合。
数据文件是由3个层次的相关数据构成。 记录,记录的属性,记录属性的关键字。
地址是数据存储位置的标志。 例如,用文件记录中的某种顺序编号或用符号名来标识地址。
在一个记录中,若以某一属性来表示相关记录所在的地址时,则称此地址为指针,即由该记录指向相关记录的指针。 1.指针与地址
2.链表由于每一个记录都有指针,并用它指示下一个记录所在的位置,因此,这些记录之间的前后关系完全由指针表示,称这组记录为链表结构。 3.树当记录之间存在着层次及分支的结构关系时,将一个根记录作为第0层,其指针指向第一层的若干个记录,第一层的每个记录又都含有指向第二层记录的指针,以此分层标记所有的记录。
需要注意,记录的指针不允许指向同一层次的记录,下一层的记录允许上一层中一个记录指向,最后一层记录不再指向其他记录,或称它们只有空指针。 如果树结构的记录集合中每个记录只允许两个指针指向下一层,则称这种树结构为二叉树结构。
3.树
将记录的关键字做变换,变换的结果即为记录所存放的地址。 该变换的函数称为散列函数或Hashing函数。
显然,这样变换出来的地址是不连续的,散列在某一个区域内。 因此,在选择散列函数时,要使其算法简单,而且使其变换的地址在某一区域内散列得比较均匀,尽可能地减少冲突现象。
所谓冲突现象,是指不同记录的关键字值经变换后得到的相同记录地址。 对于冲突应有冲突的处理算法。
4.散列函数5.常用的散列函数是除余法
文件组织就是按一定的逻辑结构把有关联的数据记录组织成为文件(称为逻辑文件),并用体现这种逻辑结构的物理存储形式把文件中的数据存放到某种存储设备上,使之构成物理文件。 目前文件组织方式主要有下面4种。
5.1.2文件组织方式
1.顺序文件文件中记录的顺序按记录关键字值的顺序排列。 例如,一个学生的档案记录所组成的文件按学号这一关键字的顺序排列。
这类文件关于连续存取记录的访问效率很高,因此,这种存取方式适用于需要批量处理数据的组织。
由于文件一般较大,因此,可以建立一个索引表。 索引表由关键字及起始地址组成。
查找文件中某一记录时,先查找索引表,根据索引表的记录关键字可查到此记录的地址,由此地址即可找到该记录。 当数据文件很大导致索引表也很大时,可以建立多级索引,即在索引表上再建立一级索引。
一般情况下,索引表由软件自动生成。 2.索引文件
3.计算存取文件(散列文件)这种文件组织中的记录是随机存放的,第i个记录的存放地址是A(Ri)=H(Ki)。 A(Ri)为第i个记录Ri的所在地址,H为某一散列函数,Ki为记录Ri的关键字。
这种文件的记录地址是通过散列函数计算出来的。
4.倒排文件前面所述文件的组织方法都必须使用关键字,实际问题中往往需要用一些非关键字的数据项来查找记录。 为此,我们可以按非关键字的数据项来组织索引。
其索引项为:非关键字数据项值和指针表。 其中,指针表为具有该数据项值的记录地址。
这种类型的索引表,称为倒排表。 由这种方式组织的文件有主数据文件及若干个辅助的倒排索引文件。
文件系统的功能是由操作系统实现的,具体有以下几点功能
5.2数据库概述5.2.1数据库的概念1.数据库数据库(Data Base,DB)是按一定的组织形式存储在一起的相互关联的数据集合。 数据库好比一个“魔方”,通过对基本数据的“组织”与“掰动”逻辑,就可以由基本的数据单元形成人们所需的各种数据“图案”。
数据库系统(DataBaseSystem,DBS)是指计算机系统引入数据库后的系统构成,是一个具有管理数据库功能的计算机软硬件综合系统。 具体地说,它主要包括计算机硬件、操作系统、数据库(DB)、数据库管理系统(DBMS)和建立在该数据库之上的相关软件、数据库管理员和用户等组成部分。
数据库系统具有数据的结构化、共享性、独立性、可控冗余度以及数据的安全性、完整性和并发控制等特点。 2.数据库系统
3.数据库系统的体系结构从数据库管理系统角度看,数据库系统是一个3级模式结构;从最终用户角度看,数据库系统分为单用户结构、主从式结构、分布式结构和客户/服务器结构。
1)单用户结构的数据库系统:一种早期的最简单的数据库系统
3)分布式结构的数据库系统:指数据库中的数据在逻辑上是一个整体,但物理上分布在计算机网络的不同节点上
5.2.2数据库发展数据处理的核心问题是数据管理。 数据管理是指对数据进行组织、编码、分类、存储、检索与维护等操作。
数据管理技术随着计算机硬件和软件的发展而发展。 数据库技术萌芽于20世纪60年代中期,60年代到70年代初日益成熟。
1.人工管理阶段:1946—1950年中期主要用于科学计算。 特点:使用的数据不保存,用完就拿走;没有软件系统对数据进行管理,而是由人工规定数据逻辑结构和存取方法;没有文件概念,用户负责数据的组织方式时,必须考虑数据存取细节;数据和程序一一对应,不同的应用程序之间不能共享数据。
2.文件系统阶段:1950年中期—1960年中期
20世纪60年代中期标志数据库技术产生有3件事:①IBM公司研制开发了基于层次结构的数据库管理系统IMS(InformationManagementSystem);②美国数据系统语言协会的数据库任务组(DataBaseTaskGroup)提出的DBTG报告,是数据库网状模型的基础和代表;③1970年,IBM公司SanJose实验室的研究员发表“大型共享数据库数据的关系模型”论文,为关系数据库的发展奠定了理论基础。 3.数据库系统阶段:20世纪60年代后期
数据库技术与其他计算机技术的相互渗透
5.2.3数据库管理系统(Data Base Management Systems,DBMS)数据库管理系统是一个对数据库进行管理的软件系统。 通常包括数据定义语言、编译程序、数据操纵语言、数据管理例行程序。
DBMS提供了许多命令、函数和语句让用户对数据库中的数据进行管理操作。 数据库的一切操作都是通过数据库管理系统来实现的。
Oracle体系结构InstanceSGARedo logbuffer cacheShared poolData Dict.cacheLibrarycacheDBWRSMONPMONCKPTLGWROthersUserprocessServerprocessPGAControlfilesDatafilesArchivedlog filesParameterfilePasswordfileRedo logfilesDatabaseDatabasebuffer cache
1)数据定义语言:定义数据库的各级数据结构及它们之间的映像,及各种完整性约束和安全性措施。 2)数据操纵语言:为用户或应用程序访问数据库提供接口,根据数据库系统的使用方式不同,一般可分为独立式查询语言和嵌入式查询语言两大类。
3)数据库运行控制系统:是数据库管理系统的核心,包含各种例行程序。 1.数据库管理系统的组成
结构化查询语言(SQL)的理论是1974年提出,并在IBM公司的System R上实现
(1)数据定义:定义和修改数据库对象,如CREATE TABLE(创建表)、DROP TABLE(删除表)等。 (2)数据操纵:数据的增、删、改和查询操作,如SELECT(查询数据)、INSERT(插入数据)、DELETE(删除数据)、UPDATE(修改数据)等。
(3)数据库和事务控制:控制用户对数据库的访问权限,如GRANT(授予权限)、REVOKE(取消权利)、COMMIT(事务提交)、ROLLBACK(事务撤销)等。 SQL的功能可以分成以下3类
3.数据库管理系统的工作方式1)终端用户工作方式:用户使用键盘输入某一带有参数的命令,向数据库存取数据。 2)批处理工作方式(程序方式):用户应用数据库操纵语言编出完整的程序后运行,计算机根据应用程序的指示,完成所需的一系列工作。
3)在线用户工作方式(联机用户工作方式):使用数据操纵语言工作。
5.3数据库设计
5.3.2数据模型1.数据模型对客观事物及其联系的数据化描述数据库系统设计中用于提供信息表示和操作手段的形式结构DBMS实现的数学基础数据模型主要有3种层次模型(hierarchicalmodel)网状模型(networkmodel)关系模型(relationalmodel)
2.关系模型
(1)关系:一个关系对应于一张二维表(2)元组:表中一行称为一个元组(3)属性:表中一列称为一个属性,给每列起一个名即为属性名(4)主关键字:是表中的某个属性组,它的值唯一地标识一个元组(5)域:属性的取值范围(6)分量:元组中的一个属性值(7)关系模式:对关系的描述,用关系名(属性1,属性2,……,属性n)来表示关系模型中的主要术语
5.3.3数据库的设计
从现实世界到观念世界的形成,以及最终到数据世界的建立,是数据库建立的思维过程
2.概念结构设计根据用户的需求设计数据库模型,称为概念模型,是面向问题的概念性的模型,与具体的数据库管理系统无关E-R图表示现实世界的实体和关系,用E-R图所描述的模式叫组织模式那些与具体的数据库管理系统有关的模式(层次的、网状的、关系的)称为逻辑模式或用户模式
概念结构设计的步骤
E-R图定义概念序号观念世界中被描述的客观事物或事物之间的联系实体(entity)1实体具有的某种特征。 实体分为个体和总体,总体是个体组成的集合属性(property)2实体之间或实体内部属性之间的关系。
(1)一对一,用1∶1表示(2)一对多,用1∶n表示(3)多对多,用m∶n表示联系(relation)3E-R方法的有关概念表
2)关系的规范化
不符合1NF的关系工资姓名教师代码附加工资/元基本工资/元2000.002000.00李明10011500.001500.00王军10021300.001100.00张淑红1003符合1NF的关系附加工资/元基本工资/元姓名教师代码2000.002000.00李明10011500.001500.00王军10021300.001100.00张淑红1003不符合2NF的教师与研究课题关系研究课题名研究课题号职称姓名教师代码
3.逻辑结构设计任务是将概念结构(即E-R图)转换为与选用的数据库管理系统所支持的数据模型相符的逻辑数据模型。 现行的DBMS一般只支持层次、网状或关系3种模型中的某一种一般转换过程分两步进行。
把概念结构向一般的数据模型转换向特定的DBMS支持下的数据模型转换。
4.物理设计主要指对数据库在物理设备上的存储结构和存取方法的设计以逻辑设计结果作为输入,结合具体的DBMS功能、数据库管理系统所提供的物理环境和工具、应用环境和数据存储设备,进行数据的存储组织和方法的设计。
5.数据库的实施和维护对数据库的物理设计进行评价数据库建立之后,对数据库试运行,继续进行测试评价维护阶段的主要工作:对数据库的安全性、完整性的控制;系统的转储和恢复,性能的监督、分析和改进;数据库的再组织和再构造等
5.4数据仓库与数据挖掘技术5.4.1数据仓库(data warehouse)最早出现于20世纪90年代初在数据库基础上发展而来的,为了满足人们在高度数据积累的基础上进行数据分析的需要而产生面向主题的、集成的、稳定的、随时间变化的数据集合,是管理科学、计算机科学、网络技术和分析手段的大融合
包括数据仓库、在线分析处理(OLAP)和数据挖掘技术3个方面的内容。 在线分析侧重于对所有事务进行多角度的展现,而数据挖掘则侧重于对事务中蕴涵的未知规律进行发现。
可以说,数据仓库技术使人们从全新的视角认识了数据的价值。 数据仓库是决策支持系统的一种有效、可行和体系化解决方案数据仓库的内容
5.4.2数据挖掘技术1.数据挖掘技术的定义定义:从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中,抽取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程过程:数据挖掘过程可粗略地分为问题定义、数据准备和预处理、数据挖掘以及结果的解释和评估等阶段
2.网络数据挖掘网络内容挖掘就是一个从网络信息内容中发现有用信息的过程;网络结构挖掘是挖掘Web潜在的链接结构模式;网络内容挖掘和网络结构挖掘的挖掘对象是网上的原始数据,而网络用法挖掘面对的则是在用户和网络交互的过程中抽取出来的第二手数据。 通过网络用法挖掘,可以了解用户的网络行为数据所具有的意义。
数据挖掘的对象可以是任何组织在一起的数据集合
3.数据挖掘技术的发展数据挖掘领域充分体现了各种方法论的相互交叉、渗透和协作。
(1)文件属于操作系统范畴的概念,操作系统将一组相关的字符序列看成一个整体,给唯一的命名以区别于其他的数据集;文件组织的方式有顺序文件、索引文件、计算存取文件和倒排文件;文件系统的功能是决定文件存放位置、存放形式及存取权限等,按名存取,建立从文件名到文件地址之间的映射关系,实施对文件的建立、删除、打开、关闭、读、写、修改、复制及各种控制操作,以及管理与文件存取有关的存储空间。 本章小结
(3)数据库管理系统(Data Base ManagementSystems,DBMS)是一个对数据库进行管理的软件系统,通常包括数据定义语言、编译程序、数据操纵语言、数据管理例行程序。 (4)人类认识事物的过程是从现实世界、观念世界到数据世界。
数据库设计的主要步骤是需求分析、概念结构设计、逻辑结构设计和物理结构设计。 其中概念结构设计是数据库设计的关键环节,运用E-R图的方法和规范化的理论。
本章小结(5)数据仓库(data warehouse)是在数据库基础上发展而来的,是为了满足人们在高度数据积累的基础上进行数据分析的需要而产生的。 它是面向主题的、集成的、稳定的、随时间变化的数据集合,它是管理科学、计算机科学、网络技术和分析手段的大融合。
本章小结(6)数据挖掘(data mining)是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中,抽取隐含在其中的、人们事先不知道、但又是潜在有用的信息和知识的过程。 数据挖掘就是在一些事实或观察数据的集合中寻找特定的模式、关联规则、变化规律等的决策支持过程,是一种在大量数据库中发现隐藏的新知识的计算技术方法。
案例分析:TNT的数据库攻略
问题
下载地址:{{downurl}}
{{{a}}}
{{#b}}{{{b}}}
{{/b}} {{/title}} {{#nolog}}登陆注册
{{/nolog}} {{#djsx}}点我刷新
{{/djsx}} {{#gocz}} {{/gocz}} {{#ffqr}} {{/ffqr}}