06 第6章 数据挖掘的目的任务.pptx

第1页：第6章数据挖掘的目的任务封面

• 第6章数据挖掘的目的任务
• 【教学目标与要求】
• 了解数据挖掘的目的在于搜寻复杂数据之间的联系规律
• 掌握存在于数据之间的多种联系规律及其概念、特点
• 掌握针对各种数据联系规律的挖掘方法
• 进一步了解人们对各种数据的规律发现及处理方法

第2页：第6章内容目录

• 6.1关联分析
• 6.2分类分析
• 6.3聚类分析
• 6.4离群数据分析
• 6.5序列模式分析

第3页：导入案例结构与要求

• 1.背景材料
• 2.案例
• 3.分析
• 4.功能【导入案例】

第4页：关联分析引言与引例

关联分析的目的就

是发现数据之间或特征之间的相互依赖关系，常用技术有关联规则、回归分析等.

• 6.1.1引言引例1——商店货物摆放引例2——网页浏览6.1关联分析

第5页：关联分析的基本概念

6.1.2基本概念support(XY)=|{T:XYT，TD}|/|D|confidence(XY)=|{T:XYT，TD}|/|{T:XT，TD}|6.1关联分析

第6页：关联规则的种类

6.1.3关联规则的种类我们可以将关联规则进行如下分类:（1）根据规则中所处理的值类型（2）根据规则中涉及的数据维（3）根据规则集所涉及的抽象层（4）根据关联规则所涉及的关联特性6.1.4关联规则的研究现状6.1关联分析

第7页：分类的定义

“人以类聚，物以群分”6.2.1分类的定义1．问题的提出2．分类的过程6.2分类分析

第8页：分类的目的与分类器构造

分类的目的

是学会一个分类函数（分类器），通过分类器把数据库中的数据项映射到给定类别中的某一个。分类器的构造方法有统计方法、机器学习方法、神经网络学习方法等。不同的分类器有不同的特点，其评价标准是预测准确度、计算复杂度、模型描述的简洁度。10遍分层交叉验证法(10-foldcrossvalidation)6.2分类分析

第9页：样本测度与相似性测度

6.2.2样本测度6.2.3相似性测度一．样本间的相似性测度(一)距离函数(二)相似系数二．类与类间的相似性测度三．数据的中心化与标准化6.2分类分析

第10页：分类的方法

6.2.4分类的方法基于决策树分类法、统计分类方法、神经网络方法、Bayesian分类、RoughSet分类、SVM方法、Boosting算法、覆盖算法等。值得一提的是，数据的特点如数据噪音、缺失、分布以及类型等，都对分类的效果产生较大的影响。目前普遍认为，不存在某种方法能适用于各种特点的数据6.2分类分析

第11页：聚类分析概述

• 聚类（clusteranalysis）是人类认识未知世界的一种重要的认知手段。
• “学而时习之”，对所获得的知识形成“类别”，是聚类的过程，它是一种在无导师的情况下，根据样本间的相似程度划分距离，自动地进行分类的方法。6.3聚类分析

第12页：聚类的概念与算法

6.3.1聚类的概念1．问题的提出2．聚类的定义6.3.2数据挖掘领域的聚类方法一．数据挖掘领域的聚类算法二．数据挖掘领域的综合聚类算法6.3聚类分析

第13页：聚类算法的特点

6.3.3聚类算法的特点处理大量数据的能力处理不同字段类型的能力发现具有任意簇形状的聚类能力用于决定输入参数的领域知识弱依赖性的能力处理异常数据的能力对于数据输入的顺序不敏感处理高维数据的能力基于约束聚类的能力可解释性和可用性6.3聚类分析

第14页：离群数据的概念

数据库中的数据常有一些异常记录，就是明显偏离其它数据，它们与数据的一般行为或模型不一致，这些异常记录是离群值（outlierdata）。在一些应用中，如灾害检测、欺诈检测，罕见的事件可能比正常出现的事件更有价值。如电信计费、贷款审批、医疗保险等各种数据中普遍存在着各种欺诈数据，通过对离群数据的研究，发现这些数据中的不正常行为和模式，获得出乎意料的知识。6.4离群数据分析

第15页：离群点检测方法

6.4.1离群点检测方法离群数据挖掘可以分解为三个主要步骤：首先是量化离群数据的定义，与其它数据的相异度为多少时才定义为离群数据，以何种属性作为度量依据；二是如何设计有效的和准确的挖掘算法从大量数据集中发现和搜寻离群数据；三是对发现的离群数据判断是正常数据(异常)还是错误数据(噪音)，进而决定是否进行深入研究。6.4离群数据分析

第16页：离群数据的发现方法

1．基于统计的离群数据的发现方法2．基于距离的离群数据的发现方法3．基于偏离的离群数据的发现方法4．基于规则的离群数据的发现方法5．基于聚类算法的离群数据发现方法6．基于相似系数的离群数据发现方法6.4离群数据分析

第17页：数据挖掘领域的离群值算法

6.4.2离群数据分析6.4.3数据挖掘领域中的离群值分析算法6.4离群数据分析

第18页：序列模式的概念

序列模式(SequenceModel)由R．Agrawal于1995年首先提出的，序列模式寻找的是事件之间在顺序上的相关性。序列模式分析与关联分析很相似，其目的也是为了挖掘数据之间的联系，但序列模式分析的侧重点在于分析数据间的前后序列关系，发现的规则也与先后顺序有关。序列模式分析描述的问题是：在给定交易序列数据库中，每个序列是按照交易时间排列的一组交易集，挖掘序列函数作用在这个交易序列数据库上，返回该数据库中出现的高频序列。6.5序列模式分析

第19页：时间序列的概念

6.5.1时间序列时间序列(timeseries)的数据库内某个字段的值是随着时间而不断变化的。时间序列数据是序列数据的一种特殊形式，序列数据库中既可以包含时间属性，也可以不包含时间属性。通常我们所面临的决策中，时间往往是一个重要的变量。6.5序列模式分析

第20页：时间序列趋势分析

6.5.2时间序列分析一、时间序列趋势分析1)．T（长期趋势trend）2)．C（周期变动cycle）3)．S（季节变动season）4)．E（偶发事件erraticevents），6.5序列模式分析

第21页：时间序列挖掘方法

二、时间序列挖掘方法1．小波变换小波变换是空间(时间)和频率的局部变换，因而能有效地从信号中提取信息。通过伸缩和平移等运算功能可对函数或信号进行多尺度的细化分析2．EMD方法(empiricalmodedecomposition，EMD)6.5序列模式分析

第22页：空间数据挖掘

6.5.3空间数据分析一、空间数据挖掘二、空间数据挖掘的研究现状三、空间数据挖掘的发展趋势四、空间数据库的数据挖掘方法6.5序列模式分析

第23页：分形理论的引入

被誉为大自然几何学的分形（Fractal）理论，是现代数学的一个新分支，但其本质却是一种新的世界观和方法论。它与动力系统的混沌理论交叉结合，相辅相成。它承认世界的局部可能在一定条件下和过程中，在某一方面（形态，结构，信息，功能，时间，能量等）表现出与整体的相似性，并且空间维数的变化既可以是离散的也可以是连续的，因而大大拓展了人们的研究视野。6.6分形模式分析

第24页：分形的基本概念

6.6.1分形的基本概念分形一词的本义是不规则的、破碎的、分数的。Mandelbrot是想用此词来描述自然界中传统欧几里德几何学所不能描述的一大类如前所述的复杂无规则的几何现象。这些现象的特点是：极不规则或极不光滑。直观而粗略地说，这些对象都是分形。分形几何学（fractalGeometry）是一门以非规则几何形态为研究对象的几何学。由于不规则现象在自然界是普遍存在的，因此分形几何又称为描述自然的几何学。6.6分形模式分析

第25页：分形的特性

6.6.2分形维1．分形的特性分形是一种复杂的几何形体，其最明显的特征是具有自相似和标度不变性。自相似原则和迭代生成原则是分形理论的重要原则，它表征分形在通常的几何变换下具有不变性6.6分形模式分析

第26页：分形分布的性质

• 2．分形分布的性质
• 稳定性
• 可加性
• 胖尾性
• 非连续性
• 长期记忆性
• 自相似性

第27页：分形维的概念

3．分形维分形维（又称分数维）通常用分数或带小数点的数表示，是分形的一个重要特征向量，它描述了一个客体如何填满它所在的空间，可以用来测度金融时间序列参差不齐的程度。6.6分形模式分析

第28页：R/S分析方法概述

6.6.3R/S分析方法概述1．R/S方法简介R/S分析法（rescaledrangeanalysis）即重标极差分析法，是英国著名水文学家赫斯特（H.E.Hurst）提出的2．Hurst指数的含义6.6分形模式分析

第29页：基于分形理论的数据挖掘技术

6.6.4基于分形理论的数据挖掘技术1．基于分形维数的特征属性选择方法2．基于分形维数的数据挖掘技术的进一步研究方向当前分形技术在数据挖掘领域的研究主要集中在特征属性选择、聚类、关联规则的发现、和分类与预测方面，在这些方面，分形技术表现出其在处理复杂结构、高维数据集上的优异性能6.6分形模式分析