08 第8章 Web挖掘技术.pptx

第1页：第8章Web挖掘技术封面

• 第8章Web挖掘技术【教学目标与要求】
• 了解WEB数据挖掘的发展现状、分类及其流程
• 掌握WEB使用挖掘的过程和方法
• 理解WEB结构挖掘的数据源处理和算法
• 了解WEB内容挖掘的流程

第2页：第8章内容目录

• 8.1Web数据挖掘流程
• 8.2Web数据挖掘分类
• 8.3WUM挖掘过程
• 8.4WEB结构挖掘

第3页：导入案例：Web挖掘与传统挖掘

• 1.背景材料
• 2.案例分析WEB挖掘继承了传统数据挖掘的过程，即数据收集、数据预处理、模式发现、模式分析及应用，但是WEB挖掘的各个过程与传统的数据挖掘又不全相同；Web挖掘是一项涉及Web技术、数据挖掘、计算机语言学、信息学等多个领域的综合技术【导入案例】

第4页：Web站点数据的特点

• Web站点上的数据有其自身的特点，主要的可以归纳为以下几点：
• 数据量巨大，动态性极强，并且增长速度惊人；
• 异构数据库环境，Web页面的结构比一般文本文件复杂很多，它可以支持多种媒体的表达；
• 半结构化的数据结构。8.1Web数据挖掘流程

第5页：Web数据挖掘分类

8.2Web数据挖掘分类

第6页：Web数据的特点与挖掘难点

• Web站点上的数据有其自身的特点，主要的可以归纳为以下几点：
• 数据量巨大，动态性极强，并且增长速度惊人；
• 异构数据库环境，Web页面的结构比一般文本文件复杂很多，它可以支持多种媒体的表达；
• 半结构化的数据结构。8.2Web数据挖掘分类

第7页：Web内容挖掘概述

8.2.1Web内容挖掘概述o1．从资源查找（InformationRetrival）的观点挖掘非结构化文档o2．从数据库（Database）的观点挖掘非结构化文档8.2.2Web结构挖掘概述8.2.3Web访问挖掘概述8.2Web数据挖掘分类

第8页：WUM挖掘过程

8.3WUM挖掘过程

第9页：WUM数据预处理

8.3.1WUM数据预处理预处理主要对用户访问日志进行数据清洗（DataCleaning）、用户唯一性识别（UserIdentification）、用户会话识别（IdentifyUserSession）、路径补充（PathCompletion）和事务识别（transactionidentification）等处理。一、源数据收集二、使用数据预处理三、内容预处理四、结构预处理8.3WUM挖掘过程

第10页：WUM模式发现

8.3.2WUM模式发现模式发现阶段就是利用挖掘算法挖掘出有效的、新颖的、潜在的、有用的及最终可以理解的信息和知识。可用于WUM的技术有统计分析、路径分析、关联规则、序列模式、分类、聚类以及依赖性建模等。8.3.3WUM模式分析挖掘出来的用户行为模式（集合），需要合适的工具和技术对其进行分析、解释和可视化，从中筛选出有趣（有用）的模式，使之成为人们可以理解的知识，否则挖掘出来的模式将得不到很好的应用。对于大量挖掘出来的模式，也需要一种技术使用户可以方便地查询其想要的模式，从而使解释和分析更具有针对性。8.3WUM挖掘过程

第11页：Web结构挖掘与PageRank算法

8.4.1WEB结构挖掘概述1．超链和页面内容的关系2．不同挖掘阶段的分析8.4.2网络结构挖掘的两种算法及改进一、PageRank算法二、HITS算法三、两种算法的比较四、PageRank算法的改进8.4.3Web结构挖掘应用8.4WEB结构挖掘

第12页：Web内容挖掘

web内容挖掘

是对网页内容进行挖掘，包括文本、图像、语音、视频等多媒体信息，其中最多的是对文本信息的挖掘，所用到的数据挖掘技术主要是对文本的分类和聚类1．特征提取和特征表示2．自动摘要3．文本分类4．文本聚类8.5WEB内容挖掘