页数：35页文件大小：102.0 KB来源： 信息资源建设与组织ppt课件
本课件介绍自动标引的定义与意义、统计法与语言法等基本原理、从确定标引源到给出主题标识符的基本流程，以及汉语词语自动切分的词典法、统计法与混和法，并用对比数据说明其稳定性优势。
本章介绍自动标引的定义及意义、自动标引的基本原理、自动标引的基本流程、自动分词以及其他相关内容。
自动标引（Automatic Indexing），又称计算机辅助标引（Computer Aided Indexing），是根据文献内容，依靠计算机系统全部或部分地自动给出标引符号的过程。换句话说，就是利用计算机系统模仿人的标引活动并自动生成情报检索所需的索引符号的过程。
1.适应信息资源快速增长的需要。加利福尼亚大学伯克利分校研究人员发现，仅1999-2002年的三年中，全球新生产出的信息量就翻了一番，新产生的信息中92%记录在硬盘等磁存储介质上。信息资源的快速增长造成信息相对过剩，只有提高信息组织的效率才能摆脱信息相对过剩带来的困惑，因此信息标引显得非常重要，自动标引适应了这一需要。
2.相对手工标引存在很大优势，克服了手工标引难以克服的缺点。与熟练标引人员相比，自动标引的准确性不如手工标引，但在其他指标方面自动标引具有无可比拟的优势：
美国的 Cleverton 曾作过一些试验，结果：
自动标引不受标引人员状态和情绪的影响，稳定性好。美国学者伦兹作过两个试验：
采用计算机自动标引，无论何时对同一篇文献总能标引出相同的主题词。
美国学者 Salton 对受控人工标引系统 MEDLARS 和自动标引系统 SMART 做了一些比较，结论是：相对简单的自动文本分析系统在文献检索环境中产生的检索结果，其质量不亚于受控标引通常所能达到的水平。
目前研究的自动标引的方法很多，较典型的汉语自动标引方法：词典标引法、切分标引法、语法分析标引法、汉语自动标引专家系统、单汉字标引法等。根据自动标引采用的理论划分，自动标引的方法主要有3种：统计法、语言法、人工智能法。
统计法（Statistical Approach）：自动标引各种方法中历史最长的一种，也是目前较为成熟的一种方法。理论基础是齐夫（Zipf）的省力法则（Principle of Least Effort）。典型代表：词频加权方法，根据词的出现频率及出现位置等因素确定标引词。
语言法（Linguistic Approach）：通过对构成文献的自然语言的分析，利用一定算法产生标引词，是从语言学角度对自动标引方法的探索。包括两种方法：句法分析、语义分析。学术界对语言法的自动标引颇有争议，但目前利用语义分析的自动标引研究还在不断升温。
人工智能法（Artificial Intelligence Approach，AI Approach）：让计算机从事标引工作中的脑力劳动，即让计算机模拟标引员完成标引文献的工作。目前该方法已成为自动标引领域的热点问题，人工神经网络、遗传算法等方法的发展给自动标引增添了不少动力。不少学者认为，人工智能法代表着自动标引研究的未来。
自动标引的基本流程：
即确定标引所依据的文献内容（标引源），标引源的选择是影响标引质量的一个重要因素。标题是自动标引的主要标引源，大多数研究是基于标题进行的，但仅以标题为标引源，信息量少，标引质量差，难以推广使用。如果对全文进行扫描，则存在数据量大和截取词汇太多等问题，为标引带来许多杂音，影响标引质量和速度。
一般选择以下内容作为标引源：
标引源必须按标引系统要求的格式输入系统，才可能进行自动标引。
在确定关键词之前，必须对文档进行切分，即将语句切分成由词组成的集合。西方文字有分隔符，切分容易实现；而汉语采用连写方式，词之间没有自然分隔符，词语的准确切分较为困难（已研究相当长时间），目前自动切分已基本能满足实际需要。
根据文本词语切分结果，以词语在文本中出现的频次、位置及词的词性等因素为依据，确定可表达文档中心内容的词作为该文档的关键词。
关键词与受控词（主题词、副主题词、特征词）之间存在着一定的关系（如同义词关系、上位关系、下位关系等）。使用一定的方法，将以上提取的关键词转换为受控词。
根据确定的主题词、副主题词、特征词，进行组配，给出主题标引符号，完成自动标引。
词语自动切分：以语言学知识为基础，通过一定算法，将组成句子的词从句子中切分出来，得到词语集合的过程。可广泛应用于自动标引、智能检索、自动翻译、自动文摘、数据挖掘、信息过滤等领域。词语自动切分是汉语自然语言处理中最关键的一步。
词语自动切分的方法有很多，如词典分词法、人工神经网络算法、语料库训练分词方法等。根据其使用的原理和算法，归纳为三类：
词典法（Lexical Method）又称机械分词方法，是按照一定的策略将待分析的汉字串与切分词典系统中的词条进行匹配，若在词典中找到某个字符串，则匹配成功（识别出一个词）。
实际使用的分词系统，将机械分词作为一种初分手段，再利用其他的语言信息进一步提高切分准确率，如改进扫描方式、将分词与词类标注结合。
统计法（Statistical Method）：依据两个或多个汉字同时出现（相邻出现）的概率，利用语料库进行有监督或无监督的学习，得到描述一种语言的语言模型，然后通过该模型对文本进行词语切分。
混和法（Hybrid Method）：将两种方法结合，综合考虑，吸取各自优点，提高分词效率。
下载地址：{{downurl}}
{{{a}}}
{{#b}}{{{b}}}
{{/b}} {{/title}} {{#nolog}}登陆注册
{{/nolog}} {{#djsx}}点我刷新
{{/djsx}} {{#gocz}} {{/gocz}} {{#ffqr}} {{/ffqr}}