深圳教程，网络seo分词提取方法

深圳seo教程处理网络seo中文分词最关键的是要把用户最关心的问题提取出来。而无论是对于长文本还是短文本关键词快速上首页要把用户最关心的问题提取出来。而无论是对于长文本还是短文本...

深圳seo教程处理网络seo中文分词最关键的是要把用户最关心的问题提取出来。而无论是对于长文本还是短文本往往可以通过几个关键词窥探整个文本的主题思想。与此同时不管是基于文本的推荐还是基于文本的搜索对于网络seo中文分词的依赖也很大关键词提取的准确程度直接关系到推荐系统或者搜索系统的最终效果。因此关键词提取在文本挖掘领域是一个很重要的部分。

1.有监督的关键词抽取算法

它是建关键词抽取算法看作是二分类问题判断文档中的词或者短语是或者不是关键词。既然是分类问题就需要提供已经标注好的训练预料利用训练语料训练关键词提取模型根据模型对需要抽取关键词的文档进行关键词抽取

2.半监督的关键词提取算法

只需要少量的训练数据利用这些训练数据构建关键词抽取模型然后使用模型对新的文本进行关键词提取对于这些关键词进行人工过滤将过滤得到的关键词加入训练集重新训练模型。

3.无监督的方法

不需要人工标注的语料利用某些方法发现文本中比较重要的词作为关键词进行关键词抽取。

有监督的网络seo中文分词提取算法需要高昂的人工成本因此现有的网络seo中文分词提取主要采用适用性较强的无监督关键词抽取。其网络seo中文分词抽取流程如下：

图 1 无监督网络seo中文分词抽取流程图

无监督关键词抽取算法可以分为三大类基于统计特征的关键词抽取、基于词图模型的关键词抽取和基于主题模型的关键词抽取。

网络seo中文分词提取算法

基于统计特征的关键词提取算法

基于于统计特征的关键词抽取算法的思想是利用文档中词语的统计信息抽取文档的关键词。通常将文本经过预处理得到候选词语的集合然后采用特征值量化的方式从候选集合中得到关键词。基于统计特征的关键词抽取方法的关键是采用什么样的特征值量化指标的方式目前常用的有三类：

1、基于词权重的特征量化

基于词权重的特征量化主要包括词性、词频、逆向文档频率、相对词频、词长等。

2、基于词的文档位置的特征量化

这种特征量化方式是根据文章不同位置的句子对文档的重要性不同的假设来进行的。通常文章的前N个词、后N个词、段首、段尾、标题、引言等位置的词具有代表性这些词作为关键词可以表达整个的主题。

3、基于词的关联信息的特征量化

词的关联信息是指词与词、词与文档的关联程度信息包括互信息、hits值、贡献度、依存度、TF-IDF值等。

下面介绍几种常用的特征值量化指标。

词性时通过分词、语法分析后得到的结果。现有的关键词中绝大多数关键词为名词或者动名词。一般情况下名词与其他词性相比更能表达一篇文章的主要思想。但是词性作为特征量化的指标一般与其他指标结合使用。

词频表示一个词在文本中出现的频率。一般我们认为如果一个词在文本中出现的越是频繁那么这个词就越有可能作为文章的核心词。词频简单地统计了词在文本中出现的次数但是只依靠词频所得到的关键词有很大的不确定性对于长度比较长的文本这个方法会有很大的噪音。

位置信息

一般情况下词出现的位置对于词来说有着很大的价值。例如标题、摘要本身就是作者概括出的文章的中心思想因此出现在这些地方的词具有一定的代表性更可能成为关键词。但是因为每个作者的习惯不同写作方式不同关键句子的位置也会有所不同所以这也是一种很宽泛的得到关键词的方法一般情况下不会单独使用。