[百度站长平台]浅谈网页反作弊技术思路、方法以及处理方式

　　一、网页反作弊出现背景

　　出于商业利益的驱使很多网站站长会针对搜索引擎排名进行分析并采取一些手段来提升排名。这种行为本身无可厚非网站优化seo培训并采取一些手段来提升排名。这种行为本身无可厚非很多优化行为都是符合搜索引擎排序规则的但与此同时也存在很多恶意的优化行为。所以网页反作弊也是目前所有商业搜索引擎需要解决的重要难点。

　　二、网页作弊类型内容作弊：

　　从大的分类来说主要的作弊方法包括：内容作弊、链接作弊、隐藏作弊及近几年兴起的Web2.0作弊方法。笔者认为内容作弊与现阶段业务息息相关因此会在本文着重讲下此类型及相关的反作弊思路。

　　1、增加目标作弊词词频来影响排名；

　　2、增加主题无关内容或者热门查询吸引流量；

　　3、关键位置插入目标作弊词影响排名。

　　Google在2011年2月高调宣布针对低质量网页内容调整排序算法据报道此算法影响了大约11.8%的网页排名而这项调整措施是专门针对以Demand media（创建于2006年5月雇员500人它的业务比较庞杂包括域名注册、内容广告交易等。它的一个主要业务是它有包括65个社会化媒体组成的网站群。）网站为代表的内容农场作弊手法的。

　　内容农场的运营者廉价雇佣大量自由职业者支持他们付费写作但内容普遍质量低下很多文章都是通过复制黏贴完成。但重点是他们会研究搜索引擎的热门搜索词等并有机的将这些词汇添加到写作内容当中去。这样普通搜索引擎用户在搜索时会被吸引进内容农场网站通过大量低质量内容吸引流量内容农场可以赚取广告费用。

　　与传统的作弊方法相比内容农场不采用机器拼接内容等机械方式而是通过雇佣人员写作这种作弊方式搜索引擎往往难以给出是否作弊的明确界定但又严重影响搜索结果质量所以是一种很难处理的作弊手法。

　　三、网页反作弊技术的整体思路：

　　目前搜索引擎作弊手段五花八门且层出不穷作为应对方的搜索引擎也相应调整技术思路所以如果整理一下反作弊思路则会发现技术方法很多理清思路着实不易。尽管如此如果对大多数反作弊思路深入分析会发现整体思路上还是有规律可循。从基本思路角度看可以将反作弊手段大致划分为以下3种：信任传播模型、不信任传播模型和异常发现模型。

　　1、信任传播模型：在海量的网页数据中通过一定的技术手段或人工半人工手段从中筛选出部分完全值得信任的页面（可以理解为我们日常所说的白名单）算法以这些白名单内的页面作为出发点赋予白名单内页面节点较高的信任度分值其他页面是否作弊要根据其与白名单内节点链接关系来确定。白名单内节点通过链接关系将信任度分值向外扩散传播如果某个节点最后得到的信任度分值高于一定的值则认为没有问题如果低于这个值则会被判为作弊。

　　2、不信任传播模型：从大的技术框架来讲与信任传播模型极其相似。最大的区别在于：初始页面自己不是值得信任的页面节点而是确认存在作弊行为的页面集合（即我们日常所说的黑名单）。赋予黑名单内页面节点不信任分值通过链接将这种不信任关系传播出去如果最后页面节点的不信任分值大于设定的那个值则被判为作弊。

　　3、而异常发现模型：简单的譬如分析网页内容来发现词频、链接等的异常复杂点的像分析网站用户行为异常等。异常发现模型往往和信任传播模型和不信任传播模型进行组合处理。

　　事实上纯粹技术手段目前是无法彻底解决作弊的问题因此现在一般都是用户在浏览搜索结果甚至是上网浏览时举报作弊网页搜索引擎公司内部会有专门的团队来审核与主动发现可疑页面经过审核确认的网页则可以放入黑名单或者白名单当中。综上所述必须将人工手段与技术手段相互结合才能取得较好的反作弊效果。

　　四、通用链接反作弊方法：

　　1、TrustRank 算法 （属于信任传播模型）

　　2、BadRank 算法 （属于不信任传播模型据传是Google采用的反链接作弊算法。 注意：不要链接给作弊页面）

　　3、SpamRank （属于异常发现模型）

　　SpamRank 的基本假设是：

　　3.1、对于正常页面来说其支持者页面的 PangRank 值应该满足 Power-Law 分布即 PR值有大有小。

　　3.2、作弊网页不同一般具有如下3个特点：

　　Ⅰ、支持者页面数量非常巨大

　　Ⅱ、支持者页面的 PangRank 值得分都较低

　　Ⅲ、支持者页面的 PangRank 值都落在一个较小浮动范围内

　　五、专用链接反作弊技术：

　　1、识别链接农场：

　　、网页出链的统计分布规则作弊网页出链不符合 Power-Law 分布

　　Ⅱ、网页入链的统计分布规则作弊网页入链不符合 Power-Law 分布

　　Ⅲ、URL名称统计特征作弊网页的网址较长包含更多的点画线和数字等

　　Ⅳ、很多作弊网页的URL地址尽管不同但是对应同一个IP地址

　　Ⅴ、网页特征会随时间变化比如入链的增长率、出链的增长率等

　　Ⅵ、链接农场的结构特征农场内的网页之间链接关系非常密切

　　2、识别 Google 轰炸：

　　判断锚文字是否和被指向页面有语义关系

　　六、识别内容作弊：

　　1、重复出现关键词判断文本内一定大小的窗口中是否连续出现同一个关键词

　　2、标题关键词作弊

　　3、统计正常页面中句子长度的规律、停用词的分布规律、词性的分布规律等

　　七、反隐藏作弊：

　　常见的隐藏作弊方式包括页面隐藏和网页重定向。

　　1、识别页面隐藏

　　对网页做2次抓取第1次数正常的搜索引擎爬虫抓取第2次模拟人工访问网页的方式抓取。这种方法成本非常高。

　　2、识别网页重定向

　　Strider 系统给出了根据网页重定向来识别到底哪些是作弊网页的解决方案。

　　八：石榴算法简介：

　　2013年5月17日下午百度网页搜索反作弊团队在百度站长平台发布公告称：将于一星期后正式推出新的算法“石榴算法”。新算法前期将重点整顿含有大量妨碍用户正常浏览的恶劣广告的页面。百度称此举是为了尊重搜索的用户净化互联网生态环境！

　　发布时间：2013年5月17日

　　打击对象：针对大量妨碍用户正常浏览的恶劣广告的页面、低质量内容页面。石榴算法针对的尤其以弹出大量低质弹窗广告、混淆页面主体内容的垃圾广告页面为代表。与之前百度绿萝算法相对应这正是百度搜索引擎提高用户体验提高搜索质量的有力手段。2013年5月17日下午百度网页搜索反作弊团队在百度站长平台发布公告称：将于一星期后正式推出新的算法“石榴算法”。新算法前期将重点整顿含有大量妨碍用户正常浏览的恶劣广告的页面。百度称此举是为了尊重搜索的用户净化互联网生态环境！

　　整改建议：有弹窗广告？且在主体内容位置显示？赶紧撤掉吧、短期利益是获得了、长期就不讨好了、就如一次借钱忘了还、感觉像是赚到了、实则不然、你的信誉度在他人心中逐渐在减弱……这类型的页面评分也会被降分