有一些网页内容质量高用户可以正常访问但百度pid不能正常访问关键词重要性但百度pid不能正常访问爬导致搜索结果覆盖不足导致损失的百度搜索引擎和网站。百度称这种情况为“抢占例外。”百度搜索引擎会认为网站的用户体验与大量的内容不能正常爬行并减少网站的评价。抓取索引和排序百度搜索引擎会负面影响在某种程度上这将影响到网站的流量接收从百度。
下面描述了一些常见原因异常爬行网站管理员:
有服务器连接异常的两种情况:一是网站不稳定和百度pid不能连接到你的网站的服务器暂时当试图连接;另一个是百度pid一直无法连接到服务器的网站。
服务器连接异常的原因通常是您的web服务器太大过载。你的网站也会运行不正常。请检查是否该网站的web服务器(例如apache iis)通常是安装和运行并使用一个浏览器检查主页是否可以正常访问。你的网站和主机也可以阻止Baiduspider的访问。您需要检查网站和主机的防火墙。
网络运营商例外:网络运营商分为两种类型:中国电信和中国联通。百度pid不能通过中国电信或者网通访问你的网站。如果发生这种情况你需要联系网络服务提供者或者购买空间和二线服务或CDN服务。
DNS例外:当Baiduspider不能解决你的网站的IP地址一个DNS异常会出现。也许你的网站的IP地址是错误的或者是已经禁止Baiduspider域名服务提供者。请使用域名查询服务或主机来检查你的网站的IP地址是否正确和可溶解的。如果没有请联系域名注册商来更新你的IP地址。
IP封锁:IP封锁是限制网络的派生的IP地址和禁止用户访问的IP段内容。这里它具体指的是百度Piderip的阻塞。该设置只需要如果你的网站不希望百度pid的访问。如果你想让百度pid访问你的网站请检查是否百度pid IP添加到相关设置错了。你网站所在空间服务提供商也可能禁止百度IP。这个时候你需要联系服务提供者更改设置。
UA阻塞:UA是一个用户代理服务器通过UA识别访问者的身份。当网站访问指定的UA和返回一个页面异常(如403500)或跳跃到另一个页面它被称为UA阻塞。这个设置是只需要当你不想让百度pid访问你的网站。如果你想让百度πDe访问你的网站你有百度πDe俄文的用户代理相关的设置和修改它。
死链接:页面无效和页面不能提供任何有价值的信息给用户的是一个死链接包括协议死链接和内容死链接
协议死链接:TCP协议页面的状态/ HTTP协议状态清楚地表明死链如404年403年503年的地位等等。
内容死链接:服务器返回的状态是正常的但内容已经更改的页面不存在已被删除或者要求许可并与原始内容无关。
死链接我们建议网站使用协议死链接然后将它们提交到百度通过死链接百度站长平台的工具所以百度可以找到死链接速度和减少负面影响的死链接对用户和搜索引擎。
异常跳转跳转是网络请求重定向到另一个位置。跳异常是指下列情形:
1)当前页面是一个无效的页面(内容已被删除死链接等等)直接跳转到前一页目录或主页百度建议站长删除条目无效页面的超链接
长期重定向到其他域名如改变域名的网站百度建议使用301重定向协议制定。
其他例外:1)百度推荐系统异常:网页返回行为不同于百度的正常内容推荐系统。
2)百度UA的例外:百度网页返回UA的行为不同于原始页面的内容。
3)JS跳例外:网页加载的JS跳百度无法识别的代码和用户跳转后进入网页搜索结果。