SEO每天都是搜索引擎推出的小型机器人也称为搜索引擎蜘蛛。我们要做的就是为他们服务并为他们投票。
首先列出主要搜索引擎蜘蛛的名称
谷歌蜘蛛：googlebot
SEO排名服务列出主要搜索引擎蜘蛛的名称
谷歌蜘蛛：googlebot百度蜘蛛：baiduspider搜狗蜘蛛：搜狗蜘蛛搜索蜘蛛：Sosospider雅虎蜘蛛：slurpalexa蜘蛛：ia_archivermsn蜘蛛：msnbotaltavista蜘蛛：滑板车lycos蜘蛛：lycos_spider_（t-rex） alltheweb蜘蛛：fast-webcrawlerinktomi蜘蛛：slurp蜘蛛：YodaoBot和OutfoxBot热土蜘蛛：Adminrtspider。当然这只是一个象征性的清单。即使我们查看日志也不要太惊讶或者您可以禁止他们抓取您的网站。
其次一句话总结了蜘蛛的习惯
谷歌蜘蛛：不太喜欢爬但喜欢包括。
百度蜘蛛：小心谨慎更加谨慎。
索索蜘蛛：喜欢爬图片经常围绕动态地址无法出来。
Yahoo Spider：保留规则首先抓取robots.txt。
其他人不太关注所以我不会多说。
三对robots.txt的支持程度
所有分析都可能不现实。在此处取消禁止:/*？*分析（禁止动态页面抓取）。
谷歌表现：写禁令不再攀登将在谷歌网站管理员工具中列出它想要攀登被你阻挡如下图所示：
百度的表现：写禁令后很少攀登但偶尔也会攀升。我相信它正在发挥作用因为它越来越少了。搜狗蜘蛛：可以说它基本上是不听话的我不知道我是不是不吃这个规则。我说根本就没吃它。它只是拿走了动态地址的问号然后爬上去了。这是一大块。这不知道它可以爬出来如下所示：
Soso蜘蛛类似于雅虎蜘蛛它感觉非常有效。禁止攀爬任何痕迹。 （