- agent: Baiduspider
不允许:/
但事实上这种方法也不能完全阻止百度。百度的爬虫百度seo关键词优化这种方法也不能完全阻止百度。百度的爬虫你仍然可以看到内容通过输入站点:XXX.com在百度。是否索引网站网站优化你仍然可以看到内容通过输入站点:XXX.com在百度。是否索引网站百度有最终决定权。如果遵守机器人协议网站优化百度有最终决定权。如果遵守机器人协议它不会被索引。因此如果你想完全阻止百度?爬虫你需要添加一些句子在. htaccess这里有两种方法
方法1:
RewriteEngine上
RewriteCond %
Baiduspider (NC)
RewriteRule。* - [F]
方法2:
SetEnvIfNoCase用户代理”
Baiduspider”bad_bot
<极限得到邮报>{如何屏蔽百度爬虫来减少服务器流量}