当前位置: 首页 > SEO学院SEO知识

HTTP_USER_AGENT

来源:未知 浏览量:390次
在技术层面网站优化在技术层面一块宝百度的方法是将以下内容添加到机器人。txt文件在网站上:

- agent: Baiduspider

不允许:/

但事实上这种方法也不能完全阻止百度。百度的爬虫百度seo关键词优化这种方法也不能完全阻止百度。百度的爬虫你仍然可以看到内容通过输入站点:XXX.com在百度。是否索引网站网站优化你仍然可以看到内容通过输入站点:XXX.com在百度。是否索引网站百度有最终决定权。如果遵守机器人协议网站优化百度有最终决定权。如果遵守机器人协议它不会被索引。因此如果你想完全阻止百度?爬虫你需要添加一些句子在. htaccess这里有两种方法

方法1:

RewriteEngine上

RewriteCond %

Baiduspider (NC)

RewriteRule。* - [F]

方法2:

SetEnvIfNoCase用户代理”

Baiduspider”bad_bot

<极限得到邮报>{如何屏蔽百度爬虫来减少服务器流量}

展开全部内容