[[baiduspider]百度蜘蛛叫Baiduspider不是baidubot

[baiduspider]百度蜘蛛叫Baiduspider不是baidubot

今天我遇到了一位同学他问我如何写关于ROBOTS的文章。在这里小网站如何优化他问我如何写关于ROBOTS的文章。在这里我将为每个人解决这个问题。事实上这一切都来自互联网。请注意山东网站优化这一切都来自互联网。请注意百度的蜘蛛被称为Baiduspider而不是Baidubot谷歌被称为googlebot。

用户代理: *

禁止:/

2.允许所有机器人访问（或创建一个空文件“/robots.txt"）

用户代理: *

允许:/

另一种写作方式是

用户代理: *

禁止:

3.只有Baiduspider被禁止访问您的网站

用户代理: Baiduspider

禁止:/

4.只允许Baiduspider访问您的网站

用户代理: Baiduspider

允许:/

5禁止蜘蛛访问特定目录

在此示例中站点有三个限制访问搜索引擎的目录即机器人不访问这三个目录。请务必注意对于每个目录您必须

单独声明不写为“Disallow:/cgi-bin //tmp /”。

用户代理: *

禁止:/cgi-bin/

禁止:/tmp/

禁止:/~joe/

6.允许访问特定目录中的某些网址

用户代理: *

允许:/cgi-bin /见

允许:/tmp/hi

允许:/~joe/look

7.使用“*”限制对URL的访问

禁止访问后缀为“.htm”的所有URL（包括子目录）。在/cgi-bin /目录中。

用户代理: *

禁止:/cgi-bin/* .htm

8.使用“$”限制访问网址

只有以“.htm”为后缀的网址被允许。

用户代理: *

允许: /.htm $

9.禁止访问网站上的所有动态页面

用户代理: *

禁止:/*？*

10.禁止Baiduspider抓取网站上的所有图像

仅允许抓取网页并且不允许抓取任何图片。

用户代理: Baiduspider

禁止使用:/*。jpg $

禁止:/* .jpeg $

禁止:/* .gif $

禁止:/* .png $

禁止:/* .bmp $

11.只允许Baiduspider抓取网页和gif格式的图片

允许抓取网页和gif图片不允许抓取其他格式

用户代理: Baiduspider

允许:gif $

禁止: /.jpg $

禁止: /.jpeg $

禁止: /.png $

禁止: /.bmp $

12.禁止Baiduspider捕获jpg格式图像

用户代理: Baiduspider