机器人的文件搜索蜘蛛访问你的网站时首先发现和访问。我们可以使用这个文件来告诉搜索引擎内容可以爬那些不能包括在内。当然并不是所有的机器人设置网站是完全相同的。设置不同的内容根据不同的网站程序汉中网站优化并不是所有的机器人设置网站是完全相同的。设置不同的内容根据不同的网站程序但如果使用相同的网站建设程序它基本上是相同的。这里我们主要介绍如何设置WordPress机器人协议。
?机器人的创建协议也非常简单枣庄网站优化它基本上是相同的。这里我们主要介绍如何设置WordPress机器人协议。
用户代理:*不允许:
/ wp -不允许:/ ? s =站点地图:
用户代理:*不允许:/ wp-admin
不允许:/ wp-content /插件
不允许:/ wp-content /主题
不允许:/ wp-includes
不允许:/ ? s =站点地图:
这种写作方法还允许所有搜索引擎访问和爬行并且只限制搜索引擎爬行”/ wp-admin”“wp-content /插件”“/”wp-content /主题”和“/ wp-includes“目录不是第一种方法直接限制的目录开始“wp -”。
用户代理:*不允许:/ wp - *
不允许:pagetrackback /