[seocopywriting]机器人 三种用法细节和机器人 三种问题总结
1。现场优化
机器人。三种使用详细说明和机器人。三种问题总结
(1)为什么要设置robots . txt呢?
当执行搜索引擎优化操作我们需要告诉搜索引擎页面和哪个页面不是很重要。被蜘蛛爬过重要的页面那曲县SEO我们需要告诉搜索引擎页面和哪个页面不是很重要。被蜘蛛爬过重要的页面不重要的页面可以阻塞减少web服务器的负担。
(2)一些常见问题和知识分
当蜘蛛发现一个网站它爬行机器人。txt文件的网站(当然这是官方说有时有不符合的情况下);
建议建立机器人。txt文件为所有网站。如果你认为所有的内容在网站上是很重要的你可以创建一个空的机器人。txt文件;
(3)设置在机器人。txt文件站点地图
您可以添加站点地图的机器人。txt告诉蜘蛛站点地图的位置。
(4)序列的机器人。txt
蜘蛛协议禁止和允许秩序。这是一个非常重要的问题。如果设置是错误的它会引起爬行错误。
引擎蜘蛛程序将决定访问URL基于成功的允许或不允许线。一个例子可以让你清晰:
- agent: * 2.允许:/ seojc / bbs3。不允许:/在这种情况下蜘蛛/ seojc / bbs目录可以正常爬行但seojc /目录中的文件不能爬。这样蜘蛛可以允许访问一些url在一个特定的目录中。
让我们看看位置调整。
- agent: * 2。不允许:/文件夹的根目录/ 3。允许:/ seojc /论坛/ seojc /目录出现禁止抓住所有文件的目录然后允许在第二行是无效的因为seojc目录中的所有文件禁止和bbs目录位于seowhy目录。因此匹配成功。
(5)机器人。三种路径问题
蜘蛛协议允许和不允许可以后跟两个路径形式即链接和相关链接。完整的URL链接形式只有根目录的相对链接。这是要记住。
不允许(6)削减问题:/ seojc意味着seoic目录中的所有文件禁止爬行如:seojc.1。html seojc / rmjc。php不允许爬;
不允许:/ seojc /意味着禁止抓住seojc目录中的文件也就是说它可以抓住seojc.1。html那曲县SEO它可以抓住seojc.1。html但它不允许抓seojc / rmjc.php。