robotx.txt怎么写？对网站优化有什么好处
搜寻引擎经过一种步调robot（又称spider）自动考察互联网上的网页并获得网页信息。您不妨在您的网站中创造一个纯文本文件robots.txt在这个文件中证明该网站中不想被robot 考察的局部SEO关键词在这个文件中证明该网站中不想被robot 考察的局部如许该网站的局部大概理想实质便不妨不被搜寻引擎收录了大概者指定搜 索引擎只收录指定的实质。
底下把robots.txt精确写法瓜分给大师！咱们先来领会一下什么是robots.txt？
搜寻引擎运用spider步调自动考察互联网上的网页并获得网页信息。spider在考察一个网站时会开始会查瞅该网站的根
域下是否有一个叫干robots.txt的纯文本文件。您不妨在您的网站中创造一个纯文本文件robots.txt在文件中证明该网站中不
想被robot考察的局部大概者指定搜寻引擎只收录特定的局部。
请注沉仅当您的网站包括不憧憬被搜寻引擎收录的实质时才须要运用robots.txt文件。假如您憧憬搜寻引擎收录网站上十脚实质
请勿树立robots.txt文件大概者创造一个实质为空的robots.txt文件。
robots.txt 放置地位
robots.txt文件该当放置在网站根目录下。举例来说当spider考察一个网站(比方)时开始会查瞅该网站中是否存留这个文件假如Spider找到这个文件它便会依据这个文件的实质来决定它考察权力的范畴。robots.txt 方法文件包括一条大概更多的记录这些记录经过空行摆脱(以CR,CR/NL, or NL动作中断符)每一笔记录的方法如下所示：”:”。在该文件中不妨运用#进行证明。该文件中的记录常常以一行大概多行User-agent开
始反面加上若搞Disallow和Allow行,留脸色景如下。User-agent:该项的值用于刻画搜寻引擎robot的名字。在”robots.txt”文件中假如有多条User-agent记录证明有多个robot会受到”robots.txt”的
节制闭于该文件来说起码要有一条User-agent记录。假如该项的值设为*则闭于所有robot均灵验在”robots.txt”文件中”User-agent:*”如许的记录只能有一条。假如在
”robots.txt”文件中介入”User-agent:SomeBot”和若搞Disallow、Allow行那么名为”SomeBot”只受到”User-agent:SomeBot”反面的 Disallow和Allow行的节制。 Disallow: 该项的值用于刻画不憧憬被考察的一组URL这个值不妨是一条完备的路途也不妨是路途的非空前缀以Disallow项
的值发端的URL不会被robot考察。例 如”Disallow: /help”遏止robot考察/help*.html、/help/index.html 而”Disallow: /help/”则答应robot考察/help*.html不行考察/help/index.html。"Disallow:"证明答应robot考察该网站的十脚url在”/robots.txt”文件中起码要有一条Disallow记录。
假如”/robots.txt”不存留大概者为空文件则闭于于十脚的搜寻引擎robot该网站都是盛开的。Allow:该项的值用于刻画憧憬被考察的一组URL与Disallow项好像百度快速排名闪电精灵seo与Disallow项好像这个值不妨是一条完备的路途也不妨是路途的前
缀以Allow项的值发端的URL是答应robot考察的。比方”Allow:/hibaidu”答应robot考察/hibaidu.htm、/hibaiducom.html、/hibaidu/com.html。一个网站的十脚URL默认是Allow的所以Allow常常与Disallow配搭运用实行答应
考察一局部网页共时遏止考察其他十脚URL的功效。
须要特别注沉的是Disallow与Allow行的程序是蓄道理的robot会依据第一个配合成功的
Allow大概Disallow行决定是否考察某个URL。
运用”*”和”$”： Baiduspider 救济运用通配符”*”和”$”来朦胧配合url。
“$” 配合行中断符。 “*” 配合0大概多个大肆字符。
robots.txt文件用法举例：
1. 答应十脚的robot考察User-agent: * Allow: / 大概者 User-agent: * Disallow:2. 遏止十脚搜寻引擎考察网站的所有局部User-agent: *Disallow: /3. 仅遏止Baiduspider考察您的网站User-agent: BaiduspiderDisallow: /4. 仅答应Baiduspider考察您的网站User-agent: BaiduspiderDisallow:5. 遏止spider考察特定目录User-agent: *Disallow: /cgi-bin/Disallow: /tmp/Disallow: /
joe/6. 答应试察特定目录中的局部urlUser-agent: *Allow: /cgi-bin/seeAllow: /tmp/hiAllow: /joe/lookDisallow: /cgi-bin/Disallow: /tmp/Disallow: /joe/7. 运用”*”节制考察url遏止考察/cgi-bin/目录下的十脚以”.htm”为后缀的URL(包括子目录)。User-agent: *Disallow: /cgi-bin/*.htm8. 运用”$”节制考察url仅答应试察以”.htm”为后缀的URL。User-agent: *Allow: .htm$Disallow: /例9. 遏止考察网站中十脚的理想页面User-agent: *Disallow: /*?*10. 遏止Baiduspider抓取网站上十脚图片仅答应抓取网页遏止抓取所有图片。User-agent: BaiduspiderDisallow: .jpg$Disallow: .jpeg$Disallow: .gif$Disallow: .png$Disallow: .bmp$11. 仅答应Baiduspider抓取网页和.gif方法图片答应抓取网页和gif方法图片不答应抓取其他方法图片User-agent: BaiduspiderAllow: .gif$Disallow: .jpg$Disallow: .jpeg$Disallow: .png$Disallow: .bmp$12. 仅遏止Baiduspider抓取.jpg方法图片User-agent: BaiduspiderDisallow: .jpg$普遍这个在网站未上线前运用等网站干好之后 便把这个协议去掉了便于搜寻引擎的抓取。
robots.txt文件的方法
robots文件常常放置于根目录下包括一条大概更多的记录这些记录经过空行摆脱（以CR,CR/NL, or NL动作中断符）
每一笔记录的方法如下所示：
"<field>:<optional space><value><optionalspace>"
在该文件中不妨运用#进行证明简直运用办法和UNIX中的常规普遍。该文件中的记录常常以一行大概多
行User-agent发端反面加上若搞Disallow和Allow行,留脸色景如下：
User-agent:该项的值用于刻画搜寻引擎robot的名字。在"robots.txt"文件中假如有
多条User-agent记录证明有多个robot会受到"robots.txt"的节制闭于该文件来说起码要有一条User-agent记
录。假如该项的值设为*则闭于所有robot均灵验在"robots.txt"文件中"User-agent:*"如许的记录只能有一
条。假如在"robots.txt"文件中介入"User-agent:SomeBot"和若搞Disallow、Allow行那么名为"SomeBot"只