robots.txt

robots.txt是什么？

有不想过，假如咱们某个站点不让百度和google收录，那何如办？

搜集引擎已经和咱们完成一个商定，假如咱们按商定那样搞了，它们便不要收录。

这个写商定的的文件定名为:robots.txt。

robots.txt是一个最大概的.txt文件，用以通告搜集引擎哪些网页不妨收录，哪些不答应收录。

闭于robots.txt普遍站长须要注沉以下几点：

1、假如你的站点闭于十脚搜集引擎刻意，则不必搞这个文件大概者robots.txt为空便行。

2、必定定名为：robots.txt，都是小写，robot背后加"s"。

3、robots.txt必定放置在一个站点的根目录下。如：经过https://www.seowhy.com/robots.txt 不妨成功参瞅到，则证明本站的放置透彻。

4、普遍情境下，robots.txt里只写着二个函数：User-agent和 Disallow。

5、参瞅这个页面并建改为本人的：https://www.seowhy.com/robots.txt

6、有几个遏止，便得有几个Disallow函数，并分行刻画。

7、起码要有一个Disallow函数，假如都答应收录，则写: Disallow: ，假如都不答应收录，则写:Disallow: /  （注：然而差一个斜杆）。

补充证明：

User-agent: *  星号证明答应十脚搜集引擎收录

Disallow: /search.html   证明 https://www.seowhy.com/search.html 这个页面遏止搜集引擎抓取。

Disallow: /index.php?   证明犹如如许的页面http://www.seowhy.com/index.php?search=%E5%A5%BD&action=search&searchcategory=%25 遏止搜集引擎抓取。

参瞅本文的人还不妨参瞅：

何如样运用标签遏止网页被收录？