在SEO优化的文章中多次提及了关于RObots.txt文件的实质
蜘蛛。网站优化的诊断方法之一是检查文档是否制作 是否标准化
搜索引擎。如上文所述如果搜索引擎蜘蛛被禁止进入网站的Robots.txt协议文件
网站优化标题如果搜索引擎蜘蛛被禁止进入网站的Robots.txt协议文件无论你如何优化它它都不会被收录内部
收录。您将将Robots.txt协议文件添加到您的网站并设置禁止搜索引擎蜘蛛的说明您的网站内容将不会被爬行但可能会被收录（索引）
原因。引擎蜘蛛爬行网址页面页面需要呈现蜘蛛的内容反馈才有可能被收录录
会被。所以如果内容被禁止会被收录里面吗？那是什么意思？
这里有一个认知错误也可能是惯性逻辑思维的错误思维之后。每个人都认为蜘蛛无法捕获内容也不能收录其中网站。事实 上爬行抓取和索引是不同的概念写入。很多人在学习SEO时经常重复一些SEO的概念导致随后的SEO优化过程中性能不佳Robots.txt。协议文件在做什么？因为它是一个协议它必须是一个双方都同意和接受的规则文件。这A和B自然是网站和搜索引擎（或搜索引擎蜘蛛）之间的协议解析。Robots.txt协议文件
Robots.txt协议文件的意义
如果一个页面想要被搜索引擎索引（包括）它应该被爬行器爬行和爬行。
解析网站写入Robots.txt文件之后会被搜索引擎蜘蛛收录的原因
由于未进行进行爬网因此将理所当然地不包括此页这样的想法是错误的可以索引而 不必抓取
。例如淘宝是一个典型的案例该网站添加了一个禁止协议最终被收录
。原因是百度从其他渠道平台推荐的外部链接中了解到了这个网站
。虽然禁止爬行但可以通过标题 和推荐链接的数据判断相对页面的相关信息
。