讲解百度搜索引擎工作原理

至于百度和其他搜索引擎的工作原理我们已经讨论了很多。但是随着技术的进步和互联网行业的发展网站推广随着技术的进步和互联网行业的发展各种搜索引擎都发生了巨大的变化这些变化很快。设计本章的目的是从官方的角度发出一些声音纠正一些误解并希望通过不断更新内容来跟上百度搜索引擎的发展将最新和百度带给网站管理员。高度相关的信息。

第一节 - 抓图书馆的建设蜘蛛爬行系统的基本框架互联网信息爆炸性增长如何有效地访问和使用这些信息是搜索引擎工作的主要环节。作为整个搜索系统的上游数据捕获系统主要负责Internet信息的收集存储和更新。它像蜘蛛一样在网络中爬行所以它通常被称为“蜘蛛”。例如我们使用的几种常见搜索引擎蜘蛛称为：BaiduspdierGooglebotSogou Web Spider等。 

Spider爬行系统是搜索引擎数据来源的重要保证。如果将Web理解为有向图则可以将蜘蛛的工作过程视为该有向图的遍历。从一些重要的种子URL开始您可以找到新的URL并浏览页面上的超链接以捕获尽可能多的有价值的页面。对于像百度这样的大型蜘蛛系统因为每次有可能网页被修改删除或出现新的超链接时都必须保留蜘蛛爬过的页面维护URL库和页面库。下图显示了蜘蛛捕获系统的基本框架包括链接存储系统链接选择系统DNS解析服务系统爬行调度系统网页分析系统链接提取系统链接分析系统和Web存储系统。

 Baiduspider是通过这个系统的合作来完成对互联网页面的爬行。百度搜索引擎的工作原理Atlas-1 Baiduspider上面的主要爬行策略类型看似简单但实际上Baiduspider在爬行过程中面临着一个超级复杂的网络环境以便尽可能使系统有价值的资源和在不强调网站体验的情况下保持系统和实际环境中页面的一致性将设计出各种复杂的爬行策略。 

以下是简要介绍：

1。抓住友谊大量的互联网资源要求爬行系统尽可能高效地使用带宽并在有限的硬件和带宽资源下尽可能多地捕获宝贵的资源。这会产生另一个问题这是由捕获的网站的带宽引起的。如果学位太大将直接影响所捕获网站的正常用户访问行为。因此在爬行过程中需要一定的抓握压力控制以达到不仅影响网站的正常用户访问而且捕获尽可能多的宝贵资源的目的。通常最基本的是基于ip的压力控制。这是因为如果存在域名则可能存在一个域名对应于多个ips（许多大型网站）或对应于相同ip（小型网站共享ip）的多个域名的问题。在实践中压力调节控制通常根据ip和域名的各种条件来执行。同时网站管理员平台还推出了压力反馈工具网站管理员可以手动调整网站的爬行压力百度蜘蛛将根据网站管理员的要求优先进行爬行压力控制。同一站点的爬行速度控制通常分为两类：第一类一段时间内的爬行频率;第二在一段时间内抢夺流量。同一站点的爬行速度在不同时间会有所不同。例如当夜空很暗时爬行速度可能会更快具体取决于特定的站点类型。主要思想是错开正常的用户访问峰值并继续调整。不同的站点也需要不同的爬行速度。 2常用于获取返回码简要介绍几个百度支持返回码：

1）最常见的404代表“NOT FOUND”表示网页已经过期通常会在库中删除如果是蜘蛛在短期内再次发现这个网址不会被抓取; 

2）503代表“服务不可用”被认为暂时无法访问通常网站暂时关闭带宽有限。 对于返回503状态代码的网页百度蜘蛛不会直接删除此网址并会在短时间内多次访问该网址。如果网页已恢复则会正常抓取;如果它继续返回503那么这个url仍然会想到一个断开的链接并将其从库中删除。

 3）403代表“禁止”并认为该网页目前被禁止访问。如果它是一个新的网址蜘蛛将不会爬行一段时间并将在短期内访问它几次;如果已经包含它它将不会被直接删除并且将在短期内多次访问。如果正常访问网页将正常抓取;如果仍然阻止访问则此URL也将被视为已断开的链接并将从库中删除。

 4）301代表是“永久移动”并认为页面被重定向到新URL。遇到网站迁移域名替换和网站修订时我们建议使用301返回代码并使用网站管理员平台修订工具来减少修订导致的网站流量损失。 

3各种url重定向识别一些互联网页面由于各种原因的url重定向状态为了正确捕获这部分资源蜘蛛需要识别和判断url重定向同时防止作弊。重定向可以分为三类：http 30x重定向元刷新重定向和js重定向。此外百度还支持Canonical标签可以将其视为间接重定向。 4.抓取优先级分配由于互联网资源规模庞大变化迅速搜索引擎几乎不可能捕获并合理地更新和保持一致性。因此这需要爬行系统设计。一组合理的爬行优先级分配策略。主要包括：深度优先遍历策略广度优先遍历策略优先策略反链策略社交共享指导策略等。每种策略都有自己的优点和缺点。在实际情况中通常组合使用多种策略以实现最佳捕获结果。 

5重复url过滤蜘蛛在抓取过程中需要确定页面是否已被抓取如果还没有抓取然后抓取网页并放置在抓取的URL集合中。判断它是否已被爬行涉及最重要的是快速查找和比较并涉及url规范化识别如url包含大量无效参数和实际上相同的页面这将被视为相同的url。 6.暗网数据的获取搜索引擎无法在互联网上临时捕获大量数据这被称为暗网络数据。一

方面网络数据库中存在大量网站上的大量数据蜘蛛难以通过抓取网页获取完整内容;另一方面由于网络环境网站本身不符合规格岛屿等也可能导致搜索。引擎无法爬行。目前通过“百度网站管理平台”“百度开放平台”等开放平台提交数据仍然可以解决黑暗数据采集的主要思路。 

7.抓取反作弊蜘蛛经常遇到所谓的黑洞或爬行过程中大量低质量页面的问题。这要求爬行系统还需要设计一个完整的反作弊系统。例如分析URL特征分析页面大小和内容分析对应于爬行比例的站点大小等。 Baiduspider爬行过程中涉及的网络协议刚刚提到百度搜索引擎将设计一个复杂的爬行策略。实际上搜索引擎和资源提供者之间存在相互依赖的关系。搜索引擎需要网站管理员为其提供资源。否则搜索引擎需要网站管理员提供资源。搜索引擎无法满足用户的搜索需求;网站管理员需要使用他们的搜索引擎来宣传他们的内容以吸引更多的受众。蜘蛛爬行系统直接涉及互联网资源提供者的利益。为了使搜索引擎和网站管理员实现双赢双方在爬行过程中必须遵守一定的规范以便于双方之间的数据处理和对接。在这个过程中遵循的规范是我们在日常生活中谈论的一些网络协议。 以下是一个简单的列表：http协议：超文本传输协议是Internet上使用最广泛的网络协议客户端和服务器端的请求和响应标准。客户端通常是指最终用户服务器是指网站。最终用户通过浏览器蜘蛛等向服务器指定端口发送http请求。发送http请求将返回相应的httpheader信息您可以查看是否包含成功服务器类型以及网页的最新更新时间。 Https协议：实际加密版本http更安全的数据传输协议。 UA属性：UA是user-agent是http协议的一个属性表示终端的标识。它向服务器指示我在做什么服务器可以根据不同的身份做出不同的反馈结果。

机器人协议：robots.txt是搜索引擎访问网站时访问的第一个文件。它确定允许爬行哪些。 robots.txt必须放在网站的根目录中文件名必须是小写的。百度严格遵循机器人协议。此外它还支持在web内容索引关注nofollow和其他说明中添加的名为robots的元标记。 Baiduspider爬行频率原理和调整方法Baiduspider按照上述网站设置的协议抓取网站页面但不可能平等对待所有网站并将全面考虑网站的实际情况来确定爬行配额并定量每天抓取网站内容。也就是说我们经常说爬行的频率。 那么百度搜索引擎是根据什么指标来确定抓取网站的频率主要指标有四个：1网站更新频率：更新更快更新速度更慢直接影响到拜多斯访问频率2网站更新质量：更新频率已得到改善。它只会吸引Baiduspier的注意力。 Baiduspider对质量有严格的要求。如果网站每天更新的大量内容由Baiduspider确定为低质量页面那么它仍然没有意义。 3连通性：网站应安全稳定保持Baiduspider开放并经常让Baiduspider关闭。这不是一件好事。 

4现场评估：百度搜索引擎将对每个站点进行评估此评估将根据现场情况而变化。百度搜索引擎为网站评分（不是外界的百度权重）这是百度内部非常机密的数据。网站评级从不单独使用并与其他因素和阈值一起影响网站的抓取和排序。有一些网页会导致Baiduspider异常爬行。内容高质量用户可以正常访问。但是Baiduspider无法正常访问和爬网导致搜索结果覆盖率不足。这是百度搜索引擎对该网站的损失。百度称这种情况为“抢异常”。对于无法被大量内容抓取的网站百度搜索引擎会认为该网站存在用户体验缺陷并降低对网站的评价。爬行索引和排序将在一定程度上受到负面影响最终影响网站。从百度获得的流量。以下描述了向网站管理员抓取例外的一些常见原因。 1.服务器连接异常服务器连接异常可能在两种情况下发生：一种是站点不稳定而且Baiduspider暂时尝试连接到您网站的服务器无法连接; Kind是Baiduspider无法连接到您的网站的服务器。 服务器连接异常的原因通常是因为您的Web服务器太大而且过载。您的网站也可能无法正常运行。请检查网站的Web服务器（如apacheiis）是否已正常安装并运行并使用浏览器检查主页是否可以正常访问。您的网站和主机也可能阻止Baiduspider访问您需要检查网站和主机防火墙。

 2网络运营商异常：网络运营商分为电信和中国联通两类Baiduspider无法通过电信或中国网通访问您的网站。如果发生这种情况您需要联系您的网络服务运营商或购买带有双线服务的空间或购买CDN服务。 3DNS异常：当Baiduspider无法解析您网站的IP时会发生DNS异常。您的网站IP地址错误或者域名服务提供商阻止了Baiduspider。请使用WHOIS或主持人检查您网站的IP地址是否正确且可解析。如果不正确或无法解决请与您的域名注册商联系以更新您的IP地址。 4IP禁令：IP禁令是：限制网络的导出IP地址禁止用户对IP段进行内容访问这里具体指的是被禁止的BaiduspiderIP。仅当您的网站不希望Baiduspider访问时才需要此设置。如果您希望Baiduspider访问您的网站请检查相关设置中是否错误添加了BaiiduspiderIP。您的网站所在的空间服务提供商也可能禁止使用百度IP您需要联系服务提供商以更改设置。 5UA禁止：UA是用户代理（User-Agent）服务器通过UA识别访客的身份。当网站返回到例外页面（例如403,500）或跳转到其他页面以访问指定的UA时UA会禁止它。 仅当您的网站不希望Baiduspider访问它时才需要此设置。如果您希望Baiduspider访问您的网站如果在useragent相关设置中有一个Baiduspider UA并及时修改它。

 6死链：页面已经无效无法向用户提供任何有价值信息的页面是死链接包括协议死链和内容死链两种形式:协议死链：页面的TCP协议状态/HTTP协议状态明确指示死链常见如404,403,503状态。内容死链：服务器返回状态正常但内容已更改为与原始内容无关的不存在已删除或必需的信息页面。对于死链我们建议网站使用协议死链并通过百度网站管理平台（死链工具）将其提交给百度这样百度可以更快地发现死链并减少死链的负面影响在用户和搜索引擎上。 7异常跳转：将网络请求重定向到另一个位置是跳转。异常跳转是指以下情况：1）当前页面是无效页面（内容已被删除死链等）并直接跳转到上一个目录或主页。百度建议网站管理员输入无效页面。链接已删除2）跳转到错误或无效页面注意：对于长期跳转到其他域名如网站替换域名百度建议使用301跳转协议进行设置。 8其他例外：

1）百度异常参考：网页返回与普通内容不同的行为供百度推荐。 

2）百度ua的异常：网页返回与百度UA页面原始内容不同的行为。 3）JS跳转异常：网页加载百度无法识别的JS跳转代码以便用户通过搜索结果进入页面后跳转。 

4）压力过大导致意外禁令：百度会根据网站规模访问量等信息自动设置合理的抓取压力。 然而在异常情况下例如当压力控制异常时服务器将根据其自身负载执行保护性意外禁止。在这种情况下请在返回代码中返回503（表示“服务不可用”）以便Baiduspider会在一段时间后尝试抓取该链接如果该网站处于空闲状态则会成功抓取该链接。首先判断新链接的重要性以及对用户的价值：1。内容是唯一的。百度搜索引擎喜欢独特的内容2主体突出网页主体内容不突出但搜索引擎错误判断短页。 

3丰富的内容4广告适当的第二链接重要性：

1目录级别＆mdash; ＆MDASH;浅优先级2站点链接的普及百度优先构建重要库原理Baiduspider没有捕获多少页面最重要的是有很多页面内置到索引库中这就是我们经常所说的“建设”图书馆。”众所周知搜索引擎的索引库是分层的高质量的网页将被分配到重要的索引库普通的网页将留在公共库中甚至更糟糕的网页将被分配到低级别图书馆是补充材料。目前只有通过调用重要的索引库才能满足60％的搜索要求这解释了为什么有些网站流量大但不理想。那么哪些页面可以进入高质量的索引库。实际上一般原则是：对用户的价值。包括但不仅仅是：1时间敏感和有价值的页面：在这里及时性和价值是平行的不可或缺的。有些网站为了生成时间敏感的内容页面做了大量的收集工作导致一堆毫无价值的页面页面百度不希望看到这些页面。

 2内容质量主题页面：主题页面的内容不一定完全是原创的也就是说它可以很好地整合各方的内容或者添加一些新鲜的内容如意见和评论给用户更全面的内容。 3高价值原创内容页面：百度将原创定义为一定成本和大量经验后形成的文章。永远不要问我们伪原创是否是原创的。 4重要个人页面：这里只是一个例子科比在新浪微博上开设了一个账号他需要经常更新但对于百度来说它仍然是一个非常重要的页面。哪些网页无法构建到索引库中以上高质量的网页位于索引库中。事实上互联网上的大多数网站都不包含在百度中。并不是百度没有找到它们个性化互联网上的大多数网站都不包含在百度中。并不是百度没有找到它们而是过滤了数据库之前的过滤过程。那么在初始链接中筛选出什么样的网页：1重复页面的内容：互联网上的现有内容百度不得包含在内。

 2短网页的主要内容1）有些内容使用百度蜘蛛无法解析的技术如JSAJAX等虽然用户访问可以看到丰富的内容个性化虽然用户访问可以看到丰富的内容仍会被搜索引擎抛弃2）加载速度太慢网页也可能被视为短页。请注意广告加载时间是在网页的整体加载时间内计算的。 3）许多在主体中不显眼的网页即使被爬回也会在这个阶段被抛弃。 3部分作弊第2页 - 搜索排序搜索引擎索引系统概述众所周知搜索引擎的主要工作过程包括：抓取存储页面分析索引检索等主要流程。在上一章中我们主要介绍了部分爬行存储链接的内容。本章简要介绍了索引系统。

在数以亿计的网页中查找某些关键字就像在海中寻找针。也许你可以在一段时间内完成搜索但用户负担不起。从用户体验的角度来看我们必须在毫秒级别上给予用户满意度。结果否则用户只能丢失。 我们怎样才能达到这个要求？如果您可以知道用户搜索的关键字（在查询被剪切后）哪些页面出现在页面中那么用户搜索的过程可以想象为在剪切单词后包含查询的不同部分的页面集的过程和搜索即页面名称和页面交集之间的比较。通过这种方式可以在数十亿毫秒内进行检索。这就是所谓的倒排索引和寻求搜索的过程。以下是创建倒排索引的基本过程：百度搜索引擎的工作原理 - 创建倒排索引的基本过程1页面分析的过程实际上是识别和标记原始页面的不同部分例如：title关键词内容个性化内容链接锚点评论其他非重要领域等; 2分词过程实际上包括分词同义词转换同义词替换等以页面标题分词为例结果将是这样的数据：术语文本词尾词词类词性等等。 3完成上一次准备工作后下一步是创建倒排索引形成{term＆agrave; doc}下图是索引系统中的倒排索引过程。百度搜索引擎的工作原理 - 索引系统中的倒排索引过程倒排索引是搜索引擎实现毫秒检索的一个非常重要的部分。下面我们要介绍指标体系的重要过程建立倒排指数＆mdash;＆mdash;图书馆写库。倒指数的重要过程＆mdash;＆mdash;入站库索引系统还需要在构建倒排索引时有一个调用库的过程并且为了提高效率该过程还需要保存所有项和偏移量。在文件的头部并压缩数据这在技术上太不可思议了。以下是索引后检索系统的简要介绍。 检索系统主要由五部分组成如下图所示：检索系统主要由五部分组成。 

（3）交往上述交往文件2和文件9可能是我们需要找到的整个交往过程实际上与整个系统的表现有关其中包括使用缓存和其他方法进行性能优化;（4）各种过滤例子可能包括过滤死链重复数据色情垃圾结果和你（5）最终排序排序最符合用户的结果需要在最前沿可能包括有用的信息如：网站的整体评价网页的质量以上内容质量资源质量匹配程度的分散性及时性等等影响搜索结果的排名因素似乎有些深奥的内容因为它涉及很多技术细节我们只能在这里说。然后我们来谈谈每个人最感兴趣的排序问题。用户输入要搜索的关键字。百度搜索引擎在排序过程中做了两件事。第一种是从索引库中提取相关的网页第二种是根据不同维度的分数对提取的网页进行排序。 “不同维度”包括：

1。相关性：网页内容与用户搜索要求的匹配程度例如网页中包含的用户检查关键字的数量以及关键字出现的位置;外部网页指向页面使用的锚文本。 

2权威：用户喜欢拥有某个权威网站提供的内容相应地百度搜索引擎也相信高质量权威网站提供的内容。 

3及时性：及时性结果是指新的网页网页上有新鲜的内容。当前的及时性结果在搜索引擎中越来越重要。 

4重要性：符合用户检查要求的网页内容的重要性或受欢迎程度5.丰富性：丰富性似乎很简单但是覆盖范围广泛的命题。可以理解网页内容丰富可以完全满足用户的需求;它不仅可以满足用户的单一需求还可以满足用户的扩展需求。 

6人气：指页面不受欢迎。以上是百度搜索引擎在决定搜索结果排名时考虑的六项原则。六项原则的重点是什么？哪种原则在实际应用中占最大比例？实际上这里没有确定的答案。在百度搜索引擎的早期这些阈值确实相对固定。例如“相关性”可以占整体排名中权重的70％。但是随着互联网的不断发展检索技术的进步以及网页数量的爆炸性增长相关性已不再是问题。因此百度搜索引擎引入了机器学习机制允许程序自动生成计算公式推动排序策略更加合理。低质量的网络狙击战略＆mdash;＆mdash;石榴算法我们了解到网站的生存和发展需要资金支持从不反对网站添加各种合法广告也不要问我们“哪个网站会添加XX联盟广告将被处罚”类问题。有些网站在百度中排名很好但在网页上放了很多广告损害了用户体验严重影响了百度搜索引擎用户的使用。 为此百度质量团队于2013年5月17日宣布：针对低质量网页推出了石榴算法目的是打击包含大量不良广告的网页阻碍用户正常浏览特别是弹出窗口很多低质量的广告和混乱的页面。主要内容的垃圾邮件页面。对于以下页面的屏幕截图用户需要很长时间才能找到百度无法接受的真实下载地址。百度质量团队希望网站管理员可以从用户的角度出发考虑长期发展。它是网站发展和发展的基础可以在不影响用户体验的情况下合理地放置广告。

第三节 - 外部投票的作用链外（2014年版）曾经“内容是王超连锁是皇帝”已经流行多年通过超链计算得分来反映相关性和重要性网页确实曾经是一个搜索引擎用于评估网页的重要参考因素之一直接参与搜索结果的排名。但随着越来越多的SEO人员理解这项技术超链接逐渐失去了投票的重要性。无论是谷歌还是百度对超链接数据的依赖程度越来越低。那么超级链在现在扮演什么角色呢？ 1吸引抓蜘蛛：虽然百度在挖掘新网站开辟多个数据提交门户和避免社交发现渠道方面做了大量工作但超链接仍然是发现链接的最重要条目。 

2.将相关信息传递给搜索引擎：百度将通过TITLE页面关键词H-tag等判断网页内容并通过锚文本进行判断。使用图像作为点击的超链接您还可以将alt属性和标题标签传递给百度。 3提升排名：百度搜索引擎已经减少了对超链接的依赖但对超链接的认可从未下降并且开发出更严格的质量链接正常链接垃圾链接和作弊链接标准。对于作弊链接除了过滤链接外还对链接的受益站施加了一定程度的惩罚。 相应地百度仍然对质量环节持欢迎态度。 4内容共享获得口碑：高质量的内容被广泛传播网站可能没有太大的流量但如果内容足够您还可以建立自己的品牌效应。 *严格来说这不是超链接的功能。在百度看来网站的品牌比超级链条重要得多。百度质量团队于2013年2月19日宣布推出Green Dolly算法以强调购买和销售链接的行为。

链接的销售和购买会影响用户体验并干扰搜索引擎算法。另一方面它允许投机者获得利润和超链中介。在这个糟糕的互联网超级链环境中真正勤奋并渴望完成工作的站长德利不能得到他应得的回报。因此基于外部链的计算以下三种类型的网站将受到不同程度的影响：

1。超链中介：超链接应该是互联网上相对高质量的推荐并且它是普通用户和网站对网页的内容和网站的价值有所肯定但现在各种超链欺骗使得真正的肯定成为一些人寻求利益的垫脚石。用户无法根据链接的建议找到所需的高质量资源并严重干扰搜索引擎。评估网站。超链中介是这个变形的超链市场形成的邪恶之花。我们有义务保持超链的纯度以保护用户的利益我们也有责任引导网站管理员朋友不再花费不必要的开支因此超链中介将在我们的目标范围内。 

2网站的销售链接：一个网站有多种盈利方式利用高质量的原创内容吸引固定用户引入优质的广告资源甚至举办线下活动这些有利可图的方法是我们很高兴看到是一个网站真正的价值所在。然而一些网站内容基本上是从网络上收集的而超市连锁店则以生活为主;一些机构网站或相关代理商在链接地点租赁和销售这使得超级连锁市场泡沫越来越多。此调整也会影响此类网站。 

3购买链接网站：百度一直以来都是为了保护和支持高质量的网站这是从用户需求和企业家角度来看的必然结果。一些网站管理员不会利用他们的精力来提高网站的质量。相反他们选择利用钱为超链接换钱欺骗搜索引擎欺骗用户。对于那些没有太多资源和资金来支付这些费用的企业家来说这也是一种无形的伤害。如果它们没有被遏制坏钱将会带来好钱这将不可避免地导致互联网环境恶化。对网站本身的这种调整也会受到影响。以上是百度质量团队首次引入绿萝萝卜算法的具体情况后来被称为绿萝萝卜算法1.0。

五个月后百度的质量团队再次推出了绿色多莉算法2.0对于明显的宣传软文本进行了更加严格的处理。惩罚的对象是发布软文的新闻网站包括软文交易平台和软文收入网站。处罚方法包括：

1。对于软文交易平台将直接封锁; 2.对于软文出版站个性化将直接封锁; 2.对于软文出版站将根据不同程度进行处理。例如一个新闻网站有出版软文的现象但情节不严重网站将在搜索系统中降低;如果子域用于发布大量软文本子域将被直接阻止百度新闻源将被清除;创建了许多子域以发布软文本在这种情况下将阻止整个主域。 

3.对于软文本受益站网站外链中有少量软文外链。此时外链将被过滤掉重量计算系统将被清除。受益站将被观察一段时间然后根据情况进一步处理;网站的外链中有大量的软文本链接然后受益网站将被减少或直接阻止。第4节 - 结果展示结构化数据＆mdash;＆mdash;帮助网站获得更多点击该网页已经完成了数据库的爬行参与了排序计算最终出现在搜索引擎用户面前。 目前百度搜索左侧显示的结果形式多种多样如：丰超品牌区域自然结果等。自然结果如何获得更多点击次数是网站管理员需要考虑的重要部分。目前自然结果分为两大类见下图第一类即结构化显示形式更加多样化。目前覆盖了80％的搜索需求即80％的关键字将以这种复杂的呈现方式出现;第二个是摘要演示文稿最原始的演示文稿只有一个标题两行摘要部分链接。