网站日记是最重的。如果你记录各种各样的问题在网站上的操作你能理解用户的IP何时以及如何使用通过该网站的日记。在安排系统的背景下律师事务所何时以及如何使用通过该网站的日记。在安排系统的背景下观众和披露设备网站页面的检查检查是否成功。
网站日志数据的解释如下。
?(1)调查的数量保持时间和爬行
它可以从这些数据:每天爬的页数是稳定的和单页爬行的停留时间是安静的和稳定的。顺利抓取的页面数量=爬总额/数量的调查单页抓取保持时间=反复重复保持/获取稳定的保持时间=总停留时间调查。
(2)目录爬行统计
通过日记的理解我们可能希望看到哪些目录网站上受蜘蛛爬行的深度目录重要页面的捕捉场景功能无效页面的捕捉场景功能等等
(3)页面爬行
在网站日记理解我们不妨看一下页面只是被蜘蛛爬行。在这些页面中我们不妨理解哪些页面需要防止爬行的蜘蛛爬行经过了哪些物价价格页面重复的页面的url是爬。为了充分利用蜘蛛的材料我们需要防止爬行robots . txt的这些地方。
(4)蜘蛛调查IP
的IP段蜘蛛和前三个数据被用来估计该网站的省电的场景。更多使用IP的理解是估计是否有收集蜘蛛假蜘蛛和恶毒的蜘蛛。因此我们将栅栏隔开的根源调查停止调查和处理利用节约资源和减少服务器上的压力让游客和蜘蛛更好的调查体验。