10)搜索引擎蜘蛛抓取跟踪链接的方法

  • views
  • A+
所属分类:搜索引擎原理
我们都知道为了抓取网上尽可能多的页面,搜索引擎蜘蛛会跟踪页面上的链接,从业个页面爬到下一个特免,就好像蜘蛛在蜘蛛网上爬行那样,这也就是搜索引擎蜘蛛这个名称的由来。
 
整个互联网是由相互链接的网站及页面组成的。从理论上来说,蜘蛛从任何一个页面出发,顺着链接都可以爬行到网上的所有页面。当然,由于网站及页面链接就够异常复杂,蜘蛛需要采取一定的爬行策略才能遍历网上所有页面。
 
所谓深度优先,指的是蜘蛛沿着发现的链接一直向前爬行,知道前面再也没有其他链接,然后在返回到第一个页面,沿着另一个链接再一直向前爬行。
广度优先是指蜘蛛在一个页面上发现多个链接时,不是顺着一个把链接一直向前,而是把页面上所有的第一层链接都爬一遍,然后再沿着第二层页面上发现的链接爬向第三层页面。
搜索引擎优化
从理论上来说,无论是深度优先还是广度优先,只要给蜘蛛足够的时间,都能爬完整个互联网。从实际工作中,蜘蛛的带宽资源、时间都不是无限的,也不可能爬完所有页面。实际上最大的搜索引擎也只是爬行和收录了互联网的一小部分。
 
深度优先和广度优先通常都是混合使用的,这样既可以照顾到尽量度的网站(广度优先),也能照顾到一部分网站的内页(深度优先),同时也会考虑页面权重、网站规模、外裢、更新等诸多因素。
 

注明:文章为免费分享,会时常更新(涉及SEO全套知识),要想了解可以关注我们的网站:www.qiaoyiwangluo.com。老板说了,如果对您有一点帮助,您帮我分享一次,我工资会涨1毛钱滴哦

  • 版权声明:本站原创文章,于2018-05-03 11:51,由巧易网络发表。
  • 转载请注明:http://www.qiaoyiwangluo.com/a/sousuoyinqing/20170812/11.html |搜索引擎原理