| Google与Baidu的比较 |
| 作者：内详 来源：网络搜集 点击数：
更新时间：2008-3-31 10:17:53 |
|
|
通常比较好的网站的网络蜘蛛能够在合适的时间进行爬网，因为很容易可以从IP上判断一个主机的实际地址，一般的网络蜘蛛都安排在当地时间的凌晨2-5点爬主要的网页。
对于一个经常更新的网站，设计良好的网络蜘蛛会定期来爬，时间间隔不会超过两天。在这里面有一个定义：[更新率]，是[月更新的网页/全部的网页]，如果这个数字比较大，则表明这个网站维护和更新比较快，会受到网络蜘蛛很好的重视。
在搜索引擎的竞争中，网络蜘蛛占很大的比重。因为网络蜘蛛是搜索引擎最直接的信息来源。但是过度的网络蜘蛛则会影响到主机的性能，也会造成网路阻塞。 Googlebot宣称不会在15秒钟送出两只以上的网络蜘蛛，而Baidu则丝毫没有顾及这个，Baidu的网络蜘蛛常常是一分钟内往一个网站送交几百，甚至上千只，对于多域名Hosting的主机，常造成主机瘫痪。因此有网站在/robot.txt 里限制了网络蜘蛛的范围。
易县门户网http://www.yxdoor.com
比较好的一个例子是一个中等网站的网络蜘蛛与访问量的关系是1/50的关系。
那么什么会影响到网络蜘蛛访问的次数呢？除了上面谈到的[更新率]和以后要谈到的Pageranking外，还有一个不上一页 [1] [2] [3] [4] [5] 下一页
|
|
| 教程录入：yxdoor 责任编辑：yxdoor |
上一篇教程： 关于baidu一些排名规则的讨论
下一篇教程： GOOGLE正式在上海成立办公室 并购百度提速 |
| 【发表评论】【加入收藏】【告诉好友】【打印此文】【关闭窗口】 |
