| 世界各大搜索引擎的蜘蛛名称列表 |
| 作者:内详 来源:网络搜集 点击数:
更新时间:2008-3-31 10:40:33 |
|
|
本文记录了全世界比较出名的Robots.txt 列表需要设置的搜索蜘蛛。如何设置那个目录不想被搜索引擎收录的可参照下去设置。
当然也必须从Robots.txt 去设置
下列为比较出名的搜索引擎蜘蛛名称:
Google的蜘蛛: Googlebot 百度的蜘蛛:baiduspider Yahoo的蜘蛛:Yahoo Slurp MSN的蜘蛛:Msnbot AltaVista的蜘蛛:Scooter Lycos的蜘蛛: Lycos_Spider_(T-Rex) Alltheweb的蜘蛛: FAST-WebCrawler/ INKTOMI的蜘蛛: Slurp
如需要参考的可以参照本文: User-agent(用户代理设置):(蜘蛛名字) 拒绝:(文件名字)
User-agent: Black Hole Disallow: /
User-agent: Titan Disallow: /
User-agent: WebStripper Disallow: /
User-agent: NetMechanic Disallow: /
User-agent: CherryPicker Disallow: /
User-agent: EmailCollector Disallow: /
User-agent: EmailSipho [1] [2] [3] [4] [5] [6] [7] [8] [9] [10] ... 下一页 >>
|
|
| 教程录入:yxdoor 责任编辑:yxdoor |
上一篇教程: 新手培新第一课:域名和空间经验分享
下一篇教程: 专访爆米花:广告是视频网站盈利的不二法门 |
| 【发表评论】【加入收藏】【告诉好友】【打印此文】【关闭窗口】 |