Internet越来越酷，WWW的知名度如日中天。在Internet上发布公司信息、进行电子商 务已经从时髦演化成时尚。作为一个Web Master，你可能对HTML、javascript、Java、 ActiveX了如指掌，但你是否知道什么是Web Robot？你是否知道Web Robot和你所设 计的主页有什么关系？ 

Internet上的流浪汉--- Web Robot 

有时你会莫名其妙地发现你的主页的内容在一个搜索引擎中被索引，即使你从未与他 们有过任何联系。其实这正是Web Robot的功劳。Web Robot其实是一些程序，它可以 穿越大量Internet网址的超文本结构，递归地检索网络站点所有的内容。这些程序有时 被叫 “蜘蛛（Spider）” ， “网上流浪汉（Web Wanderer）”，“网络蠕虫（web worms）”或Web crawler。一些Internet网上知名的搜索引擎站点（Search Engines）都 有专门的Web Robot程序来完成信息的采集，例如Lycos，Webcrawler，AltaVista等，以 及中文搜索引擎站点例如北极星，网易，GOYOYO等。 

Web Robot就象一个不速之客，不管你是否在意，它都会忠于自己主人的职责，任劳 任怨、不知疲倦地奔波于万维网的空间，当然也会光临你的主页，检索主页内容并生 成它所需要的记录格式。或许有的主页内容你乐于世人皆知，但有的内容你却不愿被 洞察、索引。难道你就只能任其“横行”于自己主页空间，能否指挥和控制Web Robot的行踪呢？答案当然是肯定的。只要你阅读了本篇的下文，就可以象一个交通 警察一样，布置下一个个路标，告诉Web

[1] [2] [3] [4] [5] [6] 下一页