搜索引擎并不是最近一年才开始火爆的,实际上搜索一直是计算机和互联网重要的基础功能,可以说见证了整个互联网的发展。实际上早在WWW出现之前,就有Gopher Search。但真正爆炸性的发展是在WWW和Netscape出现之后,第一代WWW搜索引擎的代表是AltaVista和Yahoo!
AltaVista和Yahoo!
Yahoo是一个由编辑维护的网址数据库,是两个斯坦福大学生开发的,后来又有职业的图书馆信息分类学者参与修订目录。事实证明Yahoo是第一代搜索引擎中最成功的,部分是因为人工编辑的参与,部分是因为Netscape浏览器默认的搜索就设为了Yahoo。
AltaVista是DEC开发基于程序的搜索引擎,其最初的目的是显示DEC的高档服务器的运算能力。不同于Yahoo,AltaVista的基础是机器人(Robots),自动完成抓取网页,建立索引等工作,因此其数据库远大于编辑维护的数据库。为祢补数据的不足,Yahoo的分类目录实际上是和 AltaVista的全文搜索配合使用的,因此AltaVista的流行部分地是因为Yahoo提供了搜索入口。当然我们也不能说Yahoo完全依靠 AltaVista的技术,实际上大部分的搜索任务是通过搜索Yahoo自己的分类目录满足的。
第一代WWW搜索引擎还有很多很多:
LookSmart:和Yahoo类似的编辑维护的分类网址目录,由读者文摘(Reader’s Digest)创建。
Snap:分类目录,Cnet创建,后被NBCi收购。
WebCrawler:全文搜索,来自华盛顿大学的研究项目,后被AOL、Excite收购。
Excite:全文搜索,六个斯坦福大学生创建,后被@Home收购。
Lycos:全文搜索,来自Carnegie Mellon University的研究项目。
InfoSeek:全文搜索,被Disney/Go收购,百度创始人李彦宏曾在该公司服务。
专业搜索引擎
以上很多搜索引擎后来都发展为所谓门户(Portal),Yahoo是其中最成功的。AltaVista作为最成功的全文搜索引擎,也试图向门户方向发展,但被证明是一次巨大的错误,也给后来很多新生的专业搜索引擎公司提供了机会。
Inktomi:两个伯克利大学生创建于1996年,曾取代AltaVista的地位与Yahoo在全文搜索领域合作,最终被Yahoo收购。
HotBot:1996年创建,被Lycos收购。
Google:源自斯坦福大学的研究项目,1997下半年上线。
Fast(/AlltheWeb):1998年上线,一度是收录网页最多的搜索引擎。
除此之外,我们还要专门讨论一下Ask.com,这是一个以自然语言搜索为噱头的搜索引擎,于1998- 1999年间迅速崛起,但其实它真正崛起的秘密在于人工对搜索结果的干预,Ask.com当时有大量编辑对最热门的搜索词汇进行监控,并用人工参与的方式不断调整搜索结果。但今天,Ask.com回到了传统的全文搜索方式,搜索技术由Teoma提供。
Google和Overture
2000年网络泡沫破灭之后,大多数搜索引擎及门户都进入了低潮,Yahoo向媒体方向转型。这个时候,Google和Goto(Overture)逐渐崛起。
初看起来Google和Goto的策略是截然相反的。Google提倡技术至上,不断改进其算法;Goto自己不开发算法,他花钱用其他公司的技术。
Google完全依靠算法决定搜索页面的排序,花钱也别想买到好位置;Goto所有的位置都明码标价,位置是可以竞拍买来的。
Google几乎不作广告,完全依靠口碑;Goto的广告在网上到处都是,重点是拉站长们加入他们的搜索联盟。
Google逐渐成为用户使用频率最高同时也是最好的搜索引擎,而Goto(Overture )则通过营销创新赚来了大把钞票,并最终收购了第一代搜索引擎的象征AltaVista。
Google和Yahoo!
2003年,Yahoo收购Overture,并大举收购各种搜索技术,打造YST(Yahoo Search Technology)
2004年,成为最大搜索引擎的Google上市(IPO),并令人眼花缭乱地推出各种各样以促进网络广告销售为目的的多种服务,如网络图书馆、Gmail、GBase等。
2005年8月,雅虎宣布其搜索数据库已超Google成为全球最大的搜索引擎,但随即就有测试表明Google在绝大多数情况下仍会获得最多的有效查询结果。
相关网址
Yahoo!
AltaVista
Ask Jeeves
Google
Yahoo Search