最近在编一个教材,涉及到搜索引擎的发展历史,编制的过程同时也是学习的过程,帮助自己把搜索引擎的历史重新温习了一下,还搞清楚了很多一些原来比较模糊的背景。值得感慨的是,很多曾经风云一时的搜索引擎有的被收购、有的关门大吉,最终成就了现在的搜索巨头。然三十年河东,三十年河西,在将来的历史上谁会是主角,是没有办法给出结论的。
搜索引擎是早于万维网出现的,但是在万维网出现之前,搜索引擎还仅仅是实验室的工具,并没有能够成为大众的工具。短短的十多年的时间,搜索引擎除了在技术上的进步有目共睹之外,这种技术的应用对互联网乃至大众生活产生的影响是任何一个搜索引擎发布之初都没有办法预见的。
1990年12月
蒙特利尔大学的学生Alan Emtage发明了Archie。虽然当时World Wide Web还未出现,但网络中文件传输还是相当频繁的,而且由于大量的文件散布在各个分散的FTP主机中,查询起来非常不便,因此Alan Emtage想到了开发一个可以以文件名查找文件的系统,于是便有了Archie。Archie工作原理与现在的搜索引擎已经很接近,它依靠脚本程序自动搜索网上的文件,然后对有关信息进行索引,供使用者以一定的表达式查询。
1991年4月
明尼苏达大学(University of Minnesota)的一个研究小组开发出了Gopher,它最初的设计目的是在校园里建立信息共享系统,让每个人都可以简单地发布自己的研究成果,并能共享别人发布的信息。由于这个系统设计得界面简单,一致性好,很快就在Internet上流行起来。Gopher最大的特点就是用户要作的只是从菜单中做出选择,而由Gopher完成所需的操作,它可能要与另外一台计算机建立连接,或者要下载一个文件,或者打开一个Telnet会话等,所有的过程用户都不必关心,也不必知道得到的数据是存放在哪台计算机中的。
WAIS publisher fed search engine .
5月
WWW Server Production
1992年7月
Lynx Web Browser . .
12月
Veronica
1993年2月
Architext
3月
Jughead
美国总统Bill Clinton发出了全球第一封电子邮件。
6月
WWW Wanderer诞生。世界上第一个用于监测互联网发展规模的“机器人”程序是Matthew Gray开发的World wide Web Wanderer,刚开始它只用来统计互联网上的服务器数量,后来则发展为能够检索网站域名。
8月
Mosaic Web Browser
11月
ALIWEB诞生。与Wanderer相对应,Martin Koster于1993年10月创建了ALIWEB,它是Archie的HTTP版本。ALIWEB不使用“机器人”程序,而是靠网站主动提交信息来建立自己的链接索引,类似于现在我们熟知的Yahoo。
12月
随着互联网的迅速发展,使得检索所有新出现的网页变得越来越困难,因此,在Matthew Gray的Wanderer基础上,一些编程者将传统的“蜘蛛”程序工作原理作了些改进。其设想是,既然所有网页都可能有连向其他网站的链接,那么从跟踪一个网站的链接开始,就有可能检索整个互联网。到1993年底,一些基于此原理的搜索引擎开始纷纷涌现,其中以JumpStation、The World Wide Web Worm(Goto的前身,也就是今天Overture),和Repository-Based Software Engineering (RBSE) spider最负盛名。然而JumpStation和WWW Worm只是以搜索工具在数据库中找到匹配信息的先后次序排列搜索结果,因此毫无信息关联度可言。而RBSE是第一个在搜索结果排列中引入关键字串匹配程度概念的引擎。
1994年1月
第一个既可搜索又可浏览的分类目录EINet Galaxy(Tradewave Galaxy)上线,除了网站搜索,它还支持Gopher和Telnet搜索。
4月
Yahoo! 斯坦福(Stanford)大学的两名博士生,David Filo和美籍华人杨致远(Gerry Yang)共同创办了超级目录索引Yahoo,并成功地使搜索引擎的概念深入人心。从此搜索引擎进入了高速发展时期。Stanford两名博士生,美籍华人Jerry Yang(杨致远)和David Filo共同创办了Yahoo。随着访问量和收录链接数的增长,Yahoo目录开始支持简单的数据库搜索。因为Yahoo!的数据是手工输入的,所以不能真正被归为搜索引擎,事实上只是一个可搜索的目录。搜索效率明显提高。(Yahoo以后陆续使用Altavista、Inktomi、Google提供搜索引擎服务)
WebCrawler
1994年初,Washington大学CS学生Brian Pinkerton开始了他的小项目WebCrawler(Brian Pinkerton Announces the Availability of Webcrawler)。1994年4月20日,WebCrawler正式亮相时仅包含来自6000个服务器的内容。WebCrawler是互联网上第一个支持搜索文件全部文字的全文搜索引擎,在它之前,用户只能通过URL和摘要搜索,摘要一般来自人工评论或程序自动取正文的前100个字。(后来webcrawler陆续被AOL和Excite收购,现在和excite一样改用元搜索引擎Dogpile)
7月
Lycos,最早现代意义上的搜索引擎出现于1994年7月。当时Michael Mauldin将John Leavitt的蜘蛛程序接入到其索引程序中,创建了大家现在熟知的Lycos。Lycos(Carnegie Mellon University Center for Machine Translation Announces Lycos )是搜索引擎史上又一个重要的进步。Carnegie Mellon University的Michael Mauldin将John Leavitt的spider程序接入到其索引程序中,创建了Lycos。1994年7月20日,数据量为54,000的Lycos正式发布。除了相关性排序外,Lycos还提供了前缀匹配和字符相近限制,Lycos第一个在搜索结果中使用了网页自动摘要,而最大的优势还是它远胜过其它搜索引擎的数据量:1994年8月--394,000 documents;1995年1月--1.5 million documents;1996年11月--over 60 million documents。(注:1999年4月,Lycos停止自己的Spider,改由Fast提供搜索引擎服务)
1994Open Text . .
12月
First W3C meeting at MIT
1995年2月
Infoseek Infoseek(Steve Kirsch Announces Free Demos Of the Infoseek Search Engine)是另一个重要的搜索引擎,虽然公司声称1994年1月已创立,但直到年底它的搜索引擎才与公众见面。起初,Infoseek只是一个不起眼的搜索引擎,它沿袭Yahoo!和Lycos的概念,并没有什么独特的革新。但是它的发展史和后来受到的众口称赞证明,起初第一个登台并不总是很重要。Infoseek友善的用户界面、大量附加服务(such as UPS tracking, News, a directory, and the like) 使它声望日隆。而1995年12月与Netscape的战略性协议,使它成为一个强势搜索引擎:当用户点击Netscape浏览器上的搜索按钮时,弹出Infoseek的搜索服务,而此前由Yahoo!提供该服务。(注:Infoseek后来曾以相关性闻名,2001年2月,Infoseek停止了自己的搜索引擎,开始改用Overture的搜索结果)
5月
SavvySearch
6月
MetaCrawler 1995年,一种新的搜索引擎形式出现了——元搜索引擎(A Meta Search Engine Roundup)。用户只需提交一次搜索请求,由元搜索引擎负责转换处理后提交给多个预先选定的独立搜索引擎,并将从各独立搜索引擎返回的所有查询结果,集中起来处理后再返回给用户。第一个元搜索引擎,是Washington大学硕士生 Eric Selberg 和 Oren Etzioni 的 Metacrawler。元搜索引擎概念上好听,但搜索效果始终不理想,所以没有哪个元搜索引擎有过强势地位。
8月
Magellan
DejaNews
9月
Inktomi 1995年9月26日,加州伯克利分校CS助教Eric Brewer、博士生Paul Gauthier创立了Inktomi(UC Berkeley Announces Inktomi),
10月
Excite
12月
AltaVista DEC的AltaVista(2001年夏季起部分网友需通过p-roxy访问,无p-roxy可用qbseach单选altavista搜索,只能显示第一页搜索结果)是一个迟到者,1995年12月才登场亮相(AltaVista Public Beta Press Release )。但是,大量的创新功能使它迅速到达当时搜索引擎的顶峰。Altavista最突出的优势是它的速度(搜索引擎9238:比较搞笑,设计altavista的目的,据说只是为了展示DEC Alpha芯片的强大运算能力)。 而Altavista的另一些新功能,则永远改变了搜索引擎的定义。AltaVista是第一个支持自然语言搜索的搜索引擎,AltaVista是第一个实现高级搜索语法的搜索引擎(如AND, OR, NOT等)。用户可以用AltaVista搜索Newsgroups(新闻组)的内容并从互联网上获得文章,还可以搜索图片名称中的文字、搜索Titles、搜索Java applets、搜索ActiveX objects。AltaVista也声称是第一个支持用户自己向网页索引库提交或删除URL的搜索引擎,并能在24小时内上线。AltaVista最有趣的新功能之一,是搜索有链接指向某个URL的所有网站。在面向用户的界面上,AltaVista也作了大量革新。它在搜索框区域下放了“tips”以帮助用户更好的表达搜索式,这些小tip经常更新,这样,在搜索过几次以后,用户会看到很多他们可能从来不知道的的有趣功能。这系列功能,逐渐被其它搜索引擎广泛采用。1997年,AltaVista发布了一个图形演示系统LiveTopics,帮助用户从成千上万的搜索结果中找到想要的。
1996年
1月
BackRub
4月
Alexa
5月
HotBot 然后到来的是HotBot。1995年9月26日,加州伯克利分校CS助教Eric Brewer、博士生Paul Gauthier创立了Inktomi(UC Berkeley Announces Inktomi),1996年5月20日,Inktomi公司成立,强大的HotBot出现在世人面前。声称每天能抓取索引1千万页以上,所以有远超过其它搜索引擎的新内容。HotBot也大量运用cookie储存用户的个人搜索喜好设置。(Hotbot曾是随后几年最受欢迎的搜索引擎之一,后被Lycos收购)
6月
Archive.org
10月
LookSmart
1996
Mamma
Dogpile .
1997年
2月
The Mining Company
4月
Ask Jeeves
7月
FAST Search
8月
Northern Light Northernlight 公司于1995年9月成立于马萨诸塞州剑桥,1997年8月,Northernlight搜索引擎正式现身。它曾是拥有最大数据库的搜索引擎之一,它没有Stop Words,它有出色的Current News、7,100多出版物组成的Special Collection、良好的高级搜索语法,第一个支持对搜索结果进行简单的自动分类。(2002年1月16日,Northernlight公共搜索引擎关闭,随后被divine收购,但在Nlresearch,选中World Wide Web only,仍可使用Northernlight搜索引擎)
1997
GoTo
1998年
1月
Openfind 创立,其技术源自台湾中正大学吴升教授所领导的GAIS实验室。Openfind起先只做中文搜索引擎,曾经是最好的中文搜索引擎,鼎盛时期同时为三大著名门户新浪、奇摩、雅虎提供中文搜索引擎。
2月
中国人自己的搜索引擎“搜狐”问世,“出门靠地图,上网找搜狐”开始了中国互联网的门户时代。
4月
Direct Hit
1998
GoTo收购WWW Worm .
5月
Yahoo! Web Search powered by Inktomi
6月
ODP/DMOZ
9月
Google 1998年10月之前,Google只是Stanford大学的一个小项目BackRub。1995年博士生Larry Page开始学习搜索引擎设计,于1997年9月15日注册了google.com的域名,1997年底,在Sergey Brin和Scott Hassan、Alan Steremberg的共同参与下,BachRub开始提供Demo。1999年2月,Google完成了从Alpha版到Beta版的蜕变。Google公司则把1998年9月27日认作自己的生日。Google在Pagerank、动态摘要、网页快照、DailyRefresh、多文档格式支持、地图股票词典寻人等集成搜索、多语言支持、用户界面等功能上的革新,象Altavista一样,再一次永远改变了搜索引擎的定义。
在2000年中以前,Google虽然以搜索准确性备受赞誉,但因为数据库不如其它搜索引擎大,缺乏高级搜索语法,所以使用价值不是很高,推广并不快。直到2000年中数据库升级后,又借被Yahoo选作搜索引擎的东风,才一飞冲天。
MSN Search
10月
Lycos收购Wired/HotBot
1999年1月
At Home收购Excite
About.com
2月
GO Network
6月
CMGI 收购AltaVista
7月
Disney收购Infoseek
8月
AlltheWeb Fast(Alltheweb)公司创立于1997年,是挪威科技大学(NTNU)学术研究的副产品。1999年5月,发布了自己的搜索引擎AllTheWeb。Fast创立的目标是做世界上最大和最快的搜索引擎,几年来庶几近之。Fast(Alltheweb)的网页搜索可利用ODP自动分类,支持Flash和pdf搜索,支持多语言搜索,还提供新闻搜索、图像搜索、视频、MP3、和FTP搜索,拥有极其强大的高级搜索功能。
9月
FindWhat
11月
NBCi/Snap
2000年5月
Terra收购Lycos
6月
Vivísimo
Yahoo! Web Search powered by Google
9月
LookSmart收购Zeal Media
Espotting
Business.com
10月
Google AdWords
12月
Google Toolbar
2001年
2月
GoGuides
Google收购Deja Archive
4月
Teoma登场。Teoma 起源于1998年Rutgers大学的一个项目,Apostolos Gerasoulis教授带领华裔Tao Yang教授等人创立Teoma于新泽西Piscataway,2001年春初次登场,2001年9月被提问式搜索引擎Ask Jeeves收购,2002年4月再次发布。Teoma的数据库目前仍偏小,但有两个出彩的功能:支持类似自动分类的Refine;同时提供专业链接目录的Resources。
5月
JoeAnt
8月
LookSmart整合Zeal.com并升级收费服务。非商业网站可通过LookSmart旗下的Zeal.com进行免费登录;商业网站则必须从Basic Submit、Express Submit或LookListings三者中选其一(非商业网站如能承担相关费用,也可选其中一项目进行登录)。此外,LookSmart还推出了“Express Modify”服务,允许付费快速修改网站信息。
9月
AskJeeves收购Teoma
WiseNut Wisenut 由韩裔Yeogirl Yun创立。2001年春季发布Beta版,2001年9月5日发布正式版,2002年4月被分类目录提供商looksmart收购。wisenut也有两个出彩的功能:包含类似自动分类和相关检索词的WiseGuide;预览搜索结果的Sneak-a-Peek。
9月21日,搜狐公司在国内率先宣布对搜索引擎收费。但这项收费服务不是针对普通网民,而是对希望把自己的名字加入搜狐搜索引擎的企业提供分类搜索服务收费。
10月
GoTo更名为Overture。
2002年
1月
Yahoo!收购StarMedia Network旗下的巴西搜索引擎Cade,并将其与Yahoo搜索引擎整合。通过本次收购,Yahoo-Cade将成为南美第三大网络媒体网站。
软件开发商Divine公司近日将Northern Light部分资产收归旗下,同时Northern Light宣布,自1月16日起该引擎将停止向公众提供搜索服务,转而集中于企业及机构用户。
Ask Jeeves整合Teoma搜索引擎。在收购全文搜索引擎Teoma之后,Ask Jeeves终于完成整合工作,将以Teoma引擎数据库为基础,向用户提供搜索服务。
2月
Google推出了Adword Select竞价排名广告业务,用户可针对目标关键词搜索结果页面中Adword广告链接排名进行竞价,最低竞价为5美分,Google竞价排名在考虑竞价高低同时还参考链接的点击率。
2月28日起,百度竞价排名前3位的网站开始出现在搜狐缺省搜索结果最前列。
3月
Looksmart于宣布以925万美元等值股票收购全文搜索引擎新秀WiseNut。WiseNut成立于2001年9月,以搜索相关度高而备受好评,曾被认为是Google的强有力竞争者。
Gigablast Pre-Beta Gigablast 由前Infoseek工程师Matt Wells创立,2002年3月展示pre-beta版,2002年7月21日发布Beta版。Gigablast的数据库目前仍偏小,但也提供网页快照,一个特色功能是即时索引网页,你的网页刚提交它就能搜索(注:这个spammers的肉包子功能暂已关闭)。
3月12日,新浪网搜索引擎中的网页搜索服务被百度停止。
4月
4月1日,在推出Teoma正式版的同时,Ask Jeeves将其所属引擎DirectHit关闭。用户访问时会发现已见不到 DirectHit的界面,并且访问被自动转向Teoma。
5月
微软拒绝继续与RealNames合作,导致后者宣布将在6月28日停止关键词搜索服务并宣布倒闭。
6月
雅虎中国搜索推出“关键字赞助网站”付费增值服务,商业网站可以通过付费的方式,将其网站列于Yahoo!中国搜索搜索结果最靠前的位置。
7月
Gigablast Beta
12月
Google推出了商品购物搜索引擎Froogle。用户在搜索框中输入想购买的产品名称,Google将返回从各个购物网站/网上商店上抓取的信息,包括产品图片、产品介绍、价格以及对应的网站链接。此外Google还提供了14个大类的产品分类检索,以及限定价格或价格区间等高级搜索功能。
2003年
3月
Yahoo!收购Inktomi
4月
FindWhat收购Espotting
Google收购Applied Semantics
Overture收购AltaVista和Fast/AlltheWeb。
4月15日新浪正式宣布和中国搜索联盟(www.chinasearch.com.cn)结成战略合作伙伴,为企业提供搜索排名服务。
6月
Google推出AdSense服务。
10月
Google收购Sprinks。
Yahoo!收购Overture。
2004年
2月
Yahoo整合其收购的多家搜索引擎技术,推出了YST(Yahoo Search Technology)全文搜引擎技术,Yahoo宣称其全文搜索引擎已索引了43亿个网页文件。Yahoo推出新的搜索引擎,意味着与Google多年合作的终结。
Lycos Search discontinued
Lycos Communities discontinued
3月
AltaVista、AlltheWeb切换为Yahoo! 搜索
Yahoo!推出网页等级评估系统“Web Rank”。该系统根据网页外部链接的数量给予网页以1-10分的等级评分。用户下载并安装Yahoo搜索工具条后,在浏览网页时,该网页的等级分数将会显示在工具条上。
Yahoo! Site Match™ powered by Overture
AskJeeves收购Excite、iWon、My Way
4月
Google推出Gmail邮箱服务,全球率先推出1G免费邮箱。
6月
AOL收购Advertising.com
Yahoo!在中国推出独立域名的搜索引擎一搜Yisou.com
Ask Jeeves 收购Tukaroo Search。
百度Baidu 获得新一轮投资,Google成为其战略投资者。
8月
8月3日,搜狐正式推出全新独立域名专业搜索网站“搜狗”(www.sogou.com),力推用户互动式搜索功能,成为全球首家第三代中文互动式搜索引擎服务提供商。
Yahoo!推出Local Search Engine
8月19日
Google 首次公开发行股票IPO,在美国NASDAQ成功上市,Google的IPO采用荷兰式拍卖的形式,上市后市值达到300亿美元,超过众多老牌传统上市公司。
9月15日
全球最大的在线购物网站Amazon亚马逊发布了其Web搜索服务工具的新版本A9.com,可从用户所选择的各种资源中组织有用信息,并能记住用户的个人搜索记录。A9与目前在线购物领域采用的Google和Yahoo提供的内容有所不同。使用A9,用户可访问Google的Web搜索结果和图像搜索结果、来自IMDB的电影信息以及来自GuruNet.com的参考信息,同时也包括亚马逊自身用于促销的Search Inside the Book服务。
11月
MSN发布新的搜索引擎。
Google 宣布收录网页超过80亿。
2005年1月
Gigablast宣布收录网页超过10亿。
AOL发布新版的搜索引擎,并采取多项措施加强搜索引擎。
3月
美国传媒大亨Barry Diller的IAC/InterActiveCorp宣布收购Ask Jeeves,涉及金额达19.5亿美元,IAC拥有超过40家不同网站,其中包括在线旅行站点Expeidia、Hotels.com,社交网站Match.com、Evite.com及其它流行站点Ticketmaster、LendingTree等。
4月
4月12日,搜狐以约1000万美元全资收购国内一家名为Go2Map的电子地图公司,搜狐在完成对Go2Map的收购之后将把其资源整合进搜狐的搜索业务线当中。Go2Map从2000年开始专注于网络地图搜索领域,Go2Map在该细分市场内已经做到了接近90%的市场份额。
4月18日,Yahoo!把旗下“Overture”更名为Yahoo Search Marketing,美国市场将率先实施更名计划,海外市场也将陆续更名,但日本和韩国将继续保持“Overture”品牌。调整之后。Overture的搜索广告产品将以“Sponsored Search(赞助搜索)”为名,而本地付费搜索则称为“Local Sponsored Search(本地赞助搜索)”
Leave a Reply