搜索引擎简史

 随着互联网的发展，搜索引擎的出现是必然的。就像传统图书馆一样，收藏的书籍、文件多了，必然出现管理、查找困难，索引和搜索就成为必需的了。实际上，搜索引擎原理在很大程度上源于传统文件检索技术。
网上资源数量远超出我们个人所能想象与掌控，没有搜索引擎，我们几乎无法有效利用这些资源，也就没有互联网的今天。
当今社会化媒体如日中天，诸如Facebook、Twitter等应用的使用人次、网站流量、社会影响力已经达到甚至超过Yahoo!、Google等互联网巨人。有这样一种倾向和观点，网民现在寻找信息更多地是靠Facebook、Twitter，而不是搜索引擎。也许搜索引擎已经过时了？
其实大可不必担心。也许Google、百度会没落，会消失，但搜索引擎不会。就算依靠Facebook、Twitter，或者以后出现的什么新网络服务寻找信息，用户要寻找信息时，一样要在搜索框输入关键词，这还是搜索，只不过搜索信息来源可能从搜索引擎收录的页面数据库变成Facebook、Twitter内部数据库，排名算法从页面相关性、链接变成会员、好友的推荐程度，但数据来源及算法的改变都不能改变用户对搜索的需要，也不会改变搜索的基本形式。
只要搜索存在，就有哪条信息排在前面的问题，就有SEO的存在。也许搜索引擎这个名字变了，SEO也只是需要改个名字而已。
搜索是近20年互联网变化最快的领域之一，这种变化不仅体现在搜索技术突飞猛进和对网络经济的巨大推动上，搜索引擎本身的合纵连横、兴衰起伏也是精彩纷呈，常令人有眼花缭乱、瞠目结舌之感。
了解搜索引擎的发展历史有助于SEO人员理解搜索引擎营销的发展、变革，对未来有更准确的预期。本节就简要列出搜索引擎发展史上的重要事件，其中很多事件对今天搜索以及SEO行业的形态有至关重要的影响。
1990年
第一个互联网上的搜索引擎Archie出现，用于搜索FTP服务器上的文件。当时基于HTTP协议的Web还没有出现。
1993年
6月，第一个Web搜索引擎World Wide Web Wanderer出现，只收集网址，并没有索引文件内容。
10月，第二个Web搜索引擎ALIWEB出现，开始索引文件元信息（也就是标题标签等信息），也还没有索引文件主体内容。
1994年
1月，Infoseek创立，其搜索服务稍后才正式推出。Infoseek是早期最重要的搜索引擎之一，允许站长提交网址是从Infoseek开始的。百度创始人李彦宏就是Infoseek的核心工程师之一。
4月，Yahoo!由David Filo和Jerry Yang（杨致远）创立。当时还没有注册yahoo.com域名，网站建在斯坦福大学的域名上。Yahoo!最初不是真正的搜索引擎，而是人工编辑的网站目录，创始人亲自把收集到的有价值的网站列在Yahoo!目录中。当网站数量还不大时，可以实现人工编辑，既为用户提供方便，又保证了信息质量，Yahoo!迅速成长为网络巨人。
4月，第一个全文搜索引擎（索引文件全部内容）WebCrawler推出。起初是华盛顿大学的一个研究项目。1995年被美国在线AOL收购，1996年又被Excite收购。2001年停止研发自己的搜索技术，网站成为元搜索引擎（整合、显示多个第三方搜索引擎结果，被称为元搜索引擎）。
6月，Lycos创立，迅速成为最受欢迎的搜索引擎之一。
1995年
1月，yahoo.com域名注册。4月，Yahoo!公司正式成立。
12月，Excite搜索引擎正式上线，成为早期流行的搜索引擎之一。2001年其母公司破产，被InfoSpace购买。2004年被Ask Jeeves收购。
12月，AltaVista 创立，迅速成为最受欢迎的搜索引擎，堪称当时的Google。 AltaVista在搜索领域做了很多开创性工作，页面排名以站内因素为主。站长提交网址后收录非常迅速。
12月，Infoseek成为网景浏览器的默认搜索引擎。网景，Netscape，当时浏览器市场的绝对统治者，曾占市场份额的90%以上。后来随着免费的微软IE浏览器推出而衰落，2008年正式停止研发和技术支援。
1996年
3月，Google作为创始人Larry Page和Sergey Brin 在斯坦福大学的研究项目开始，当时的名称是BackRub，2007年才改名为Google。
4月，Yahoo!上市。
5月，Inktomi创立，是早期重要的搜索技术提供商，本身并没有供用户使用的搜索网站或界面，而是专门提供搜索技术给其他公司。Inktomi最先开始付费收录，后来被Google等的成功证明行不通。
5月，Hotbot创立，开始时使用Inktomi数据。1998年被Lycos收购，后来转型为元搜索引擎，显示来自Google、FAST、Teoma和Inktomi的结果。也是初期颇流行的搜索引擎之一。
11月，Lycos收录6千万文件，成为当时最大的搜索引擎。与今天搜索引擎数据库相比，小巫见大巫。
1997年
4月，Ask Jeeves上线，2006年改名为Ask，是唯一一个至今仍实质存在并有一定市场份额的早期搜索引擎。创立时标榜的特点是“自然语言”搜索，用户可以用问句形式搜索。起初雇用大量编辑进行人工编辑搜索结果，显然（至少今天看来很显然）这种模式行不通，后来不得不使用其他搜索引擎数据。
1998年
2月21日，GoTo（后来改名为Overture）正式开始Pay For Placement（出售搜索结果位置）服务，谁付的钱多，谁就排在前面。在当时饱受非议，是后来所有主流搜索引擎最主要收入来源PPC的始祖。
Direct Hit创建，搜索结果的用户点击率是其排名因素的重要部分，Direct Hit因此流行一时，但很快也因此造成搜索质量大幅下降。今天搜索引擎算法中引入用户浏览数据，早在初期搜索引擎就有探索并留下了教训，处理不好，就会被作弊者利用。
1998年中，迪斯尼成为Infoseek的控股公司，将Infoseek转型为门户。早期搜索引擎没有明确赢利模式，遇到搜索质量下降、没有收入等困难时，常常采用转型为门户的方法，寄希望于像Yahoo!那样赚网络显示广告的钱，但几乎没有成功转型的例子。这为Google等后来者坚持提高搜索技术、坚持简洁的搜索核心业务提供了前车之鉴。
同样在1998年，AltaVista被卖给Compaq，1999年10月Compaq也将AltaVista转型为门户，AltaVista走向没落。
1998年中，Yahoo!放弃1996年开始使用的AltaVista ，转而使用Inktomi 的搜索数据。早期Yahoo!只在其目录中没有用户寻找的网站时才显示来自真正搜索引擎的数据。
9月，Google公司正式成立。
MSN搜索推出，不过微软很长时间没有重视搜索引擎，一直到2004年，MSN Search都在使用其他提供商的搜索数据和技术。
1999年
5月，AllTheWeb.com创建，是搜索技术公司FAST展示其技术的平台。
6月，Netscape放弃Excite，开始使用Google搜索数据，对Google来说是个里程碑。
1999年中，迪斯尼将Infoseek流量转入Go.com，曾经流行一时的搜索引擎Infoseek消失。Go.com几经波折，目前无声无息。
Lycos停止自己的搜索技术，开始使用AllTheWeb 数据。
2000年
1月，Ask Jeeves以5亿美元收购搜索引擎Direct Hit，但并没有进一步发展。2002年初Direct Hit正式结束。
1月18日，百度成立。起初作为搜索技术提供商向其他网站提供中文搜索服务和数据。
5月，Lycos被西班牙公司Terra Networks收购，改名为Terra Lycos。互联网泡沫破灭后，Terra Lycos渐渐式微。
7月，Yahoo!开始使用Google搜索数据，以自己当时最强大的网上品牌和流量培养出日后最强大的竞争对手。
2000年中，GoTo.com基本放弃用自己网站吸引用户的做法，开始向多家搜索引擎及网站提供付费搜索服务，包括MetaCrawler.com，DogPile.com，Ask Jeeves，AOL，Netscape 等。这可能是GoTo.com（后来的Overture）的重大失误之一，一个具开创意义的模式，其品牌名称却没能被普通用户知道，也因此无法与Google这种家喻户晓的品牌抗衡。
10月，Google推出AdWords，以CPM模式，也就是按显示付费，提供搜索广告服务。这个模式并不成功。
2001年
9月，Ask Jeeves收购Teoma，一个与Google一样重视链接的搜索引擎，曾经被认为是可能与Google抗衡的搜索引擎之一。
10月，百度作为搜索引擎正式上线，直接独立提供搜索服务。中文搜索迅速进入百度时代。
2002年
3月，Google Adwords推出PPC形式，也就是按点击付费，成为今天Adwords的主流。PPC搜索广告由Overture发明，由Google发扬光大。从PPC开始，Google Adwords才真正被客户接受和广泛使用，Google成为充分利用搜索的网上赚钱机器。
5月，美国在线AOL放弃Inktomi ，开始使用Google搜索数据。
10月，Yahoo!放弃在用户搜索时先返回Yahoo!目录中数据的做法，完全改为显示Google搜索数据。Yahoo!目录至今还是最重要的网站目录。
12月，Yahoo!收购苦于没有良好赢利模式的Inktomi，为2003年一系列收购和整合拉开序幕。Yahoo!显然希望拥有自己的搜索技术，而不想继续依赖其他搜索引擎如Google。
2003年
2月18日，Overture宣布收购AltaVista 。除了广告平台，Overture也拥有了自己的搜索技术。
2月25日，Overture宣布收购FAST的搜索技术部门，FAST拥有AllTheWeb.com，也向另一个著名的搜索网站Lycos提供搜索数据。Overture因此拥有了当时两大主要搜索技术公司。
3月，Google推出后来被称为Adsense的内容广告系统，向其他内容网站提供广告服务，成为很多网站的主要收入来源之一。
7月，Yahoo!宣布以16亿美元收购Overture，将除了Google之外的几乎所有主流搜索技术（Inktomi 、AltaVista、FAST）收归旗下。可惜，随着2010年Yahoo！放弃自己的搜索技术，转而使用微软必应，Yahoo!以前收购的及自己在此基础上研发多年的搜索技术全部无疾而终。Overture的PPC广告平台被整合、改名为Yahoo! Search Marketing。
2003年，微软MSN开始开发自己的搜索引擎技术。此前，MSN网站一直使用 Inktomi等搜索技术提供商的搜索数据。
2004年
2月，正如所有人预料的，Yahoo!在收购了几大搜索公司后推出自己的搜索引擎，不再使用Google数据和技术。
8月，Google上市。
11月，微软推出自己的搜索引擎MSN Search，不再使用第三方搜索服务。三雄鼎立时期开始。
2005年
8月，百度上市。
2006年
5月，微软推出类似于Google Adwords的广告系统AdCenter 。
9月，MSN Search改名Live Search，实际上MSN网络品牌全部改为Live，并做了大量推广。不过并没有显著提高微软在搜索市场的份额，Google仍然一枝独秀。
2007年
3月，Google也开始提供类似网站联盟的按转化付费的广告形式。4月，Google收购传统网络广告公司DoubleClick，进入更广泛的网络广告领域。
2009年
6月，微软Live Search 改名为必应（Bing）。
7月29日，微软和Yahoo!达成历史性协议，Yahoo!将逐步放弃自己的搜索技术，使用Bing数据。此前几年，Yahoo!始终挣扎在困境中，CEO几度更换，大股东内讧，搜索市场份额不断下降。终于，Yahoo!被自己亲手培养的Google彻底打败在搜索战场。Yahoo!曾经是英雄，但Yahoo!时代正式结束了。
2010年
8月25日，Yahoo!开始使用Bing搜索数据。
2003年至2010年，搜索领域的技术革新不断，以Google为代表的搜索引擎推出了整合搜索、个人化搜索、实时搜索、地图服务、线上文件编辑、网站统计、浏览器、网管工具、超大容量电子邮件、即时通信等，总体上看，通常是Google推出新服务，其他搜索引擎很快跟进。
国内，百度也创建了百科、知道、贴吧等独特服务。
但搜索引擎服务商没有大的变化。国际上，始终是Google独大，Yahoo!第二，占有不大不小的份额，微软Live/Bing第三，苦苦追赶而不得。2009年微软推出Bing及与Yahoo!签署协议后，Bing的市场份额开始慢慢上升，蚕食了原来Yahoo!的市场。
据NetMarketShare统计，2010年8月全球搜索引擎市场份额分布如图1-9所示。

Google占据84.73%，居于绝对领先地位。由于中国用户数的庞大，百度搜索量排在第三位，但除中国外，其他国家很少使用百度。
美国市场一直是全球搜索引擎风向标。据HitWise统计数字，2010年各搜索引擎市场份额变化情况如表1-2所示。
表1-2
2010年美国搜索引擎市场份额
数据分布日期??Google??Yahoo!??Bing??Ask??AOL??8月28日71.59%14.28%9.87%2.28%1.21%7月31日71.43%14.43%9.86%2.32%1.19%6月26日71.65%14.37%9.85%2.19%1.15%5月22日72.00%14.58%9.20%2.18%1.06%5月8日71.56%14.79%9.31%2.27%1.07%3月6日71.07%14.46%9.55%3.01%0.98%2月6日71.35%14.60%9.56%2.55%1.06%1月2日72.25%14.83%8.91%2.53%0.77%
?不同市场调查公司采样不同，计算方法不同，得出的数据也有差别。同样是美国8月份数字，Nielsen公司的数据是Google 占65% ，Bing 已经超过Yahoo ，以13.9% 的市场份额上升为第二名，Yahoo 为 13.1% 。而comScore 的报告又显示8月份 Google 在美国的市场份额为 65.4%，呈下降趋势，Yahoo 为17.4%，比前几个月还有增长，Bing为11.1%，也略有增长。
由于8月底Yahoo!已经开始使用Bing数据，Bing实际上已经占据美国搜索市场的20%以上份额，三雄鼎立结束，两雄争霸开始了。目前Google还遥遥领先，也没有市场被挖角的迹象。
在中文搜索市场，百度独大，Google第二。2010年Google退出中国风波后，Google在中文搜索市场份额小幅下降。
据艾瑞网公布的数字，2010年第二季度，按网页搜索量计算，百度在中国搜索引擎市场占有80.2%份额，Google下降至14.1%，如图1-10所示。

按营收计算，百度占70.8%，Google占27.3%。Google每次搜索产生的收入高于其他搜索引擎，如图1-11所示。
搜索领域变化很快。就在本书最终完稿时（2010年9月），百度推出了开放平台，用户不离开百度搜索结果页面就可以使用某些应用如小游戏。Google推出了“Google Instant”，用户正在输入搜索词时（还没有按搜索按钮或Enter键）就可以看到搜索结果。这些都将影响用户搜索模式，对SEO有什么长远影响还有待观察。