搜索引擎分类及其技术结构

搜索引擎中每个网站的相关信息都是从用户的网页中提取出来的，所以从用户的角度来看，我们有更大的自主权；而目录索引要求在其他手工艺中填写网站信息是必要的，并且有各种约束。更何况，如果工作人员认为您提交的网站目录和信息不合适，他们可以随时调整，当然不会提前与您协商。

搜索引擎根据其工作模式可分为三种方式：

1、全文搜索引擎

2、目录索引搜索引擎（search index/Directory）

3、元搜索引擎。

全文搜索引擎是一个当之无愧的搜索引擎。它们都是通过从互联网上提取每个网站的信息（主要是网页文本），检索符合用户查询条件的相关记录，然后按一定顺序将结果返回给用户而建立的数据库，是真正的搜索引擎。

从搜索结果来看，全文搜索引擎可以分为两类：一类是拥有自己的搜索引擎（索引器）以及自建的web数据库，搜索结果直接从自己的数据库调用，如上述7个引擎。另一种是租用其他引擎的数据库，并将搜索结果放置在一个自定的模式中。

当用户按关键字搜索信息时，搜索引擎将在数据库中进行搜索。如果他们找到一个符合用户需求的网站，他们会选择一种特殊的算法——通常根据关键词的匹配程度、位置、频率和链接质量——来计算每个页面的相关性和排名水平。然后根据凹凸的相关性，将这些页面链接回用户。这种引擎具有搜索率高的特点。

虽然它具有搜索功能，但严格意义上不能称之为真正的搜索引擎，只能是按目录分类的网站链接列表。（更简单地说，网站导航）用户完全可以根据分类目录找到所需信息，不依赖关键字进行查询。

顾名思义，目录索引是将网站按类别存储在相应的目录中，用户可以选择关键字进行搜索或按类别进行搜索。例如，关键字搜索的结果，和搜索引擎一样，也是根据信息的相关性程度来放置的，但人为因素较多。如果按层次目录搜索，则目录中网站的排名取决于标题字母的顺序（有些例外）。

当元搜索引擎接收到用户的查询请求时，它会一起搜索多个其他引擎，并将结果返回给用户。在搜索结果的放置方面，有的搜索结果直接按照源引擎放置；有的搜索结果从一开始就按照自己的规则放置和组合。

优秀的搜索引擎需要凌乱的架构和算法来支持海量数据的获取和存储，以及对用户查询的快速准确的响应。从体系结构的角度来看，搜索引擎需要在保证搜索结果质量的同时，能够获取、存储和处理数十亿个海量网页。如何获取、存储和记录如此大量的数据？如何快速响应用户的查询？如何使搜索结果满足用户的信息需求？

1、抓取网页：搜索引擎的信息来自互联网网页，互联网信息由网络爬虫在本地获取。由于Internet页面中有很大一部分内容是相同的或几乎重复的，“网页重复数据消除”模块将对此进行测试并删除重复内容。

2、建立索引：抓取网页后，搜索引擎将对网页进行分析，提取网页的主要内容和相关信息（包括网页位置的URL、编码类型、网页内容中包含的关键字、关键字位置、生成时间、大小、与其他网页的链接关系等）。根据一定的关联度算法，得到每个网页内容和超链接中每个关键字的关联度（或重要性），然后利用这些相关信息建立网页索引。

为了加快对用户查询的响应速度，通过高效的倒排索引查询数据结构保存网页内容，同时保存网页之间的链接关系。之所以要保留链接关系，是因为它在网络F的相关排序阶段是可用的，通过“链接分析”可以识别页面的相对重要性，这对用户提供准确的搜索结果非常有帮助。

由于网页数量庞大，搜索引擎不仅要存储网页的原始信息，还要存储一些中心使用单个或少量机器的处理结果，这是不现实的。上面描述了搜索引擎如何获取和存储大量的网页相关信息。这些功能不需要实时计费，可以作为搜索引擎的后台计费系统。

搜索引擎最重要的目的是为用户提供准确、全面的搜索结果。如何实时响应用户的查询并提供准确的结果，构成了搜索引擎的前端计费系统。当搜索引擎接收到用户的查询词时，首先需要对查询词进行分析，希望将查询词和用户信息结合起来，正确推断用户的真实搜索目的。

之后，在缓存中搜索是_件事。搜索引擎缓存系统存储不同查询目的对应的搜索结果。如果能够在缓存系统中找到满足用户需求的信息，搜索结果就可以直接返回给用户，不仅节省了资源重新核算的成本，而且加快了响应速度；