3、去重

 

经过去停顿，去噪之后剩下的词组，已经可以很好的表达出页面的主体意思了。为了便于使得内容不被搜索引擎重复收录，搜索引擎需要一个算法来进行去重处理。

 

比如比较知名且常用的为MD5算法，请点击链接到百度百科自行脑补。

 

4、建立索引

 

去重完毕，便是一个大家经常说起的正向索引与倒排索引。

 

 

 

5、链接算法

 

在此阶段，各个页面之间的链接关系也会被搜集。

 

 

排名

 

索引文件建立完毕，离排名就不远了。

 

1、搜索词的处理

 

搜素引擎会对搜索词同样进行分词处理（想想为什么），说到这里，又不禁想感慨下汉字的博大精深之处。

 

针对这里，想补充的是一个叫做文本粒度的概念。额，为了避免误认子弟，还是给出百度官方关于此处的解释。

 

2、文件匹配与子集选择

 

按照百度官方的说法，将用户搜索的词进行分词处理之后，便可以对索引库进行召回了。这里需要考虑到的一点是，用户查看的往往会是前几页的搜索结果。所以为了资源计，搜索引擎往往会只返回部分的结果（百度显示76页，谷歌100页），即召回的索引库中的子集文件。

 

3、相关性计算

 

通常情况下，会有五种因素会影响到相关系。

 

 

关于此部分，也就是大家经常说到的SEO优化手段与方法，这里就不再赘述了。

 

4、排名过滤与调整

 

其实经过相关性计算，结果已经大体确定了。只是为了惩罚一些有作弊嫌疑的站点，搜索引擎会在此部分进行结果的微调。

 

5、结果的显示

 

深喘一口气，终于可以看到显示的结果了。

 

返回的结果会包含title、描述、快照入口、快照日期、url等几个方面。

 

这里值得一提的是，不只是描述搜索引擎可以动态抓取，或许在不久的将来，title也会进行动态抓取。