搜索引擎蜘蛛的爬行、抓取、索引、收录的区别

收录对于站长来说是在熟悉不过的了，但是很多人对于收录还是存在一些理解上的偏差，要正确的理解收录。

那么必须要对搜索引擎的爬行、抓取、索引、收录几个概念有正确的认知，对于掌握搜索引擎的收录过程是先决条件。爬行、抓取、索引、收录，是搜索引擎的收录内容的一个流程。

什么是爬行

爬行是搜索引擎收录内容的第一步，爬行指的是搜索引擎蜘蛛从已知页面上解析出链接指向的URL，然后沿着链接发现新页面（也就是链接指向的URL）的过程。当搜索引擎蜘蛛抓取页面的时候，除了抓取到图文内容的同时还会抓取到一堆url连接。

搜索引擎蜘蛛不会对这些链接立马进行抓取，而是将其存放在待抓取地址库中，蜘蛛抓取到页面链接，将链接入库到待抓取链接库中的行为就称之为爬取。

抓取则是爬行的下一阶段，搜索引擎会从爬取获得的待抓取地址库中，按照算法去逐步抓取地址库中链接内容的行为。

抓取过程和爬行过程是有一定的循环关系，在抓取页面的同时会发现新的url地址，会进行爬行将链接存入待抓取库中，形成抓取环，循环以往就可以不断的夸大抓取范围，达到覆盖全站到全网的抓取

其实很多人对于收录和索引一直分不太清，这两者其实是非常相近的。简单的讲可以这样理解，收录先于索引。

收录可以理解成为，搜索引擎通过爬行抓取了页面内容，并将内容入库；也就是说页面内容被抓取建立了快照。

索引则是搜索引擎的关键核心了，当我们在搜索引擎上输入关键词搜索到我们需要的内容这个过程就需要索引。搜索引擎的索引功能就像是网站的搜索功能，但是只是简单的通过关键词去数据库搜索匹配对于网站还可以适用，对于有海量数据的搜索引擎是不现实的。

而索引过程就是解决这个问题的关键，通过算法对内容进行分析之后，将一个个URL的信息进行整理，存入数据库，也就是索引库，用户搜索时，搜索引擎从索引库中提取URL信息并排序展现出来。只有进入索引库的内容，才有可能在搜索引擎中有机会展现。

索引和收录的区别：

如果内容只是被收录了是无法在搜索引擎进行展现的，收录可以认为是搜索引擎的一个资料库，收录的内容需要被筛选之后建立索引的内容才有机会去排名展现。也就是说网站被收录的数量是大与等于站点被索引的数量的。