大胡笔记搜索引擎优化学习教程：搜索引擎蜘蛛2大抓取策略详解

大胡笔记搜索引擎优化学习教程：搜索引擎蜘蛛2大抓取策略详解

两大基础抓取策略：深度优先 vs 广度优先

1. 深度优先抓取策略

核心逻辑：沿着一条链路「一条路走到黑」，直到无路可走，再返回走另一条链路

示例(图 2-3)：A→1→2→3→4→返回 A→5→6→9→10→返回 A→7→8→11→12→13→14

特点：

优先抓取深层页面，链路长、层级深的页面会被优先处理

资源消耗集中，适合小型爬虫、定向抓取

搜索引擎早期使用，现代搜索引擎极少单独使用

2. 广度优先抓取策略

核心逻辑：按「层级」抓取，先抓完同一层级的所有页面，再进入下一层级

示例(图 2-4)：A→1、2、3→4、5、6、7→8、9、10、11、12→13、14

特点：

优先抓取浅层页面，符合搜索引擎「先抓首页、再抓内页」的逻辑

资源分配更均衡，适合全网爬虫(百度 / Google 核心策略)

是现代搜索引擎的主流基础策略

转载请注明出处！大胡笔记：http://www.10i.com.cn/