借助GoogleOther,Google 可以通过将非必要任务分配给新的爬虫程序来减轻 Googlebot 搜索引擎蜘蛛的部分压力。
Googlebot 与 GoogleOther 之间的职责划分
GoogleOther 主要供 Google 产品团队内部构建 Google 搜索索引。正如 Illyes 在LinkedIn上所说:
我们在抓取工具列表中添加了一个新的抓取工具 GoogleOther,这最终 gcash 数据 将减轻 Googlebot 的压力。这对您来说是一个无操作的更改,但我认为它仍然很有趣。
在优化 Googlebot 的抓取方式和内容时,我们希望确保 Googlebot 的抓取作业仅用于内部构建搜索使用的索引。为此,我们添加了一个新的抓取工具 GoogleOther,它将取代 Googlebot 的一些其他作业(如研发抓取),从而为 Googlebot 释放一些抓取容量。”
本质上,它将接管 Googlebot 历史上拥有的各种任务,包括研发 (R&D) 抓取。我们所说的“历史”是指: