谷歌：大多数网站不需要担心爬网预算

谷歌的搜索关系团队表示，大多数网站不必担心在最新一期的搜索非记录播客中的爬网预算问题。
谷歌的加里·伊尔耶斯（Gary Illyes）详细地讨论了这个话题，他说，该团队一直在推迟他们之前的信息传递，并补充说，“相当一部分人”确实需要关心这个问题。
然而，对于大多数网站来说，爬网预算不应该成为一个问题，Illyes解释道：

“从历史上看，我们一直在推迟爬行预算，通常会告诉人们，你不必在意它。
我坚持我的立场，我仍然说大多数人不必在意它。我们确实认为生态系统中有相当一部分人必须关心深圳网络推广。
……但我仍然相信——我在这里试图强调这一点——绝大多数人不必在意它。”

为了澄清之前的消息，谷歌最近发布了更多关于爬网预算的信息。
例如，就在上个月，Google在YouTube上发布了一整集关于爬虫预算的话题。

• 参见：谷歌搜索引擎优化101：网站爬网预算解释

所以谁应该关心预算，谁不应该关心，

什么时候关心爬网预算/什么时候不关心

SEO通常希望听到一个硬数字时，爬网预算-例如你的网站必须有X个网页，然后爬网预算是一个问题。
但它并不是这样工作的，伊利斯说：

“…嗯，不是那样的。就像你可以在你的网站上做蠢事，然后谷歌机器人开始疯狂爬行。
或者你可以做一些其他愚蠢的事情，然后Googlebot就会完全停止爬行。”

如果被迫给出一个数字，Illyes说大约一百万个网址是一个网站所有者真正需要关心爬网预算的基线。
网址少于一百万的网站不必关心爬网预算。

影响爬网预算的因素

对于拥有超过一百万个url的站点，这些因素可能导致或指示爬网预算问题。
因素1：长时间未爬网的页面

“我会看什么，可能是从未爬网的URL。这是一个很好的指标，如何发现一个网站，有多好的爬行…
所以我会看那些从未爬过的页面。为此，您可能需要查看服务器日志，因为这样可以提供绝对真实的信息。“

因素2：经过长时间的广泛变化

“然后我还将查看刷新率。例如，如果您看到站点的某些部分长时间（比如几个月）没有刷新，并且您确实对该部分的页面进行了更改谷歌推广，那么您可能需要开始考虑爬网预算。“

修复爬网预算问题

Illyes提供了两个解决爬网预算问题的建议。
首先，尝试删除不必要的页面。每一页谷歌机器人都要爬网减少其他网页的爬网预算。
因此，过多的“胡言乱语”内容可能会导致重要内容无法被抓取。

“比如，如果你删除，如果你从你的网站上删掉那些对用户来说可能不太有用的东西，那么Googlebot将有时间专注于对用户有好处的更高质量的页面。”

Illyes的第二个建议是避免向Googlebot发送“后退”信号。
后退信号是某些服务器代码，它会告诉Googlebot立即停止爬行一个站点。

“如果你向我们发送信号，那么这将影响Googlebot爬网。因此，如果您的服务器可以处理它，那么您需要确保您不会像429，50X状态代码那样发送给我们，并且您的服务器响应迅速、快速。“

森摩尔网络从2013年开始做外贸网站的SEO推广服务，到现在已经7年多了。我们已经为上千个人和企业提供外贸网站的优化推广服务，客户遍及全国各地，我们的服务深受客户好评！如果您有外贸网站需要推广，请联系我们，我们会提供专业、快速的额服务！