谷歌搜索引擎优化101：网站爬网预算解释

谷歌在爬网预算方面进行了深入的探讨，在最新一期的SEO神话揭秘中回答了一些最常见的与SEO相关的问题。
与Merkle的Alexis Sanders一起，谷歌的Martin Splitt回答了SEO经常问的关于爬网预算的十几个问题。
下面是每个问题和答案的快速回顾，以及视频中相应的时间戳。
什么是爬网预算（1:15）
爬网预算是在尽可能快地在一个站点上抓取尽可能多的内容而不使服务器负担过重之间的平衡。
预算是Googlebot可以在不压倒服务器的情况下同时发出的深圳外贸推广请求数。
相关：搜索引擎如何爬网和索引：你需要知道的一切
什么是爬网需求（1:47）
这是指Google希望根据主题对站点进行爬网的频率。
例如，与菜谱网站相比，突发新闻网站可能有更高的爬网需求。
Googlebot是如何做出爬网速率和爬网需求决策的（2:44）
Google根据内容更改的频率来确定对页面进行爬网的频率。如果更改的频率很低，则该站点将不会像其他站点一样经常被爬网。
etag、HTTP报头、上次修改日期等（3:43）
Google使用etag、HTTP报头和最近修改的日期之类的东西来确定对内容进行爬网的频率。
ETag是一个缓存头，它包含内容的指纹来检测随时间的变化。
什么规模的网站应该担心爬网预算，（4:35）
这主要是对拥有数百万页面的大型网站的关注。如果你的网站有低于一百万的深圳英文SEO网页，那么你不必担心爬网预算。
服务器设置与爬网预算（5:00）
爬网预算经常被认为是网站所有者的一个问题，而根本问题通常是服务器设置或内容质量。
爬网频率与内容质量（6:18）
这并不意味着内容在更频繁地被爬网时是高质量的。这也不表示内容在爬网频率较低时质量较低。
相关：优化SEO爬网预算的7个技巧
如果谷歌正在测试自己的服务器，在日志文件中会看到什么（7:45）
他们可能会看到爬行活动增加，然后减少，然后又增加。换言之，就是一个波型。
关于如何在站点迁移期间准确爬网的提示（8:18）
马丁·斯普利特建议逐步更新你的网站地图，并注明什么时候发生了变化。除此之外，尽量确保两台服务器都能尽可能平稳地运行。
抓取预算和站点基础设施的不同级别（9:40）
爬网预算影响不同级别站点基础设施的方式取决于站点本身。
Splitt说，这通常不是网站所有者应该担心的事情。
爬网预算也会影响渲染（10:37）
是的，爬网预算会影响渲染。当Googlebot呈现内容时，它会从网站的爬网预算中获取额外的资源。
资源缓存和爬网预算（11:46）
谷歌尽可能积极地缓存资源，以避免每次都不得不重新搜索它们。
抓取预算和出版等特定行业（13:34）
电子商务网站和大型出版商最应该关注的是爬网预算。
一般来说，什么是推荐的帮助Googlebot爬网的工具（15:03）
Splitt建议阻止不完全需要爬网的资源被爬网。这将有助于Googlebot更有效地爬行。
爬网预算通常会给人们带来哪些陷阱，（16:52）
站点所有者经常遇到的一个问题是阻塞robots.txt谷歌机器人真的需要。
例如，一些网站阻止他们的CSS文件被爬网，Googlebot需要这样才能在访问者在web浏览器中看到内容时呈现内容。
你能告诉Googlebot多爬网吗（17:40）
不，这是不可能的。网站所有者可以限制Googlebot爬行的频率，但是没有办法让Googlebot更频繁地爬行。
请参见下面的完整视频：

森摩尔网络从2013年开始做外贸网站的SEO推广服务，到现在已经7年多了。我们已经为上千个人和企业提供外贸网站的优化推广服务，客户遍及全国各地，我们的服务深受客户好评！如果您有外贸网站需要推广，请联系我们，我们会提供专业、快速的额服务！