Google SEO 101: 阻止特殊文件通过 Robots.txt

  • Google SEO 101: 阻止特殊文件通过 Robots.txt已关闭评论
  • A+
所属分类:博客文章

Google SEO 101: 阻止特殊文件通过 Robots.txtGoogle SEO 101: 阻止特殊文件通过 Robots.txt

Google的johnmueller回答了一个关于使用Robots.txt阻止特殊文件,包括.css和.htacess。
这个话题在YouTube上最新一期的Ask Google Webmasters视频系列中进行了一些详细的讨论。
以下是提交的问题:
“关于Robots.txt,是否应该“disallow:/*.css$”,“disallow:/php.ini文件’或甚至是’disallow:/.htaccess’,“
作为回应,穆勒说,谷歌无法阻止网站所有者不允许这些文件。虽然这肯定不被推荐。

“不。我不能不允许您禁用这些文件。但这听起来是个坏主意。您提到了一些特殊情况,让我们来看看。“

在某些情况下,阻止特殊文件只是多余的深圳网络推广,尽管在其他情况下,它可能会严重影响Googlebot对站点的爬网能力。
下面是对每种类型的特殊文件被阻止时将发生的情况的解释。
相关:如何利用Robots.txt文件夹

阻止CSS

爬行CSS是绝对重要的,因为它允许Googlebot正确地呈现页面。
网站所有者可能觉得有必要阻止CSS文件,这样文件就不会自己被索引,但穆勒说,这通常不会发生。
Google无论如何都需要这个文件,所以即使CSS文件最终被索引,它也不会像阻止它那样造成伤害。
这是穆勒的回应:
“*.css”将阻止所有css文件。我们需要能够访问CSS文件,以便我们可以正确地呈现您的页面。
例如,这一点非常重要,这样我们就可以识别页面何时是移动友好的。
CSS文件通常不会自己被索引,但我们需要能够抓取它们。“

阻止PHP

使用Robots.txt阻止php.ini文件不是必需的,因为它不是一个可以随时访问的文件。
这个文件应该被锁定,这样就连Googlebot都无法访问它。这很好。
阻止PHP是多余的,正如Mueller解释的那样:

“你也提到过PHP.ini文件–这是PHP的配置文件。一般来说,这个文件应该被锁定,或者放在一个特殊的位置,这样就没有人可以访问它了。
如果没有人能访问它,那也包括谷歌Robots。因此,同样,不需要禁止爬网。“

阻止htaccess

与PHP一样,.htaccess是一个锁定的文件。这意味着它不能被外部访问,即使是Googlebot。
它不需要被禁止,因为它首先不能被爬网。

“最后,你提到了.htaccess。这是一个特殊的控制文件,默认情况下不能从外部访问。做外贸怎么推广与其他锁定的文件一样,您不需要明确禁止它爬网,因为它根本无法访问。“

相关:设置元机器人标签的最佳实践 Robots.txt

穆勒的建议

穆勒在视频的结尾用了几句简短的话来说明网站所有者应该如何创建一个Robots.txt文件。
网站所有者在复制其他网站的网站时往往会遇到问题Robots.txt归档并作为自己的文件使用。
穆勒建议不要这样做。相反,要批判地考虑你不想被爬网的站点的哪些部分,只否认那些。
不只是引用别人的建议Robots.txt归档并假设它能工作。相反,考虑一下你不想在你的网站中的哪些部分进行爬网,并禁止对这些部分进行爬网。“

常见问题解答

如果我不允许CSS或JavaScript文件

不需要。爬行CSS和JavaScript是绝对重要的,因为它允许Googlebot正确地呈现页面。

我应该拒绝吗php.ini文件或.htaccess文件

不,使用Robots.txt阻止php.ini文件或者.htaccess是不必要的,因为它们不是可以随时被Googlebot访问的文件。

森摩尔网络从2013年开始做外贸网站的SEO推广服务,到现在已经7年多了。我们已经为上千个人和企业提供外贸网站的优化推广服务,客户遍及全国各地,我们的服务深受客户好评!如果您有外贸网站需要推广,请联系我们,我们会提供专业、快速的额服务!

  • 我的微信
  • 这是我的微信扫一扫
  • weinxin
  • 我的微信公众号
  • 我的微信公众号扫一扫
  • weinxin
Quora美版知乎针对性问题人工作答
外贸产品Web2.0及社会化网站再发布分享服务
90+锚文本Dofollow英文博客文章外链发布服务
200英文书签外链服务 手工提交 外贸网站推广