Google SEO 101: 阻止特殊文件通过 Robots.txt

Google SEO 101: 阻止特殊文件通过 Robots.txt已关闭评论

A+

Google的johnmueller回答了一个关于使用Robots.txt阻止特殊文件，包括.css和.htacess。
这个话题在YouTube上最新一期的Ask Google Webmasters视频系列中进行了一些详细的讨论。
以下是提交的问题：
“关于Robots.txt，是否应该“disallow:/*.css$”，“disallow:/php.ini文件’或甚至是’disallow:/.htaccess’，“
作为回应，穆勒说，谷歌无法阻止网站所有者不允许这些文件。虽然这肯定不被推荐。

“不。我不能不允许您禁用这些文件。但这听起来是个坏主意。您提到了一些特殊情况，让我们来看看。“

在某些情况下，阻止特殊文件只是多余的深圳网络推广，尽管在其他情况下，它可能会严重影响Googlebot对站点的爬网能力。
下面是对每种类型的特殊文件被阻止时将发生的情况的解释。
相关：如何利用Robots.txt文件夹

阻止CSS

爬行CSS是绝对重要的，因为它允许Googlebot正确地呈现页面。
网站所有者可能觉得有必要阻止CSS文件，这样文件就不会自己被索引，但穆勒说，这通常不会发生。
Google无论如何都需要这个文件，所以即使CSS文件最终被索引，它也不会像阻止它那样造成伤害。
这是穆勒的回应：
“*.css”将阻止所有css文件。我们需要能够访问CSS文件，以便我们可以正确地呈现您的页面。
例如，这一点非常重要，这样我们就可以识别页面何时是移动友好的。
CSS文件通常不会自己被索引，但我们需要能够抓取它们。“

阻止PHP

使用Robots.txt阻止php.ini文件不是必需的，因为它不是一个可以随时访问的文件。
这个文件应该被锁定，这样就连Googlebot都无法访问它。这很好。
阻止PHP是多余的，正如Mueller解释的那样：

“你也提到过PHP.ini文件–这是PHP的配置文件。一般来说，这个文件应该被锁定，或者放在一个特殊的位置，这样就没有人可以访问它了。
如果没有人能访问它，那也包括谷歌Robots。因此，同样，不需要禁止爬网。“

阻止htaccess

与PHP一样，.htaccess是一个锁定的文件。这意味着它不能被外部访问，即使是Googlebot。
它不需要被禁止，因为它首先不能被爬网。

“最后，你提到了.htaccess。这是一个特殊的控制文件，默认情况下不能从外部访问。做外贸怎么推广与其他锁定的文件一样，您不需要明确禁止它爬网，因为它根本无法访问。“

相关：设置元机器人标签的最佳实践 Robots.txt

穆勒的建议

穆勒在视频的结尾用了几句简短的话来说明网站所有者应该如何创建一个Robots.txt文件。
网站所有者在复制其他网站的网站时往往会遇到问题Robots.txt归档并作为自己的文件使用。
穆勒建议不要这样做。相反，要批判地考虑你不想被爬网的站点的哪些部分，只否认那些。
不只是引用别人的建议Robots.txt归档并假设它能工作。相反，考虑一下你不想在你的网站中的哪些部分进行爬网，并禁止对这些部分进行爬网。“