0x307bde:被Robots.txt阻止的页面如果链接到

百度＆rsquo; s John Mueller警告说，如果有链接指向它们，robots.txt阻止的页面仍然可以被编入索引。

这可能会成为一个问题，因为百度会将这些页面看作没有内容，因为它被阻止被抓取。

Mueller说，如果您的网站上有内容，您不希望看到百度，那么Zui好的做法是使用noindex元标记。

当网站所有者询问是否足以“拒绝”该网站管理员时，我们会在Zui近的网站管理员中心视频群聊中出现此主题索引不需要的页面。

Mueller的完整回复转录于:以下

＆ldquo;在这里要记住的一件事是，如果这些页面被robots.txt阻止，那么理论上可能会有人随机链接到其中一个页面。如果他们这样做，那么我们可能会在没有任何内容的情况下对此网址编制索引，因为它被robots.txt阻止。因此，我们不会知道您不希望这些网页真正被编入索引。

然而，如果它们没有被robots.txt阻止，您可以在这些页面上放置一个noindex元标记。如果有人碰巧链接到他们，我们碰巧抓住了这个链接，并想到“也许那里有一些有用的东西”。然后我们就会知道这些页面不需要编入索引，我们可以完全跳过索引。

所以，在这方面，如果你在这些页面上有任何你想要编入索引的东西，那么就不要禁止它们，而是使用noindex。＆rdquo;

完整的问题和答案可以在下面的视频中查看，从24: 36标记开始。

有关robots.txt阻止和noindex标记的更多信息，请参阅No Nodexdex Category＆amp;存档页面？