你应该没有索引类别存档页面？

 

编辑注意事项:＆ldquo;问一个SEO＆rdquo;是由技术SEO专家 珍妮哈拉兹的每周专栏。想出你Zui难的SEO问题， 填写我们的表格。您可能会在下一个#AskanSEO帖子中看到您的答案！ 

今天＆rsquo; s 问一个SEO 问题是来自Ashok S.他问:

我正在运行一个WordPress网站。为避免重复内容的风险，我应该在类别和档案页面上使用noindex标记吗？这会影响我的整体流量吗？

这是一个很好的问题，谢谢。每个SEO 专业人员都必须从根本上理解 百度的工作原理。

首先，答案可能不是。大多数网站都不必担心百度抓取一些他们认为没有价值的网页。

标签页，类别页和搜索结果等页面包含“开箱即用”的标签。像Drupal和WordPress这样流行的CMS通常不够普及。如果百度看到它们中的值，它们将抓取它们并将它们编入索引。如果他们没有，他们就赢了。

如果您有一个拥有数十万种产品的大型电子商务网站，这可能会成为一个更大的问题，因为您希望将百度的抓取工具集中在重要的网页上，并删除那些没有任何价值的内容。

要完全回答这个问题，您还必须了解  robots.txt阻止和meta noindex标记之间的区别，以及404s和soft 404s的工作方式。

Robots.txt阻止

如果您在robots.txt中放置一个命令来阻止百度（和其他抓取工具）访问页面，那么实际上是阻止他们访问这些页面。

如果百度遇到robots.txt中被阻止的网页，则他们不会执行“获取”操作。或GET命令来访问页面的标题。这意味着，如果您以后决定要将该页面编入索引，或者想要提供其他状态（如重定向或404），则百度将无法看到该更改。

Robots.txt命令应限于你知道的页面百度不会看到另一种方式（即，人们不会链接到它们，你不会在你的网站中链接到它们，并且它们可能受密码保护）。

管理员，成员登录或购物车功能是您可能希望在robots.txt中阻止的网页的一个很好的示例。您永远不应该阻止正确呈现页面所需的JavaScript或CSS文件。

元机器人NoIndex标签

元机器人=＆nd; noindex＆rdquo;标签与robots.txt不同，许多搜索引擎优化专业人士都对待它。与noindex标记的Zui大区别是:

虽然它也是一个机器人指令，但它比robots.txt更受限制。百度和其他搜索引擎可以获取页面，标题和所有内容。它完全听起来像它。它指示百度不要索引＆ndash;也就是说，不要将该页面添加为符合搜索结果的条件。百度仍将收集页面上的所有数据，并遵循所有链接，除非您还使用nofollow。 Nofollow不是官方指令，但百度和其他搜索引擎尊重它。如果你使用noindex标签，后来决定服务于服务器端重定向或404，百度将能够访问该状态更改并相应地更新其数据。 404s＆amp;软404s

404错误状态页面表示找不到该页面，并且是所有爬网程序都尊重的Web标准。如果百度遇到404错误页面，他们会将其从索引中删除，但将其保留在爬行计划程序中以定期仔细检查并解决;只是为了确保它没有改变。

软404错误是百度在可能以200（Found）状态解析但不提供任何内容的页面上放置的非官方指定。结果为零的内部搜索结果页面就是其中的一个示例。如果百度将页面指定为软404错误，则它们将以与404错误相同的方式对待它。与404错误一样，他们会定期检查，以确保它不会发生变化。

你应该在类别页面上使用Noindex吗？

这让我们回到了我们的问题＆ndash;对于为您的网站增加很少或没有价值的类别页面，noindex是正确的策略吗？

答案是，如果您觉得页面没有添加任何值，您应该完全删除它们并提供404错误状态。如果页面对于用户导航非常重要并且是“必要的邪恶”。有博客，那么他们应该没有索引。

如果您没有对页面进行索引，百度表示他们Zui终会将这些页面视为软404。这意味着没有指向这些页面的链接将计入排名确定。

通过@johnmu（1）继续无索引，跟随对话。约翰和团队一起检查了noindexed页面Zui终将被视为软404。 *如果他们看到持久的noindex:https://t.co /XKMwfatitT pic.twitter.com/MXgEWAJh3a

，所有链接都将丢弃*

＆MDASH; Glenn Gabe（@glenngabe）2018年1月17日

为什么这很重要？Zui终它可能没有。

如果链接指向您认为没有任何价值的网页，那么搜索引擎和用户可能也不会在其中找到任何价值。

什么不该做

不要将所有类别和标记页面规范到博客根页面。这是规范的不当使用。百度会忽略它。

不要将这些页面放在robots.txt中。如果你阻止它们，那么百度就无法看到你何时更新或更改它们，但它们将保留在搜索结果中，这个丑陋的列表为:

总结

确保您和您的开发团队了解robots.txt和meta robots noindex命令之间的区别。适当地使用它们，你将比游戏领先一步。

如果您的网页没有为搜索者作为目标网页提供任何价值，但它们是导航所必需的，请重新考虑您的导航策略（可能是一个更具信息性的类别页面，其中包含一些独特的内容？）或者没有对网页进行索引

如果你只有少数这些页面，或者不认为它们在你的网站上是一个大问题，那就让它们保持原样。百度很聪明，可以搞清楚。

对Jenny有一个关于SEO的问题吗？ 填写此表格 或在社交媒体上使用#AskAnSEO。

图片来源

特色图片:图片来自Paulo Bobita 截图由作者拍摄，2018年5月

CategoryAsk SEO