疯狂的SEO:阻止Robots.txt被索引

 

网站管理员世界正在讨论一种防止百度对SERP中的Robots.txt文件进行排名的方法。

百度目前索引62,100个robots.txt文件。他们中的许多人有一个体面的公关，而其他人根本没有反向链接（至少根据Yahoo Site Explorer）:

具有讽刺意味的是:

你不能使用robots.txt来阻止robots.txt（这真是疯了，因为在这种情况下，搜索引擎无法抓取robots.txt文件，从而发现它无法做到这一点）;您无法在robots.txt文件中使用元标记;您可以使用百度网站管理员工具删除该文件，因为您需要在robots.txt中阻止它或使用元标记（您无法执行此操作）或返回404标头，这也是不可能的（因为它确实存在）。

根据论坛成员:

无论如何，这确实提出了一个疯狂的问题，如何从百度的索引中删除robots.txt文件？如果您使用robots.txt来阻止它，那就意味着百度bot甚至不应该请求robots.txt＆ndash;一个疯狂的循环。当然，您不必在robots.txt文件中使用元标记。

有意思，不是吗？

另一位董事会成员建议在HTTP标头:中使用X-Robots-Tag

＆lt; FilesMatch＆ldquo; robots \ .txt＆rdquo;＆gt; 标题设置X-Robots-Tag＆ldquo; noindex，nofollow＆rdquo; ＆LT;/FilesMatch＆GT;

这个解决方案看起来非常不错，并且很高兴SEOZui终看到了X-Robots-Tag的价值，这个价值模糊不清。

另一个问题是为什么在地球上你需要阻止你的机器人.txt文件被索引和排名（一个更容易的解决方案是完全删除文件）。但在这种情况下，这根本不重要。事实上，:网站管理员应该具备相同的真实性，并了解从搜索抓取工具中隐藏任何网页或阻止其出现在SERP中的方法。

CategorySEO