robots文件怎么设置呢

如何配置机器人文件？事实上，每个人都知道机器人档案的用途。告诉搜索引擎哪些页面可以跟踪哪些页面未被抓取。但是哪些主要页面被禁用？

1.动态页面

建议先停用动态页面。搜索引擎喜欢包含动态页面，但网站基本上提供静态页面地址。很容易影响同一页面的排名。

其次，跳转页面

跳转页面也更好。跳转页面基本上是链接，跳转到其他网站。如果禁用了盗窃文件，请尽量不要包含它。这种类型的页面。

三，已包含但已删除的页面

由于该网站将涉及删除该页面，但删除后，搜索引擎仍会包含这些页面，我们必须在机器人档案中。禁用此类页面（包括许多删除列）也需要禁用此列的页面。