Craigslist阻止搜索引擎蜘蛛和列表

Craigslist阻止搜索引擎蜘蛛和列表

根据SERoundtable论坛的一篇帖子，Craigslist阻止了搜索引擎机器人的分类网站的抓取和索引，搜索引擎机器人扫描网站并将网站信息保存在搜索引擎的记忆中。在百度，Yahoo，Ask，MSN或其他引擎上搜索时，该网站信息随后会传递给Zui终用户。

由于搜索引擎蜘蛛或僵尸程序被阻止，Craigslist页面现在没有显示在搜索引擎结果中。 SER论坛的一名成员写道：“所以答案很明确。克雷格阻止他的大部分内容被抓取。在百度或Yahoo中查询Craig＆rsquo; s＆ldquo; jobs＆rdquo;或者“出售”部分将确认他的内容已被完全删除。据我所知，这是有史以来Zui大的脱模索引。数百万页消失了。“

所以基本上，Craigslist中的页面没有列在搜索引擎结果中。当全球各地的网站管理员为了获得如此有价值的搜索流量时，他们为什么要进行批量退市呢？这可能是为了阻止垃圾邮件发送者在Craigslist中列出伪造链接以努力使这些链接跟随搜索引擎。除名也可能是试图通过从搜索引擎访问Craigslist缓存页面的机器人停止抓取网站内容，然后在其他网站上非法重新打印内容。

还记得去年Craigslist阻止聚合网站和像Oodle这样的利基引擎索引他们的分类广告吗？Zui近的主要搜索引擎机器人块可能是将Craigslist建立为更多目的地的扩展努力，而不是雅虎的内容燃料，百度（＆amp;百度 Base），Ask，＆amp; MSN本地的努力。