彻底禁止所有蜘蛛访问原来的wordpress免费空间,我狠心了

0 CommentsTuesday • May 27, 2008 • by dreamfree 分享到微博：

今天决定狠心一下，全面禁止所有的爬虫，不管你是那家bot，尝够了被搜索引擎的惩罚，今天也来换位让你尝试下，哈哈哈，小小安慰下我受伤的心灵。

主要原因还是基于这两天发现的睡到自然醒博客的被百度拔毛的只剩首页。一直在怀疑原来搭建试用的免费空间上的内容和搬家换正式空间后博客上的内容重复，而被判为作弊惩罚。虽然已经把原来免费空间上的文章删除了，并且做了404转向，准备让它自生自灭，但发现过了那么长时间，那边的收录还没减少，相反每天还增加一两页。汗。可能BAIDU还是更倾向于对原来的博客有好感，毕竟当时建立的比现在的早了一段时间，百度可能认为原来的是始祖，这儿的反而成了抄袭者。

方法很简单，为原来的免费空间上的博客写一个robots.txt文件，注意文件名一律小写并且是robots，可别写成robot，然后写一句万劫不复的禁止所有爬虫语句：

User-agent: *
Disallow: /

接下来几天就让百度尝试尝试吃闭门羹的滋味吧，哈哈哈。但愿本博客顺利度过被K低谷期。

延伸阅读:

• 问题很严重，百度惩罚被k，建站一个月的”纪念” (2)
• 站长免费空间搭建WordPress博客的一些体会！(当时申请一级站长写的原创贴:) (4)
• 百度和Google搜索流量持平:两者区别就是百度反应迟钝~ (11)
• 博客被百度K的只剩两页了，郁闷寻找原因中 (1)
• wordpress中利用robots.txt限制larbin爬虫访问 (3)

Posted in: 建站手记

Tagged with: robots.txt, 免费空间, 博客, 搜索引擎, 蜘蛛

About dreamfree:

每天梦想睡到自然醒的孩纸伤不起...zZ

Find all posts by dreamfree | Visit Website