Published by dreamfree on 2008-06-07 21:46
现在都不敢抱怨了，因为有人说如果说它坏话它也知道的，现在只能承认搜索引擎它比人聪明。博客现在又被K的只剩两页了，第二次经受浩劫，上次莫名奇妙被K后过了3天也就恢复了，这次就难说了，只能找自己原因了。也许，现在网页结构真的有问题，现在最怀疑的就是FEED代码有问题。昨天看日志LOG记录发现百度只来了几次，这可是一个不妙的信号。肯定百度每次访问发现存在大量链接错误对网站留下了不好的印象。唯一的闭门羹可能是单篇日志的feed地址，也就是/index.php/*.html/feed，这是一个死链接，打开说源代码错误，由于以前想FEED页面反正也没什么大用，还会导致“补充材料结果”，就一直懒得改，明天要好好把这个问题解决，实在不行只能robot.txt限制搜索引擎对feed页面的抓取了。
PS:貌似上次通过robot.txt限制larbin是有效的，毕竟它还是遵守robot协议的。
Published by dreamfree on 2008-06-05 12:49
大致知道可以通过修改.htaccess文件限制某一特定IP或某IP段的访问，但由于俺对那种语言写法天生恐惧，也摸不着什么头脑，而且.htaccess貌似在Apache服务环境下才有效，作罢。 阅读全文 »
Published by dreamfree on 2008-05-27 16:42
今天决定狠心一下，全面禁止所有的爬虫，不管你是那家bot，尝够了被搜索引擎的惩罚，今天也来换位让你尝试下，哈哈哈，小小安慰下我受伤的心灵。 阅读全文 »
Published by dreamfree on 2008-05-10 17:39
决定给博客加上robots.txt，限制搜索引擎对相关页面的重复搜索，避免再次像上次被删减收录结果和以后可能出现Supplemental Results(补充材料/补充结果)。 阅读全文 »
