如何为bbpress写robots.txt文件
http://www.dreamfreeblog.com/bbs/
如何为bbpress写robots.txt文件
具体查看 http://www.dreamfreeblog.com/robots.txt 的写法。
由于 bbs 的安装路径是 http://www.dreamfreeblog.com/bbs/
本来想把限制搜索蜘蛛抓取的协议文件 robots.txt 放在 http://www.dreamfreeblog.com/bbs/ 的根目录下的，但想了想，为何不放在 http://www.dreamfreeblog.com/ 的根目录下呢，而且据说蜘蛛好像只会在一个域名的根目录下寻找是否存在 robots.txt 协议。
主要为了防止形如 www.dreamfreeblog.com/bbs/ ?bb_attachments=13&bbat=2 的收录，这个地址是附件的链接，不应该收录，而且搜索引擎中会出现下面这种搜索记录：
[attachment=25,15]
因此， robots.txt 的写法格式为下：
[attachment=25,16]
但愿这种格式是对的，不然全部禁止蜘蛛收录，那还弄个啥呀。
