Posts Tagged ‘larbin’

wordpress中利用robots.txt限制larbin爬虫访问

大致知道可以通过修改.htaccess文件限制某一特定IP或某IP段的访问,但由于俺对那种语言写法天生恐惧,也摸不着什么头脑,而且.htaccess貌似在Apache服务环境下才有效,作罢。 阅读全文…


可恶的larbin爬虫

日志文件出现了一种奇怪的爬虫larbin