Posts Tagged ‘larbin’
wordpress中利用robots.txt限制larbin爬虫访问
大致知道可以通过修改.htaccess文件限制某一特定IP或某IP段的访问,但由于俺对那种语言写法天生恐惧,也摸不着什么头脑,而且.htaccess貌似在Apache服务环境下才有效,作罢。 阅读全文…
可恶的larbin爬虫
日志文件出现了一种奇怪的爬虫larbin
Posts Tagged ‘larbin’
大致知道可以通过修改.htaccess文件限制某一特定IP或某IP段的访问,但由于俺对那种语言写法天生恐惧,也摸不着什么头脑,而且.htaccess貌似在Apache服务环境下才有效,作罢。 阅读全文…
日志文件出现了一种奇怪的爬虫larbin