PHP禁止蜘蛛抓取的方法

很多时候，蜘蛛频繁抓取PHP会大幅增加服务器负载，这里介绍一下如何在PHP里禁止蜘蛛抓取。

代码开头增加如下代码即可：

$useragent = strtolower($_SERVER['HTTP_USER_AGENT']); 
if (strpos($useragent, 'bot')){
exit();
}

此外，还可以修改robots.txt文件，在文件开头增加如下代码：

User-agent:  *
Disallow: /*.php