谷歌蜘蛛不讲武德,被谷歌蜘蛛抓取频繁,服务器根本扛不住。而且,还没流量。
下面,小编写一段PHP代码,限制谷歌蜘蛛只能晚上抓取网站,白天时不允许它抓取。
<?php error_reporting(0); header('Content-Type: text/html; charset=utf-8'); date_default_timezone_set("Asia/Shanghai"); $time = date('H', time());/*24小时制*/ if ($time >= '01' && $time < '07') { $kaiuan = 0; } else { $kaiuan = 1; } $Amvtlv = $_SERVER['HTTP_USER_AGENT']; if (stripos($Amvtlv, 'Google') !== false && $kaiuan == 1){ echo '限制谷歌蜘蛛只能在晚上抓取'; exit(); } ?>
这段代码的意思就是:上海时区,按24小时算,晚上12点到中午12点,时间都是 00~12
那么,从凌晨算起,就是 00~07 早上七点;可以限制谷歌蜘蛛只能在凌晨期间抓取。
什么?限制只凌晨抓取,会不会影响收录。
反正我是用上了。其实,你也不必担心,谷歌蜘蛛爬取很疯狂的,给它几个小时,它能把今天发的都爬了。要是不限制,特别是动态网站,它能把你服务器爬宕机了。
当然了,这段代码,只是参考,用不用得着,还得看你服务器配置啊。
5 个回复 | 最后更新于 2025-01-22
登录后方可回帖