vlog By vlog at 2025-01-22 • 暂不可见      举报

谷歌蜘蛛不讲武德,被谷歌蜘蛛抓取频繁,服务器根本扛不住。而且,还没流量。

下面,小编写一段PHP代码,限制谷歌蜘蛛只能晚上抓取网站,白天时不允许它抓取。

<?php
error_reporting(0);
header('Content-Type: text/html; charset=utf-8');
date_default_timezone_set("Asia/Shanghai");
$time = date('H', time());/*24小时制*/
if ($time >= '01' && $time < '07') {
    $kaiuan = 0;
} else {
    $kaiuan = 1;
}
$Amvtlv = $_SERVER['HTTP_USER_AGENT'];
if (stripos($Amvtlv, 'Google') !== false && $kaiuan == 1){
	echo '限制谷歌蜘蛛只能在晚上抓取';
	exit();
}
?>

这段代码的意思就是:上海时区,按24小时算,晚上12点到中午12点,时间都是 00~12

那么,从凌晨算起,就是 00~07 早上七点;可以限制谷歌蜘蛛只能在凌晨期间抓取。

什么?限制只凌晨抓取,会不会影响收录。
反正我是用上了。其实,你也不必担心,谷歌蜘蛛爬取很疯狂的,给它几个小时,它能把今天发的都爬了。要是不限制,特别是动态网站,它能把你服务器爬宕机了。

当然了,这段代码,只是参考,用不用得着,还得看你服务器配置啊。

温馨提示

内容由用户共同创建和维护,并不代表全民站长论坛立场!
建议您独自对内容进行评估,核实并咨询相关的专业人士!

限制谷歌蜘蛛白天抓取的方法限制谷歌蜘蛛白天抓取的方法限制谷歌蜘蛛白天抓取的方法限制谷歌蜘蛛白天抓取的方法限制谷歌蜘蛛白天抓取的方法  5 个回复 | 最后更新于 2025-01-22
该部分是隐藏区

登录后查看回复

该部分是隐藏区

登录后方可回帖

登 录
公告栏

这家伙很懒,还没来得及写公告!

Loading...