谷歌蜘蛛不讲武德,被谷歌蜘蛛抓取频繁,服务器根本扛不住。而且,还没流量。
下面,小编写一段PHP代码,限制谷歌蜘蛛只能晚上抓取网站,白天时不允许它抓取。
这段代码的意思就是:上海时区,按24小时算,晚上12点到中午12点,时间都是 00~12
那么,从凌晨算起,就是 00~07 早上七点;可以限制谷歌蜘蛛只能在凌晨期间抓取。
什么?限制只凌晨抓取,会不会影响收录。
反正我是用上了。其实,你也不必担心,谷歌蜘蛛爬取很疯狂的,给它几个小时,它能把今天发的都爬了。要是不限制,特别是动态网站,它能把你服务器爬宕机了。
当然了,这段代码,只是参考,用不用得着,还得看你服务器配置啊。





登录后方可回帖