爆改404页面埋雷，虐杀采集机器人和垃圾蜘蛛

说到数据安全，大部分站长第一反应就是装个防火墙。屁用没有，人家换IP照样爬。

我今天要说的狠招：把404页面改造成陷阱。原理？采集机器人不懂得人类感性判断，你url是a还是b对它来说没区别，只要返回200它就抓。好了，你让404页面也返回200，填满垃圾内容——机器人就死循环爬你家垃圾数据。

操作步骤：

• 第一步：写个php触发器，判断user-agent里带‘bot’‘spider’‘scrapy’之类关键词的，直接301到一个专门存放假数据的URL池。
• 第二步：那个URL池里全是动态生成的404页面，每个页面里随机植入了3000个隐藏链接（dispaly:none），这些链接指向根本不存在的域名——爬虫跳转出去后加载超时，增加爬虫CPU开销。
• 最后：配合日志监控，触发过陷阱的IP一分钟内请求超100次直接拉黑7天。

我有个站上线这法子两周，后台爬虫日志里原本每天十万多无效请求，现在剩不到一千。机器人的特征识别主要是看速度，你一秒钟请求200次还假扮成Chrome？这时候连静态资源都别给他，图片全部返回空二进制。

还有一招更狠：在普通正常页面里插