快捷搜索:  朋友圈  as  伪静态  次数  响应式  虎牙  浏览数  anniu

为什么蜘蛛会爬一些不存在的目录和文件

百度蜘蛛总是爬行一些不存在的路径和页面,是什么情况?

解决办法:

把你这些不存在的目录在robots里面禁止蜘蛛爬行
屏蔽ip



什么问题:

这种情况估计是别人当做织梦程序进行试探呢,并且将自己的UA伪造成百度蜘蛛,最好自己反查一下访问者的ip是否为百度蜘蛛。

那些根本不是百度的蜘蛛,是伪装成百度蜘蛛扫你的站有没有可以侵入的路径。屏蔽ip吧!


您可能还会对下面的文章感兴趣: