蜘蛛抓取页面重复页面太多怎么解决?
- 时间:
- 浏览:0
蜘蛛是正常来网站，也是正常的抓取页面，就是每次抓取页面都是重复的，重复率页面太高了，这样反复多次抓取没有什么效果，为什么导致蜘蛛抓取页面重复，怎么禁止不会重复抓取？
看一下是不是网站程序有问题
老铁网友解答：学习下
老铁网友解答：每次抓的都是一个页面？
老铁网友解答：重复率页面太高了 是不是网站程序有问题 ，造成的
蜘蛛是正常来网站，也是正常的抓取页面，就是每次抓取页面都是重复的，重复率页面太高了，这样反复多次抓取没有什么效果，为什么导致蜘蛛抓取页面重复，怎么禁止不会重复抓取？
看一下是不是网站程序有问题
老铁网友解答：学习下
老铁网友解答：每次抓的都是一个页面？
老铁网友解答：重复率页面太高了 是不是网站程序有问题 ，造成的