蜘蛛抓取页面重复页面太多怎么解决?

蜘蛛是正常来网站，也是正常的抓取页面，就是每次抓取页面都是重复的，重复率页面太高了，这样反复多次抓取没有什么效果，为什么导致蜘蛛抓取页面重复，怎么禁止不会重复抓取？看一下是不是

02-08