A、少量的重复数据,首先可在循环列表或提取数据的高级选项那里设置执行前等待,降低采集速度,看是否有改善。其次,排查网页本身是不是就有重复数据。最后,手动执行规则,看翻页是否有问题,能不能正常翻到后面。
B、大量的重复数据一般是翻页或xpath定位问题。
(1) 翻页循环重复和单页面重复,可参考如下特殊翻页教程。
(2) 全部字段重复,字段抓取时定位定死了,可以采用手写Xpath、相对xpath的方法进行精准定位。
若还有疑问不明白的可加企业微信群咨询!
A、少量的重复数据,首先可在循环列表或提取数据的高级选项那里设置执行前等待,降低采集速度,看是否有改善。其次,排查网页本身是不是就有重复数据。最后,手动执行规则,看翻页是否有问题,能不能正常翻到后面。
B、大量的重复数据一般是翻页或xpath定位问题。
(1) 翻页循环重复和单页面重复,可参考如下特殊翻页教程。
(2) 全部字段重复,字段抓取时定位定死了,可以采用手写Xpath、相对xpath的方法进行精准定位。
若还有疑问不明白的可加企业微信群咨询!