采集时漏数据
2018-02-07 09:22:56 阅读量: 7704
首先请先查看网页是否存在该数据,如果网页有数据则参考以下情况:
1) 数据没有加载出来,就进行了采集。原因:网页加载慢,数据未加载全就采集完成。
解决方法:在循环列表或提取数据的高级选项里设置执行前等待(每次提取前等待,会降低采集速度),设置等待元素出现再进行采集。
2) 循环列表未将所有数据涵盖进来,请手动执行下规则,核对数据是否全部加载进入列表循环。
原因:网页需要设滚动下拉来使数据加载完全。
解决方法:在打开网页和点击翻页的高级选项里设置滚动,详情请参考:/tutorial/ajgd_7.aspx?t=1
3) 有页面中该数据可以获取到有的不能。
原因:网页格式不一样,导致XPATH定位不准。
解决方法:使用备选位置或手写XPATH进行准确定位,请参考以下教程:
数据找到时如何处理:/tutorial/sjcl_7.aspx?t=1
官网XPATH入门教程:/tutorial?type=1&category=XPath&version=v7.0
论坛XPATH全面教程:http://bbs.bazhuayu.com/showtopic.aspx?topicid=2559