八爪鱼采集规则基本步骤介绍:打开网页
2016-08-25 11:59:53 阅读量: 0
打开网页
该步骤根据设定的网址打开网页,一般为网页采集流程的第一个步骤,用来打开指定的网站或者网页。如果有多个类似的网址需要分别打开执行同样的采集流程,则应该放置在循环的内部,并作为第一个子步骤。
打开网页步骤注意事项:
1) 网页地址
网址,一般可以从网页浏览器如IE等的地址栏中复制得到,如:http://www.skieer.com
2) 使用当前循环项
配合循环步骤来使用,用以重复打开多个类似的网页,然后执行同样的一套流程,循环打开网页时,应为作为循环步骤的第一个子步骤。 如果勾选此项,则无需手动设置网页地址,网页地址会自动显示循环设定的网址列表的当前循环项。
3) 阻止弹出窗口
用以屏蔽网页弹窗广告,如果打开的网页偶尔会变成另外一个广告页面,则可以使用本选项阻止广告页面弹出。
4) 超时
在网页加载完成前等待的最大时间,如果网页打开缓慢,或者长时间无法打开,则流程最多等待超时指定的时间,之后无论网页是否加载完成,都直接执行下一步骤,应尽量避免设置过长的超时时间,因为这会影响采集速度。
5) 滚动到底部
个别网页在打开网页后并没有显示所有数据,需要滚动鼠标滚轮或者拖动页面滚动条到底部,才会加载没有显示的数据,使用此选项在页面加载完成后滚动到底部
6) 激活重试
如果网页没有按照成功打开预期页面,例如显示服务器错误(500),访问频率太快等,或者跳转到其他正常执行不应该出现的页面,可以使用本选项进行重试,但必须配合以下几个重试参数执行,请注意以下几种判断的情况任意一种出现都会导致重试。
7) 结果页面网址包含
如果出现的页面网址中总是出现某个特殊的字符串,例如网页找不到时一般会出现500.htm等,则使用此选项可以判断没有打开预期页面,需要重试
8) 结果页面文本包含
如果出现的页面文字中中总是出现某个特殊的字符串,例如"访问频率太快",则使用此选项可以判断没有打开预期页面,需要重试
9) 结果页面文本不包含
如果正常打开网页一定会出现某个特殊的字符串,但没有正常打开的时候一定不会出现该字符串,则可以据此判断判断没有打开预期页面,需要重试
10) 最大重试次数
为了避免无限制重复尝试,请示用本选项限制最大重复尝试的次数,如果重试到达最大允许的次数,任然没有成功,则流程将停止重试,继续执行下一步骤
11) 重试间隔
在两次重试之间等待的时间,一般情况下,当打开网页出错时,立即重试很有可能是同样的错误,适当等待则可能成功打开预期网页,但应该尽量避免设置过长的等待时间,因为这会影响采集速度