八爪鱼教程——文本循环
2017-06-23 15:34:14 阅读量: 37158
文本循环教程
本文教你如何循环输入关键字采集关键词搜索结果的信息
示例网站:https://v.qq.com/
定位:通过循环中高级选项内的文本列表模式,实现循环输入文本,达到大量关键字搜索的功能
适用情况:需要在输入框内检索关键字来采集数据的情况,例如
八爪鱼可以实现自动输入关键词并完成搜索
下面进行文本循环示范:
采集步骤为:
步骤一:打开网页→在规则中拖入一个循环框→修改循环高级选项→输入文字步骤
说明:
八爪鱼流程图左侧有一排工具栏,如上图所示,工具栏中有各个步骤的简化图标,从上至下分别是:打开网页、点击元素、提取数据、输入文字、识别验证码、切换下拉选项、循环、判断条件、移动鼠标到元素上、结束循环、结束流程。
示例中使用从上至下第七个循环,鼠标点中图标拖动到流程中,放在打开网页步骤下方,选中循环框,修改高级选项,将循环方式一栏选中文本列表,将关键词粘贴进入下方文本列表中,以换行符即回车分割每个关键词。
输入文字步骤是点击输入框,选择输入文字即可,此时八爪鱼会弹出让你输入文字的界面,如果是需要输入单一关键词可以不使用循环,在此处输入关键词点击保存即可实现输入;本示例咱们需要输入多个关键词,所以可以不填文字保存,之后将输入文字步骤拖入之前设置的循环框中,选中使用当前循环里的文本来填充输入框,就可以实现循环输入循环步骤中的文本。
步骤二:点击搜索步骤→提取数据步骤
说明: 进行本地采集后,我们可以看到上述网页过程在不断输入我们规定的关键词完成搜索,采集到的数据也对的上,成功完成循环输入。
文本循环可以结合列表模式采集实现诸如淘宝、视频网站、房产网站等的搜索并采集信息,列表模式的采集可以参考采集单个列表页面教程。
文末将对循环框内的高级选型进行一个总的介绍:
操作名为该循环的名字,可以对其进行修改以方便日后对规则的修正;
执行前等待为进行该操作前等待的时间,如果设置执行前等待时间为5秒,则会在翻页完成后等待5秒再循环提取元素,如果希望采集每一个电影的信息前有个等待,则可以在提取步骤设置执行前等待;
或者出现元素是配合执行前等待使用的,在其中输入元素的XPath则可以在出现该元素的时候结束执行前的等待,例如我们设置循环文本步骤执行前等待10秒,或者出现元素设置为电影标题,则翻页操作后,假如第11秒标题加载出来,则八爪鱼会在第10秒尝试进行循环提取操作,而假如第8秒标题加载出来,则八爪鱼会在第8秒标题加载出来后结束循环的执行前等待来尝试进行循环提取操作。
元素在Iframe选项适用于该循环需要采集的内容在网页中是框架,在新手教程中暂不涉及,咱们按下不表。
循环方式包括单个元素、固定元素列表、不固定元素列表、URL列表、以及文本列表。其中单个元素表示只进行一个元素的循环操作,循环点击下一页便多是运用了此种操作;固定元素列表表示循环一些固定的部分,不固定元素列表表示循环一些不固定的部分,在该示例中,如果我们只循环采集第一个以及第二个网页的内容,则多是使用固定元素列表,而我们在示例中使用的不固定元素列表则是输入定位的Xpath,该Xpath定位到的所有元素都会出现在循环列表中;
URL列表多用于打开多个网页采集内容的时候,可以放入多个网页链接进行循环打开操作;
文本列表则多用于需要输入文字的网页,将列表中多个文本输入网页输入框进行查询。具体示例如本文。
满足以下条件时退出循环可以设定循环次数,例如设定循环2次后退出,则循环提取步骤只会采集列表中前两条信息,如果循环翻页中设置循环2次后退出,则会循环采集前两页内容。
注意事项:
有的网页,点击搜索按钮后,页面会发生变化,只能采集到第一个关键词的数据,则打开网页步骤需放在文本循环内。