本文介绍使用八爪鱼采集QQ群成员号码以及昵称的方法

 

采集网站:

http://qun.qq.com/member.html

 

使用功能点:

l Cookie登录

l Ajax点击

l 修改Xpath

 

步骤1:创建QQ群成员号码采集任务

1)进入主界面,选择自定义采集

 

QQ群成员号码昵称采集步骤1

2)要采集网站URL制粘贴到输入框中,点击保存网址

 

 

QQ群成员号码昵称采集步骤2

 

 

步骤2:Cookie登录

1)打开网页后,需要先登录,可以先在手机登录QQ, 采集时点击登录按钮,之后扫码就可以成功登录。或者电脑登录,点击二维码右边的头像进行登录。

 

QQ群成员号码昵称采集步骤3

 

2)登陆后,在高级选项中选择自定义cookie,勾选打开网页时使用固定cookie,再点击获取当前页面cookie,最后点击“确定”,这样以后再采集时就不用重复登录QQ了。(cookie有效时间以具体情况为准,到一定时间会失效,失效需重新登录获取cookie,另外如果是点击头像(电脑登录的)需要把之前的点击头像登录的点击元素删除)

 

 

QQ群成员号码昵称采集步骤4

 

 

步骤3:Ajax点击

登录后,选择需要采集的QQ群,然后在右面的提示框中选择“点击该元素

 

 

QQ群成员号码昵称采集步骤5

 

由于网页涉及Ajax技术。所以需要选中点击元素,打开高级选项”,勾选“Ajax加载数据”,设置时间为“15”。执行前等待设置7秒,  因为页面打开后需要向下滑动才可以出现更多内容,所以还需要设置页面滚动,滚动次数选择20次,(滚动次数具体看群成员的数量,如果500个人,一般来说选择25次能全部加载完)每次间隔1秒,完成后,点击确定

 

 

QQ群成员号码昵称采集步骤6

 

 

步骤4:提取元素

 

1)选择第一个QQ号码以及QQ昵称(绿色的位置),如果想采集QQ群名片,性别,Q龄,入群时间,最后发言,也是可以选择的,然后在右面的提示框中选择“选中全部”,随后选择“采集元素”。

 

 

QQ群成员号码昵称采集步骤7

 

 

步骤5:修改Xpath

1)手动执行规则,发现循环列表里并没有定位到所有元素,所以需要修改xpath,在循环方式中选择不固定元素列表,修改xpath为  //tbody[@class="list"]/tr

 

QQ群成员号码昵称采集步骤8

 

 

步骤5:数据采集及导出

1)打开流程按钮,修改采集字段名称,点击保存并开始采集

 

 

QQ群成员号码昵称采集步骤9

 

 

2)启动本地采集

 

QQ群成员号码昵称采集步骤10

 

 

3)采集完成后,会跳出提示,选择导出数据选择合适的导出方式,将采集好的数据导出这里我们选择excel作为导出为格式,一份完好的QQ号码以及QQ昵称数据就采集好了,数据导出后如下图

 

 

QQ群成员号码昵称采集步骤11