八爪鱼,百万用户信赖的网络爬虫工具

价格监控的另外一个场景,构建比价系统从八爪鱼开始

作者:keven 发布时间:9/19/2017 11:45:51 AM 4707 人已阅读

摘要:鹬蚌相争之时,总有渔翁试图得利,这句话形容商业竞争实在贴切不过。 试想一下,如果你刚刚下了单,才发现这款商品在其他电商平台上有促销价格实惠很多,是不是悔得想捶胸顿足? 对于消费者来说,他希望能在购物时看到其它电商平台的同款产品价格,货比三家。对于商家来说,他们希望能争夺市场份额,不惜打出价格牌来争夺顾客。 这就给了 “智能比价系统”必须存在的充分理由。

 

1 

 

鹬蚌相争之时,总有渔翁试图得利,这句话形容商业竞争实在贴切不过。

试想一下,如果你刚刚下了单,才发现这款商品在其他电商平台上有促销价格实惠很多,是不是悔得想捶胸顿足?

对于消费者来说,他希望能在购物时看到其它电商平台的同款产品价格,货比三家。对于商家来说,他们希望能争夺市场份额,不惜打出价格牌来争夺顾客。

这就给了 “智能比价系统”必须存在的充分理由。

比价系统有哪些应用场景

 

场景1:

2 

比价平台:为了让用户能买到最高性价比商品,汇集了商品在所有主流商城的报价、活动促销、历史价格走势等信息的公开比价网。

 

场景2:

自动调价:电商平台内部的比价系统,用来实时查询网上销售的所有同款商品信息,一旦发现有其它网站的商品定价低于自己,系统会自动调低本网同类商品的价格,保持与竞争对手至少10%的价格优势。

我们今天就以比价平台为例,来聊聊比价平台,是如何通过八爪鱼实现的,跟爬虫又有什么关联,如果我要做个某领域的全网比价系统,如何使用八爪鱼快速搭建。

解决数据源

比价系统最主要就是解决数据源的问题,今天我们以监测科沃斯扫地机器人为例,我们需要对互联网销售科沃斯主要的平台进行监控。通过某比价平台我们可以看到,他们对京东,天猫,国美均进行了采集。

3 

 

这里面分别需要采集产品的主图,标题,价格,多少人评论,还有一些促销政策。由于涉及到的平台众多,我们今天就以天猫,京东,国美为例。

4 

天猫采集图

 

5

美采集图

 

6

京东采集图

 

 

由于科沃斯扫地机器人是标品,我们可以简单通过货号,就可以将产品对应在一起。

7 

为什么选择八爪鱼呢?

 

 

1可以快速配置某网站的爬虫规则

以上小编三个规则,平均一个20分钟即完成,基本上一个小时后,我就拿到三家平台上面科沃斯官方店的全量商品信息。

 

2选择八爪鱼即选择整套大数据成熟解决方案。

本文举例,只是科沃斯的一个例子,但我们要做的不单单只是一个科沃斯,而是要全网数据,涉及上千万的数据分布式采集。选择八爪鱼,即选择一套成熟的数据爬虫解决方案+成熟的数据存储方案+成熟的数据API导出方案

 

3让我们把精力花在业务上,而不是在如何采集数据

网站改版是一种经常的行为,每一次网站改版都牵动着整个技术,运营团队的内心,有可能你的正则表达式不适用了,或网站某个字符串改变了,就会影响你的数据采集结果。八爪鱼是基于XPATH的采集规则,可以很大程度避免因为改版造成的误伤。即使完全改版了,配置一个爬虫规则只需20分钟,无需重新编写代码,布署程序,任何一个人都可以轻松搞定。

 

8

双十一快来了,要不我们都来定时采集一下这些电商平台的信息,让我们了解价格变化趋势,这里面,或许会有很多故事出来。

 

 

 


欢迎咨询在线客服
加微信群,与更多用户一起交流