八爪鱼CEO刘宝强：如何通过NLP人工智能大规模分析评论文本洞察消费者心声（干货）

作者：keven 发布时间：5/18/2018 6:36:26 PM 19865 人已阅读

摘要：作为市场负责人，你知道用户在想什么吗？你的产品带给用户的使用体验是什么样的？用户最关注产品的核心功能是什么？

作为市场负责人，你知道用户在想什么吗？

你的产品带给用户的使用体验是什么样的？

用户最关注产品的核心功能是什么？

当前日益激烈的竞争环境下，作为品牌企业，应该如何利用大数据和人工智能技术对消费者进行分析，从而帮助品牌企业聚焦用户心声，发现并改进产品和业务存在的问题，以此提升品牌价值，获得竞争优势呢？

本文以电商平台京东为例，选择不同品牌的两款家电产品，从不同角度进行深度分析，文章比较长，欢迎大家多多交流。

要分析消费者的想法，这里面有几个关键问题需要解决：

需要收集大量的消费者言论，现在互联网这么发达，消费者在各种电商平台，新闻媒体，论坛，社交平台等留下了大量的言论，由于本文的重点不是教大家如何从各个网站采集用户言论数据，所以这里就不重点展开，感兴趣的同学可以看看之前的几篇关于数据采集的文章。（相关数据采集文章）
要深度分析非结构化数据，用户的言论通常不是简单的五星评价，或者5分满意度，而是有大量的文本内容，因为文本不是结构化的数据，对于非结构化的数据进行分析，传统的BI工具是不行的，如果数据量很大，唯一可行的选择是使用NLP自然语言处理技术，可能很多人一听到非机构化数据、NLP就头大，这些都是专业术语，非专业人士不需要深究，只要知道，类似文章和评论这种大量的文字内容如果需要进行大规模分析，机器能代替成千上万的人来阅读并理解这些内容，并进行深度分析，所使用的就是这种技术。

为了简化问题，本文不会使用太多数据，实际应用中则必须有几万条，甚至几百几千万条数据才能有效洞察消费者。

对于消费者在评价产品某一些具体功能时所表达的感情，我们也简化为正面和负面，实际应用中当然也可以区分不同程度的喜欢和不喜欢。虽有以管窥豹之嫌，但对于不太精通大数据和人工智能的同学来说，这样更容易理解和掌握原理。

另外，本文以纯学习交流为目的，消费者正负面评价的分析和对比也只是客观数据的一种可视化呈现，对具体品牌本文作者持中立意见。不涉及具体产品好坏的主观引导和推荐。

数据来源说明:

京东 SKU 为 4534356 的商品评论，共 1901 条; url:

【东菱KE-8008】东菱（Donlim）养生壶玻璃加厚蒸汽喷淋式智能控温冲泡多功能全自动煮茶壶煮茶器 KE-8008【行情报价价格评测】-京东1item.jd.com

京东 SKU 为 3818500 的商品评论，共 2913 条，这部分仅作为竞品补充分析。 url:

【小熊YSH-A15W6】小熊（Bear）养生壶全自动玻璃加厚电热水壶花茶壶煮茶器黑茶煮茶壶多功能 YSH-A15W6 1.5L【行情报价价格评测】-京东item.jd.com

数据收集时间：2018-04-09 T 16:30

八爪鱼采集器操作界面

数据采集是通过八爪鱼采集器完成的，在此先略过，重点就以下几个方面进行分析：‍

一、数据概况

1、采集数据按时间统计

2、用户评论星级分布及评论等级占比

二、产品质量问题分析

1、产品问题概况

2、负面评论分析

3、正面评论分析

三、用户画像与用户行为分析

1、用户群体概况

2、用户行为时间分析

3、评论影响及认同度分析

四、客服&售后绩效分析

1、客服应答时间分析

2、客服应答质量分析

五、竞品分析

1、概况比较

2、产品质量问题比较

一、数据概况

1、采集数据按时间统计

图 1 评论数据时间分布

上图可见，本次采集的商品评论中，近90%的评论行为发生在近4个月（即2017年12月至今），参考价值明显。

2、用户评论星级分布及评论等级占比

由上表，95.79%的评论显示为好评，且98.63%的好评为五星级好评，中评和差评各占2.10%。然而，追评中的正面评价仅占到91.47%，比评论中好评率低了4.3个百分点。

图 2 评论等级及追评性质占比比较

二、产品质量问题分析

对文本这种非结构化数据的深入分析，不像做数值类型的图表那么简单，我们需要从大段的文字中提取出消费者所描述的是产品还是服务，是具体哪个产品功能点，还是某一个零件或者外观，这就需要建立一套分析的指标体系，也就是说，我们建立一套成体系的分析指标体系，然后利用NLP自然语言处理的技术去让机器理解这套体系，并且由机器来大量的阅读理解评价内容，最终形成指标体系的打分和可视化分析结果。‍

1、产品问题概况

图 3 一类问题数量&占比

如上图所示，用户关注的产品问题中，功能设计占比36.19%稳居第一，紧随其后的是煮茶效果及产品工艺，占比分别为19.83%和18.09%。外观设计的占比为13.00%，也是用户关注的第四大类问题。相应的对于配件及说明书用户给的关注则很少。

图 4 二类问题点数量分布

图 5 二类问题点分布占比

上面2个图可以直观看出用户关注的具体二类问题点。关注最高的四个二类问题分别为操作性，做工质量，外观，煮茶效果。从所属一级类别来看，用户对产品功能的关注中，主要关注操作是否便捷，好不好用，占58.73%，其次是功能设计，保温效果，煮茶时间，档位/按键设计，各占10%左右；煮茶效果这一大类下，用户关注点较全面，各类问题占比相对均衡；在产品工艺这一部分，66.20%关注产品的做工/质量，21.69%关注材质问题，其余九个二类问题仅占12.11%，但其中的顶盖，生锈/斑点等问题虽然评论涉及不多，但是负面评论占比很高，值得后续关注；外观设计方‍面，81.96%的客户直接给出直观感受，评价外观是否好看等。

2、负面评论分析

图 6 负面评论数量（部分）

2.1材质问题&生锈/斑点

材质问题和生锈/斑点问题负面评价占比高达40.3%和87.5%，且负面评论数量多至40+，表达了用户在这两方面很强的不满意情绪。从评论内容看，材质问题主要反映在两方面的负面评价，一是玻璃很薄，或是不锈钢材质很薄，二是底部容易起茶垢且很难清洗掉。部分评论明确提到生锈或是锈渍则属于生锈的问题。以下为这两方面截取的部分评论内容：

表格 3 材质&生锈/斑点负面评论内容节选

2.2 功能设计

功能设计方面，负面评价占比为25.0%，用户对产品功能设计提到了更多的要求和期待，如：增加洗茶功能，更改壶盖和滤网设计，自动断电等。为了突出重点，对具体的评论内容不再举例展示。原理跟上一节相同。

2.3价格

价格的负面评论占比高达49.3%，而性价比的负面评论占比只有8.3%，即：90%以上的用户认为产品是值这个价位的。从价格的负面评价内容可以发现，约有40%的用户给出负面评价是因为价格变动过大，买完降价太快等原因，其余约一半的用户则是直接表达“价格小贵”“希望更多优惠”等因素。为了突出重点，对具体的评论内容不再举例展示。原理同上。

2.4噪音问题&其他问题

10条评论认为噪音过大，其余21条评论提及该问题则认为“噪音不大”“声音可接受”，负面评论占比32.3%，产品优化空间明显。

17条评论提及“下单时有赠品，收到货没有”“没有杯子赠品”“欺骗消费者”等负面评论，且这17条评论中6条是差评，2条中评，1条为追评评论。差评和中评均只提到赠品问题，即：这6条差评均是由于赠品导致的，占总差评数量的15%。

‍其余问题的如“电源线太短”“手柄晃动”等问题，都在评论中有所提及。

3、正面评论分析

图 7 一类问题正面评论占比（部分）

如上图所示，用户对这款产品的煮茶效果的外观设计认可度最高，分别达97.43%和94.90%，对产品工艺的认可度则只有76.62%。用户对功能设计的认可度为94.65%，提及功能设计这一类别的672条正面评价中，416条给了“操作性”，用户认为产品“使用方便”“好用”。

三、用户画像与用户行为分析

1、用户群体概况

1.1 用户客户端使用分布情况

图 8 用户客户端使用分布

图 9 用户客户端使用及评论星级分布

如上图所示，51.60%使用京东Android客户端下单评论，38.87%使用京东iPhone客户端下单评论，其余9.53%则选择了微信或是网站等入口。Android客户端好评数为942条，占比96.02%，与iPhone客户端95.53%的好评率基本持平，并未体现差异。但是，Android客户端与iPhone客户端的差评数量分别为16条和19条（差评率分别为1.63%和2.57%），体现了一个百分点的区别。

1.2 用户会员等级分布情况

图10 会员等级分布情况

图 11 会员等级及评论星级分布图

图 12 不同会员等级的评论等级占比

如图所示53.55%用户为PULS会员，钻石会员与金牌会员共占27.83%，其余会员等级占18.62%。其中PLUS会员好评率最高，为96.76%，高于整体水平1个百分点，而钻石会员和金牌会员好评率则相对较低。

2、用户行为时间分析

图 13 用户行为发生时间分布

可以看出，下单时间的三个高峰分别为上午10:00，下午15:00-16:00，晚上22:00，这些时间段内可以增加售前客服的人员部署；用户评论时间整体分布较为均匀，在上午9:00-10:00，中午12:00,14:00，晚上20:00出现小高峰。追评时间分布呈现锯齿状，但明显可以看出，追评行为主要集中在早上8:00-10:00，及下午17:00以后。

3、评论影响及认同度分析

图 14 评论认同投票数量

在京东的评论板块中，对于评论有“举报”“赞”“回复”三种操作，用户在查看评论的同时，可以对评论内容进行操作反馈，这些反馈动作很具参考意义。如上图所示，用户对于 “差评”“贴图评论”“追评”点赞的次数最多，而这类评论展示了更大量更具体的信息。具体评论内容不再列出。

四、客服&售后绩效分析

1、客服应答时间分析

图10、客服应答时间分析

如图10所示，在去除响应时间48小时以上的4个异常值外，响应时间差集中在30小时内。从客服回复时间来看，每日早上9:00，下午15:00，晚上20:00是回复高峰期，与中差评出现的高峰期大致吻合（本次数据所有的客服回复均是针对中差评做出回复）。

‍ 图 16 客服应答时间分布

2、客服应答质量分析

本次采集到客服回复共80条，出现频次在6次以上的回复如下：

表格 7 客服应答内容（部分）

由客服应答内容可见，所有回复均是使用模板，且对具体涉及较少，存在较大提升空间。

五、竞品分析

本次分析的竞品为小熊YSH-A15W6养生壶，主要从概况（包括评价星级/评论等级占比、用户客户端使用分布、用户会员等级分布），产品质量问题两方面简要比较。

1、概况比较

1.1评价星级分布及等级占比‍

表格 8 评论星级分布及等级占比比较

图 17 评论类型占比比较

如上图所示，两者好评率差异较大，小熊养生壶好评率为75.97%，追评正面评价为79.54%，高于评论3.5个百分点；而东菱养生壶好评率95.79%，比小熊好评率高了约20个百分点，差异非常明显。

1.2 用户客户端使用分布

图 18 用户客户端使用占比比较

小熊养生壶的Android客户端用户占比低于东菱约5个百分点，iPhone客户端用户高于东菱约2个百分点，总体数据分布差异不大。从各客户端的好评率来看，小熊Android客户端用户好评率高于iPhone客户端用户约5个百分点，比东菱的差异体现的更为明显。

1.3 用户会员等级分布

图 19 用户会员等级占比比较

小熊用户的PULS会员占比仅34.96%，低于东菱18.6个百分点，金牌会员占比相对的高于东菱8个百分点。小熊用户PLUS会员的好评率为83.5%，高于整体水平7.5个百分点，同样属于各会员等级中好评率最高的等级。从各会员等级的好评率来看，小熊的PLUS会员好评率高于金牌会员13个百分点，差异明显。

2、产品质量问题比较

2.1 产品问题概况‍

图 20 一类问题概况比较

从用户关注角度来看，小熊用户最为关注产品的四个一类问题为功能设计、产品工艺、价格&性价比、外观设计。相比于东菱养生壶，小熊养生壶用户并不关注煮茶效果，反而价格&性价比关注程度跃居第三，这主要与小熊养生壶的功能设计有关（小熊养生壶设计了20个功能，用于煮茶的仅占4个）。且直观来看，小熊养生壶在功能设计和产品工艺方面的负面评价数量非常大，分别达到了273条和677条。

图 21 二类问题点概况比较

如上图所示，可以直观的看出，小熊养生壶在产品工艺方面的各个二级分类都有较高的负面评论。且小熊用户和东菱用户关注的问题点既体现了相似性（如：做工/质量，材质，生锈/斑点，操作性，功能设计，档位/按键设计，保温等），又体现了差异性（如：小熊养生壶关注顶盖，电源线，异味，加热功能；而东菱养生壶用户则较多提及煮茶时间，煮茶效果等问题）。