通过不同使用时长的客户体验寻找产品改进方向

同一句评论，写的人不同，含义也不同。“电池续航久，防水功能好。“如果这条评论出自刚买一周的客户，更接近于说新产品运行在较高水平；如果同一句话出自用了一年的客户，则会被理解为长期使用后品质和性能依然保持。然而，大多数已有研究都是把全部时间段的评论放在一起分析。

使用初期觉得有趣的功能，用得越久，可能变成令人不满的因素。反过来，起初没有受到关注的功能，用得越久，也可能变成令人满意的因素。那么，如果按客户使用产品的时长划分评论并加以分析，能否找出使用初期和长期使用阶段各自应当改进什么？

下面来读一篇回答了这个问题的论文。

• 标题：Identification of Product Improvement Directions Through Customer Experience Analysis Considering Product Usage Period
• 期刊：Journal of the Korean Institute of Industrial Engineers (Vol. 50, No. 4, pp. 251-265)
• 年份：2024
• DOI：10.7232/JKIIE.2024.50.4.251

论文提出的方法先按客户的产品使用时长划分评论，再计算每个时段内产品特征的关注度和满意度并转换为排名，最后把这些排名放进分时段的重要性-绩效分析图中，追踪特征位置如何移动。全文使用的术语如下。

• 产品使用时长：从客户购买产品起，到撰写评论为止的时间。论文将购物网站显示的拥有时长定义为使用时长。
• 产品特征：客户在评论中提到的产品要素。通过主题建模（在文档集合中发现潜在主题的技术）提取出的每一个主题，对应一个产品特征。
• 关注度（Importance）：在某一使用时段的评论中，涉及该特征的文档所占的比例。
• 满意度（Performance）：构成该特征的各单词的情感得分，按单词权重加权求和得到的值。
• 动态IPA图（Dynamic IPA Map）：在每个使用时段重复绘制重要性-绩效分析（Importance-Performance Analysis，IPA）所得到的图。

动机：要看客户使用了多久，而不是评论写于何时

为什么不同使用时长的客户体验很重要

论文将客户体验定义为客户在与产品或服务提供者保持关系期间获得的全部体验之和。客户体验由期望与实际体验的相互作用形成，包含情感、认知和行为。论文认为这一问题重要的原因如下。

• 竞争日趋激烈，产品生命周期不断缩短。企业要保持竞争优势，就必须持续创新和开发新产品。
• 开发新产品，需要了解客户使用产品的原因和需求。为此必须分析并吸纳客户体验。
• 积极的客户体验会增强客户与企业的关系并积累忠诚度，最终带来企业盈利能力的提升。
• 在线评论反映了产品使用过程中的整体客户体验。一项调查中，约73%的用户表示在线评论对购买决策有相当大的影响。
• 企业必须把有限的人力和物力分配到合适的领域。因此需要区分哪些特征需要追加资源、哪些特征已经运作良好，并为它们排序。

已有研究没有涉及的部分

利用在线客户之声（Voice of Customer，VoC）改进产品的已有研究大致有两类。第一类面向提升品质和客户满意度，包括用Kano模型对产品属性分类的研究（Qi et al., 2016）、用LDA提取属性再做IPA的研究（Bi et al., 2019），以及用LASSO和Decision Tree寻找满意因素的研究（Chen et al., 2020）。

第二类面向技术创新和市场机会挖掘。有研究利用VoC和专利数据，并将工艺和供应链一并纳入考虑（Purnama and Masruroh, 2023）；也有研究把评论与专利组合相连接，扩展了质量功能展开（Quality Function Deployment，QFD）（Trappey et al., 2018）。论文指出的空白有三点。

• 大多数研究把全部时段的评论放在一起分析，因此无法反映客户在使用产品过程中发生变化的体验。
• 大多数研究没有为提取出的改进要素确定优先级。
• 大多数研究在分析评论时没有使用产品拥有时长的信息。评论撰写时间并不能代表使用时长。它可能是充分使用后的成熟评论，也可能只是随手写的简短评论。

论文在结论中再次梳理指出，现有的动态分析是以产品发布日或评论撰写时间为基准的。

方法：按使用时长划分评论，并以排名构建动态IPA图

论文将方法分为四个步骤。第1步收集并预处理评论；第2步通过主题建模提取产品特征；第3步按使用时长计算关注度和满意度并排名；第4步以这些排名构建动态IPA图，找出改进方向。本文也按这四个步骤来介绍。

案例与数据

案例产品是2019年以后发布的智能手表。智能手表具有与智能手机联动、运动强度测量、GPS等功能。论文还认为，其研发和发布周期短，适合应用这一方法。对象为以下8款。

• Samsung Galaxy Watch4 Aluminum Smartwatch 40mm、44mm（2021年8月发布）
• Fitbit Versa 2 Health & Fitness Smartwatch（2019年8月）、Sense Advanced Health Smartwatch（2022年8月）
• Apple Watch Series 6 40mm、44mm Aluminum Case（2020年9月）
• Apple Watch SE 1st Generation 40mm、44mm Aluminum Case（2020年9月）

评论收集自购物网站Best Buy。Best Buy会显示评论撰写时间，同时显示客户拥有产品多久。研究团队收集了2020年1月1日至2022年12月31日期间撰写的25,655条评论。

Ku, Lee, Yoon（2024）的论文将使用时长分为四个区间，各区间分配到的评论数如下。

• 使用不足1个月的客户的评论（Period 1）为10,615条。
• 使用1个月以上、不足2个月的客户的评论（Period 2）为9,362条。
• 使用2个月以上、不足6个月的客户的评论（Period 3）为3,584条。
• 使用6个月以上、不足1年的客户的评论（Period 4）为1,483条。

使用时长越长，评论数下降得越快。Period 4的评论约为Period 1的14%（1,483÷10,615=14%）。

第1步：评论收集与预处理

• 输入：可获知使用时长的在线产品评论
• 处理：收集，剔除过短评论和停用词
• 产出：经整理、适合用于寻找产品特征的评论

处理顺序如下。

1. 通过网络爬虫或Open API收集目标产品的评论。
2. 删除与产品特征无关的制造商名称、产品名称、购物网站名称。
3. 包含空格和特殊字符在内不足70个字符的评论，视为没有有意义的信息而剔除。
4. 删除表情符号、特殊字符、拟声词等停用词。
5. 确认每条评论的使用时长，并将其归入四个区间之一。

由于目标是寻找产品特征，所以要先过滤掉无法识别特征的字符和评论。

第2步：用BERTopic提取产品特征

• 输入：预处理后的评论
• 处理：BERTopic主题建模，层次主题整理，产品特征主题筛选
• 产出：11个产品特征及各特征的核心单词

论文没有采用长期使用的潜在狄利克雷分配（Latent Dirichlet Allocation，LDA），而是选择了BERTopic。论文指出，LDA计算复杂度高，在捕捉单词之间复杂的语义关系方面存在局限。在与LDA的对比研究中，BERTopic被认为在主题一致性和主题多样性方面总体上更稳定、更优秀。BERTopic的处理顺序如下。

1. 用预训练语言模型BERT（Bidirectional Encoder Representations from Transformer）将每个文档转换为向量。
2. 用Uniform Manifold Approximation Projection降低向量维度。该方法能同时保留数据的局部特征和全局特征。
3. 用Hierarchical Density-Based Spatial Clustering of Applications with Noise将相似文档聚为一类。
4. 用基于类别的TF-IDF（class-based Term Frequency-Inverse Document Frequency，c-TF-IDF）为每个主题提取核心单词。

c-TF-IDF表示单词在一个主题内的重要程度。计算时，把属于同一主题的所有文档连接起来视为一个文档。BERTopic还支持动态主题建模：先找出全部时段的全局主题，再以此为基础，在每个时间步重新生成主题表示。论文将这一功能应用于使用时长区间，追踪同样是”电池”主题，其核心单词在不同时段如何变化。

案例中，关键词最多使用两个连续单词。结果得到55个主题，并通过层次主题建模将其归并为19个大主题。在这19个中，去掉涉及服务、价格、情感的8个，保留了11个产品特征。这11个特征如下。

• Battery（电池）、Health care（健康护理）、Screen（屏幕）、Waterproof（防水）
• Color（颜色）、Connection stability（连接稳定性）、Protection（保护）、Setup（设置）
• Software（软件）、Fall detection（跌倒检测）、Hand washing（洗手）

例如，防水特征的前几位关键词是water、waterproof、pool、water proof、proof。

第3步：按使用时长计算关注度和满意度

• 输入：按使用时长划分的评论、分配给各主题的文档、各时段的主题单词及c-TF-IDF值
• 处理：计算关注度占比，句子级情感分析，加权求和计算满意度，排名
• 产出：Period 1~3为11个特征、Period 4为9个特征的关注度和满意度数值及排名

处理顺序如下。

1. 按时段汇总分配给各特征的文档数，计算关注度。
2. 将评论拆分为句子，用基于词典和规则的情感分析工具VADER为每个句子打情感得分。
3. 对构成主题的每个单词，求出包含该单词的句子的平均情感得分。
4. 将每个单词的平均情感得分乘以c-TF-IDF值后全部相加，即得到该时段的满意度。
5. 在每个时段内，分别对关注度和满意度排名。

关注度的依据是：客户在评论中提到的特征，就是其在使用期间认为重要的要素。也有些功能会因为用久了兴趣减退而不再使用，因此论文认为提及量可以代表关注程度。用公式表述，关注度就是”时段p的文档中分配给主题t的文档所占的比例”。例如，Period 4中防水的关注度为2.750809%。这个值表示Period 4的文档中分配给防水主题的文档所占的比例。

之所以按句子计算满意度，是因为一条评论中有多个句子，而每个句子可能谈论不同的特征。另外，即使是同一个主题，不同时段的构成单词和权重也会不同，所以要反映各时段的单词构成。以防水为例，water的c-TF-IDF值在Period 1为0.268，Period 2为0.252，Period 3为0.218，Period 4为0.268，发生了变化。

以防水的Period 1为例做一次计算。要求的是Period 1中防水特征的满意度。取用的数值是构成单词的权重，如water 0.268、waterproof 0.225、water proof 0.109等。将每个权重乘以包含该单词的句子的平均情感得分后相加，得到1.093373。这个值在Period 1的11个特征中排第5位，这一事实成为下一步的输入。

在Period 4，pool、shower等单词是新出现的。也就是说，不同时段可能会出现此前没有的关键词。

第4步：以排名构建动态IPA图

• 输入：各时段的关注度排名和满意度排名
• 处理：将排名映射到IPA矩阵，解读核心单词的变化
• 产出：各时段应重点关注的特征和改进方向

IPA是为了客户满意而确定优先关注的领域及其顺序的方法（Martilla and James, 1977）。论文说明的四个区域如下。

• A1：达到标准水平绩效的主要优势。无需追加资源，维持现状即可。
• A2：主要劣势。如果不集中改进，可能在竞争中落后，需要追加资源。
• A3：绩效较低但重要性也低，目前不构成威胁。不过将来可能成为次要劣势。
• A4：次要且不重要的优势。建议削减不必要的资源，集中于其他领域。

确定矩阵坐标轴的现有方法有两种。以量表为中心的方法，以量表的中位数作为坐标轴。这种方法会使特征集中在一个象限，难以确定优先级。以数据为中心的方法，以得分的平均值或中位数作为坐标轴，但各时段的平均值和中位数不同，坐标轴无法固定。

因此，论文用排名而不是得分来做IPA。使用排名，坐标轴就可以固定，特征不会集中在一个象限，而是分散在各个象限。研究团队将随使用时长变化的关注度排名和满意度排名进行映射，构建了动态IPA图。在此基础上，选出变化稳定或剧烈的4个特征（电池、防水、软件、保护）加以解读，并利用核心关键词的变化提出了具体的改进方向。

结果：电池始终重要，防水在6个月后满意度下降

关注度：电池和健康护理始终排第1、2位

第一项比较是四个使用时长区间中11个特征的关注度。关注度越高，说明客户对该特征越感兴趣。在论文表4中，电池的关注度在Period 1为91.28641，在Period 4为87.05502，四个区间均为第1位。健康护理在四个区间均为第2位。

电池的文档占比远高于其他主题。电池和健康护理是客户在整个使用期间提及最多的特征。表4中，跌倒检测和洗手在Period 1到Period 3分别排第10位和第11位，Period 4没有数值。论文将这两个特征解读为：随着使用时长增加，客户逐渐不再提及、也不再关注的特征。

满意度：不同时段排名大幅变化的特征

第二项比较是相同区间的满意度。满意度是用c-TF-IDF对各单词情感得分加权求和得到的值。论文表5的排名显示，有三个特征朝着不同的方向变化。

• 电池：10位、8位、7位、5位，稳步上升。
• 防水：5位、5位、3位，到Period 4跌至8位。
• 软件：8位、9位、6位，到Period 4以1.655252升至第1位。

在笔者看来，如果把全部时段放在一起分析，这些朝不同方向的变化可能会被淹没在一个数值之中。

电池：用得越久，相对满意度越高

电池在四个区间的关注度均为第1位。这意味着，电池是客户对智能手表最看重的要素。然而，其满意度排名到Period 3为止相对较低（10位、8位、7位），在Period 4升至第5位。

论文这样解读：使用初期，电池以外的特征会被视为有吸引力的要素。随着使用时长增加，对其他特征的关注度和满意度下降，电池性能相对带来了更高的满意度。同时还要注意，排名是相对值。电池的满意度得分本身从0.931766降到了0.785576。同一时期，防水、设置、保护的得分下降幅度比电池更大。此外，Period 4没有跌倒检测和洗手的数值，排名对象减少为9个。电池排名上升，是这两个因素共同作用的结果。

论文提出的改进方向是：企业应开展研发，使电池性能不低于现有产品。

防水：6个月后满意度下降，推测原因是与洗澡相关的问题

防水的关注度始终位居前5，在不足6个月的期间内保持了较高的满意度。从Period 1到Period 3，满意度都在1以上，但在Period 4只有0.4276，不到此前数值的一半。满意度排名从Period 3的第3位降到Period 4的第8位，关注度排名则从第5位升至第3位。

原因从单词构成中找到。Period 4的防水主题中，在pool（0.302）、water（0.268）、shower（0.206）之后，新出现了notice（0.076）、problem（0.074）等单词。论文从这些单词推断，客户戴着智能手表洗澡的过程中，防水功能出现了问题。

改进方向有两点。

• 针对防水功能，建立考虑客户使用时长的A/S（售后服务）体系。
• 开发新产品时，研究提高长期防水性能的研发方案。

软件和保护：长期用户满意的特征

软件的关注度始终较低（9位、9位、9位、8位）。然而在Period 4，满意度跃升至第1位。Period 4的前几位单词是goal（0.437）、competition（0.366）、neat（0.359）、regret（0.293）等。论文解读为：对设定并达成运动目标的功能，以及与熟人分享活动量并相互竞争的功能的满意，推高了排名。

由于关注度相比满意度偏低，论文建议制定营销策略，让客户更好地了解并使用这一功能。论文还一并提出，由于这是用得越久越让人满意的软件，应当持续提供更新。

保护（附录中表示为Scratch）是使用初期重要性和满意度都较低的特征。其关注度占比从Period 1的0.631068升至Period 4的1.618123，满意度排名从第9位升至第6位。论文认为，超过6个月后，对划痕的提及和满意同时增加。据此，论文解读为：与划痕相关的耐用性是使长期客户满意的特征。

变化较小的特征：健康护理和颜色

健康护理的关注度始终为第2位，满意度也没有大的变化，保持在前列（4位、3位、5位、4位）。论文认为该特征保持了不错的性能。颜色的关注度不高，但满意度排名为2位、1位、1位、2位。论文解读为：可以更换表带这一点带来了持续的满意。

意义与局限

有什么不同

论文的新贡献如下。

• 不是按评论撰写时间或发布日，而是按客户的产品使用时长划分评论，测量了各特征关注度和满意度的变化。
• 由此区分出使用初期吸引关注的功能、客户持续使用的核心功能，以及使用后期满意度较低的功能。
• 将指标转换为排名，固定了IPA矩阵的坐标轴。现有的动态IPA研究中，坐标轴会随各时段的数据分布而变化。
• 利用BERTopic的动态主题建模比较各时段的构成单词，找出了关注度和满意度变化的原因。

对从业者的价值

论文认为，不同使用时长的客户体验信息可用于制定A/S政策和营销策略。在防水案例中，提出了考虑使用时长的A/S体系；在软件案例中，提出了宣传功能的营销。在固定的坐标轴上，需要改进的特征和已充分运作的特征被区分开来，因此也有助于决定把有限的资源用在哪里。由于使用的是大量评论，与基于问卷的方法相比，可以相对更快地发现客户反馈和需求。

对研究者的价值

对研究者而言，这是把购物网站提供的拥有时长信息用作新分析维度的案例。论文将这一信息视为代表客户产品使用成熟度的指标。论文的设计包括以排名固定坐标轴的动态IPA，还包括结合c-TF-IDF权重与句子级情感得分的满意度指标。论文只研究了智能手表这一个产品类别。笔者认为，也可以考虑将这一设计应用于其他产品类别的研究。

论文自述的局限

论文自己指出的局限有四点。

• 在从主题中筛选产品特征主题的步骤，可能掺入分析者的主观判断。需要后续研究提出客观的筛选方法。
• 使用时长越长，评论数越少，使用后期的指标可能偏向少数评论。
• 分析时合并了同一产品类别中多款产品的评论。各产品的功能名称、材质、尺寸不同，因此分别分析单个产品会更准确。
• 通过不同使用时长的评论间接分析了客户体验。若要直接观察体验的变化，需要追踪客户产品使用的完整周期。

笔者看到的适用条件

以下不是论文中的内容，而是笔者着眼于实际应用而补充的条件。

• 每条评论都必须能获知购买时间或拥有时长。在没有这一信息的渠道，无法用同样的方式划分区间。
• 要先确认最后一个区间的评论数。案例中Period 4的评论也只有1,483条，是最少的。如果自家产品的评论少得多，把区间划得更宽会更好。
• 排名是相对值。像电池那样，即使得分下降，排名也可能上升，因此应同时查看排名和原始得分。
• 像连接稳定性这样，满意度排名始终靠后（11位、11位、11位、9位）的特征，论文没有单独解读。在自家分析中，这类特征也值得一并作为改进候选来考察。

马上可以做的事

• 下载自家产品的评论，确认每条评论是否有购买日期或拥有时长。如果有，就像论文那样分为不足1个月、12个月、26个月、6个月~1年四个区间，并统计各区间的评论数。
• 删除不足70个字符的评论以及产品名称、购物网站名称后，从全部评论中提取主题，只保留产品特征主题。在每个区间计算各特征的文档占比，就得到关注度表。
• 选定一个关注度排名变化很大的特征，把各区间的前几位单词并排比较。像防水案例中的shower、problem那样，在后面区间新出现的单词，就是改进方向的线索。

商业智能实验室（비즈니스인텔리전스랩）介绍利用评论和专利等大规模数据发现产品和技术机会的研究。下一篇文章中，我们也将以同样的方式逐篇解读论文。