사용 기간별 고객 경험으로 제품 개선 방향 찾기

고객이 제품을 쓴 기간별로 리뷰를 나누면 사용 초기와 장기 사용 단계에서 고칠 점이 따로 보일까. 스마트 워치 리뷰를 순위 기반 동적 IPA 맵으로 분석한 논문을 읽는다.

같은 리뷰 문장이라도 누가 썼는지에 따라 뜻이 다르다. “배터리가 오래 가고, 방수 기능이 좋다.”라는 리뷰를 산 지 일주일 된 고객이 썼다면, 새 제품이 높은 수준으로 작동한다는 뜻에 가깝다. 같은 문장을 1년 쓴 고객이 썼다면, 오래 써도 품질과 성능이 유지된다는 뜻으로 읽힌다. 그런데 선행 연구 대부분은 전체 기간의 리뷰를 한꺼번에 분석했다.

사용 초기에 흥미롭던 기능이 오래 쓸수록 불만스러운 요소로 바뀔 수 있다. 반대로 처음엔 관심을 받지 못하던 기능이 오래 쓸수록 만족스러운 요소가 되기도 한다. 그렇다면 고객이 제품을 쓴 기간별로 리뷰를 나누어 분석해서, 사용 초기와 장기 사용 단계에서 각각 무엇을 고쳐야 하는지 찾을 수 있을까?

이 질문에 답한 논문을 한 편 읽어 본다.

  • 제목: Identification of Product Improvement Directions Through Customer Experience Analysis Considering Product Usage Period
  • 학술지: Journal of the Korean Institute of Industrial Engineers (Vol. 50, No. 4, pp. 251-265)
  • 연도: 2024
  • DOI: 10.7232/JKIIE.2024.50.4.251

논문이 제안한 방법은 리뷰를 고객의 제품 사용기간별로 나눈다. 그다음 기간마다 제품 특징에 대한 관심도와 만족도를 계산해 순위로 바꾼다. 마지막으로 그 순위를 기간별 중요도-성과 분석 맵에 놓고, 특징의 위치가 어떻게 움직이는지 추적한다. 글 전체에서 쓸 용어는 다음과 같다.

  • 제품 사용기간: 고객이 제품을 구매한 시점부터 리뷰를 작성한 시점까지의 기간이다. 논문은 쇼핑몰이 표시하는 소유 기간을 사용기간으로 정의했다.
  • 제품 특징: 고객이 리뷰에서 언급하는 제품의 요소다. 토픽 모델링(문서 묶음에 잠재된 주제를 찾는 기법)으로 뽑은 토픽 하나가 제품 특징 하나가 된다.
  • 관심도(Importance): 한 사용기간의 리뷰 가운데 그 특징을 다룬 문서의 비율이다.
  • 만족도(Performance): 그 특징을 이루는 단어들의 감성점수를 단어 가중치로 합한 값이다.
  • 동적 IPA 맵(Dynamic IPA Map): 중요도-성과 분석(Importance-Performance Analysis, IPA)을 사용기간마다 반복해 그린 맵이다.

동기: 리뷰 작성 시점이 아니라 고객이 쓴 기간을 봐야 한다

왜 사용기간별 고객 경험이 중요한가

논문은 고객경험을 고객이 제품·서비스 제공자와 관계를 유지하는 동안 갖게 되는 모든 경험의 합으로 정의한다. 고객경험은 기대와 실제 경험의 상호작용으로 이루어지며 감정, 인지, 행동을 포함한다. 논문이 이 문제를 중요하게 보는 이유는 다음과 같다.

  • 경쟁이 치열해지면서 제품 수명주기가 짧아지고 있다. 기업은 경쟁우위를 유지하려면 혁신과 신제품 개발을 계속해야 한다.
  • 신제품을 개발하려면 고객이 제품을 쓰는 이유와 요구사항을 알아야 한다. 이를 위해 고객경험을 분석하고 반영해야 한다.
  • 긍정적인 고객경험은 고객과 기업의 관계를 강화하고 충성도를 쌓는다. 결국 기업의 수익성 증대로 이어진다.
  • 온라인 리뷰는 제품을 쓰는 과정의 총체적인 고객경험을 반영한다. 한 설문에서 약 73%의 사용자가 온라인 리뷰가 구매 결정에 상당한 영향을 준다고 답했다.
  • 기업은 한정된 인적·물적 자원을 적절한 영역에 나누어야 한다. 그래서 추가 자원이 필요한 특징과 이미 충분히 작동하는 특징을 구분하고 순위를 매겨야 한다.

기존 연구가 다루지 않은 부분

온라인 고객의 목소리(Voice of Customer, VoC)로 제품을 개선하려는 선행(先行) 연구는 크게 두 종류다. 첫째는 품질과 고객 만족도 향상을 겨냥한 연구다. Kano 모델로 제품 속성을 분류한 연구(Qi et al., 2016), LDA로 속성을 뽑아 IPA를 한 연구(Bi et al., 2019), LASSO와 Decision Tree로 만족 요인을 찾은 연구(Chen et al., 2020)가 여기에 속한다.

둘째는 기술 혁신과 시장 기회 발굴을 겨냥한 연구다. VoC와 특허 데이터로 공정·공급망까지 고려한 연구(Purnama and Masruroh, 2023)가 있다. 리뷰와 특허 포트폴리오를 연결해 품질기능전개(Quality Function Deployment, QFD)를 확장한 연구(Trappey et al., 2018)도 있다. 논문이 짚은 빈틈은 세 가지다.

  • 대부분의 연구는 전체 기간의 리뷰를 한꺼번에 분석했다. 그래서 고객이 제품을 쓰면서 바뀌는 경험을 반영하지 못했다.
  • 대부분의 연구는 추출한 개선 요소의 우선순위를 정하지 않았다.
  • 대부분의 연구는 리뷰를 분석할 때 제품 소유기간 정보를 쓰지 않았다. 리뷰 작성 시점은 사용기간을 대변하지 않는다. 충분히 써 본 뒤의 성숙한 리뷰일 수도 있고, 가벼운 리뷰일 수도 있다.

논문은 결론에서 기존 동적 분석이 제품 출시일이나 리뷰 작성 시점을 기준으로 삼았다고 다시 정리한다.

방법: 리뷰를 사용기간별로 나누고 순위로 동적 IPA 맵을 만든다

논문은 방법을 네 단계로 설명한다. 1단계에서 리뷰를 수집하고 전처리한다. 2단계에서 토픽 모델링으로 제품 특징을 뽑는다. 3단계에서 사용기간별로 관심도와 만족도를 계산하고 순위를 매기며, 4단계에서 그 순위로 동적 IPA 맵을 만들어 개선 방향을 찾는다. 이 글도 같은 네 단계로 설명한다.

그림 1. 리뷰를 사용기간 네 구간으로 나누고, 특징별 관심도·만족도 순위로 동적 IPA 맵을 만드는 4단계 절차다.

사례와 자료

사례 제품은 2019년 이후 출시된 스마트 워치다. 스마트 워치는 스마트폰 연동, 운동강도 측정, GPS 같은 기능이 있다. 또 개발·출시 주기가 짧아 이 방법을 적용하기에 적합하다고 논문은 판단했다. 대상은 다음 8종이다.

  • Samsung Galaxy Watch4 Aluminum Smartwatch 40mm, 44mm (2021년 8월 출시)
  • Fitbit Versa 2 Health & Fitness Smartwatch (2019년 8월), Sense Advanced Health Smartwatch (2022년 8월)
  • Apple Watch Series 6 40mm, 44mm Aluminum Case (2020년 9월)
  • Apple Watch SE 1st Generation 40mm, 44mm Aluminum Case (2020년 9월)

리뷰는 쇼핑몰 Best Buy에서 수집했다. Best Buy는 리뷰 작성 시점과 함께 고객이 제품을 얼마나 소유했는지를 보여 준다. 연구진은 2020년 1월 1일부터 2022년 12월 31일까지 작성된 리뷰 25,655건을 모았다.

Ku, Lee, Yoon(2024)의 논문은 사용기간을 네 구간으로 나누었고, 구간마다 배정된 리뷰 수는 다음과 같다.

  • 1개월 미만 사용한 고객의 리뷰(Period 1)는 10,615건이다.
  • 1개월 이상 2개월 미만 사용한 고객의 리뷰(Period 2)는 9,362건이다.
  • 2개월 이상 6개월 미만 사용한 고객의 리뷰(Period 3)는 3,584건이다.
  • 6개월 이상 1년 미만 사용한 고객의 리뷰(Period 4)는 1,483건이다.

사용기간이 길어질수록 리뷰가 빠르게 줄어든다. Period 4의 리뷰는 Period 1의 약 14%다(1,483÷10,615=14%).

1단계: 리뷰 수집과 전처리

  • 입력: 사용기간을 알 수 있는 온라인 제품 리뷰
  • 처리: 수집, 짧은 리뷰와 불용어 제거
  • 산출: 제품 특징을 찾기에 알맞게 정리된 리뷰

처리 순서는 다음과 같다.

  1. 웹 크롤링이나 Open API로 대상 제품의 리뷰를 수집한다.
  2. 제품 특징과 관계없는 제조업체명, 제품명, 쇼핑몰 이름을 지운다.
  3. 공백과 특수문자를 포함해 70자 미만인 리뷰는 의미 있는 정보가 없다고 보고 뺀다.
  4. 이모티콘, 특수문자, 의성어 같은 불용어를 지운다.
  5. 리뷰마다 사용기간을 확인해 네 구간 가운데 하나에 넣는다.

목표가 제품 특징을 찾는 일이므로, 특징을 식별할 수 없는 글자와 리뷰를 먼저 걸러 낸다.

2단계: BERTopic으로 제품 특징 추출

  • 입력: 전처리한 리뷰
  • 처리: BERTopic 토픽 모델링, 계층 토픽 정리, 제품 특징 토픽 선정
  • 산출: 제품 특징 11개와 각 특징의 핵심 단어

논문은 오래 쓰인 잠재 디리클레 할당(Latent Dirichlet Allocation, LDA) 대신 BERTopic을 택했다. LDA는 계산 복잡도가 높고 단어 사이의 복잡한 의미 관계를 잡는 데 한계가 있다고 논문은 설명한다. LDA와 비교한 연구에서 BERTopic은 토픽 일관성과 토픽 다양성 면에서 전반적으로 더 안정적이고 우수하다고 알려져 있다. BERTopic의 처리 순서는 다음과 같다.

  1. 사전 훈련된 언어 모델 BERT(Bidirectional Encoder Representations from Transformer)로 각 문서를 벡터로 바꾼다.
  2. Uniform Manifold Approximation Projection으로 벡터의 차원을 줄인다. 이 방법은 데이터의 지역 특징과 전역 특징을 함께 보존한다.
  3. Hierarchical Density-Based Spatial Clustering of Applications with Noise로 비슷한 문서를 묶는다.
  4. 클래스 기반 TF-IDF(class-based Term Frequency-Inverse Document Frequency, c-TF-IDF)로 토픽마다 핵심 단어를 뽑는다.

c-TF-IDF는 한 토픽 안에서 단어가 얼마나 중요한지 나타내는 값이다. 한 토픽에 속한 문서를 모두 이어 붙여 하나의 문서로 보고 계산한다. BERTopic은 전체 기간의 글로벌 토픽을 먼저 찾고, 그것을 바탕으로 시간 단계마다 토픽 표현을 다시 만드는 동적 토픽 모델링도 지원한다. 논문은 이 기능을 사용기간 구간에 적용해, 같은 ‘배터리’ 토픽이라도 기간마다 핵심 단어가 어떻게 바뀌는지 추적한다.

사례에서는 최대 두 개의 연속된 단어까지 키워드로 썼다. 그 결과 주제 55개가 나왔고, 계층적 토픽 모델링으로 이를 대주제 19개로 묶었다. 19개 가운데 서비스, 가격, 감정을 다룬 8개를 빼고 제품 특징 11개를 남겼다. 11개 특징은 다음과 같다.

  • Battery(배터리), Health care(헬스케어), Screen(화면), Waterproof(방수)
  • Color(색상), Connection stability(연결 안정성), Protection(보호), Setup(설정)
  • Software(소프트웨어), Fall detection(낙상 감지), Hand washing(손 씻기)

예를 들어 방수 특징의 상위 키워드는 water, waterproof, pool, water proof, proof다.

3단계: 사용기간별 관심도와 만족도 산출

  • 입력: 사용기간별 리뷰, 토픽별 할당 문서, 기간별 토픽 단어와 c-TF-IDF 값
  • 처리: 관심도 비율 계산, 문장 단위 감성분석, 가중합으로 만족도 계산, 순위화
  • 산출: Period 1~3은 11개, Period 4는 9개 특징의 관심도·만족도 값과 순위

처리 순서는 다음과 같다.

  1. 기간별로 각 특징에 할당된 문서 수를 집계해 관심도를 계산한다.
  2. 리뷰를 문장 단위로 나누고, 어휘·규칙 기반 감성분석 도구 VADER로 문장마다 감성점수를 매긴다.
  3. 토픽을 이루는 단어마다, 그 단어가 들어간 문장들의 평균 감성점수를 구한다.
  4. 단어별 평균 감성점수에 c-TF-IDF 값을 곱해 모두 더하면 그 기간의 만족도가 나온다.
  5. 기간마다 관심도와 만족도에 순위를 매긴다.

관심도의 근거는 고객이 리뷰에서 언급하는 특징이 사용기간 동안 중요하게 여긴 요소라는 점이다. 오래 쓰면서 관심이 줄어 더는 쓰지 않는 기능도 있으므로, 언급량이 관심 정도를 대변한다고 논문은 본다. 식으로 쓰면 관심도는 “기간 p의 문서 가운데 토픽 t에 할당된 문서의 비율”이다. 예를 들어 Period 4에서 방수의 관심도는 2.750809%다. 이 값은 Period 4 문서 가운데 방수 토픽에 할당된 문서의 비율을 나타낸다.

만족도를 문장 단위로 계산하는 이유는 리뷰 하나에 여러 문장이 있고, 문장마다 다른 특징을 말할 수 있어서다. 또 같은 토픽이라도 기간마다 구성 단어와 가중치가 달라지므로, 기간별 단어 구성을 반영해야 한다. 방수를 예로 들면 water의 c-TF-IDF 값은 Period 1에서 0.268, Period 2에서 0.252, Period 3에서 0.218, Period 4에서 0.268로 바뀐다.

계산 예를 방수의 Period 1로 들어 보자. 구하는 값은 Period 1에서 방수 특징의 만족도다. 가져오는 수는 구성 단어의 가중치로, water 0.268, waterproof 0.225, water proof 0.109 등이다. 각 가중치에 그 단어가 들어간 문장들의 평균 감성점수를 곱해 더하면 1.093373이 된다. 이 값이 Period 1의 11개 특징 가운데 5위라는 사실이 다음 단계의 입력이 된다.

Period 4에서는 pool, shower 같은 단어가 새로 나타났다. 기간에 따라 기존에 없던 키워드가 등장하기도 하는 것이다.

4단계: 순위로 동적 IPA 맵 구성

  • 입력: 기간별 관심도 순위와 만족도 순위
  • 처리: 순위를 IPA 행렬에 매핑하고, 핵심 단어 변화 해석
  • 산출: 기간별로 집중해야 할 특징과 개선 방향

IPA는 고객 만족을 위해 먼저 집중할 영역과 순위를 정하는 방법이다(Martilla and James, 1977). 논문이 설명한 네 영역은 다음과 같다.

  • A1: 표준 수준의 성과를 달성한 주요 강점이다. 추가 자원 없이 현상을 유지할 수 있다.
  • A2: 주요 약점이다. 집중해서 고치지 않으면 경쟁에서 뒤처질 수 있어 추가 자원이 필요하다.
  • A3: 성과가 낮지만 중요성도 낮아 지금은 위협이 아니다. 다만 앞으로 부차적인 약점이 될 수 있다.
  • A4: 부차적이고 중요하지 않은 강점이다. 불필요한 자원을 줄이고 다른 영역에 집중하기를 권한다.

행렬의 축을 정하는 기존 방법은 두 가지다. 척도 중심 방법은 척도의 중앙값을 축으로 쓴다. 이 방법은 특징이 한 사분면에 몰려 우선순위를 정하기 어렵다. 데이터 중심 방법은 점수의 평균이나 중앙값을 축으로 쓰는데, 기간마다 평균과 중앙값이 바뀌어 축을 고정할 수 없다.

논문은 그래서 점수 대신 순위로 IPA를 한다. 순위를 쓰면 축이 고정되고, 특징이 한 사분면에 몰리지 않고 각 사분면에 나뉘어 위치한다. 연구진은 사용기간에 따라 변화하는 관심도 순위와 만족도 순위를 매핑해 동적 IPA 맵을 만들었다. 이 가운데 변화가 일정하거나 급격한 4개 특징(배터리, 방수, 소프트웨어, 보호)을 선정해 해석하고, 핵심 키워드 변화를 활용해 구체적인 개선 방향을 제시했다.

결과: 배터리는 늘 중요하고, 방수는 6개월 뒤 만족도가 떨어진다

관심도: 배터리와 헬스케어가 내내 1, 2위

첫 번째 비교는 사용기간 네 구간에서 11개 특징의 관심도다. 관심도가 높을수록 고객이 그 특징에 관심이 많다는 뜻이다. 논문 표 4에서 배터리의 관심도는 Period 1에 91.28641, Period 4에 87.05502로 네 구간 모두 1위였다. 헬스케어는 네 구간 모두 2위였다.

배터리의 문서 비율은 다른 토픽보다 월등히 높다. 배터리와 헬스케어는 사용기간 내내 고객이 가장 관심 있게 언급하는 특징이다. 표 4에서 낙상 감지와 손 씻기는 Period 1부터 Period 3까지 10위와 11위였고, Period 4에는 값이 없다. 논문은 이 두 특징을 사용기간이 늘수록 고객이 점차 언급하지 않고 관심을 갖지 않는 특징으로 해석했다.

만족도: 기간마다 순위가 크게 바뀌는 특징

두 번째 비교는 같은 구간의 만족도다. 만족도는 단어별 감성점수를 c-TF-IDF로 가중합한 값이다. 논문 표 5의 순위에서 세 특징은 서로 다른 방향으로 움직인다.

그림 2. 사용기간별 만족도 순위에서 배터리는 오르고 방수는 6개월 이후 떨어지며 소프트웨어는 Period 4에 1위가 된다.
  • 배터리: 10위, 8위, 7위, 5위로 꾸준히 오른다.
  • 방수: 5위, 5위, 3위를 지나 Period 4에서 8위로 떨어진다.
  • 소프트웨어: 8위, 9위, 6위를 지나 Period 4에서 1.655252로 1위가 된다.

필자가 보기에, 전체 기간을 한꺼번에 분석하면 이런 서로 다른 방향의 움직임이 하나의 값에 묻힐 수 있다.

배터리: 오래 쓸수록 상대 만족도가 오른다

배터리는 네 구간 모두 관심도 1위다. 고객이 스마트 워치에서 가장 중요하게 여기는 요소가 배터리라는 뜻이다. 그런데 만족도 순위는 Period 3까지 상대적으로 낮았고(10위, 8위, 7위), Period 4에서 5위로 올랐다.

논문은 이렇게 해석한다. 사용 초기에는 배터리 외의 특징이 매력적인 요소로 받아들여진다. 사용기간이 늘면서 다른 특징에 대한 관심과 만족도가 떨어지고, 배터리 성능이 상대적으로 더 높은 만족을 준다. 순위가 상대적인 값이라는 점도 함께 봐야 한다. 배터리의 만족도 점수 자체는 0.931766에서 0.785576으로 낮아졌다. 같은 기간에 방수, 설정, 보호의 점수는 배터리보다 더 크게 떨어졌다. 또 Period 4에는 낙상 감지와 손 씻기 값이 없어 순위 대상이 9개로 줄었다. 배터리 순위가 오른 데에는 이 두 요인이 함께 작용했다.

논문의 개선 방향은 기업이 기존 제품보다 배터리 성능이 떨어지지 않도록 연구개발을 해야 한다는 것이다.

방수: 6개월 뒤 만족도가 떨어지고, 샤워 관련 문제가 원인으로 추정된다

방수는 내내 관심도 5위 안에 들었고, 6개월 미만 동안 높은 만족도를 유지했다. Period 1부터 Period 3까지 만족도는 1 이상이었지만, Period 4에서는 이전 값의 절반에도 못 미치는 0.4276이었다. 만족도 순위는 Period 3의 3위에서 Period 4의 8위로 떨어졌고, 관심도 순위는 5위에서 3위로 올랐다.

원인은 단어 구성에서 찾았다. Period 4의 방수 토픽에는 pool(0.302), water(0.268), shower(0.206)에 이어 notice(0.076), problem(0.074) 같은 단어가 새로 나타났다. 논문은 이 단어들에서 고객이 스마트 워치를 차고 샤워하는 과정에서 방수 기능에 문제가 생겼다고 추론했다.

개선 방향은 두 가지다.

  • 방수 기능에 대해 고객의 사용기간을 고려한 A/S 체계를 마련한다.
  • 신제품을 개발할 때 장기 방수 성능을 높이는 연구개발 방안을 검토한다.

소프트웨어와 보호: 장기 사용자가 만족하는 특징

소프트웨어는 관심도가 내내 낮았다(9위, 9위, 9위, 8위). 그런데 Period 4에서 만족도가 1위로 뛰었다. Period 4의 상위 단어는 goal(0.437), competition(0.366), neat(0.359), regret(0.293) 등이다. 논문은 운동 목표를 정하고 달성하는 기능, 지인과 활동량을 공유하며 겨루는 기능에 대한 만족이 순위를 끌어올렸다고 해석했다.

만족도에 비해 관심이 적으므로, 논문은 고객이 이 기능을 더 잘 알고 쓰도록 마케팅 전략을 수립하라고 제안한다. 오래 쓸수록 만족하는 소프트웨어이므로 업데이트를 계속 제공해야 한다는 제안도 함께 했다.

보호(부록에서는 Scratch로 표기)는 사용 초기에 중요도도 만족도도 낮은 특징이었다. 관심도 비율은 Period 1의 0.631068에서 Period 4의 1.618123으로 올랐고, 만족도 순위는 9위에서 6위가 되었다. 논문은 6개월이 넘으면서 스크래치 언급과 만족이 함께 늘었다고 보았다. 이를 근거로 스크래치와 관련된 내구성이 장기 고객을 만족시키는 특징이라고 해석했다.

변화가 적은 특징: 헬스케어와 색상

헬스케어는 내내 관심도 2위였고, 만족도도 큰 변화 없이 상위권(4위, 3위, 5위, 4위)이었다. 논문은 이 특징이 준수한 성능을 유지한다고 보았다. 색상은 관심도가 높지 않았지만 만족도 순위가 2위, 1위, 1위, 2위였다. 논문은 손목 밴드를 바꿀 수 있다는 점이 꾸준한 만족을 준다고 해석했다.

의의와 한계

무엇이 달라지는가

논문이 새로 한 일은 다음과 같다.

  • 리뷰 작성 시점이나 출시일이 아니라 고객의 제품 사용기간으로 리뷰를 나누어, 특징별 관심도와 만족도의 변화를 측정했다.
  • 그 결과 사용 초기에 관심을 끈 기능, 고객이 꾸준히 쓰는 핵심 기능, 사용 후기에 만족도가 낮은 기능을 구분했다.
  • 지표를 순위로 바꾸어 IPA 행렬의 축을 고정했다. 기존 동적 IPA 연구는 기간마다 데이터 분포에 따라 축이 바뀌었다.
  • BERTopic의 동적 토픽 모델링으로 기간별 구성 단어를 비교해, 관심도와 만족도가 바뀐 원인을 찾았다.

실무자에게 주는 쓸모

논문은 사용기간별 고객경험 정보를 A/S 정책 수립, 마케팅 전략 수립에 쓸 수 있다고 본다. 방수 사례에서는 사용기간을 고려한 A/S 체계를, 소프트웨어 사례에서는 기능을 알리는 마케팅을 제안했다. 고정된 축 위에서 개선이 필요한 특징과 충분히 작동하는 특징이 나뉘므로, 한정된 자원을 어디에 쓸지 정하는 데도 도움이 된다. 대량의 리뷰를 쓰므로 설문 기반 방법보다 비교적 빠르게 고객 피드백과 요구사항을 찾을 수 있다.

연구자에게 주는 쓸모

연구자에게는 쇼핑몰이 제공하는 소유기간 정보를 새로운 분석 축으로 쓰는 사례가 된다. 논문은 이 정보를 고객의 제품 사용 성숙도를 대변하는 지표로 본다. 논문의 설계에는 순위로 축을 고정하는 동적 IPA가 있다. 또 c-TF-IDF 가중치와 문장 단위 감성점수를 결합한 만족도 지표도 있다. 논문은 스마트 워치 한 제품군만 다뤘다. 필자는 이 설계를 다른 제품군 연구에 적용하는 방안도 검토할 수 있다고 본다.

논문이 밝힌 한계

논문이 스스로 밝힌 한계는 네 가지다.

  • 토픽 가운데 제품 특징 토픽을 선정하는 단계에 분석자의 주관이 개입할 수 있다. 객관적인 선정 방법에 대한 후속 연구가 필요하다.
  • 사용기간이 길수록 리뷰 수가 줄어, 사용 후기의 지표가 소수 리뷰에 치우칠 수 있다.
  • 한 제품군에 속한 여러 제품의 리뷰를 합쳐 분석했다. 제품마다 기능 명칭, 소재, 크기가 다르므로 개별 제품을 분석하면 더 정확해진다.
  • 사용기간별 리뷰로 고객경험을 간접적으로 분석했다. 경험의 변화를 직접 보려면 고객의 제품 사용 전 주기를 추적해야 한다.

필자가 보는 적용 조건

아래는 논문에 적힌 내용이 아니라 필자가 실무 적용을 염두에 두고 덧붙이는 조건이다.

  • 리뷰마다 구매 시점이나 소유기간을 알 수 있어야 한다. 이 정보가 없는 채널에서는 같은 방식으로 구간을 나눌 수 없다.
  • 마지막 구간의 리뷰 수를 먼저 확인해야 한다. 사례에서도 Period 4 리뷰는 1,483건으로 가장 적었다. 우리 제품의 리뷰가 훨씬 적다면 구간을 더 넓게 잡는 편이 낫다.
  • 순위는 상대적인 값이다. 배터리처럼 점수가 떨어져도 순위가 오를 수 있으므로, 순위와 원래 점수를 함께 봐야 한다.
  • 연결 안정성처럼 만족도 순위가 내내 하위(11위, 11위, 11위, 9위)인 특징은 논문이 따로 해석하지 않았다. 자사 분석에서는 이런 특징도 개선 후보로 함께 검토할 만하다.

바로 해 볼 일

  • 자사 제품 리뷰를 다운로드해 리뷰마다 구매일 또는 소유기간이 있는지 확인한다. 있다면 논문처럼 1개월 미만, 12개월, 26개월, 6개월~1년의 네 구간으로 나누고 구간별 리뷰 수를 집계한다.
  • 70자 미만 리뷰와 제품명·쇼핑몰 이름을 지운 뒤, 전체 리뷰에서 토픽을 뽑아 제품 특징 토픽만 남긴다. 구간마다 특징별 문서 비율을 계산하면 관심도 표가 나온다.
  • 관심도 순위가 크게 움직인 특징 하나를 정해, 구간별 상위 단어를 나란히 놓고 비교한다. 방수 사례의 shower, problem처럼 뒤 구간에 새로 나타난 단어가 개선 방향의 단서가 된다.

비즈니스인텔리전스랩은 리뷰와 특허 같은 대량 데이터로 제품과 기술의 기회를 찾는 연구를 소개하고 있다. 다음 글에서도 논문 한 편씩을 같은 방식으로 풀어 본다.

키워드

함께 읽을 글