オンラインレビューで製品機会の変化を追跡する方法

製品企画の担当者は、顧客が何を求めているかを把握して初めて、次の改善の方向を決められます。アンケート調査は、結果が出るまでに時間がかかります。その間に新製品が出れば、顧客の関心も変わります。レビューを一度分析して得た結果も、数か月後には現在の状況と合わなくなることがあります。

そこで、次のような疑問が生まれます。顧客レビューから「多く言及されているが満足度は低い」製品属性を見つけ、その機会がいつ生まれ、いつ消えるのかを毎月追跡できるでしょうか。

この疑問に答えた論文を一本読んでみます。

• タイトル: Dynamic Monitoring of Product Opportunities with Online Product Review Data
• 学術誌: Journal of the Korean Institute of Industrial Engineers
• 年: 2019
• DOI: 10.7232/JKIIE.2019.45.5.387

この論文は、ソーシャルメディアマイニングによって動的(時間とともに変化する)な製品機会を識別する方法を提案しています。この方法は、オンラインレビューから顧客が語る製品のトピックを抽出します。次に、トピックごとに毎月三つの指標を計算し、三つの指標を一つの優先順位にまとめます。アナリストは、この優先順位が時間とともにどう動くかを見守ります。

この記事全体で使う用語は次のとおりです。

• 製品機会(product opportunity): 顧客が満足する新製品を開発したり、既存製品を発展させたりする機会
• トピックモデリング(topic modeling): 文書の集まりに潜むトピックを確率モデルで見つけるテキストマイニング手法。論文は、ここから得られたトピック一つを、製品に対する顧客の要求事項一つとみなしています。
• 重要性(Importance)、満足性(Satisfaction)、浮上性(浮上性, Growth): トピックの機会の水準を数値で表す三つの指標
• TOPSIS(Technique for Order Preference by Similarity to Ideal Solution): 複数の基準を併せて考慮し、代替案の順位を決める多基準意思決定手法

動機: 顧客の要求は速く変わるのに、既存の分析は一時点にとどまる

なぜ製品機会を継続的に追跡する必要があるのか

論文が挙げる理由は五つです。

• 競争の激しい環境で、顧客の要求事項に基づいて革新的な製品機会を見つけることは、製品ベースの企業が持続的に成長するうえで重要です。
• アンケートに基づく方法では、要求事項を素早く把握し、その変化を追跡することがますます難しくなりました。原因は、グローバルなビジネス環境、短くなった製品寿命、複雑になった顧客要求事項です。
• ソーシャルメディアは、顧客の意見や要求事項を含む大量のリアルタイムデータを提供します。顧客が製品情報を自ら交換するため、分析結果はR&Dやマーケティング戦略にとって重要な資源になります。
• 製品ライフサイクルが短くなり、市場環境が複雑になるにつれて、顧客の要求事項は急速に変化します。そのため、要求事項を動的に分析してビジネスに反映する必要があります。
• 技術がある程度成熟したら、技術から新しい機会を探すよりも、顧客と市場の要求によって改善の方向を決めるほうが有用です。

既存研究が扱っていない部分

ソーシャルメディアデータでビジネス機会を探す先行研究は、複数ありました。ニュースデータから浮上するトピックを見つけた研究や、モバイルサービスのレビューに感情分析と多基準意思決定手法を適用して満足度を測定した研究があります。製品欠陥を見つけるテキスト分析の枠組み、機会発見理論で製品機会を導いた研究、機会分析アルゴリズムをソーシャルメディアデータに適用した研究もあります。

論文が指摘する欠落は三つです。

• 先行研究は機会を定量化しましたが、時間とともに変化する機会は把握できませんでした。
• 大半の研究は、定量化した機会の優先順位を識別していません。企業が製品開発とマーケティングの順序を決めるには、機会同士の相対的な重要度が必要です。
• 一部の研究は技術の観点で分析しており、顧客や市場の観点への配慮が不足していました。

方法: レビューをトピックにまとめ、毎月三つの指標で順位を付ける

論文の方法は四段階です。第1段階でオンライン製品レビューを集め、製品に関連するキーワードを抽出します。第2段階でトピックモデリングによって顧客の要求事項を定義し、第3段階で機会の水準を表す指標を時点ごとに計算します。第4段階でTOPSISにより時点別の優先順位を算出し、変化する製品機会をモニタリングします。この記事も、論文の段階の区分にそのまま従います。

事例とデータ

事例の製品は、AppleのタブレットPCであるiPadです。iPadは2010年4月3日に米国で初めて発売され、数年にわたりタブレットPC市場でシェア1位を維持しました。機能が多様で、新製品が続けて登場し、顧客の意見交換も活発です。論文はこの点から、時間に伴う変化を追跡する方法に適した事例だと判断しました。

データの出所はRedditです。Redditは、120万を超えるsubreddit(テーマ別の掲示板)で構成されています。TwitterやFacebookでは、分析者があらかじめ決めたキーワードやハッシュタグでしかデータを集められません。一方Redditでは、テーマに合ったsubredditを使えば、検索条件を事前に定義しなくても関連する投稿を集められます。

研究チームは、iPadのsubredditで2015年12月から2018年5月までの間に書かれた投稿を収集しました。

出典: 論文4.1節

最終的な分析に使われた文書は、収集した文書の約25.3%です(42,269÷166,882=25.3%)。

第1段階: レビューの収集とキーワード抽出

• 入力: 対象製品に関するオンラインレビュー
• 処理: 収集、キーワード抽出、ストップワード除去
• 出力: 文書-キーワード行列

1. アナリストは、ウェブクローリングや、ソーシャルメディアが提供するオープンAPI(Application Programming Interface)でレビューを集めます。
2. レビューごとに、自然言語処理ツールでキーワードを抽出します。論文は、TextRazor、Alchemy API、spaCyを例に挙げています。
3. 絵文字、擬音語、製品と無関係な挨拶などのストップワードを、リストから削除します。
4. レビューごとにキーワードと頻度をベクトルにし、すべてのベクトルを一つの文書-キーワード行列にまとめます。

ストップワードを削除するのは、分析に必要でないキーワードが抽出結果に混ざるためです。ソーシャルメディアデータは、ほかの公開データより収集が容易で、最新性が高く、ビジネスとの関連性が高いとされています。

事例では、研究チームはまず「[deleted]」「[removed]」のような不要な文書を削除しました。続いてspaCyでキーワード56,789個を抽出しました。このリストには、ウェブページのリンク、口語表現、絵文字が混ざっていました。研究チームは、二つの条件でストップワードを除去しました。

• そのキーワードを含む文書が1件だけのキーワード、つまり文書頻度(Document Frequency)が1のキーワード
• iPadと直接関係のないキーワード

残ったのは、キーワード10,401個と、それを含む文書42,269件です。キーワードは、元のリストの約18.3%だけが残りました(10,401÷56,789=18.3%)。

第2段階: LDAによる製品トピックの抽出

• 入力: 文書-キーワード行列、トピック数
• 処理: LDA(Latent Dirichlet Allocation、潜在的ディリクレ配分法)によるトピックモデリングとトピックの解釈
• 出力: トピック-キーワード分布、文書-トピック分布、トピック名

1. アナリストはトピック数を決めます。論文は、トピック間のコサイン類似度やPerplexityが最も小さくなるトピック数を選ぶ方法を使っています。
2. LDAを実行し、二つの分布を得ます。
3. トピック-キーワード分布で、寄与度の高いキーワードを確認します。
4. そのトピックへの寄与度が高い文書を読み、トピック名を決めます。

LDAを使うのは、ほかのトピックモデリング手法より性能が良く、広く使われているためです。トピック-キーワード分布は、各トピックが何で構成されているかを教えてくれます。文書-トピック分布は、各文書がどのトピックについて語っているかを教えてくれます。論文は、前者の分布で要求事項を定義し、後者の分布で要求事項を評価します。

トピックはキーワードの集まりにすぎないため、人が意味を付ける必要があります。25番目のトピックの主要キーワードは、‘true tone(0.2436)’、‘final cut(0.0346)’、‘true tone display(0.0306)‘でした。寄与度の高い文書も、True Toneの機能について語っていました。そこで研究チームは、このトピックを’True tone display’としました。

49番目のトピックでは、‘best buy’の寄与度が0.5020でした。このキーワード一つで全体の寄与度の半分以上を占めるため、研究チームはこのトピックを、電子機器の小売店である’Best buy’のトピックと定義しました。

事例では、研究チームはscikit-learnでLDAを実行しました。トピック数を1から増やしながらPerplexityを計算したところ、トピック数が70個のときにPerplexityが3140.66で最小でした。抽出された主なトピックには、次のような種類があります。

• 使用と機能: ‘Data usage’、‘Split screen’、‘Applications’、‘Photo editing’
• 製品モデルとオプション: ‘32GB model’、‘64GB model’、‘iPad Air’、‘iPad Mini’
• アクセサリ: ‘Apple pencil’、‘Smart keyboard’

第3段階: 重要性、満足性、浮上性の計算

• 入力: 文書-トピック分布、文書の作成時点、文書の極性
• 処理: 時点ごとの合算と正規化
• 出力: トピックごとの時点別の三つの指標

1. 重要性: 時点ごとに文書-トピック分布の寄与度を足してトピック量を求めます。この値を0から1の間に正規化します。
2. 満足性: すべての文書に感情分析を行い、極性(肯定・否定の度合い)を求めます。文書の極性を文書-トピック分布に掛けて感情行列を作り、時点ごとに足したうえで、0から1の間に正規化します。
3. 浮上性: 方法を説明する3.3節では、現在の時点と前の時点のトピック量の比で求めるとしています。結果自体が比であるため、正規化はしません。ところが結論では、浮上性を、文書-トピック分布の寄与度の1か月間の増加量で求めたと述べています。論文の中で、比と増加量という二つの記述が一致していないため、再現しようとする読者はこの点に注意が必要です。

三つの指標は、それぞれ異なる機会を指し示します。ほかのトピックより多く言及されたトピックは、顧客が重視する製品要素です。満足度が低いトピックは、改善の余地が残っています。言及量が急増したトピックでは、これまでになかった要求に素早く対応できます。

トピックの推移を見る方法には、TOT(Topics over Time)やDTM(Dynamic Topic Modeling)もあります。論文は、寄与度を時間に沿って足し合わせる方法を選びました。三つの指標を同じ方式で算出してこそ、一貫性が保たれるためです。

感情分析には、PythonパッケージのVADERを使いました。論文は、VADERを深層学習ベースのパッケージとして紹介しています。

計算方法を記号で整理してみます。ある月に書かれた文書一つが、25番目のトピックに対して寄与度a、感情極性pを持つとします。この文書は、その月の重要性のトピック量にaを加えます。満足性の合計には、a×pを加えます。寄与度が同じでも、極性が低い文書は、満足性により小さい値を加えます。論文の表1には、25番目のトピックに関連する文書の寄与度と感情の重みが載っています。実際の値は、論文の原文(DOIリンク)で確認できます。

浮上性は、前の時点がなければ計算できません。事例の最初の月である2015年12月は、すべてのトピックの浮上性が0です。

第4段階: TOPSISによる月別の優先順位の算出

• 入力: トピックごとの時点別の三つの指標
• 処理: TOPSIS、移動平均
• 出力: トピック別の優先順位の時系列

1. 正の理想解(PIS、positive ideal solution)を定めます。重要性が最も高く、満足性が最も低く、浮上性が最も高い仮想のトピックです。
2. 負の理想解(NIS、negative ideal solution)を定めます。重要性が最も低く、満足性が最も高く、浮上性が最も低い仮想のトピックです。
3. トピックごとに、二つの理想解までのユークリッド距離を計算します。
4. 相対的近接度を計算します。NISまでの距離を、二つの距離の和で割った値です。
5. すべての時点で繰り返して近接度の時系列を得て、移動平均で変動を減らしたうえで順位を付けます。

近接度は、1なら最良の順位、0なら最悪の順位です。近接度が高いほど、機会の水準が高くなります。次は、論文の定義に筆者が値を入れてみた計算です。あるトピックがPISと同じ位置にあれば、PISまでの距離は0です。このとき近接度は、NISまでの距離÷(0+NISまでの距離)=1になります。

TOPSISは、指標間のトレードオフを許容します。ある指標の悪い値を、別の指標の良い値で補うことができます。理解しやすく計算が簡単な点も、論文が挙げる長所です。

事例の移動平均の期間は6か月です。論文は、収集した30か月の間にiPadが5つ発売されたことを反映しました(30÷5=6)。論文は、分析期間に発売されたiPadを、次のように記述しています。

• 第1世代iPad Pro 9.7インチ
• 第5世代iPad
• 第2世代iPad Pro 12.9インチと10.5インチ(2017年6月13日に同時発売)
• 第6世代iPad

5つという集計は、論文の記述にそのまま従ったものです。下記の結果で扱う投稿数急増の時期の5回とは、別の数字です。

結果: 順位は新製品の発売に応じて動き、一部のトピックは安定して上位に残る

レビュー量は発表・発売の直後に増えた

収集期間中に投稿数が急増した時期は、5回です。

• 2016年3月22日、176件: 第1世代iPad Pro 9.7インチ発表の翌日
• 2017年3月22日、117件: 第5世代iPad 9.7インチ発表の翌日
• 2017年6月14日、221件(最多): 第2世代iPad Pro 12.9インチ・10.5インチ発売の翌日
• 2017年9月15日、136件: iPadの値上げと、3日前の新製品イベントの影響と推定
• 2018年3月28日、153件: 第6世代iPad 9.7インチ発売の翌日

研究チームは、この数値から、iPadよりiPad Proに対する関心が相対的に高いと判断しました。この急増は、浮上性にも反映されました。2016年3月と2017年6月に、大半のトピックで浮上性が急増しました。

指標ごとに異なるトピックが目立った

重要性では、二つのトピックの推移が対照的でした。

• ‘iPad Air’: 重要性がほかのトピックより高かったものの、2017年6月以降は次第に低下しました。iPad Airは、2014年10月22日の第2世代の発売後、後継製品がありませんでした。
• ‘Smart keyboard’: 急増や急減がなく、安定して上昇しました。研究チームは、iPad Proへの関心が、併用するキーボードへ波及した結果だと解釈しました。

満足性でも、二つのトピックが際立っていました。‘Best buy’は、2017年1月に急減し、2018年以降は下がりましたが、分析期間を通して相対的に非常に高い水準でした。‘Smart keyboard’の満足性は、重要性と同様に上昇しました。研究チームは、スマートキーボードがますます重要になるにつれて、顧客を満足させていると解釈しました。

安定して上位に残ったトピック: バッテリー寿命

70のトピックのうち、35番目の’Battery life’は、全期間の平均が8.67位でした。2017年11月、12月と2018年1月、2月、4月に1位でした。1位を5回記録し、全トピックの中で最多でした。

寄与度の高い文書を読んでみると、細かなテーマは次のとおりでした。

• iOSのバージョンアップがバッテリー寿命に与える影響: 最も多く言及され、大半の文書の極性が否定でした。
• Apple Pencil、Smart keyboardなどのアクセサリ自体のバッテリーと、アクセサリの使用に伴うiPadのバッテリー消耗
• ほかの製品とのバッテリー寿命の比較
• 充電方式がバッテリーに与える影響

研究チームは、このトピックが分析期間の終了後も、機会の水準が高いままだと予想しました。

発売に応じて順位が入れ替わったトピック: 64GBと32GB

22番目のトピック’64GB model’は、2017年6月に66位から6位に上がりました。筆者が計算すると、66−6=60段階の上昇です。その後は上位を維持し、直近の2018年5月には1位でした。‘32GB model’は高い順位を記録しませんでしたが、‘64GB model’とは逆のパターンを示しました。

研究チームは、このパターンを最小容量のオプションによるものと解釈しました。

• 最小容量が32GBのモデル: 第1世代iPad Pro 9.7インチ(2016年3月31日)、第5世代iPad(2017年3月24日)、第6世代iPad(2018年3月27日)
• 最小容量が64GBのモデル: 第2世代iPad Pro 12.9インチ・10.5インチ(2017年6月13日)

二つのグループには、互いの容量オプションがありません。研究チームは、新モデルが出ると、そのモデルの最小容量への言及が増え、該当するトピックの順位が上がると考えました。この解釈は、発売スケジュールと順位の変化が同時に現れたという観察に基づく推定です。新製品の発売が顧客要求の順位に影響しうることを示唆しますが、一つの製品群(iPad)から得た一つの事例についての解釈です。

満足度が高く順位が低いトピック: True Toneディスプレイ

25番目の’True tone display’は、分析期間中の最高順位が45位で、全期間の平均は60位でした。寄与度の高い文書は、大半がこの機能に満足した内容でした。大多数の文書の極性が0.7以上でした。サンプル文書10件の重みのうち、最も高い値は0.9922、最も低い値は0.7003でした。

研究チームは、高い極性が満足性を高め、高い満足性が順位を下げるうえで大きく影響したようだと解釈しました。ただしTOPSISの順位には、重要性と浮上性も併せて作用します。そのため、この事例で確認できるのは、満足性の高いトピックが低い順位と併せて現れたという点までです。筆者は、この結果が、顧客がすでに満足している属性を改善機会とみなさないという方法の意図に合致すると考えます。

直近6か月の順位から見る次の機会

研究チームは、順位の推移とともに、直近の順位も見る必要があると指摘します。一定期間が過ぎた過去のデータは、現在の市場と要求を説明できないためです。論文の表2は、2018年5月の順位で上位5つのトピックについて、直近6か月の順位をまとめました。表に載っている五つのトピックは次のとおりです。

• ‘64GB model’
• ‘Photo editing’
• ‘YouTube’
• ‘Product options’
• ‘Apple pencil’

月別の順位の数値は、論文の原文(DOIリンク)の表2で確認できます。

二つのトピックの解釈は対照的です。‘YouTube’は、6か月間安定して高い順位でした。研究チームは、iPadで動画を見る要求が、今後も高いままだと予想しました。‘Apple pencil’は、2018年1月から順位が着実に上がり、5か月で47段階上昇しました。研究チームは、このトピックを、潜在力のある製品機会と見ました。

意義と限界

何が変わるのか

• 製品機会を一度きりではなく、時間に沿って継続的にモニタリングします。
• 重要性、満足性、浮上性をTOPSISで統合し、要求事項ごとの優先順位を定量化します。
• 顧客が自ら書いたレビューを使い、顧客と市場の観点から機会を探します。
• 新製品の発売が製品トピックの順位に与える影響を確認します。

実務家にとっての有用性

継続的なモニタリングは、スナップショット分析が見逃す情報をもたらします。順位の変化の推移から潜在力のある機会を見つけ、新しく発売した製品が顧客の要求に与えた影響を確認できます。これに基づいて、過去の戦略が適切だったかを判断し、今後集中すべき方向を決められます。

ウェブで集めた大量のデータを使うため、アンケートより素早く要求の変化を把握し、対応できます。論文は、この方法を、顧客中心の製品企画・開発を支援するモニタリングツールとして提示しています。

研究者にとっての有用性

この論文は、トピックモデリング、感情分析、TOPSISを一つの手順につなげています。論文は、三つの指標を同じ方式で算出してこそ一貫性が保たれるという理由から、文書-トピック分布の寄与度を足し合わせる方式を選びました。キーワードの選定基準、順位の予測、指標の追加といった後続の研究テーマも、はっきりと残しています。

論文が示した限界

論文自身が示した限界は四つです。

• 製品関連のキーワードを選定する過程に、分析者の主観が入りうる点です。この選定は、トピックの抽出結果に影響します。
• 分析期間の終了後の機会の水準の変化は、予測できていません。深層学習ベースの予測や時系列分析が必要です。
• 重要性、満足性、浮上性のほかに、ソーシャルメディアデータの特性を反映した指標がさらに必要です。
• 一つの製品群にしか適用していません。ほかの分野や、個別の製品モデル単位で適用する研究が可能です。

筆者が考える適用条件

以下は論文に書かれた内容ではなく、筆者が実務への適用を念頭に付け加える条件です。

• 毎月入ってくる投稿が十分である必要があります。浮上性は正規化しないため、時点別の文書数の影響を大きく受けます。投稿が少ない月には、順位が大きく揺れることがあります。
• 自社製品の発売日とイベント日を併せて記録しておく必要があります。64GBと32GBの事例のように、順位の変化の原因は、発売スケジュールを知って初めて説明がつきます。
• トピック名は人が付けます。トピックが70個なら、担当者がキーワードと代表的な文書を読む時間を別に確保する必要があります。
• 満足性の高いトピックは、ほかの指標が似ていれば順位が低く出る傾向があります。TOPSISは指標間のトレードオフを許容するため、重要性や浮上性が高ければ順位が変わりうるでしょう。顧客が好む強みを管理するには、満足性の指標を別に見る必要があります。
• 移動平均の期間は、自社の発売周期に合わせて決めます。論文の6か月は、30か月の間に5つの製品が出たiPadの条件から出た値です。

すぐに試せること

1. 自社製品を扱うコミュニティの掲示板やレビューページから、投稿を作成日とともに集めます。キーワードを抽出した後、文書頻度が1のキーワードと製品に無関係なキーワードを削除し、文書-キーワード行列を作ります。この行列が、最初の段階の成果物です。
2. トピック数を増やしながらPerplexityを計算し、最小値のトピック数でLDAを実行します。トピックごとに、寄与度の高いキーワードと文書を読み、名前を付けます。
3. 月別に重要性、満足性、浮上性を計算し、TOPSISで順位を付けます。自社の発売周期に合わせた移動平均を適用した後、直近6か月間に順位が着実に上がったトピックを探し、次の企画会議の検討リストにします。