ソーシャルメディア分析研究は今どこまで来たのか

プロダクト企画担当者やマーケティング担当者は、レビューや投稿が毎日蓄積されていくのを目にしています。しかし、どのプラットフォームから何を集め、どのような方法で分析すれば意思決定に使える情報が得られるのかは、はっきりしません。個別の応用論文は多いものの、研究がどこに集中し、どこが空白になっているのかを一度に整理した資料は見つけにくいのが現状です。

ソーシャルメディアに蓄積された顧客の意見を、ビジネスの意思決定の材料として使えるのでしょうか。使えるとすれば、これまでの研究はどのようなデータと方法で、何を得てきたのでしょうか。

この問いに答えた論文を一本読んでみます。

タイトル: Social media analytics and business intelligence research: A systematic review
学術誌: Information Processing & Management
年: 2020
DOI: 10.1016/j.ipm.2020.102279

論文が行っていることは二つです。まず、公開データを六つのカテゴリに分け、専門家10名の評価で四つの次元から比較します。次に、Web of Science(WoS)から論文633編を集めて57編に絞り込み、三つのリサーチクエスチョンで分析します。

この記事全体で使う用語は次のとおりです。

ビジネスインテリジェンス(Business Intelligence, BI): ビジネスの文脈で情報を入手し、解釈し、分析して、有用な知識を引き出すプロセス全体を指す言葉です。
顧客の声(Voice of Customer, VoC): 顧客が製品やサービスについて残した意見です。この記事では、ソーシャルメディアに残されたオンラインVoCを扱います。
公開データ(open data): 機密に分類されておらず、誰でもアクセスできる情報源です。オープンソースソフトウェアとは別の概念です。
系統的文献レビュー(systematic review): 検索式と除外基準をあらかじめ定めて文献を集め、定めておいた問いに沿って分析するレビュー手法です。論文はKitchenham(2004)のガイドラインに従いました。
アプリケーションプログラミングインターフェース(Application Programming Interface, API): プラットフォームが外部にデータを提供する公式の接続方式です。
感情分析(sentiment analysis): 文章に込められた感情の極性(肯定的か否定的か)をスコアとして計算する方法です。

動機: ソーシャルメディアに基づくBI研究をまとめたレビューがなかった

なぜソーシャルメディア上の顧客の意見が重要なのか

論文は、ソーシャルメディアが顧客にとって意見を出す最も手軽な場になったと捉え、その根拠を複数挙げています。

利用規模: 米国の人口の約79%がソーシャルメディアのアカウントを持っており、東アジアは70%、北欧は67%でした。
レビューの影響: 顧客の約77%が他の顧客のオンラインレビューを読み、75%は個人からの直接の推薦よりもレビューを信頼しています。80%を超える顧客が、ソーシャルメディアのチャネルから有用な情報を得ています。
検閲のない意見: 顧客はTwitter、Facebook、Amazonなどのチャネルに、特段の検閲なしに意見を残します。こうした意見が他の顧客の購買決定に影響を与えます。
企業の活用: Samsung mobileは2010年に「Samsung Global」のFacebookページを開設し、約5千万人のフォロワーを集めました。Starbucksは2008年に「My Starbucks Idea」を開設し、顧客のアイデアを集めました。
市場主導型イノベーションの必要性: スマートフォンのように基盤技術がすでに成熟した製品は、社内の研究開発だけでは革新しにくくなっています。そのため、顧客の要求から開発の方向性を見いだすアプローチが必要です。

たとえばJeongら(2018)は、RedditからSamsung Galaxy Note 5のレビューを集めました。研究チームはトピックモデリングによって、バッテリー寿命、タッチ認識、カメラに対する不満を見つけ出しました。続いて感情分析と機会アルゴリズムにより、重要度が高く満足度が低い機能を特定しました。

既存研究が扱っていない部分

初期のBI研究は、特許、研究論文、商業資料といった従来型のデータを主に用いていました。Park and Yoon(2017)は、企業の特許から技術力を把握し、協調フィルタリングで技術機会を推薦しました。Wangら(2018)は、特許を分類コードでまとめ、新興指標を計算して、新たに浮上してきたテーマを見つけました。

その後、関心は顧客が生み出すデータへと移りました。Chung and Tseng(2012)は、オンラインの製品レビューが顧客と市場を理解するための主要な資料であると強調しました。ソーシャルメディアデータがBIに適しているという点では合意がありました。しかし、どの公開データがBI研究に最も適しているかは、依然として議論の的でした。

論文が指摘する空白は二つです。

ソーシャルメディアに基づくBI研究の流れ全体を扱った研究が少なかったこと。ソーシャルメディア関連のレビューはありましたが、視点が異なっていました。
ソーシャルメディアや知的財産など、複数の公開データをBIの観点から比較した研究が不足していたこと。

これとは別に、論文は貢献をもう一つ掲げています。新しく参入する研究者や実務家のために、ソーシャルメディアデータを収集し、前処理し、分析する手順を整理したガイドを提供するという点です。

方法: 公開データを評価し、633編から57編を絞り込んで三つの問いで分析した

論文は大きく二つの部分で進みます。前半は公開データの分類と評価、後半は系統的文献レビューです。この記事では全体を四つの段階に分けました。

図 1. 公開データを分類・評価した後、文献633編から57編を絞り込み、三つの問いで分析する四段階の手順である。

第1段階: 公開データを分類する。
第2段階: 専門家の評価でデータを比較する。
第3段階: 文献を検索して選定する。
第4段階: 三つのリサーチクエスチョンと統合分析フレームワークで文献を分析する。

論文が概念中心のレビューではなく系統的レビューを選んだ理由も二つあります。第一に、ソーシャルメディアに基づくBI研究は、理論よりも実際のビジネスの意思決定上の問題から出発していました。第二に、引用関係によって理論の発展経路をたどるよりも、手法、アルゴリズム、データの最近の傾向を見ようとしました。

データと専門家

分析の対象は二つです。一つは評価に参加した専門家、もう一つはWoSから集めた論文です。

専門家: BI研究に携わる10名です。教授4名は、ソーシャルメディア、研究提案書、特許などの公開データを用いて約10年間BI研究を行ってきました。大学院生6名は、ソーシャルメディアマイニング、顧客理解、データに基づく事業企画を約4年間研究してきました。
文献: 2018年7月4日にWoSで検索しました。期間は直近5年、文献の種類は査読を経た学術誌論文に限定しました。
規模: 検索結果は633編で、最終的な分析対象は57編でした。

第1段階: 公開データを六つのカテゴリに分ける

入力: 公開情報源に関する先行文献
処理: カテゴリを定義し、例を付ける
出力: 公開データの分類表(六つのカテゴリ)

オープンソースインテリジェンス分野の定義から出発して、公開データの範囲を定める。
関連文献に基づいてカテゴリを分け、カテゴリごとに実際の例を付ける。

このように分けるのは、ソーシャルメディアデータを他の公開データと同じ基準で比較するためです。カテゴリと例は次のとおりです。

マスメディア: 印刷新聞、雑誌、ラジオ、テレビ
商業資料: 商業画像、財務・産業評価レポート
グレー文献(商業出版されていない公開資料): 知的財産、ニュースレター、技術報告書、書誌
公的政府データ: 政府報告書、政府の公開データ
専門・学術出版物: 学術誌、学会、シンポジウムの情報
ウェブベースのデータ: ソーシャルメディア、オンラインのディスカッショングループ、オンライン出版物

特許と商標はグレー文献に含まれます。技術や事業分野を記述する資料であるため、BI研究でよく使われます。

第2段階: 四つの次元でデータを評価する

入力: 六つのカテゴリの公開データ
処理: 専門家10名が四つの次元で高・中・低を評価する
出力: カテゴリ別の評価表

専門家が四つの評価次元を定める。データを収集して分析する過程と、BIシステムを継続的に運用する過程に共通して当てはまる属性を反映した。
専門家が、カテゴリごとに次元別で高・中・低を付ける。
研究チームが専門家の意見を集約し、一つの評価表にまとめる。

四つの次元の意味は次のとおりです。

データ内容: 扱う内容、専門性、利用者の知識水準が、ビジネスの意思決定にどれだけ役立つか
データ収集: 大量に収集できる公開APIがあるか
データ更新: 最新のデータが蓄積され、データベースが継続的に更新されているか
データ構造: 分析しやすい構造化された形式で処理できるか

収集と更新の二つの次元は、BI研究の体系化と密接に関わります。評価結果は結果の節でまとめます。

第3段階: 文献を検索して選定する

入力: WoSデータベース
処理: 検索式で一次リストを得て、除外基準で絞り込む
出力: 一次リスト633編(Group 1)、最終リスト57編(Group 2)

検索式を定める。研究者ごとに同じテーマを異なる言葉で表現するため、キーワードを「and」よりも「or」で結び、できるだけ多く見つけようとした。
タイトルに「systematic review」が含まれるレビュー論文は除き、よく使われる手法である「sentiment」は検索語に入れる。
直近5年、学術誌論文に範囲を絞って検索する。
一次リストのタイトルと抄録を読み、除外基準を適用する。

検索式は「TITLE: ((social and media or ((product or service) near (review))) and (mining or analy* or sentiment or business)) NOT TITLE: (systematic and review)」です。

除外基準は九つあります。

EC1: 査読を経た学術誌論文のみを含める。
EC2: 書評、学会抄録、編集者の寄稿は除く。
EC3: タイトルや抄録が研究内容を十分に説明していない場合は除く。
EC4: アクセスできない論文は除く。
EC5: 英語の論文のみを含める。
EC6: 内容が重複している論文は除く。
EC7: 研究論文のみを含め、文献調査論文は除く。
EC8: ソーシャルメディアをBI目的で分析していない論文は除く。新しいアルゴリズムの性能を示すために、ソーシャルメディアを入力としてのみ使った論文がこれに該当する。
EC9: ビジネスの意思決定に使える情報を引き出していない論文は除く。

選定結果は次のとおりです。一次リスト633編のうち、10編は重複であり、566編は抄録を読んだ上で無関係と判断しました。そのため、633−10−566=57編が最終的な分析対象として残りました。学会論文は除きました。該当する学術誌論文が最新の成果を代表すると考えたためです。

第4段階: 三つの問いと統合分析フレームワークで文献を分析する

入力: 最終論文57編
処理: 三つのリサーチクエスチョンに沿って、データ、手法、結果を整理する
出力: プラットフォームの分布、分析アプローチの分類、導出情報の分類

リサーチクエスチョンは次の三つです。

RQ1: この分野で使われている有望なソーシャルメディアプラットフォームは何か。
RQ2: 研究者がソーシャルメディアデータに適用している主な手法とアルゴリズムは何か。
RQ3: ソーシャルメディアに基づくBI研究は、どのような情報を引き出しているか。

研究チームは、57編の分析手順を整理して、四段階の統合分析フレームワークを作成しました。

データ収集: 公開APIやウェブクローリングで、文章、画像、動画を集め、データベースを作る。セキュリティと個人情報を考慮すると、公開APIを使うのが最も望ましいと論文は勧めています。
前処理: 自然言語処理でキーワードを抽出し、ストップワードを取り除く。顔文字(「^^」、「:-D」)、ウェブリンク(「www」)、擬音語(「haha」)、一般語(「product」、「device」)、無関係な語(「day」、「month」)を除く。その後、文書-単語行列のような構造化形式に変換する。
分析: 複数のアルゴリズムを適用する。
検証と解釈: 結果を検証し、意味を解釈する。

前処理では、一部の研究者が単語頻度(Term Frequency, TF, 一つの文書内に出現した回数)と文書頻度(Document Frequency, DF, その単語が出現した文書数)で重要なキーワードを選びました。短い文章では、複雑な前処理をせずに単語埋め込みの結果をそのまま使う場合もありました。

分析手法は、用いられた深さと意図によって五つのアプローチに分類しました。感情分析、トピックモデリング、機械学習(Machine Learning, ML)ベースのアプローチ、ネットワークベースのアプローチ、理論ベースのアプローチです。

図 2. 57編は商用レビュー・SNSデータと、感情分析・MLアプローチに集中している。

公開データの評価: グレー文献とウェブベースのデータが高かった

評価結果の要点は次のとおりです。カテゴリごとの全体の値は、原論文の表3で確認できます。

グレー文献: 四つの次元すべてで高でした。
ウェブベースのデータ: 内容、収集、更新は高で、構造は中でした。
マスメディア: 四つの次元すべてで低でした。印刷物のような物理的な資料であるため、分析できる形式に変換するのに手間がかかるからです。
公的政府データ: グレー文献より低く評価され、特に更新が低でした。

グレー文献が高く評価された理由は、特許のように公的機関が定期的に発行し、蓄積しているためです。そのため、データベースを体系的に構築できます。

ウェブベースのデータの強みは、利用者がリアルタイムで生成するため更新が速い点です。大半は公開APIがあり、APIがなければウェブクローリングで収集できます。構造が中である理由は、誤字、顔文字、略語が混在した非構造化データであり、前処理が必要になるためです。

公的政府データは低く評価されました。Data.govは300,000を超えるデータセットを提供していますが、ビジネス機会や顧客の意見に直接関係するデータセットは少ないです。さらに、公開時期や形式がまちまちで、継続的に収集するのが難しいです。

論文は、収集、更新、構造の高いスコアを根拠に、ソーシャルメディアのBI分析への適合性は他の公開データよりも高いと結論づけました。評価表の値そのものは、グレー文献が四つの次元すべてで高で、ウェブベースのデータは構造が中です。この違いをどう読むかについての筆者の意見は、記事の後半にある適用条件に別途記しました。

研究動向: 論文数が年々増えた

一次リスト633編の年別の本数は、2014年から順に83編、118編、150編、180編と増えました。2018年は7月までにすでに100編近くが出ています。最終リスト57編でも同様の増加傾向が見られました。

論文が掲載された学術誌は、主に情報処理、知能システム、専門家の意思決定支援の分野でした。マーケティング、サービス経営、Eコマース、タバコ規制、産業安全の分野の学術誌にも一部の論文が掲載されました。ソーシャルメディア分析が、さまざまなビジネス環境でそれぞれ異なる目的で使われていることを意味します。

研究チームは、57編が使ったデータを四つのタイプに分けました。Eコマースのレビュー29編、SNS 24編、オンラインディスカッショングループ2編、複合データ2編です。合計は29+24+2+2=57編です。

Eコマースのレビューでは、Amazon(6編)、Yelp(5編)、TripAdvisor(4編)が多く使われました。SNSではTwitter(11編)が最も多くなりました。オンラインディスカッショングループの2編は、いずれもRedditを使っていました。プラットフォーム別の全体の分布は、原論文の表4で確認できます。

個別のプラットフォームとしては、Twitter、Amazon、Yelp、TripAdvisorがよく使われました。タイプごとの利用理由と課題は次のとおりです。

Eコマースのレビュー: レビューが製品やサービス単位で蓄積されるため、テーマが統一されています。そのため、収集後にデータを絞り込む手間が少なくて済みます。29編のうち、製品レビューが14編、サービスレビューが15編です(14+15=29)。ただし、略語、顔文字、自動補完された文が混在しているため、クレンジングが必要です。
SNS: 多くの利用者がリアルタイムで投稿を生成し、大半は公開APIがあります。Twitterでは1日平均5億件を超えるツイートが生まれます。一方で、140字の制限のために略語や顔文字が多く、体系的な前処理が必要です。Flickrの写真を分析した研究では、10万件を超えるデータを収集しました。
オンラインディスカッショングループ: Redditには120万を超えるサブレディット(テーマ別の掲示板)があります。サブレディットの利用者はそのテーマに詳しい、または関心が高いため、投稿が具体的で内容が豊富です。
複合データ: ソーシャルメディアと特許を併せて分析し、企業の技術力と顧客の意見を一度に見ようとしました。Amazonと特許、Twitterと特許を組み合わせた研究が1編ずつあります。

複合データの研究には、改善の余地もありました。ある研究は、特許の公開日と製品の発売日の差を考慮していませんでした。実証研究によれば、特許の公開と市場への投入の間には3か月から3年の時間差があります。オントロジー(概念と関係を定義した知識体系)で特許とレビューを直接結び付けた研究もありました。しかし、この方式はオントロジーを組む際に専門家の手間が大きくかかります。

RQ2: 感情分析と機械学習が最も多く使われた

五つの分析アプローチの論文数と目的は次のとおりです。

感情分析 27編: 特定の製品、サービス、ブランドに対する意見の極性を判別する。辞書ベース、テキスト分類ベース、深層学習ベースがある。
トピックモデリング 13編: 顧客や一般の人々が言及したテーマを見つける。潜在ディリクレ配分法(Latent Dirichlet Allocation, LDA)と潜在意味解析(Latent Semantic Analysis, LSA)が使われた。
MLベースのアプローチ 27編: 感情の極性を分類したり、株価、製品の販売量、感情を予測したりする。ナイーブベイズ、ランダムフォレスト、サポートベクターマシン(Support Vector Machine, SVM)、隠れマルコフモデルなどが使われた。
ネットワークベースのアプローチ 7編: 顧客間の相互作用ネットワークと、影響力のある利用者を見つける。
理論ベースのアプローチ 6編: 顧客満足、サービスライフサイクル、サービス品質を数値で表す。ファジー理論、ゲーム理論、機会アルゴリズム、狩野モデルが使われた。

一つの論文が複数のアプローチに同時に属することがあります。そのため、五つのアプローチの合計は27+13+27+7+6=80編となり、全体の57編より多くなります。

感情分析が多く使われた理由は二つです。結果がスコアとして得られるため、顧客の反応を数値として扱えること、そして短く品質の低い文章でも極性を比較的正確に捉えられることです。ただし論文は、より良い結果を得るには、MLアルゴリズム、ネットワーク分析、理論を併用する必要があると考えています。

MLの分類器のうち、SVMは分析期間である2013年から2017年まで最も継続的に使われました。顧客ごとに異なる語で書かれるソーシャルメディアの投稿のように、高次元でスパースなデータで性能が良いためです。畳み込みニューラルネットワーク(Convolutional Neural Network, CNN)や長・短期記憶(Long Short-Term Memory, LSTM)といった新しいアルゴリズムも使われました。ある研究は、双方向LSTMで製品の安全上の問題を見つけました。

株価や販売量を予測した研究には共通点があります。ソーシャルメディア投稿の感情スコアを独立変数として使う傾向です。大半の研究は、適合率、再現率、正解率、F値で、既存のモデルと予測性能を比較しました。

RQ3: 四つの対象から情報を引き出した

研究チームは、57編が分析した対象を四つに分けました。

顧客が作成したコンテンツ: 製品・ビジネス機会の発見、市場内での競争上の位置づけの分析、品質の監視と安全リスクの検知、顧客の要求と満足度の把握、サービス品質とギャップの調査
顧客同士の関係: 潜在顧客コミュニティの検出、ネットワーク内の影響力のある利用者の特定、製品採用者情報の抽出、観光客の行動分析
顧客の反応: 株価の動きの予測、顧客の反応のモニタリング、異常な感情と副作用の検知、オンライン販売量の予測、新技術の発展動向のモニタリング
ソーシャルメディアデータの特性: レビューの有用性の理論的根拠の検討、レビューの閲覧と有用性の予測変数の調査

推薦システムや専門家支援システムのように、体系的な方法を提案した研究もありました。しかし、大半は顧客満足、ロイヤルティ、認識を把握する一回限りの分析にとどまっていました。

意義と限界

何が変わるのか

公開データの六つのカテゴリを、内容、収集、更新、構造の四つの次元で比較した。
ソーシャルメディアに基づくBI論文57編を、データ、手法、結果の三つの問いで分類した。
収集、前処理、分析、検証と解釈の四段階からなる統合分析フレームワークを整理した。
プラットフォーム別の公開APIの一覧を付録にまとめた。Twitter、Facebook、Amazon、Reddit、Yelp、TripAdvisorなどが含まれている。

実務家にとっての有用性

実務家は、自社のビジネス環境に合ったプラットフォームと手法を決める際に、この分類を参考にできます。たとえば、レビューはテーマが統一されているため、製品改善にすぐ使いやすいです。影響力のある利用者を探すには、SNSの利用者関係をネットワークとして分析した研究が参考になります。

統合分析フレームワークは、社内の分析手順を組む際のチェックリストとして使えます。特に、一度分析して終わりにするのではなく、システムとして運用するには、公開APIのような体系的な収集方式が必要であることを、論文は強調しています。

研究者にとっての有用性

論文は、今後の研究の方向性を三つ示しています。

感情分析の先へ: 顧客が良いと言っているのか悪いと言っているのかにとどまってはいけません。否定的なレビューの具体的な理由を追跡し、新機能を見つける定量的アプローチが必要です。
一回限りの分析から体系的なフレームワークへ: 他のデータでも再現できる方法論と、専門家支援システムへと発展させる必要があります。
異種データの結合: ソーシャルメディアと特許を併せて分析する必要があります。商標の製品名と出願人情報を結び付けの手がかりにしたり、単語埋め込みで顧客の用語と特許の技術用語を比較したりする方法を、論文は提案しています。

論文が示した限界

論文自身が示した限界は五つです。

主要な学術データベースの一つ(WoS)のみを検索しました。そのため、WoSにない関連論文は分析から漏れている可能性があります。
学会論文を除きました。影響力の大きい学会論文もあるため、今後の研究では含めることができます。
引用関係を分析する概念中心のアプローチを、より長い期間に適用してみることができます。
より多様な視点から分析するには、リサーチクエスチョンをさらに追加する必要があります。
ソーシャルメディアの言語や、観光、医療、ホテル、電子といったビジネス分野ごとの違いを扱っていません。収集した論文の大半は、英語や中国語のデータを使っていました。

筆者が考える適用条件

以下は論文に書かれている内容ではなく、筆者が実務への適用を念頭に置いて付け加える条件です。

データ比較の結論: 論文は、ソーシャルメディアのBIへの適合性が他の公開データよりも高いと結論づけました。しかし評価表では、グレー文献が四つの次元すべてで高であり、ウェブベースのデータは構造が中です。筆者は、この結論を収集と更新の観点に限定して読むのが適切だと考えます。構造化された資料が重要な課題であれば、特許のようなグレー文献も併せて検討するほうが安全です。
検索時点: 文献検索は2018年7月4日に行われました。それ以降に登場した手法やプラットフォームの変化は、このレビューには含まれていません。
APIの現状: 付録の公開API一覧は、論文執筆時点の情報です。プラットフォームのアクセスポリシーは変わる可能性があるため、利用する前に各プラットフォームの現在の条件を確認する必要があります。
評価方法: 公開データの評価は、専門家10名による定性評価です。自分のビジネス分野では、同じ四つの次元で自社のデータをあらためて評価してみるほうが安全です。
言語: レビュー対象の論文は英語論文に限定され、分析データも主に英語と中国語でした。韓国語のレビューを扱う際は、形態素解析とストップワードリストを別途用意する必要があります。

すぐに試せること

自社製品のレビューを、統合分析フレームワークの順に処理してみます。公開APIやクローリングでレビューを集め、顔文字と一般語を取り除いたうえで、文書-単語行列を作ります。この行列にLDAを適用して、顧客がよく話題にするテーマを抽出します。
テーマごとに感情スコアを付けてみます。Jeongら(2018)のように、重要度は高いのに満足度が低いテーマを見つければ、改善の優先順位の最初の候補になります。
レビューから見つけたテーマを、自社の特許と照らし合わせてみます。その際は、特許の公開と製品の発売の間の時間差(3か月から3年)を考慮して、比較する期間を設定します。