NPSは役に立たない？ よくある5つの批判を検証
NPS（ネット・プロモーター・スコア、実質推奨者比率）に対する風向きが変わりつつあるようです――そう、振り子がNPSから離れていくかのように。
3年ほど前は、より良いNPSに貢献することが企業活動の最重要課題だという話をよく耳にしました。
経営者たちが取り入れたばかりのこの新しいメトリクスは、いかにすべてのもの（従業員のボーナスも含めて）を測定するか、というものでした。
ご存じない方のために説明すると、NPSとは、「あなたならこの製品を友人や同僚に薦めますか？」という1つの質問にもとづいた評価です。
回答者は11段階のスコアをもとに回答します（0の「薦める可能性なし」から10の「薦める可能性が非常に高い」まで）。9〜10の回答者は「推奨者」、7〜8の回答者は推奨も批判もしない「中立者」、そして0〜6の回答者は「批判者」と見なされます。
「批判者」は製品あるいはサービスを批判し、それを購入あるいは使用しないように薦める人たちです。一方、「推奨者」は好意的なクチコミをしてくれる可能性の高い人たちです。
NPS（ネット・プロモーター・スコア）の「Net」（総計）は「推奨者」のパーセンテージから「批判者」のパーセンテージを差し引いた数を意味します。マイナスのスコアは推奨者よりも批判者が多いことを、プラスのスコアは推奨者の方が多い（つまり、批判的なクチコミより好意的なクチコミが多い）ことを意味します。
NPSのシステムは、現在でもあらゆる産業の企業幹部たちに採用されています。2003年、ハーバード・ビジネス・レビュー誌に記事「The One Number You Need to Grow」が掲載されて以来、「NPSは企業が成長するために必要な唯一の数値」と言われるようになりました。NPSが導入されるまでの10年の間に、企業が測るものは顧客満足度（あるいは何も測らない）から顧客ロイヤルティへとシフトしました。2003年から2013年は「NPSの10年」と呼ばれるようになることでしょう（少なくとも顧客分析界隈では）。
私はこの1年間に、かつてNPSのヘビーユーザーだった3つの大企業と仕事をしました。しかし、流行が去ったかのように彼らは急速に方向転換をしていました（TQMやサウス・ビーチ・ダイエットのように）。NPSが他の測定基準にとって変わったときからさまざまな批判はありましたが、最近ではそういった批判をもっと深刻にとらえる企業が増え始めたのです。
そうした批判のなかには、2003年にNPSがインテュイット社で紹介された際に私が述べた批判と同じものもあります。しかし私たちは、「木を見て森を見ず」になってしまってはいけません。欠点はあるにせよ、クチコミを測り、企業が比較材料として使用できるシンプルな指標があるということは、損よりも益をもたらすのです。
この記事では、NPSに対して最もよく聞く5つの批判を紹介し、なぜそれらが致命的な欠陥ではないのか（少なくとも調整を加えるなら）、私の見解を述べたいと思います。
NPSへの批判 1「NPSは顧客満足度と相関している」
「顧客ロイヤルティ」と「顧客満足度」は、関係する概念です。ユーザビリティと満足度、ユーザビリティとロイヤルティが相互関係にあるように、この2つも相互関係にあるのです。とは言うものの、「1つの尺度が他の尺度と相互関係にあれば、一方が他方の代わりとなる」という意味ではありません（その相関性がr=1、またはr=-1のように大変強い、あるいは完全なものでないかぎりは）。
「ロイヤルティは示しているけれども満足していない顧客」というケースは確かにあまり考えられませんが、「満足はしているけれどもロイヤルティを示さない顧客」というのは、あり得るでしょうか？ ないようにも思えるかもしれません。しかしながら、「顧客満足度の測定」から「NPSや顧客ロイヤルティの測定」へとシフトした要因の1つは、企業が最も知りたいと思っている事柄（つまり、収益と長期にわたる成長）との関連性を、顧客満足度は十分に持っていなかったことにあるのです。
書籍『The Loyalty Effect』でフレデリック・ライクヘルド氏（NPSを創り出した人）は、ある製品から離れたり再度購入しなかったりした顧客の6割から8割は、実際には製品に満足／大変満足していた、という調査結果を公表しているのです。たとえば自動車産業におけるケースでは、満足度が90%でありながら、顧客がそのブランドの車を再度購入したのは平均たったの40%であったという数字を出しています。
ですから、満足度がロイヤルティに関係していても、その2つは同じものではないということなのです。片方だけに頼るのではなく、両方測るのが一番です。記録をとって分析することはそれほどの手間ではありません。NPSは使わない、けれども顧客ロイヤルティは気になるという場合、他の方法でロイヤルティを測ることを考慮すべきです（たとえば過去の購入や再購入の可能性を示す尺度など――どちらもNPSと相関しますが！）。
NPSへの批判 2「11段階評価は使うべきではない」
アンケートの項目数が少なければ、回答の選択肢の数が重要になります。NPSのアンケートには実際に1つの項目しかないわけですから、他のすべての条件が同じならば、回答の選択肢は多ければ多いほど良いということになります。ですから、評価基準を9段階、7段階、5段階などに減らすと、メリットよりデメリットの方が大きくなります（少しの差ではありますが）。
さらに大きな問題があります。それは、回答の選択肢を減らすと、あなたのNPSと発表されている他のベンチマークとを比較できなくなってしまうということです。他の調査結果と比較できるという点が、NPSを利用する最も強力な賛成論であるということを忘れないでください！
結論としては、ある製品またはサービスを他の人に薦める可能性があるかどうかをユーザーに尋ねるならば、やはり11段階評価を用いるべきでしょう。
NPSへの批判 3「自らの行動の予測はあてにならない」
そのとおりです。将来を予測するのは困難なことです。たとえそれが自分自身の行動であってもです。だれかが「これこれのことをする」（たとえば、何かを薦める、再購入する、あるいはどこかに行く）と言ったからといって、必ずしもそうするわけではありません。
しかし、それと同じ問題が、たとえば、選挙の投票率予想にもあるのです。選挙結果は世論がどう傾いているかで決まるのではなく、わざわざ投票に出かける人がどれくらいいるかで決まります！ では実際に足を運んで投票しに行くのはだれでしょうか？ それはわかりません。しかし、「はい、絶対に行きます」と答えた人は「たぶん行かない」と答えた人よりも実際に投票に行くする確率が高いと見なすことができます（保証はありませんが）。
同じ考え方を「製品を他人に薦める可能性」の質問に応用しましょう。11段階の評価の中で一番上の2つの選択肢だけを推奨者としている理由は、この2つに該当する顧客が人に製品を薦める可能性が最も高いからです。本当に薦めてくれるでしょうか？ 断言はできませんが、私たちのデータによると、ほとんどの人は本当に推薦するようです。
とは言うものの、本当に全員が推薦するわけではなく、私たちはこの差異を「プロモーター効率」と呼んでいます。製品やウェブサイトを薦めると答えた顧客のうち、実際に何人が薦めるかを知るための方法として、私たちは過去12か月の間に実際に薦めたことがあるかどうかを尋ねます。このパーセンテージの振れ幅はかなり大きいです。例を挙げるなら、コンシューマーソフトウェアでは、ノートン・ウィルス対策ソフトの推奨者のうち58%しか実際に薦めた人はいなかったのに対して、Dropboxの推奨者は96%の率で過去1年の間に製品を薦めたことがわかりました。
覚えておかなければならないのは、実際に製品を薦めてくれる顧客の正確な数はそれほど大切ではなく、その予測数が（不完全なものであれ）企業間、製品間で比較してどう違うか、あるいは時間の経過とともにどう変化するかを理解するのが重要だということです。ほとんどの評価基準について言えることですが、スコアは比較することに意味があります。この評価基準があなたの会社にとってどれほど信頼できるものかを確認したいのなら、製品を薦めると答えた顧客のうち何人が実際にそうしたかを、時間をかけて追ってみるといいでしょう。
NPSへの批判 4「別の質問を使うべきである」
顧客ロイヤルティを測る別の方法もあります。ロイヤルティに関する最も基本的な質問は、ある製品やサービスを繰り返し購入、あるいは使用し続けてくれるかどうかというものです。ただ、これは現在の顧客についての再購入の割合しか教えてくれません。顧客は失いたくないものですが、この顧客離れ（解約率）の尺度では、顧客が好意的なクチコミをしてくれるかどうかはわかりません。
ですから私はクライアントに、将来の購入についてだけではなく、他人に薦めるつもりがあるかどうかの両方を顧客に尋ねるようアドバイスしています。
もしあなたの会社について何人くらいの顧客が好意的にあるいは否定的に話す可能性があるのか予測したいなら、クチコミを測るもう1つの方法についてラリー・フリード氏の最近の著書を参照してください。彼が考案したクチコミ指数（WoMI）は、製品を薦める可能性についての質問と、他者がその企業とビジネスすることを思いとどまらせるかどうかの質問を顧客にすることによって、好意的なクチコミか、否定的なクチコミかを見分けるものです。フリード氏は、NPSが最善のメトリクスであるということには批判的です。しかし、彼はNPSを使うなとは言っていません。NPSもう1つ質問を加えることで改良できるということを言っているのです。
製品を薦める可能性についての質問は、顧客満足度や再購入の意思に代わるものではなく、クチコミを測る他の方法と高い相関性にあるものなのです。事実、フリード氏の本にある米国トップ100企業のデータを使って計算すると、WoMI指数とNPSの平均相関はr＝0.8という高い数値になります。
NPSへの批判 5「スコアをつけると誤差を大きくしてしまう」
11段階の評価基準を、批判者と推奨者のみの（中立者はないものとして）2段階評価に換算すると、情報が失われてしまいます。それ以上に問題となるのは、二項基準にするとスコア総計（推奨者から批判者を差し引いた数）の誤差の範囲を二倍に広げてしまうのです。ですから、もしあなたがNPSにおいてどれくらい進歩したかを知りたいと思っても、前回との差を計算するには約2倍のサンプルサイズが必要になるということです。そうでなければ、その差はサンプルエラーと見分けがつかないでしょう。この計算方法の問題については私が初めてNPSというものを知ってからずっと指摘していることです。
ダッシュボードのNPSを見て、自社のスコアがなぜ上がった／下がったのかを調査する企業を数多く目にしてきました。しかし、グラフに誤差棒を加えると、NPSの変動が誤差の範囲内に入っていることが少なくありません。
統計的な比較を行う場合、単純な次善策は、未加工の平均値と標準偏差を用いることです。「製品を薦める」という回答の平均値でNPSをある程度正確に予測できることを私たちは発見しました。企業幹部のためにはNPSを、統計のためには未加工データを使用すればいいのです。
NPSには確かに課題があります。ベインやサトメトリックスといった会社にいる私の友人たちは、NPSを売り込みすぎたかもしれません。
とは言え、私がこの記事で述べてきたように、NPSの欠点を知り、少し調整できれば、測定の手段としてうまく利用できるのです。1つの手段ですべてがうまくいくと考えるのは良くありません。「満足度」と「ロイヤルティ」の両方を測定する複数の評価基準を使用するべきです。
また、NPSがあなたの会社の収益と成長にどれくらい相関しているか（あるいはNPSでどれくらい予測できるか）を把握し、他の尺度の方がより機能することもあるという点も理解しておかなければなりません。
NPSの功績だと言えることもあります。それは、顧客やユーザーに関する有意義な指標について、企業の幹部が、そして組織全体が考えるようになったことです。それだけではありません。その普遍性ゆえに競合、また企業内の製品同士の比較が容易です。多くの熱を帯びた評価基準にまつわる議論のように、アンケートの回答に違うバリエーションを持たせたり、質問の言い回しを変えたりしても、結果はたいてい同じようなものです。
ですので、私たちにとってのチャレンジは、質問や回答の選択肢の書き方などではなく、得た情報をどう取り扱うかということなのです。
Photo by Joshua Kenney (CC-BY 2.0)
Jeff Sauro
ジェフ・サウロはシックス・シグマに精通した統計アナリストであり、ユーザー・エクスペリエンスの定量化における第一人者である。彼は統計的なデータを理解させ、そしてアクション実行へと導く専門家。そしてアメリカコロラド州デンバーにある、UXリサーチ会社 MeasuringU（MeasuringU.com）の設立者である。 MeasuringU の設立以前は、Oracle、PeopleSoft、Intuit、そして General Electric で働いてきた。
ジェフはこれまで20以上の専門家のレビューを受けたリサーチ記事、そして5冊の統計とユーザー・エクスペリエンスに関わる書籍を発表している。スタンフォード大学にてラーニングとデザイン・テクノロジーの修士を取得。またデンバー大学にてリサーチメソッドと統計学の博士を取得している。
ソシオメディア UX戦略フォーラム 2015 Fall ゲストスピーカー。