UXのROIを探る10のメトリクス

あの取り組みは価値のあることだったのだろうか？

投資利益率（以下、ROI）を調べるのは良いことですが、必ずしも容易なことではありません。

UXの取り組みにおけるROIを計算する際に最も難しいのは、因果関係を明確にするためにUXの収益に対する影響を分離することです。

因果関係を最も分かりやすくする方法には、ランダム化比較試験（randomized controlled experiment）を行うことです。すなわち、同じ機能を持つ二つのソフトウェア製品を同時に開発し、一方にはUXメソッド（ユーザビリティテスト、ペルソナ法、あるいは各種メソッド選定）を適用し、もう片方には適用しません。そして、どの顧客がどの製品を購入するかをランダムに割り当て、それを何度も繰り返して実験するのです。

UXのROIというと、そのほとんどは、連続して行う非比較試験のケースをさします。UXの向上が収益の増加に結び付いたのか、あるいは市場の拡大があった、自ら進んで選択したベータユーザーの存在、または既に売上が増加していた、など他の要因があって収益が増えただけなのかを見極めるのは非常に困難なのです。

因果関係を明らかにするために必要な、比較を行う市場テストは数十年も前から存在するものの、十分な参加者からデータを得るためには時間とコストがかかるため、その利用者は限られていました。しかし、ウェブの登場により、リアルタイムでのランダム化比較試験を容易に行えるようになっています。こういった試験のことを、私たちはA/Bテストと呼んでいます。

典型的なウェブベースのA/Bテストでは、参加者はデザイン「A」あるいはデザイン「B」をランダムに割り当てられます。全てではありませんが、いくつかのケースでは、何が比較されているかというと、ラボでテストされた後のデザインの効果と、UXのリサーチとフィードバックを行った、あるいはUXメソッド適用後にデザインし直した後との効果との差分です。そこからデザインにかかったコストを計算し、新たな損益によってそれが相殺されて戻ってくるかどうかを確認します。

ROIの惑星モデル

収益（又は損益）を計算するために挙げる以下のUXメトリクスは、新たな売上、コスト削減、コスト回避といった方法で、直接あるいは間接的にすべてが収益に結び付きます。以下のメトリクスは、太陽系の惑星のようなものです。中心にある太陽は収益として捉えてください。惑星は、中心に近ければ近いほど太陽の光を直接に受けます。同じように中心に近いメソッドは、収益により直接的に結び付くものです。太陽から遠くなればなるほど光も弱まるので、ROIとの結びつきも弱くなります。

これから紹介する10のメトリクスは、ソフトウェアにもハードウェアにも用いられるものですが、主にウェブサイトやウェブアプリケーションのUXの取り組みにおけるROIを数値化するために使われています。それでは、収益に直接つながるもの（太陽に近い方）からリストアップしていきましょう。

購買率

購買率は、購入する人の数を購入する機会のあった人の数で割って計算する典型的なA/Bテストによって得られるものです。ある製品のページに訪問した人が1000人で、実際に買い物をした人が10人の場合、顧客転換率は1％（10/1000）となります。UXのROIを調べる最有力の方法は、高い購買率を生み出すデザインでランダム化比較試験を行うことです。私は、Paypalなどの企業のために、このメトリクス（評価指標）だけを使ってUXの取り組みを分析し、最適化を行ったことがあります。購買率はROIメトリクスの水星（注：太陽にもっとも近い惑星）に当たるでしょう。

総購買数/取引数

顧客転換率（コンバージョン率）は、最も一般的な指標ですが、購買数の増加を示す代替手段でもあります。新しいデザインで高い割合の人々を購入へと転換させているのに、購入する人の総数が実は減っていた、という事態は誰も望まないでしょう！そのためには、正しい指標を用いて最適化を行わなければなりません。私は、このことをデノミネーター（分母）問題、と呼んでいます。このメトリクスの場合、ユーザビリティテスト後にフォームを変更したことで、３億ドルの収益増につながったという実例があるのです。

平均注文額（AOV: Average Order Value）

全てのコンバージョンは等しく作られているわけではありません。コンバージョンや総購買数を増やしたいと望む一方で、一人の顧客が購入する標準的な量は減らしたくはありません。これは「コンバージョンのカニバリゼーション（共食い）」とも呼ばれるものです。一つのデザイン変更が起こす平均売り上げを追跡し、それを保つか、あるいはコントロールされた状態と比較して上昇しているかどうかを確かめましょう。

カート放棄率の減少

消費者はさまざまな理由でカートに商品を入れます。多くの場合、購入するかどうかを後で考えるために保存するのです。しかし、商品がカートに入っているということは、購入する可能性があるということであって、お客さまがその商品を削除して購入しないままにはしてほしくありません。これは、いわば購買率によく似たタイプのコンバージョン率です。より低い放棄率になることが、UXの取り組みの成果であることを示せると良いでしょう。ここは、ちょうど金星あたりとなります。

問い合せの減少

これは典型的なコスト回避のメトリクスになります。サポートコールについてのメトリクスは過剰なほどありますが、その一つが、組織にとって一件の問合せあたりのコストはいくらか、というものです。顧客は会社に問い合せの電話はしたくありませんし、会社も顧客に電話をしてほしくありません。オートデスク社のケースでは、２日間のユーザビリティテストを行った後に、迅速にデザイン変更を行ったことで、技術サポートデスクにかかってくる電話の件数を減らすことに成功したのです。

登録

カスタマージャーニーにおける全てのステップが、売上や収入に直結するわけではありません。顧客がオンラインセミナー、Eメールのニュースレター、あるいはセールス担当者からの返答を得るために登録することは、販売プロセスの中の大切なステップです。そもそも売上を上げるためには、より有望なリードが必要になります。良いセールスファネルは実際の売上に結び付くようなリードの数を見積もるのです。そうすることによって、収入やROI計算につなげていきます。収益からの距離を言うならは、これは火星といえるでしょう。だんだん寒くなってきています。

クリックスルー率（CTR: Click-Through Rate）

より多くの人にクリックしてもらい、製品やコンテンツに目を向けてもらうことはセールスプロセスの第一歩です。UXのリサーチに基づいたクリックスルー率を上げるような新しいデザインは、ROIのためのメトリクスと言えるでしょう。しかし、クリックスルー率が売上に結びつかないならば、それはROI算出においては土星くらいに離れていることになります。これも取り組む価値があるというだけの証拠はありますが、一回一回のクリックが、全てリサーチコストを正当化してくれるように期待してはいけません。

サイト滞在時間/エンゲージメント

タスクによる時間生産性を抑制することは良いことですが、サイトの滞在時間を増やすことも良いことです。単なる閲覧者を購入者に転換させようとするなら、サイト滞在時間を増やすことでその可能性は高められます。けれども、ROIへの貢献度に関して言うなら、このメトリクスは海王星くらい離れているのです。

リピーター数/リピーター

ROI計算という観点では、このメトリクスは冥王星ほど離れたところにあります。2000年初期、企業が自身の価値を示し、名前を広く知ってもらうために必要だったのはページビューとユニーク訪問者数だけでした。人々の目を引き、再度訪れてもらうことは、将来のリードと売上につながるでしょう。もしあなたが「人」を「収益」に変換させる方法をお持ちならば、これは良いROIメトリクスになり得ますが、そうでないならば、ROIとの関連性は低いと言わざるを得ません。

NPS（ネットプロモータスコア）

NPSはROIのカイパーベルト（注：太陽系からもっとも遠い惑星の海王星よりも更に外側にある黄道面付近）あたりでしょう。この人気のあるNPSは、14の産業のうち11の産業において、将来の企業収益の増加を最も（あるいは2番目に）うまく予測するものであり、企業の成長性との相関関係があります。NPSの高尚な主張を裏付けるとされている研究を疑問視する向き[pdf] もありますが、肯定的な口コミが多ければ、そのことが企業に経済的な利益をもたらす、というのは筋の通ったことと言えるでしょう。

SUS（システムユーザビリティスケール）を含む多くのユーザビリティ測定方法がNPSと高い相関性を持つことが判明しています。ユーザビリティのメトリクスを改良すれば、ROIとの緩いつながりができるのです。企業の重役のボーナスは、NPSを向上させると上がる場合が多いので、あなたのボスが儲かっても、会社の収益を増やすことにはならないかもしれません。しかし、あなたのキャリアにおけるROI向上にはつながりますね！

まとめ

ROIを論証することは、ユーザーに、そして究極的には組織のボトムラインを上げるのに役立つメソッドを正当化することであり、良いことだと言えるでしょう。けれども、誇張したり過大評価したりするのは良くありません。自分の持つデータの限界を知ることが重要です。メトリクスもメソッドもあなたのROIの説明の確かさに影響を与えます。収益により近いメトリクスと変更内容を他の要因から切り離すメソッドを持つ必要があります。3億ドル増をもたらしたサイトのボタンや、サポートコール件数を減少させたオートデスク社の話しには説得力がありますが、どちらもコントロールされた実験による結果ではありません。ですから何もしなかった場合はどれくらい収益が増えていたのか、どれくらいのサポートコールがあったのかを知ることは難しいです。

A/Bテストのようなコントロールされた実験であっても、新たなデザインへの変更がUXの変更だけでないのなら、ROIとの関連性は弱まります。例えば、新しいナビゲーションのレイアウトと価格変更とが共に実施されるなら、ナビゲーションの変更と価格の変更がそれぞれどのようにROIに貢献しているかを判断するのは難しいでしょう。幸い、複数の変動要因でもコントロールでき、ROIとの相関性について説得力を持たせてくれる、洗練された実験（多変量検定と呼ばれています）も存在します。このことは、また別のブログのトピックスとしてお話しましょう。

---

Jeff Sauro

ジェフ・サウロはシックス・シグマに精通した統計アナリストであり、ユーザー・エクスペリエンスの定量化における第一人者である。彼は統計的なデータを理解させ、そしてアクション実行へと導く専門家。そしてアメリカコロラド州デンバーにある、UXリサーチ会社 MeasuringU（MeasuringU.com）の設立者である。 MeasuringU の設立以前は、Oracle、PeopleSoft、Intuit、そして General Electric で働いてきた。
ジェフはこれまで20以上の専門家のレビューを受けたリサーチ記事、そして5冊の統計とユーザー・エクスペリエンスに関わる書籍を発表している。スタンフォード大学にてラーニングとデザイン・テクノロジーの修士を取得。またデンバー大学にてリサーチメソッドと統計学の博士を取得している。

ソシオメディア UX戦略フォーラム 2015 Fall ゲストスピーカー。