NPS® を使用して
機能に優先順位を付ける方法

NPS の最大の特長は何でしょうか。それはたった 1 つの質問により、測定可能な結果を得られることです。

Henk Kleynhans Henk Kleynhans

As a PM that works within the agile framework, there are several ways of getting customer feedback on my product, such as customer interviews, surveys, and support requests. Another, that you've probably also heard of, is NPS.

聞いたことがない方のために説明すると、NPS とは、ネット プロモーター スコアのことです。NPS は、顧客ロイヤルティの計測指標で、製品に関する顧客感情と、その結果に関する対応策を定量化します。 製品の導入拡大が口コミマーケティングに大きく依存している私のような PM にとって、これは特に有益な顧客フィードバックの仕組みです。顧客満足度調査など、エンゲージメントを定量的に測定する他のツールと比較して、NPS の優れた点は、一貫した、測定可能な結果を提供するフィードバックを短期間で収集することが非常に簡単であることです。たった一つの質問で、スコアを他の製品と比較評価できます。

本稿では、NPS を測定基準としてだけでなく、ソフトウェアチームによる機能の優先順位付けに役立つ強力なツールとしても使用する方法を説明します。

NPS の簡単な紹介

An NPS survey consists of one simple question: “How likely is it that you would recommend <our product> to a friend or colleague?"

Atlassian 製品での表示例を以下に示します。

NPS in product | Atlassian agile coach

Once you have collected a significant number of response from your NPS survey, you group your responses into three groups: Promoters (9–10), Passives (7–8) and Detractors (0–6).

NPS calculation | Atlassian agile coach

次に、推奨者の割合 (%) から、批判者の割合 (%) を引いて NPS を算出します。 たとえば、100 人の回答者のうち、推奨者 40 人、中立者 25 人、批判者 35 人の場合、NPS は (40% - 35%) = +5% となります。NPS の範囲は -100% から +100% です。

Atlassian では、顧客フィードバックがすべての取り組みの指針です。NPS は、当社の製品に対するお客様の感情を理解するために利用する最も重要な指標のひとつです。しかし、NPS は数値にすぎないので、お客様が当社の製品に満足または不満足な理由はわかりません。

このため、スコア選択後にその理由についてフィードバックをお願いしています。

NPS with feedback | Atlassian agile coach

このような回答を “Verbatim (逐語フィードバック)” と呼び、ここで興味深い情報を得ます。以下で、このフィードバックを実施可能な洞察へと変換するステップを説明します。  

ステップ 1: NPS 逐語フィードバックを分類する

私たちは毎月、数千件の逐語フィードバックを受け取ります。お客様からのフィードバックを最大限に活用するため、逐語フィードバックを具体的なテーマに自動分類します (テキスト分析を使用)。これはフィードバックを最大限に活用できるチームにフィードバックを渡すのに役立ちます。

しかし、特定のユースケースや問題点を識別しているプロダクトマネージャーであれば、高額なソフトウェアを購入したり、構築したり、学習する必要はありません。独力で、ソフトウェア並みに簡単に逐語フィードバックを読み取り、分類できます。

手作業で逐語フィードバックを読み取り、分類する作業であなたとチームは多大な価値を得られます。お客様を満足させることや、不愉快にさせることを簡単に把握できます。ある特定の問題や機能に関して考え方が変わることさえあるかもしれません。

以下では、Atlassian のチーム コラボレーション製品である Confluence に関して私たちが得た一部の逐語フィードバックを例に挙げ、機能に優先順位を付けるプロセスで、私たちがその逐語フィードバックをどのように使用しているかを説明します。

「Confluence に心酔しています。...生産性が天文学的に向上しました。...ありがとうございます。...貴社のプロダクトマネージャーと開発スタッフに感謝します。...素晴らしいアプリケーションを作りましたね」
経営管理者
"USEFUL FUNCTIONALITY BUT DIFFICULT USABILITY. (GOOD) FORMATTING IS DIFFICULT."
経営管理者

最初の逐語フィードバックは読んでうれしいものですが、すぐに実施可能な新たな情報はまったく得られません。一方、2 件目の逐語フィードバックにはお客様の具体的な不満が記されています。これには “ユーザビリティ” と “フォーマット” のラベルをタグ付けできます。これは、スプレッドシート (またはデータベース) で以下のように表すことができます。 

NPS スコア 逐語フィードバック ユーザビリティ フォーマット
5

便利な機能だが使いづらい。(適切な) フォーマット設定を行うことが困難

1 1

別の逐語フィードバックを見てみましょう。 

"TABLES AREN'T POWERFUL ENOUGH - I SOMETIMES NEED TO BE ABLE TO CUT-AND-PASTE COLUMNS."
SOFTWARE-ENGINEER

この逐語フィードバックには別の2つのラベルを追加します。

NPS スコア 逐語フィードバック ユーザビリティ フォーマット 表 - 列の切り取り/貼り付け
5

便利な機能だが使いづらい。(適切な) フォーマット設定を行うことが困難

1 1    
8

表の機能が不十分。列の切り取りと貼り付けができるようにする必要がある場合もある。

    1 1

さらに逐語フィードバックを追加していきながら、必要に応じてカテゴリーやラベル付けを追加します。ルールとして、好意的なフィードバックにはラベルを追加しません。たとえば、「テーブル機能は最高!でも Confluence がもっと高速だったらいいのに」という逐語フィードバックには「パフォーマンス」のタグ付けをしますが、「表」のタグ付けはしません。 

ステップ 2: 結果を分析する

たくさんの逐語フィードバックを分類しましたが、取り組む価値があるものをどのように判断するのでしょうか。Atlassian では、数量と具体的な体験を記したお客様の感情 (センチメント) を検証します。この2つの情報の組み合わせが NPS 逐語フィードバックの分析に役立っています。

以下では、手作業で分類することにした場合、その努力に見合う最大の価値が得られるものを見分け、お客様に満足していただける製品を作るうえで役立つヒントをいくつか紹介します。

まず、各カテゴリーのフィードバック項目の数を数えます。

たとえば、以下のような結果を得たとします。  

カテゴリー 合計
パフォーマンス 90
60
表 - 行の切り取り/貼り付け 20
表 - 列の幅 30
ユーザビリティ  50
フォーマット 45
新機能  25
同時編集  20

(とりあえず) 下位タグを除去して並び替えると、上位優先項目がすぐにわかります。  

カテゴリー 合計
パフォーマンス 90
60
ユーザビリティ  50
フォーマット 45
新機能  25
同時編集  20

この他に情報がない場合は、パフォーマンスを指摘したコメント数が一番多いので、パフォーマンス改善が一番の案件であることがすぐにわかります。しかし、本当にこれが取り組むべき最重要課題でしょうか。パフォーマンスに取り組めば最大の価値をお客様にもたらすことができるのでしょうか。

各カテゴリーの NPS スコアを計算することで、この疑問に答えることができます。 

カテゴリー 合計 NPS
パフォーマンス 90 30
60 -30
ユーザビリティ  50 -10
フォーマット 45 -5
新機能  25 25
同時編集  20 20

Although many people mentioned Performance, the NPS score is relatively high. If we were to focus all our resources on performance, it’s unlikely to make much of a difference to our overall NPS score. Likewise, adding New Features won’t move the needle much. However, it looks like many people are unhappy with the lack of functionality in Tables and are frustrated by poor Usability.

(メモ: ちなみに、サンプル数が小さい時は結論を導き出す時に注意が必要です。上記の数値は単なる例であり、大きな誤差があるかもしれません。) 

ステップ 3: 優先順位を明確にする

ここまでのステップで逐語フィードバックを分類し、最も効果の大きい案件を特定しました。お客様から直接得たフィードバックは非常に価値のあるものですが、ひとつの情報に過ぎないので、最も重要な体験を改善していると確信するためには他の顧客データ (調査、製品フィードバック、サポート問い合わせ、製品を乗り換える人々からのフィードバックなど) と比べて徹底的に確認すべきです。このすべてのデータを使用してバックログにある機能の優先順位を強く主張できますが、NPS データは次に何を開発すべきかを示しているわけではないことに留意してください。利用できる多くの情報のひとつにすぎません。

難しいのはここからです。ソリューションを見つけ、それを実装することです。

朗報は、問題の理解に役立つ、お客様からの多数のフィードバックがすでにあることです。機能リクエストを通じて、インタビューのために連絡できるお客様がいる可能性さえあります。NPS がバックログにある機能の優先順位付けに役立つだけでなく、記載された逐語フィードバックもお客様の問題を特定するのに役立ちます。計測可能なスコアと顧客フィードバックのこの組み合わせは、プロダクトマネージャーにとってはまさに宝です。

次の記事
製品分析