PayPayアプリの中核を担う新機能開発や改善を実施するCoreApp & Growth部は、7,100万人（2025年9月時点）のユーザーに対し、日々新たな決済体験を創造しています。ですが、その成果は偶然生まれたものではありません。
今回取り上げるのは、PayPayのアプリデザインにおいて重視している「A/Bテスト」です。A/Bテストの進め方や意識しているポイント、実際に発揮された成果などを通じ、PayPayアプリが進化してきた過程をご紹介します。
CoreAppチーム＆Growthチーム（Renate, Beau, Maki, Arysa）
Product統括本部 Payment Product本部 CoreApp & Growth部, Design部
こんにちは。CoreApp & Growth デザインチームのデザイナーとプロダクトマネージャーです。私たちは、実験とデザインの力で成長を促進しながら、PayPayのコア体験を形づくることに注力しています。私たちのミッションは、データに基づいた体系的な実験を通じて、ユーザーにとって使いやすく、一貫性のあるデザインを実現することです。オンボーディングから主要な機能まで、A/Bテストを活用し、本当に効果のある改善策を見極めています。すべての改善は、ユーザーのニーズとビジネス目標の両方を満たすことを目指しています。
PayPayにおけるA/Bテストとは？
A/Bテストとは、複数のデザインや構成要素を用意したうえで、実際にユーザーへ展開した際の反応の差を集計・分析し、デザイン改善に役立てるテスト手法です。私たちは、優れたデザインとは単に見た目が美しいだけではないと考えています。実際の課題解決を想定し、仮説検証によって磨かれ、そして測定可能なデータに基づく意思決定によって生まれた、ユーザーに価値を提供できるデザインを指します。私たちが最も重視しているのは、デザインがユーザーの本質的な課題解決にどのように貢献できるかという点です。
そのためPayPayは単に2つのバージョンを表示し、テストするだけでは終わりません。まず実際にユーザーが抱えている課題感を特定し、デザインを通じてどのように解決したいかを明確に定義することから始めます。具体的には、UXリサーチャーが基礎的なインサイトを提供し、改善の土台となる方向性を示します。
次に、デザイナーとプロダクトマネージャーが密接に連携し、ユーザーの抱える課題を特定し、改善への仮説を立てます。仮説の検証にあたってはデータアナリストと協力し、「どのようにユーザーをターゲティングするか」「テスト対象者はどのように定義したらよいか」「どれくらいの差が生まれれば成功か」など、A/Bテストの条件や指標を設定します。エンジニアも早期から関与しており、技術的な実現可能性を議論し、必要なインフラを構築します。
このように、PayPayにおけるA/Bテストでは、各領域のプロフェッショナルによる、職種を横断したコラボレーションが欠かせません。私たちは単にデザインをテストするだけでなく、「ユーザーの求める本質的な課題解決策は何か」を深く学んでいるのです。
成功事例：選択肢の見せ方を変えた結果、特定の支払い方法の選択率が2倍以上に増加
ここからは、実際にPayPayで行ったA/Bテストの事例を見ていきましょう。こちらは大掛かりなデザインリニューアルではなく、コピーの微調整やレイアウトの再構築、ボタンの簡素化といった微妙な調整が、ユーザー体験を顕著に向上させた事例です。
PayPayのインストール後に、ユーザーは初期セットアップとして支払い方法を追加します。その追加画面において、以下の点を改善しました。
- ユーザー視点で分かりにくい文言の修正
- 個人情報保護に関する説明の追記
- PayPayポイントを最も多く獲得できる支払い方法の強調
- 推奨したい支払い方法をデフォルトとし、「おすすめ」のラベルを追記
選択肢を簡素化し、細かい調整を重ねた結果、その支払い方法のコンバージョン率が2倍以上に向上しました。また、シンプルな内容になったことで、ユーザーの読み飛ばしを防ぎつつ、素早く支払い方法の設定に取り掛かれる改善効果も見られました。
ユーザーにとって、ポイントが多く貯まり、チャージが不要で簡単な支払い方法を選べるのはメリットが大きいです。デザインを通じ、ユーザーの求める本質的な課題解決のサポートができた一件となりました。
失敗事例：ポイント獲得を促進する文言に差し替えるも、コンバージョン率は向上せず
上記のように、A/Bテストを通じた改善事例がある一方、すべてのテストが改善につながるとは限りません。時には期待通りに機能しなかったものもあるため、あえて失敗事例も取り上げます。
クレジットカードの新規登録を促進するにあたり、私たちは「PayPayポイント2倍獲得」といった、ユーザーメリットを全面に打ち出したプロモーション調の文言がコンバージョンを増加させると推測しました。しかし、クリック率自体は高まったものの、実際にコンバージョンした人は少なかったのです。当初の「PayPayクレジット」という、直接サービス名を表す文言では、クリック率は低かったもののコンバージョン自体は多いという結果になりました。
ユーザーは金融に関連する意思決定において、プロモーション的な文言よりも、明確で直接的なサービスの説明に心を動かされることがわかりました。ただし、後ほど詳しく述べるように、データだけに限らず丁寧なレビューと率直な振り返りを徹底したことで、上記のような学びが得られたと考えています。私たちは、たとえ失敗に終わったテストであっても、しっかりとした仮説のもとに意図を持って実行されたものであれば、次なる成功への近道となり得ると信じています。
A/Bテスト後のレビュー
A/Bテストの実施後は、テストの全容をドキュメント化します。具体的には、「何を解決しようとしていたのか」「背後にある仮説」「検討したデザインパターン」「実際の結果」、そして「得られた学び」です。
成功したテスト後はもちろん、失敗したテストの時ほど、レビューを徹底するようにしています。何が機能しなかったのか、なぜ的を外したのか、次回は何を違う方法で試すのか…をチーム内で検討し、ドキュメントに残します。これらの考察を他のチームにも共有し、同じ失敗を繰り返さないよう努めます。失敗を次回の糧とし、ブラッシュアップを続けてきました。
一方、レビューにも工数はかかるため、私たちは仕組み化とツール活用を通じ、レビュープロセスを効率化しています。仮説形成とテスト計画の立案には、デザインチームが使用するテンプレートを含む「A/Bテスト用ツールキット」を活用しています。結果が得られたのちは、「結果/考察カード」という専用の場所に記録します。成功と失敗の両方を含むすべての学びは、さらに一元化された「A/Bテストリポジトリ」に記録され、過去事例の参照を容易にしています。
これにより、より迅速かつデータに基づいた意思決定ができるようになります。振り返りはデザインの質を高めるだけでなく、組織全体へのナレッジシェアにも貢献するのです。
読者へのメッセージ
PayPayでの業務は、単に画面をデザインしたり、バックログを管理したりするだけではありません。「何をやるか」よりも「なぜやるか」を重視し、技術と同じくらい成果にコミットしているなら、ぜひ私たちのプロダクト戦略を形作る仲間になってください。
PayPayでは、デザイナーのみならず、プロダクトに携わる様々なメンバーが一緒に仮説を立て、テストを行い、学びを共有しています。一緒にユーザーにインパクトを与える決済体験を創造しましょう！
※募集状況、社員の所属等は取材当時のものです。