誰もがデータを利活用できる環境を作りあげるPayPayのデータエンジニア

PayPayで働く圧倒的プロフェッショナルに迫るプロフェッショナルズシリーズ。
今回は、データマネジメント部で部長を務める三重野さんにインタビューしました。

三重野嵩之（みえのたかゆき）

システム本部データマネジメント部部長兼法務・リスク管理本部金融犯罪対策室データエンジニアリングリーダー

建設コンサルタントやSIerを経て、2021年PayPay入社。2022年8月データマネジメント部部長就任。データ分析基盤の保守や全社マートの整備、BIの構築などを担当するデータ分析基盤チーム、risk-apiの開発・保守を担当する、不正対策マネジメントチームからなるデータマネジメント領域を管掌。北海道在住、趣味は釣り。

今注目のデータマネジメント、その組織とは

現在、データ基盤チームと不正対策エンジニアリングチームからなる、データマネジメント部で部長をしています。

データ分析基盤チームは、データ分析基盤であるBigQueryの運用や保守、全社マートの整備、BIの構築などを担当しています。不正対策エンジニアリングチームでは、不正対策周りのトランザクションのブロックなどを行うrisk-apiの開発・保守をしています。2022年11月1日に立ち上がるデータサイエンスチームは、機械学習等を利用して業務の効率化を行う予定です。（2022年10月取材当時）

そしてデータ基盤チームはさらにDWH、LAKE、BI、GCP、Stewardチームに分かれています。各チームはほぼ名前通りの役割なのですが、Stewardチームという名前はイメージしにくいのでご紹介しますね。Stewardチームは、データ基盤チームの各チームをつないで部外とやり取りしたり、取りまとめたりするような役割を担っています。

このStewardチームは、実は少し前に出来たばかりの新しいチームなんです。
データエンジニアとしてパイプラインの整備やSQLを書いたり、GCPの設計・運用管理するチームとは別に、チーム横断でデータマネジメントがどうあるべきか考えたり、他部署のデータ利活用状況を把握して各チームに共有するような役割を担っています。各部署にヒアリングしてもらったり、各部署のデータが必要なPJの立ち上げに入ってもらったりすることで、かなりPJをハンドリングしやすくなって、私としてもStewardチームのおかげで助かっていますね。

データ分析基盤の部署は各社状況が異なると思います。一つの部署ですべてまかなっている会社もあれば、いくつかの部署にまたがってバーチャルなチームを作っている会社など。Stewardチームのような体制がスタンダードなのかは分かりませんが、必要な組織体があればどんどん取り入れて、うまく全社でのデータ利活用が推進できればと思います。

データマネジメントとプロジェクト

データドリブンのPayPayでは、ほぼ全部署がデータ分析に関わります。ですのでシステムを開発するような部署と比べると、細かい依頼を多数受けているのですが、今回は比較的大きめな二つのプロジェクトをご紹介します。

膨大なデータを経営判断に活かすために

PayPayでは、経営層向けのレポートを担当部署がかなりの頻度で発行しています。重要なデータ配信なのですが、以前は業務側・システム側・プロダクト側の三者で協力する体制が出来ていなかった。そのために不正なデータが取得されたり、配信に失敗したりしていました。会社の方針を決めるものが正しく配信されないのは問題だ、と経営層からの指摘も入り、Data-Governance-Project（DGPJ）を経営戦略部・プロダクトのdaasチームとで実施することになりました。

レポートの配信は、daasチームがデータを連携、データ基盤チームで中間の加工をして、最後に経営戦略の方でマート作成、DataportalからメールでPDF配信するという仕組みです。

この仕組みが確実に動くよう、レポートに利用するテーブルを洗い出し、daasチームでは優先度付けしてパフォーマンスを監視。データ基盤チームでも遅延を検知して経営戦略と連携してレポートが朝確実に配信されるようにプロセスを整備しました。

でもすんなりプロセスが整備されたかと言うとそうでもなく。メンテナンスされていないテーブルを参照するクエリの修正やGCPのインフラ設計など課題が多かったです。
レポートを発行する経営戦略部とは何度も綿密なコミュニケーションを繰り返しましたね。クエリ自体は経営戦略部の方にも書ける人がいたので、そこまでやりとりに苦労はしなかったんですが、GCPの仕様の細かいところはGoogle側に確認したりと丁寧に対応していました。
とにかく経営に直結するデータだから間違えることは許されない。細かいところをつめて、つめて、つめて…正確性を追及するところは、このプロジェクトの大変なところでしたね。

よくよく考えてみると、経営戦略の部署とデータ分析基盤の部署がここまで一体になって取り組む会社も珍しいんじゃないかと思います。

ここ最近やっと安定して配信できるようになったので、今後配信されるレポートについても安定的に配信できるように整備していこうと思っています。

PayPayの強みを活かして全社に関わるプロジェクトを指揮

もうひとつ、現在データマネジメント部で取り組んでいるプロジェクトをご紹介します。全社のマートを構築するプロジェクトです。

もともと各業務部門側でSQLを書ける有志が独自にマートを作成しており、それがいつの間にか全社的に使われていました。しかし人事的な動きに伴い、保守されなくなってしまったんです。そこでその独自制作のマートを引き取り、新しくマートを構築して全社に提供することにしました。

PayPayの人は優秀で成長意欲も高いので、部署で必要があれば自分でSQLを勉強して知識を身に着けている人も多くいます。現状、マーケティングの人や営業の人、いろんな人が作っているテーブルがあります。そういうときこそデータマネジメントの出番。
共通の処理をデータ基盤チームで実装したり、コストに優しいクエリを書くとか、全社のデータ分析が健全で使いやすいものになるよう地道に活動しています。

ただこのプロジェクトも、業務部署からすぐ巻き取ればOKです、という簡単な話ではないんです。
前述のようにデータ分析は独学、分かる人がやる、という状況でしたので、複雑なSQLやスケジュールドクエリで時間依存で処理が書かれているなど、ひとつひとつ読み解いて再構築するのが大変でした。各部署にヒアリングに行ってどう利用しているかを把握し、コネクションを作って進めやすくなるようにしました。Zoomで十数チームコツコツヒアリングするのも、なかなか根気がいる作業でしたね。

実はこのヒアリングは全社向けマートを作るという本来の目的もありますが、そもそもどういう目的でデータをどうやって使っているのか、今まで把握できていなかったことをこの機会にまとめて把握できるチャンスでした。各部署でのデータの使い方が分からないから、方針が決められないこともありましたし、いい機会だから全部署聞いちゃおう！と。

PayPayではありがたいことに、他部署へヒアリングしたい、となればSlackやメールで一言お願いするだけで、すぐZoomでお話しを聞くことができます。システム部門が業務部門と遠い関係の会社であればそうはいかないでしょうね。部署と部署の壁が高くないのでヒアリングの手間はかかりますが、聞くまでの障壁はほとんどありません。

ヒアリングの結果、マートも少しずつ整えられてきていますし、SQLの書き方が分からないという声には、質問できるSlackチャンネルを作ってみたりとサポート体制も整えています。

三拍子そろったPayPayに出会うまで

自分は生粋のエンジニアではない。行動力が功を奏して現在のポジションに。

実は私は新卒からIT業界、というわけではないんです。
大学、大学院とずっと土木を専攻していました。大学時代にプログラミングに触れる機会はありましたが、当時は良く分からなくて勉強していなかったんです。
卒業後、公共建造物の設計をする、建設コンサルタントをしました。そこで堤防のすべりの解析をバッチのプログラム（perl）で実施していたのですが、その際にすごい！と感銘を受けまして。一冊専門書を読んだらプログラミング楽しい！と気づいてしまい、それを仕事にしたいと考え転職を決意しました。その時すでに27歳くらいでしたが、就職活動をしながら勉強を続けて、未経験でも入れてもらえる会社を探してまずSIerの会社に入りました。
またちょうど結婚する前の奥さんが札幌に住んでいて、私も札幌に行きたいなと思っていたので、転職するいいタイミングでしたね。

たまたま出会ったデータ分析基盤

PayPayに入社するまではSIerでシステム開発をしていました。
そちらでは、データ分析をするようなチームに配属されて、データ周りの仕事をすることに。当時データマネジメントが大事じゃないか？って言われ始めていたので、早めにデータ基盤の経験を積めたのはいい機会でした。そして比較的大きなデータ分析基盤を開発するプロジェクトにアサインされました。

その開発プロジェクトに関わっているときに、次は事業会社でデータ分析基盤を作ってみたい！と思ったのがきっかけで転職活動をはじめました。やはり事業会社のほうが、裁量は大きいですし、何か判断するときにすぐ決断できてスピード感が違う。実際にデータを使っているところも分かりますので、やりがいに繋がりますしね。そして事業会社の中でも、データ分析基盤をこれから作ろうとしている会社で、たくさんデータが集まっていそうな会社を探しました。

そこでPayPayに出会ったんですが、もともとPayPayアプリは知っていました。なのでどんなアプリか知っていたので、技術面もしっかりしてそうだというイメージがすぐ湧きましたね。なによりデータがとても多そうじゃないですか(笑)

またPayPayについての話を聞いていて、それを後押しした要素の一つはWFA制度（フルリモート）でした。ずっと札幌で働いていたので、WFA制度をつかえば札幌勤務も続けられる。加えて給与待遇面でも申し分なかったので、データの量、働き方、待遇、3拍子そろったということで、絶対に入りたいと思ってました。

WFAのコツはシンプル

あたりまえですが、WFAだと通勤が無くなるのでその分の時間を家族との時間を持ったり、本を読む時間、寝る時間に充てています。逆に通勤ですこしだけ歩いていた分の運動が無くなり、階段の上り下りくらいしか無くなったので昼に散歩したりなどしています。

WFAでの生活について詳しくはこちら！

業務面では、普段の打合せやメンバーとの1on1ではメリハリをつけてコミュニケーションすることを大切にしています。しっかり論理立てて会話する会議と、それほど意識しすぎず本来会話すべき内容以外にも意見がでてくるようにしたり。

障害に冷静に確実に対応

一緒に働く人の声

「三重野さんはどんなときでも冷静に考え、原因を突き詰め着実に取り組んでくれる」

本当は障害がおきたら焦っちゃうタイプなんです(笑)
過去、障害対応の際に焦って対応しようとして、うまく対応できない事が何度かありました。
障害対応のフローとかステップを考えた後に、レビューしてもらったり自分で考えなおしたりすると間違えていることがよくありました。
やはり、急いでいる時ほど「こうかもしれない」という想定をするのは良くないですね。想定をして動いてしまって、結果外れていた、ってことはよくあるので、一つ一つ確認して論理を積み重ねて考えていくことが重要かと思います。

普段の生活は想定で動くのもアリなんですけど、システムは100％ロジックが通ってないと正しく動かない。その辺は特に気を付けているところです。自分の性格的にはハプニングには焦っちゃう方なんです。なので、冷静に、着実に、あえて意識して動くようにしています。

多種多様なメンバー。まだまだ募集中

間口を広く募集中

データマネジメント部のメンバーは、それぞれバックボーンが違うので多種多様といった感じです。カスタム開発していた人もいれば、データ基盤を開発していた人もいますし、分析パッケージソフトウェアの会社に居た方もいます。
とにかくやることが物凄くあるので、いろんな方が活躍できる部署だと思います。タイプでいうと、割と温和な人が多いかな。たぶんたまたま集まっているだけですが(笑)

自発性が特に大事

データエンジニア的な技術力も大事ですが、いろいろな仕事に対してオーナーシップを持って取り組める素質が必要です。まだ誰も決めていない事や課題に対して、何をするべきかを考えて行動できる方であれば、非常にやりがいがあって面白いと思います。

課題があちこちに散乱している場合、こちらから積極的に部署の方に働きかけていかないといけません。待っていては何も改善できませんから。自分で全体像を考えて、「こうじゃないですか？」と提案して確認してもらう、といったことが多いんです。
ですので誰もとっていない、宙に浮いてしまっているタスクを自分から取りに行くような気概がある方がいいですね。受け身ではなく常に自発的に。

PayPayではまだまだ決まっていないことも多いので、自分から取りに行って自分で方針を決める、といったこともできます。それを楽しめるといいですよね。

新しいものはどんどん取り入れたい。展望と目標

今後の展開は、PayPayのデータにとどまらず、グループ会社のデータ共有なども始まっているので、さらに扱うデータが増えていきますね。
機械学習向けのマート作成なども今後行っていきます。dbtやanalytics-hubなど新しい仕組みもどんどん採用していく予定です。

今後の目標としては、とにかくPayPayのデータ分析基盤をよりよいものにしていきたいです！
個人としての細かな目標は立てていないのですが、ソフトウェアエンジニアとして良いソフトウェアを作るための知識や経験をなるべく多く積む方針で動いています。
技術だけに限らず、コミュニケーションやマネジメントなどジャンル問わずです！