見出し画像

非エンジニア中心で実現 エン・ジャパンのデータ基盤整備の取り組み

こんにちは!デジタルプロダクト開発本部でデータサイエンスグループのマネージャーを務めている松尾です。

デジタルプロダクト開発本部(以下、デジプロ)は、エン・ジャパンの各プロダクトの企画・開発・運用・マーケティングを担う部署で、PdM(プロダクトマネージャー)・デジタルマーケター・エンジニア・カスタマーサクセス・データアナリストなど様々な職種の人が一丸となって働いています。

今回は、それらデジプロを構成する様々な職種の中から、「データアナリスト」の取り組みについて、特に「データエンジニアリング力」という考え方に焦点を当てて書いております。

・データアナリストという職種に興味がある
・データ活用を推進したい
このような方は、ぜひご覧ください!

①組織・プロダクトの紹介

私が所属しているデータサイエンスグループのミッションは、プロダクトから日々生み出される膨大なデータを活用し、人・企業のエンゲージメントを最大化することです。

データを活用する上で重要になるのが「データエンジニアリング力」。大量・多様なデータを、目的に応じて最適な形に落とし込むことが必要です。この記事では、データサイエンスグループでいかに「データエンジニアリング」を実現しているかを、「engage」というBtoBのプロダクト事例を通じてご紹介します。

なお、この記事に記載されている取り組みは、現代ビジネス主催イベント「データ活用の民主化サミット~DXを加速させるデータ活用最前線~」でお話させていただきました。取り組みを支援頂いた、株式会社primeNumber様との共同登壇です。イベントで投映した資料を元に、エン・ジャパンのデータ基盤整備の取り組みについてご紹介いたします。

②抱えていた課題

engageに関するデータ活用基盤は、始めから整っていたわけではありません。1年ほど前までは「データ分析基盤の未整備」「データエンジニアリング人材・スキルの不足」という課題を抱えていました。

データ分析基盤の未整備

データ活用の主なユースケースは2つで、「分析」と「施策への活用」です。engageでは、広告運用やCRMデータ、アクセスログデータなどが活用の対象でした。当初のデータパイプラインは以下のような形。

最低限、データの流れは整備出来ていましたが、課題は少なくありませんでした。

例えば、広告運用結果のレポーティング。これまでは以下のステップを踏んでいました。
・データを管理画面から手動ダウンロード
・スプレッドシートにコピー&ペースト
・パワーポイントでスプレッドシートを読み込み
「データを可視化する」工程に時間がかかりすぎて、肝心の分析に時間が取れず、有用なインサイトが導き出せない…という状況。

プロダクトのCRMデータに関しては、AWSのDatabase Migration Serviceを通じてRedshiftに格納。分析担当者それぞれが、Tableauでアクセスして分析を行っていました。

ただ、各自が分析する際に同じような前処理を重複して行っていたり、同じような指標でも人によって実数が少しずれたりするので、その差異がどこにあるかを検証したりという事象が頻発。結果的に分析工数が肥大している状況でした。

データ活用の文脈では、Web接客ツールのKARTEを利用しています。登録企業の属性データを組み合わせることで真価を発揮するのですが、そちらは連携出来ておらず。

以上のように、データ活用の仕組みはある程度整っているものの、胸を張って「めっちゃデータ活用できています!」とは言えない状況でした。

データエンジニアリング人材・スキルの不足

分析基盤に課題があるので解決したい…ところなのですが、もう一つ課題がありました。基盤を整備できる人材やスキルが足りていない、という点です。

その理由は、以下をご覧いただけると一目瞭然ですね。

そうです。圧倒的に若手・未経験が多い
15人いたメンバーのうち、10人が入社・異動から3年未満の経験でした。

さらに、グループ内にはエンジニアが在籍していません。
プロダクト開発部門のエンジニアのリソースは機能開発に充てられているため、基盤整備まではなかなか手が回らない状況でした。

現状・課題をまとめると、「データ活用を促進するための基盤を整備したいが、人・スキルが不足している」という状態。
では、どうやって解決したのかをご紹介します。

③解決の取り組み

人・スキルへの投資

課題を解決するためにまず取り組んだのが、人・スキルへの投資です。

データ活用やデジタルマーケティングで成果を上げるためのスキルを分解すると、以下の3要素に分かれると考えています。

一番下、土台となるのがポータブルスキル。ロジカルシンキングなど、職種・業種問わず活躍するために必要なスキルですね。ここは会社全体の研修でカバーしています。

上の2つは、デジタルマーケティングに必要なテクニカルなスキル。一番上はツール特有のスキルで、TableauやKARTE、最近だとAIツールなどもここに該当しますね。ツール提供社が開催してくれる勉強会や、Tableauなどは書籍も充実しているので、そのあたりを学習ソースとして育成の仕組みを整えています。

最後が、真ん中に位置する汎用的なテクニカルスキル。PythonやSQLなど、ツールにとらわれず活用の幅が人がるものが該当します。新しく異動・入社する方が苦戦するのがこの部分で、TableauやKARTEなどのツールはある程度プログラミングスキルが無くても習得できるように工夫がされているのですが、SQLなどはイチから文法を学んでいかなければなりません。

プログラミングスキルは、Progateなどの学習サービスを提供することでスキルアップを図っています。ただ、データ活用基盤を整備していこうと考えると、汎用的なテクニカルスキルのなかでも特にデータパイプライン全般に関する基礎知識が不可欠になります。

体系的に学ぶ手法が無く、どうしようかなと考えていたところ、「trocco」というETLツールを提供しているprimeNumberさんから提案が。渡りに船ということで、全10回ほどの講座を受講することになりました。

内容としては、データレイク・データウェアハウス・データマートとは何かといったデータパイプラインの基礎から、基本・発展のSQL講座まで。さすがデータエンジニアリングのプロフェッショナルという内容で、重要トピックをわかりやすく教えていただきました。

この講座が、データ活用促進において非常に良かったです。データ基盤を改善しようと思うと、個別最適ではなく全体最適の視点からボトルネックを特定する思考が必要です。スキル・知識が無い状態だと改善案が考えられないんですね。

講座を受講することで、メンバー全員がデータパイプラインの全体像をあるべきで考えられるようになりました。結果、自律的に全体最適を考えた上で改善策を提案・実行できるようになったのです。

そこにノーコード・ローコードのデータパイプライン関連ツールを組み合わせることで、データ基盤整備を進めることが出来ました。

具体的な改善の取り組み事例をいくつか紹介します。

基盤整備①troccoでデータを自動連携→工数減

手作業が発生していた広告レポート作成作業が、ETLツールtroccoを導入することで工数を削減できました。primeNumberさんの講座を受講したメンバーが提案してくれたもので、まさに「データパイプラインの全体像を把握しての改善提案」が実を結んだ事例です。

基盤整備②アクセスログをBigQueryに格納、SQLで分析可能に

機械学習を活用するプロジェクトで、アクセスログが必要になるケースがありました。アクセスログをイチから加工・格納する場合工数がかかります。

ですが、データパイプラインを見直した際に、Google Analyticsにアクセスログと似たデータが入っていることを発見。Google Analytics→BigQueryにデータをエクスポートすることで、機械学習の前処理をエンジニアに頼らず実現することが出来ました。

基盤整備③Tableau Prepで簡易データマートを作成

前処理作業が重複していたTableauからの接続。Tableau Prepという製品を活用することで、「データサイエンスグループお墨付きのデータ参照元(データマート)」を作成しました。基本的な分析は前処理不要で即対応が出来るようになり、分析作業者間の数値ズレも無くなりました。

基盤整備④MarketoからCRM データを連携

Web接客ツール「KARTE」にCRMデータが入っていない問題も、ローコードで解決できました。具体的には、「KARTE Datahub」というプロダクトを活用し、マーケティングオートメーション(MA)ツールの「Marketo」に格納されているCRMデータをインポートする、という手段です。

④今後行っていきたいこと

今後は、「社内のAI活用推進」「データレイク整備」「troccoの更なる活用」を進めていきたいと考えています。

社内のAI活用推進

サイトのアルゴリズム改善や分析において、AIの活用を進める取り組みを進めています。これまでBIを中心に活動していたグループを改め、データサイエンスに特化した「データサイエンスグループ」を組成しました。社内にノウハウを蓄積し、データサイエンスでのビジネス貢献を最大化していけるよう進めていきます。

データレイク整備

これまで構築してきたデータ基盤は、マーケティング用途・分析用途をメインとしています。AI活用を推進するためには、非構造化データの蓄積・データ参照元の一元化を推進することが重要。

そのために、データレイクを中心としたデータ基盤への拡張を考えています。

troccoの更なる活用

上記の通り、基盤整備でやらなければいけないことはまだまだあります。もちろんエンジニアにも入ってもらいますが、ETLツール「trocco」を活用することで、非エンジニアでも構築できる部分は進めていきたいと考えています。

⑤最後に

デジプロのデータサイエンスグループ部では、採用を強化しています。

特に、今後行っていきたいこと、でもお伝えしたAI活用の推進を担っていただける「データサイエンティスト」を募集しています。

記事内でも触れたように、人・スキルへの投資はこれからも増やしていきますし、必要なツールも積極的に導入していく予定です。ぜひ一緒に成長し、「データ活用による人・企業のエンゲージメント最大化」を実現していきましょう!

詳細な仕事内容などの募集要項は下記をご覧ください。


その他の職種でも積極的に採用を行っています。
採用中の職種は下記に記載ありますので、ご関心を持っていただけた方は、ぜひチェックしていただけると嬉しいです!

▼キャリア採用ページはこちら


▼新卒採用ページはこちら


みんなにも読んでほしいですか?

オススメした記事はフォロワーのタイムラインに表示されます!