最終更新日： 2019年7月10日

おざけんです。

モバイルアプリのマーケティングツールReproが「Repro AI Labs」を設立したのが、2018年7月。国内を代表するアプリマーケティングツールのReproで蓄積したデータのマーケティングへの活用を模索するために設立されました。

AI・人工知能技術がどのようにマーケティングに活かされるか。今までDMPなどが整いつつも、機械学習の活用が進んでいなかったアプリマーケティング領域においてどのような革新があるのか、注目です。

今回は、Reoro AI Labsが取り組んだ実証実験のうち、アプリから離脱しそうなユーザを予測して施策を行っていく実験の結果をみなさんにご報告していきます。実験が行われたのは集英社が提供するマンガ誌アプリ「少年ジャンプ＋（ブラウザ版リンク）」です。

少年ジャンプ＋
2014年から集英社が配信しており、50件以上のオリジナル無料マンガを掲載し、「週刊少年ジャンプ」や「ジャンプコミックス」の電子版が購読できるマンガ誌アプリ。

Reproの越後さんと今井さんがインタビューに応じてくださいました。

越後さん（右）取締役CSOとして全社戦略の策定を担う。Repro参画前は大手コンサルティングファームにて、様々な業種の成長戦略立案、ターンアラウンド戦略立案業務に従事。コンサルティングファーム退職後、自らも事業の立ち上げ、事業投資を行う傍ら、2015年からReproに参画、現在に至る。
今井さん（左） 2016年1月にRepro株式会社に入社。WEBエンジニアとして、マーケティング機能や分散処理基盤を利用した機能の開発に従事。7月からは、よりデータ分析・機械学習にフォーカスしたチームを立ち上げ、さらなる付加価値を提供するべく奮闘中。

Repro AI Labとは

Repro AI LabはマーケティングへのAI（機械学習）の活用の研究のために設立されました。具体的には以下の3つ機能についての実証実験を行っています。

【3つの実証実験】

• アプリから離脱しそうなユーザーを予測する機能(チャーン予測機能)
• アプリを立ち上げる時間帯、購買行動を取りがちな時間帯などをユーザーごとに最適化して個別にプッシュ通知を配信する機能
• ユーザーが気に入りそうな記事や商品をレコメンデーションする機能

誤差は10%！ 離脱予測の結果

3つの実証実験の中で、今回はアプリから離脱しそうなユーザを予測できるようにするチャーン予測機能についての実験結果を伺いました。Reproが実施したチャーン予測は、アプリから離脱しそうなユーザを予測し、マーケティングへの応用を試みるものです。

「少年ジャンプ＋」の起動回数や起動時間、イベントの実行回数、インストール日時などの2週間分のデータを学習することで、以後1週間内にアプリを起動して再訪する可能性を予測します。

具体的には、各ユーザを再訪率10% / 20% / 30%/ ・・・と10%ごとのグループに分類するという予測を行い、その後実際の再訪率を計測し、誤差を測定します。

実験の結果、直近2週間以内という限られたデータ量から約10%の誤差で予測を実現したそうです。

グループごとにコイン配布後の離脱を計測

「少年ジャンプ＋」ではコインを使って掲載されている作品を読むことができます。ログインボーナス機能がついていて、1日に1回、じゃんけんをすることでコインを得ることもできます。

この実証実験ではユーザの離脱の予測だけでなく、応用として「少年ジャンプ＋」のユーザにコインを配布し、配布後の離脱率やコイン消費量などが、再訪確率に応じてどのように変化するのかを計測しました。

多くのアプリでは、ユーザが継続的に利用してくれるようにクーポンやコインなどを配布しています。しかし、毎日のようにアプリを利用しているユーザにもクーポンを一律で配ると、余分な費用がかかってしまうなどの問題があるため、一人ひとりにあった施策が求められています。

実験概要

「少年ジャンプ＋」において、それぞれの再訪確率のグループを実験群(コイン配布しプッシュ通知を表示するグループ)と統制群(コインなどを配布しないグループ)の２つに分け、実験を行いました。

実験群に対しては一定数のコインを配布しプッシュ通知を表示するようにします。統制群ではコインの配布とプッシュ通知を実施しません。この結果1週間後の再訪率などにどれくらいの変化があるのかを計測します。

再訪確率10%ごとのグループをそれぞれ実験群と統制群に分け、施策の効果を検証した

検証ポイント

検証するポイントは以下です。それぞれのグループごとでコインの消費やリテンションコストにどのような違いがあるのかを検証します。

リテンション・・・マーケティングにおいては、ユーザを維持すること、ユーザが継続してアプリを使ってくれることの意

• 実験群は統制群に比べてコインの消費量がどれくらい増えたのか
• 実験群のユーザの再訪率が統制群と比べてどれくらい上昇したのか
• 増えたユーザ数と増えたコイン消費量をベースに、ユーザ1人の獲得にどのくらいのコストを使ったのか

結果

この実験の結果、以下が実証できたそうです。

再訪確率の高いユーザのコイン消費が大幅に上昇

まず、再訪確率の高いコアなユーザのコイン消費が著しく上昇しました。コインを配布する必要のない再訪確率の高いユーザが、コインを多く利用していることがわかります。

具体的には再訪確率が90%~100%のユーザのリテンションコストが再訪確率の低いユーザより数倍高くなることが判明し、全体のリテンションコストを高くしている要因になっていることがわかりました。

再訪確率の低いユーザの再訪が大幅に増加

再訪確率の高いユーザのコイン消費が増えたのに対して、再訪確率の低いユーザのアプリの再訪数がより増加したことが判明しました。

図からわかるように再訪確率が低いユーザの再訪数の増加が顕著であることがわかりました。しかし、コインの消費量は多くなく、効果的に低コストでユーザをリテンションさせていくことが可能のようです。コインの配布は再訪確率が低いユーザに対して行うことが効果的であると実証されました。

AIによる離脱予測に基づいたマーケティングが有効と確認！

この実験により、再訪確率の低いユーザに対してコインを配布するリテンションコストは低く、再訪確率の高いユーザに対してコインを配布するリテンションコストは高いことがわかりました。特に、再訪確率が80%以下のユーザに関しては、広告によるユーザ獲得コストの30%未満のコストでリテンションできることがわかり、AIによるチャーン予測に基づいたマーケティングが有効なことが確認できました。

広告による新しいユーザ獲得よりも、既存ユーザ（再訪確率が80%以下）の離脱防止のほうが費用対効果が高いことが実証されたということです。

再訪する人に報酬を与えるとリテンションが下がる！？

さらに、この実験の結果として意外な発見がありました。再訪確率の高い人のコインの消費量が増えたことは先述の通りですが、なんと一定確率以上の再訪率のグループではリテンションレート（継続して使うかどうかを測る指標）が下がることが判明しました。

再訪確率低 = 再訪確率55%以下のユーザー、再訪確率高 = 再訪確率55%以上のユーザー

越後さん：「少年ジャンプ＋」ではログインボーナスを用意していました。熱心な人はそれを目当てに毎日ログインをしてコインを貯めていたんです。しかし、継続して使う人にまでコインを一律で配ってしまうと、毎日ログインをするモチベーションが下がってしまいます。仮説ですが、そのために逆にリテンションレートが低くなったのではないでしょうか。

従来のような一律でコインを配る施策では、コインを配っているにもかかわらず、コアなユーザ（再訪確率の高いユーザ）のリテンションが下がってしまうことが判明したのは驚きです。

機械学習を使った再訪率ごとの施策を実施するとコストが15%に

以上の結果をあわせてコスト計算をすると、機械学習を用いて再訪率ごとに施策を行うことによって、コストが従来の15%にまで抑えられるようになることが実験により明らかになりました。

今井さん：従来のやり方を100としたときに、今回のように機械学習を使ったときのコストは約15になることがわかりました。

再訪確率の高いユーザにコインを渡してしまうと、第一に、再訪確率が高いユーザが大量にコインを使ってしまい、第二に、再訪確率の高かったユーザの離脱確率が上昇してしまいます。前者のコストは従来のコストの3割程度を占めており、後者で失ったユーザを新たに得るために必要なコストは従来のコストの7割程度を占めています。

それに比べると、今回の取り組みは元々離脱しそうな人たちにのみ効果的にコインを配ることができるので、全体のコストは15%くらいになります。

コスト指数：従来のコストを1としたときの指数

チャーン予測を活用したSmart Audience機能をリリース！

この結果を踏まえてReproにSmart Audience機能が実装されます。

AIによる自動セグメンテーションを利用できる機能で、アプリから離脱しそうな（再訪しない）ユーザーを予測し、プッシュ通知やアプリ内メッセージ、広告連携機能のターゲットに指定することができます。

これにより、再訪を促す必要があるユーザのみにアプローチしてロイヤリティを高め、再訪を促すことが可能になります。大幅なマーケティングコストの削減につながるでしょう。

今後の展望を越後さんと今井さんに伺いました。

今後、機械学習をどのようにReproに組み込んでいくのか

越後さん：今回は2週間のデータから約10%という小さい誤差で再訪確率を予測することができました。しかし、今後はもう少し短い期間のデータで再訪率を予測できるようにできればと思っています。今回のケースでは2週間の行動データを用いましたが、言い換えると2週間以内にアプリを消してしまったユーザには施策を実行できません。アプリをダウンロードしてから数時間の短い期間のデータでユーザが再訪するかどうかを予測できるようにしなければなりません。

確かに、アプリを入れても数時間、数日で消してしまうことって多いですよね。なるべく早くユーザが離脱するのかを予測して、効果的にアプローチできるようにできればより効果的になります。

他にも展望を伺いました。

越後さん：また、アプリの特性にもよりますが、チャーン=離脱の定義がアプリによって異なってきます。月に1回しか使わないアプリなどでは予測の仕方を考えないといけないかもしれません。

今井さん：今回の取り組みでは、離脱する理由がわからないので、とりあえず一定のコインをユーザに配布しました。今後はUIやUXなど、どの部分でユーザが離脱しやすいのかの原因なども突き止められるようにできればいいなと思っています。

さいごに

今回は、あくまでも「少年ジャンプ＋」のアプリでの実証実験の結果です。アプリごとに頻度やUI・UXが異なるため、一概に同じような結果になるとは限りません。注意が必要です。しかし、他のアプリでも同じような傾向はあるそうです。

AI、機械学習は判断根拠のわからないブラックボックスな部分が非難されることがよくあります。今回のケースでは、再訪確率の判定理由がブラックボックスだからこそ、一定のコインをユーザに配布して、離脱率がどのように変化したのかを検証しました。今後は、離脱する「理由」の部分もうまく機械学習で実証できればさらにユーザ体験を向上できるようになります。

また、Reproは今回、一律2週間のデータを用いて実証実験を行いました。今後は、Reproのユーザが、ダッシュボードなどで独自のチャーンを定義できるようになれば、さらに細かな施策が可能になるかもしれません。モデルが洗練されて数時間のデータでも離脱が予測できるようになれば、よりおもしろくなりそうです。

おざけん

■AI専門メディア AINOW編集長 ■カメラマン ■Twitterでも発信しています。@ozaken_AI ■AINOWのTwitterもぜひ！ @ainow_AI ┃

AIが人間と共存していく社会を作りたい。活用の視点でAIの情報を発信します。