見出し画像

データを制するものは広告運用を制す!Smartlyのテスト機能

お客様から「今まで Facebook 管理画面から A/B テストを設定してたんだけど、Smartly.io のテスト機能のほうが良いの?」っていう質問をいただきました。

いい機会なので、機能の説明に加えて、広告テストを行う際の注意点や、知られてないけどこんなテストも有効なんだよっていう事例を紹介したいと思います!(Facebook 以外の広告にも、概念は適用可能です)

なお文字読むのが嫌いな方は、下記 URL から (ぼくの肉声つきで) 実際の管理画面を見ながらの解説動画をご覧ください。

https://avatouch.net/preview?id=434c053994d341cf807dc2cf81eea6b3

広告テストと統計

良い広告効果を出すために、マーケターの皆さんは日々様々なテストを実施されているのではないかと思います。(もしやられてない方は是非やることをお勧めします)

なんですが、Facebook のツールを使ってテストを行うときにこのような悩みを持った方も多いのではないでしょうか?

『具体的に何コンバージョンあれば & いくらぐらいお金を使えば、統計的に有意な差異を証明できたといえるのか?』

Smartly.ioのテストツール (1)

例えばクリエイティブが 2 つあって、どっちがパフォーマンスが良いかをテストするとき、split test (※) を行うのですが、何コンバージョンぐらい発生したら統計的に『こっちのクリエイティブのほうが成果が良い』と言えるのか、ぱっと答えられる方いますか?

※split test = ユーザーを無作為にいくつか (今回であれば 2 つ) のグループに分け、それぞれのグループがもう片方から影響を受けないようにした上で、効果を測定し比較する手法。例えば、グループ A には広告 A だけしか見せない、グループ B には広告 B だけしか見せないように設定し、それ以外の条件を全く同じにすれば、一定以上のサンプル数が集まれば統計的に広告 A/B どちらの効果がどれぐらい高いかを言える。

例えば、A は 1 件、B は 2 件しかコンバージョン出てない段階では、『B のほうが 2 倍効果がいい!』とは統計的にもちろん言えず、たまたまそっちの方が今はいいだけ、という判断になります。

かといって、合計で 10 万コンバージョン集まってから評価しましょうとなると、サンプル数をたくさん集めるためだけに非常に大きなコストがかかってしまうことになってしまいます。

統計学の授業をしっかり受けて覚えている人 (データアナリストとか) がいれば、手で『必要なサンプル数』を計算したり、結果をから正しくインサイトを引き出すことが出来るのですが、なかなか難しいですよね。
ぼくも大学で統計の単位は取りましたが、計算方法まで覚えていないです。。

で、Smartly.io のツールを使うとその辺が解決されるので、そちらについて簡単に説明します。

Smartly.io のテストツール

こちらの画面がスマートにの管理画面です。色々な種類のテストを設定できるのですが、今回は split test を例にとって説明します。

画像2

この画面でテストの設定を行うのですが、まずはパフォーマンスの測定を何の KPI で行うのか (上記スクショでは "購買" の pixel イベントになっています) を決めます。Smartly.io のツールを使うと、Facebook のイベントだけでなく、Google Analytics, Adjust, AppsFlyer などサードパーティツールの数字や、オフラインコンバージョンの数字を設定することも可能になります。

その下にあるスライドで
✅ smallest statistical difference (最小統計的差異)
✅ confidence level (信頼度)
✅ statistical power (統計的パワー)
の 3 つの項目を任意に決めることができます。

smallest statistical difference (最小統計的差異) とは、簡単に言うと『どれぐらい細かい差を見たいか』というもの。例えば、50% ぐらいのざっくりとした差を見れば十分というときと、5% ぐらい細かい差まできちんと見たいというときでは、後者のほうが必要なサンプル数が多くなります。

画像3

confidence level (信頼度) と statistical power (統計的パワー) は、『どれぐらい "確からしい" 統計結果を得たいか』です。より高い確からしさを求めるのであれば、より多くのサンプル数が必要です。

画像4

んで、だいたい 1 コンバージョンあたり幾らのコストがかかるのかを入力すると、必要なコンバージョン数と掛け合わせて、テストで必要なコストの予想を出してくれます。

これを使えば、テストを始める前に『必要なコンバージョン数』『必要な予算』が分かり、そのために『必要な期間』も (過去の傾向から) ざっくり分かるということです。

split test の際に注意すべき点

split test を行う際は、検証項目以外の条件は全て同じにしておくことが重要です。

例えばクリエイティブの A/B テストを行う際、グループ A にはクリエイティブ  A を、グループ B にはクリエイティブ B を配信します。が、例えば片方のグループ (キャンペーンまたは広告セット) のほうが予算が大きかったり、オーディエンスが違ったりすると、結果が出た後、パフォーマンスが良かった悪かった要因が本当に "クリエイティブの差" によるものなのかが分からなくなってしまうんですよね。

検証する項目以外の事項はすべて全く同じ条件に!っていうのを絶対忘れないようにしてください。テストに出ます。

テスト結果

統計的に十分なサンプル数が集まると、結果が Smartly.io 上でこんな風に表示されます。

画像5

このスクショでいうと、グループ B のほうが A よりもパフォーマンス (CTR) が良かった、というのが結論になります。どれぐらい良かったのかというと
✅ 95% の確からしさで、0.056pt (-8%)
✅ 50% の確からしさで、0.091pt (-12%)
✅ 5% の確からしさで、0.126pt (-17%)
となります。(サンプル数が増えれば増えるほど、確からしさが増します) 

前提として、組織として『統計的に 80% 以上確からしい結果に基づいて決める』という風に意思決定のルールを定めておけば、「なんとなくこっちの方が良かったんじゃないかな」ではなく、自信を持って『データドリブンな』組織運営、正確な意思決定が出来るようになるのでオススメです。

より発展的なテスト手法

皆さんがよくやられるのはこういうシンプルな A/B テストだと思いますが、実際にはもっと色んなテストの手法があります。

先進的な広告主はこれらを活用して新しい施策を実施し、評価し、上手くいったものを戦略の一環として採用するというのを繰り返しています。

いくつか具体例を紹介します。

画像6

A/B テストで
①片方は "パフォーマンス" キャンペーンのみ
②もう片方は "パフォーマンス" と "ブランディング" キャンペーン
を配信。

これにより、ブランディングキャンペーンがどれくらいパフォーマンス指標に影響を与えたかを見るのが狙いです。

刈り取り系の施策ばっかりやっていると焼き畑になるので、母数を増やす、よりファネル上部の認知系の施策もやったほうが良いってよく言いますよね。

このようなテストをすることで、その効果をきちんと可視化することができます。

画像7

これは上記と同様に "パフォーマンス" と "ブランディング" キャンペーンを組み合わせるパターンなのですが、その予算の比率を【9:1】にした時と【7:3】にした時とで、どっちがパフォーマンスがいいのかを比較しています。

ファネルの上部にあるブランディングキャンペーンにどれぐらいの比率の予算を割り振ると、パフォーマンスが最も良くなるのかを把握するのが目的です。

画像8

こちらは 2 つではなく 3 つのグループを使ってのテストです。例えばフリクエンシー、つまり同じユーザーに何回ぐらい広告を見せるのがベストなのかを把握したいとします。

グループ A には 1 週間に 1 回しか広告見せない、グループ B には 2 回まで、最後のグループ C にはフリクエンシーキャップをかけず、何回でも広告を見せる...という風に設定。どれが最もコスト対効果が高いのかを見ることで、同じ広告を同じユーザーに何度ぐらい見せるとパフォーマンスが落ちるのか (あるいは落ちないのか) を知ることができます。

画像9

Facebook 広告には様々な最適化の種類があり、どれが最も高いパフォーマンスをもたらすかをテストするのは有効です。例えばブランディングキャンペーンで、リーチ・認知・動画視聴など最適化ポイントを変えた 3 つのグループで split test を行うことで、どれが最もブランド指標に効いたのかを検証できます。

画像10

同じくブランドリフトのテストですが、今度はクリエイティブの効果検証です。プロダクトにフォーカスした動画にするのと、より感情に訴えかけるような動画にするのとで、どっちがパフォーマンスが良い悪いを判断するとかですね。

最後に / お問い合わせ

といった風に、いろんな仮説を検証するため、適切なテストの設定方法を知っておくことは有効です。

これらをうまく活用することで、例えばこれまでパフォーマンス系の刈り取りしかやってない方にとって、ブランディング・認知系のキャンペーンもやってビジネスを伸ばすという武器が手に入ります。その際どんなクリエイティブで、どれぐらいの予算配分をするのが良いか、といったことも、データに裏付けられた正しい意思決定を行うことが出来るようになるのです。

色々とプラスがあるので、是非是非ご検討ください。Smartly.io に一度ラフに相談してみたいって方は、こちらのフォームから気軽にお問い合わせくださいね。

↑資料請求・お問い合わせはこちらから

この記事が気に入ったら、サポートをしてみませんか?
気軽にクリエイターの支援と、記事のオススメができます!
Tatsuo Sakamoto (坂本 達夫)

この記事が学びになったよという方は、少しでもサポートいただけると、今後も役に立つ記事を書くモチベーションになります。記事への「スキ」やSNSシェアも大歓迎です!応援してください!

記事へのスキのお礼メッセージがここに表示されます
モバイルアプリマーケティングの専門家です。外資系広告プラットフォーム企業勤務。ちょっぴりエンジェル投資なんかもしてます。アプリ開発もやってます。