2012年8月1日を最後にウェブサイトオプティマイザーがGoogleアナリティクスに統合されて早4ヶ月。
今まではできなかった深い分析が可能になっていることにお気付きでしょうか。
短期間で明確な結果がバチっとでれば文句はないですが、そうならない場合も多いのもまた事実。
ウェブテスト上の結果をそのまま鵜呑みにしていては勿体無いかもしれませんよ!?
今回は、ウェブテストによる、より詳しく効果的な分析をする為の３ポイントをご案内いたします。
■期間を限定する
これ、やっているよ。って思う方もたくさんいらっしゃるかと思いますが、通常ウェブテストでは、2週間から3か月の期間でデータを収集します。
個人的にはABテストに3ヶ月もかける必要ないと考えます。時間的な機会損失の方が大きいです。考え方としては、過去の経験上1ヶ月やって成果が不明確なものは3ヶ月運用したところで大きな差は出ないことが多いです。
多くのトラフィックのあるページ（かなり大規模とお考え下さい）でなければ、ウェブテストの性質上、確実に成果の違いがでないとツール上での判断が確定しない場合も多いので、ツールに頼りきらずに運用しているこちら側でしっかりと判断していく必要があります。
テストパターンを複数用意して多変量テスト的に運用していたり（多変量テストはできませんが、最大5パターンのテストパターンを設定することができます）、季節などの時期的な理由がなければ、同じ3ヶ月をテストするにしても、1ヶ月程度のサイクルで3回のテスト繰り返した方が成果に繋がる可能性が高いのです。
■数値を読み解く
そもそもきちんと数値を認識できていない担当者様も結構いらっしゃいます。
よくある質問を例にウェブテストの数値を読み解きましょう。
オリジナルページとテストページで訪問数が違い過ぎる
ウェブテスト上でテストページの訪問数に偏重がある場合があります。
約50％ずつ振り分けられているはずなのに訪問数が違い過ぎるといったご経験をされている方もいらっしゃるかと存じます。
ウェブテストは、テストをご希望のページに訪れる新規のユーザーの一部に対し、ブラウザ単位でクッキーを付与し、適切な効果測定のため同一クッキー保持者には同一のパターンしか見せしない仕組みとなっております。
例えば、オリジナルページとテストパターンで対象とするユーザーの割合を100％としていた場合、まずテストの対象となる新規のユーザーには特定のクッキーが発行され、オリジナルだけを見るユーザーとテストパターンだけを見るユーザーが50％ずつ存在します。
しかしながら、既存ユーザーには引き続きオリジナルが表示されますので、既存ユーザーも含めた全体のユーザーにおけますオリジナルを見るユーザーの割合はテストパターンと比べて高くなったりします。
ウェブテスト上のテストページへの訪問数と当該URLへのランディングページの訪問数が同一でない
『コンテンツ』のレポートではオリジナルのページとテストパターンのページのすべてのトラフィックがオリジナルのページのURLの下にまとめられますが、ウェブテストではそれぞれのパターン別でトラフィックが表示されるようになっているからです。
つまり、『コンテンツ』のレポートでの該当URLでは、ウェブテストとは関係なく直接ランディングしている数値となります。
また、オリジナルのページのURLへ、貴社サイトの同一ドメイン内のその他のページから到達可能なサイト構造の場合や、特定のユーザーがテスト開始前のオリジナルのページをブックマークし、貴社サイトの同一ドメイン内のその他のページを閲覧時に、ブックマーク経由でオリジナルのページを訪問した場合、必ずしもランディングページのオリジナルページの総訪問数が、ウェブテストの総訪問数と完全には一致しないことがあります。
また、10月頭にテストオプションの詳細設定が追加され、数値をコンテンツレポート向けに統合することもできるようになりました。
パターンのURLをオリジナルに書き換えることができる為、このオプションを利用する事でコンテンツレポートでは複数のテストページが1つのページとしてまとめられて、テストを関係なく全体の効果を確認できるようになります。もちろん、テストページでは別のものとして確認できます。
※ただし、パラメータが付いている場合はそのまま残された形で統合されます。
■セグメントする
例えばウェブテストのツール上でオリジナルとの比較や上回る可能性などが掲載されていますが、この数値もう一歩セグメントを加えることによって、より効果的な分析ができます。
例えば、簡単にできる例として、アドバンスセグメントを利用して、『新規』のみ『リピーター』のみにセグメントしてみて下さい。
オリジナルとテストパターンの単純なコンバージョン比較だけではなく、場合によっては新規のユーザーはテストページの方がCV率が高く、逆にリピート訪問のユーザーに対してはオリジナルページの方がCV率が高い。といった事もあり得ます。
テストを実施する前に設定したターゲットによっては、テスト結果と逆の判断に行き着く場合も十分にありえるからです。
会員非会員などのターゲットだけでなく、曜日、時間、オーガニック検索or広告、地域、デバイス、ソーシャルなど是非、様々なセグメントを加えて分析してみて下さい。
きっと今までにない一歩進んだ分析が可能になりますよ！
武井洋
