Contenu connexe
Plus de Satoru Yamamoto (17)
営業向け ABテストの統計学 データアーティスト
- 3. Copyright© 2002-2014 Data Artist, Inc. All Rights Reserved. Page3Page3Page3Page3
アジェンダ
1
•CVRの真値の推定
2
•二つのクリエイティブの比較
3
•日毎のばらつきの計算
4
•期間の計算
- 5. Copyright© 2002-2014 Data Artist, Inc. All Rights Reserved. Page5Page5Page5Page5
お客さまからの質問
1000UUでCVRを測定したら
3%だったんですが
どれくらい信じれますか??
- 6. Copyright© 2002-2014 Data Artist, Inc. All Rights Reserved. Page6Page6Page6Page6
答え
CVRの本当の値は
80%の確率で2.3~3.7%
90%の確率で2.1~3.9%
95%の確率で1.9~4.1%の間に入っています。
- 7. Copyright© 2002-2014 Data Artist, Inc. All Rights Reserved. Page7Page7Page7Page7
CVRの真値を実測値から区間推定する
CVRの真値:UUを無限に増やしたときのCVR
UUを増やすほどCVRの測定値と真値は近づいていく。
UU
CVRCVR )1(
- 8. Copyright© 2002-2014 Data Artist, Inc. All Rights Reserved. Page8Page8Page8Page8
Excelのツールを使って計算しましょう!
DA_ABテスト統計ツール.xlsx
https://drive.google.com/file/d/0B3tXL03tgwNmSWlvRmZ1SGlRUm8/edit?usp=sharing
URLを開いて、ここからダウンロードしてください
- 9. Copyright© 2002-2014 Data Artist, Inc. All Rights Reserved. Page9Page9Page9Page9
Excelのツールを用いる
CVRの真値の分布を
求めています。
約99.9が入る範囲
までが描画されて
います。
- 10. Copyright© 2002-2014 Data Artist, Inc. All Rights Reserved. Page10Page10Page10Page10
Excelのツールを用いる
測定値±0.9%に
真値が有る確率は
90%です。
- 12. Copyright© 2002-2014 Data Artist, Inc. All Rights Reserved. Page12Page12Page12Page12
お客さまからの質問
二つのクリエイティブ1,2の
CVRを1000UUで測定したら
5%と3%だったんですが
1は2に勝ってると言えますか?
- 13. Copyright© 2002-2014 Data Artist, Inc. All Rights Reserved. Page13Page13Page13Page13
答え
99%の確率で1が2に勝っているといえます。
また88%の確率で1は2より1%以上勝っているといえます。
- 15. Copyright© 2002-2014 Data Artist, Inc. All Rights Reserved. Page15Page15Page15Page15
ツールを用いる
99%で1が2に
勝っているといえます。
88%で1が2に
1%以上勝っている
といえます。
- 17. Copyright© 2002-2014 Data Artist, Inc. All Rights Reserved. Page17Page17Page17Page17
お客さまからの質問
CVR3.0%だったページを
1000UUで測定し直したら
CVRが2.8%にさがってます!!
どういうことですか!!?
- 18. Copyright© 2002-2014 Data Artist, Inc. All Rights Reserved. Page18Page18Page18Page18
答え
CVRの真値が3.0%だったとしても
測定されるCVRはばらつきを持っています。
3.0%で1000UUの場合、CVRが2.8%より
大きくずれる可能性は70%以上ありますので
今回の差は充分起こりうることです。
- 19. Copyright© 2002-2014 Data Artist, Inc. All Rights Reserved. Page19Page19Page19Page19
真値と実測値の関係
1000UU用いた測定でCVRの実測値が3.0%の時
真値が存在する範囲
CVRの真値が3.0%の時
1000UUで実測させるCVRの範囲
≒
- 20. Copyright© 2002-2014 Data Artist, Inc. All Rights Reserved. Page20Page20Page20Page20
ツールを用いる
3±0.2%に収まる
確率は30%しかないため、
それよりばらつくことは
十分にあり得る。
- 22. Copyright© 2002-2014 Data Artist, Inc. All Rights Reserved. Page22Page22Page22Page22
お客さまからの質問
一日のUUが10000、
20クリエイティブをテストします。
今のCVRが5.0%で、
今度の施策で6.0%位には
上がると思うんですが、
何日テストをすれば良いですか?
- 23. Copyright© 2002-2014 Data Artist, Inc. All Rights Reserved. Page23Page23Page23Page23
答え
信頼度を90%にした場合、
有意にチャンピオンが勝っていることを
検証するのに4日、
チャンプが0.5%以上
勝っていることを検証するのに14日かかります。
- 25. Copyright© 2002-2014 Data Artist, Inc. All Rights Reserved. Page25Page25Page25Page25
まとめ
1
•CVRの真値の推定
•真値が存在する範囲を求められるようになった。
2
•二つのクリエイティブの比較
•有意なCVRの差を求められるようになった。
3
•日毎のばらつきの計算
•CVRのばらつきが確率的なものか他の要因かの判断が出来るようになった。
4
•期間の計算
•条件にあったテストを行うのに必要なテスト期間を求められるようになった。