Show Menu
トピック×

実験設計スプレッドシート

このファイルは、ワークシートとしてだけでなく、テストに関する意思決定の記録としても機能します。
テストの設計に役立つ場合は、Adobeが提供するテスト設計スプレッドシート(デフォルトではVS Controlled Experient Design.xlsという名前)を使用できます。
テストデザインスプレッドシートでは、対象の指標が特定の条件を満たす訪問者の割合として定義されている場合にのみ、有用な統計的推論を提供できます。 つまり、訪問者ベースの指標仮説をテストする場合にのみ役立ちます。
テスト設計ファイルを使用してテストを設計するには
  1. Webサーバーまたはアプリケーションサーバーに管理者アクセス権を持っている場合は、Webクラスター内の任意の Sensor​Sensor マシン上のインストールフォルダーに移動します。 管理者アクセス権がない場合は、Adobeのアカウントマネージャーに問い合わせて、ファイルを要求してください。
  2. VS Controlled Experient Design.xlsファイルを開きます。 (必要に応じて、このファイルの名前を変更できます)。
    以下のページのスプレッドシートは、本ガイド全体で使用するサンプル仮説をテストする準備を行う際のスプレッドシートの完成例です。
  3. 次の表で説明する、このファイル内のすべてのフィールドに、青色でテキストまたは値を入力します。 2つ目のテーブルでは、計算済みのフィールドが定義されています。
このフィールド内…  
テストタイトル テストを説明する名前。
テストの説明 テキストに関する説明。
研究中の指標
テストの基になる指標の名前。
例:訪問者コンバージョン
指標の定義
テストの基となる指標の定義。
形式:訪問者[X]/訪問者
例: 訪問者[URI='conversionpage.asp']/訪問者
対象開始時間 テストを開始する日時。
終了予定時間 テストを終了する日時。
該当する選択 (オプション)データセットをさらにセグメント化するディメンション名と要素セットまたは範囲。
テストURI 仮説に関連するURI。 コントロール母集団の現在のURIと、作成した、またはテストグループ用に作成する代替URIを定義します。
アプリ選択の期待指標 Webサイトに対して予想される指標値の見出しです。
1日あたりの平均訪問者数 Webサイトへの1日あたりの平均訪問者数です。
訪問者コンバージョン Webサイトの平均訪問者コンバージョン率。
テスト・グループの指標名が…であるかどうかを判断する 指標値の比較方法を示す見出しです。
コントロール母集団の値より大きい? テスト中にテストグループの指標が増加したと結論付けるには、このフィールドをTrueに設定します。 結論を導くのに必要な訪問者の数を減らすには、このフィールドをFalseに設定します。 Adobeでは、この値をTrueに設定することを推奨します。
コントロール母集団の値より小さい? テスト中にテストグループの指標が減少したと結論付ける場合は、このフィールドをTrueに設定します。 Adobeでは、この値をTrueに設定することを推奨します。
最低(検出レベル) テストグループの指標をコントロール母集団の指標より高いまたは低くする割合。
少なくとも テストグループ値に対して必要な信頼性レベルです。 信頼性レベルは、指定された期待値が真である確率を測定するための偽陽性の数を決定します。
とPower Level テストグループ値に必要な電力レベルです。 電力レベルによって、偽陰性の数が決まります。
訪問者の% 訪問者値の割合の見出しです。
テストグループ テストグループに含める訪問者の割合。 この数値は、[訪問者]セクションの[合計(通常100%)]フィールドの値が、[最小訪問者必須] ([テスト+コントロール母集団])フィールドの値以上になるまで再生できます。これらは次の表で説明します。
コントロール母集団 コントロール母集団に含める訪問者の割合。
その他のデザインノート 今後の参照用に保存するメモ。
残りのフィールドは入力した値に基づいて計算され、次の表で説明します。
フィールド
説明
アプリ選択の期待指標
Webサイトに対して予想される指標値の見出しです。
期間ごとの予想訪問者数
このフィールドは通常、スプレッドシートで自動的に計算されます。 ほとんどの日に、Webサイトがリターン訪問者よりも多くの新しい訪問者を受け取るという想定に依存しています。 そうでない場合は、このセルの計算は、テスト中に予想される実際の訪問者数で上書きされます。
タイプIエラーの計算されたZスコア
偽陽性の結果のZスコアです。 これは中間の統計計算です。
タイプIIエラーの計算されたZスコア
偽陰性の結果のZスコアです。 これは中間の統計計算です。
必要な最小訪問者数(Test+コントロール母集団)
指定した信頼水準、電力レベルおよびZスコアを満たすためにテストに必要な最小訪問者数。「期間ごとの予測訪問者数」フィールドの値に対する割合で表されます。
必要な最小訪問者数(Test+コントロール母集団)
指定した信頼水準、電力レベル、Zスコアを満たすためにテストに必要な最小訪問者数。 この値は、「訪問者」セクションの「合計(通常100%)」フィールドの値以下にする必要があります。
テストの最小時間(日)
指定した信頼水準、電力レベル、Zスコアを満たすためにテストを実行する必要がある最小日数。 この計算された数値は、「期間ごとの予測訪問者数」フィールドで説明したのと同じ問題に従います。 再訪問者の多いWebサイトの場合、「Minimum Experiment Time (Days)」フィールドは、個別訪問者の数が「Minimum Experted」フィールドの値と等しくなるまでに予想される日数です。
訪問者
訪問者値の見出しです。
テストグループ
テストグループで必要な訪問者の数。
コントロール母集団
コントロール母集団で必要な訪問者の数。
合計(通常100%)
テストに必要な訪問者の合計数。 この値は、「必須の最小訪問者数(テスト+コントロール母集団)」フィールドの値以上である必要があります。
テストグループの精度(ターゲット信頼性レベル)
テストグループに対して計算された指標の測定値が、その真の値のこの割合内にあるという確率が、指定した信頼水準と等しい可能性があることを示す割合。
コントロール母集団の正確性(ターゲット信頼性レベル)
コントロール母集団に対して計算された指標の測定値が、その真の値のこの割合内にあるという確率が、指定した信頼水準と等しい可能性があることを示す割合。
zスコア(ターゲット精度)
指定した値の標準偏差の数は、テストの平均値から来ています。
実際の信頼性レベル(ターゲット間隔)
テストで達成した信頼水準。 信頼水準は、指定された期待値が真となる確率を測定します。
実際の間隔(ターゲットの信頼性レベル)
テストで得られる信頼区間。未知の母集団パラメーターを含むと考えられる値の予測範囲を提供します。 この範囲は、指定されたサンプルデータのセットから計算されます。
「必須訪問者(テスト+コントロール母集団)」フィールドの値を確認する必要があります。..
と比較し、 Visitors 列の合計フィールドの値と比較します。
テストが統計的に有効であるためには、「合計(通常100%)」フィールドの値が「最小訪問者必須(テスト+コントロール母集団)」フィールドの値と等しいかそれ以上である必要があります。
入力を見ると、例のワークシートで示すように、10,475人の訪問者がこの実験に参加し、入力された95%の信頼性率(この値を増やすことはできますが、任意の対照実験で最低推奨される信頼性)を達成する必要があります。 現在設計されているテストには30,000個の訪問者が含まれ、これは必要な最小限の訪問者数を大きく超えています。
日数を同じに維持する場合、訪問者の合計数が必要な最小値を満たし続けるかそれ以上になる限り、信頼性レベルを増やすことができます。
  1. レコード用にファイルを保存し、そのファイルの情報を使用してテスト設定スプレッドシートを使用してテストを設定します。 このスプレッドシートの詳細については、「テストの 設定と導入 」を参照してください。