Show Menu
화제×

Experiment Design Spreadsheet

이 파일은 워크시트의 기능뿐만 아니라 실험에 대한 의사 결정 기록으로도 작동합니다.
실험 디자인에 도움이 필요한 경우 Adobe에서 제공한 실험 디자인 스프레드시트(기본적으로 VS Controlled Experiment Design.xls)를 사용할 수 있습니다.
실험 디자인 스프레드시트는 문제의 지표가 일부 기준을 충족하는 방문자의 백분율로 정의된 경우에만 유용한 통계 참조를 제공할 수 있습니다. 즉, 방문자 기반 지표 가설을 테스트할 때만 유용합니다.
실험 디자인 파일을 사용하여 실험을 디자인하려면
  1. 웹 또는 응용 프로그램 서버에 대한 관리자 액세스 권한이 있는 경우 웹 클러스터의 모든 Sensor 컴퓨터에서 Sensor 설치 폴더로 이동합니다. 관리자 액세스 권한이 없는 경우 Adobe 계정 관리자에게 문의하여 파일을 요청하십시오.
  2. VS Controlled Experiment Design.xls 파일을 엽니다. 원할 경우 이 파일의 이름을 변경할 수 있습니다.
    다음 페이지의 스프레드시트는 이 안내서 전체에서 사용된 예제 가설을 테스트하기 위해 준비할 때 스프레드시트를 완료하는 방법의 예입니다.
  3. 다음 표에 설명된 대로 이 파일의 모든 필드에 대해 파란색으로 텍스트나 값을 입력합니다. 계산된 필드는 두 번째 표에 정의되어 있습니다.
이 필드에서... 분류에 사용할
실험 제목 실험에 사용할 수사적 이름입니다.
실험 설명 실험에 대한 텍스트 설명입니다.
조사 중인 지표
실험 기반이 되는 지표의 이름입니다.
예:방문자 전환
지표 정의
실험 기반이 되는 지표의 정의입니다.
형식:방문자[X]/방문자
예:방문자 [URI='conversionpage.asp']/방문자
예상 시작 시간 실험을 시작할 날짜 및 시간입니다.
예상 종료 시간 실험을 종료할 날짜와 시간입니다.
적용 가능한 선택 (선택 사항) 데이터 세트를 추가로 세그먼트화할 차원 이름 및 요소 세트 또는 범위입니다.
실험 URI 당신의 가설에 관련된 URI입니다. 제어 그룹의 현재 URI와 테스트 그룹에 대해 만들었거나 만들 대체 URI를 정의합니다.
애플리케이션 선택에 대한 예상 지표 웹 사이트에 대해 기대하는 지표 값에 대한 제목입니다.
일별 평균 방문자 수 하루 평균 웹 사이트 방문자 수.
방문자 전환 웹 사이트의 평균 방문자 전환율입니다.
실험 테스트 그룹의 지표 이름이 ...인지 확인합니다. 지표 값을 비교하는 방법에 대한 제목입니다.
컨트롤 그룹 값보다 높습니까? 실험 중에 테스트 그룹의 지표가 증가되었다고 결론 내릴 수 있게 하려면 이 필드를 True로 설정합니다. 결론을 내리는 데 필요한 방문자 수를 줄이려면 이 필드를 False로 설정합니다. Adobe에서는 True로 설정하는 것이 좋습니다.
컨트롤 그룹 값보다 작습니까? 실험 중에 테스트 그룹의 지표가 감소한다고 결론 내릴 수 있게 하려면 이 필드를 True로 설정합니다. Adobe에서는 True로 설정하는 것이 좋습니다.
최소(감지 수준) 테스트 그룹의 지표가 제어 그룹의 지표보다 높거나 낮아야 하는 백분율입니다.
최소 신뢰 수준 테스트 그룹 값에 대해 원하는 신뢰 수준. 신뢰 수준은 표시된 기대가 참일 가능성을 측정하기 위해 잘못된 긍정의 수를 결정합니다.
테스트 그룹 값에 대해 원하는 전원 수준. 전원 수준에 따라 잘못된 네거티브 수가 결정됩니다.
방문자 % 방문자 값 백분율로 표시됩니다.
테스트 그룹 테스트 그룹에 포함할 방문자 비율입니다. 방문자 섹션의 합계(보통 100%) 필드의 값이 최소 방문자 필요(테스트+제어 그룹) 필드의 값보다 크거나 같을 때까지 이 숫자를 재생할 수 있습니다. 이 두 값 모두 다음 표에 설명되어 있습니다.
제어 그룹 제어 그룹에 포함할 방문자 비율입니다.
기타 디자인 노트 나중에 참조할 수 있도록 저장할 모든 메모
나머지 필드는 입력한 값을 기반으로 계산되며 다음 표에 설명되어 있습니다.
필드
설명
애플리케이션 선택에 대한 예상 지표
웹 사이트에 대해 기대하는 지표 값에 대한 제목입니다.
기간당 예상 방문자 수
이 필드는 일반적으로 스프레드시트에 의해 자동으로 계산됩니다. 웹 사이트는 대부분의 날 웹 사이트에서 재방문자보다 더 많은 새 방문자를 받는 것으로 가정하고 있습니다. 이 경우 이 셀의 계산을 실험 중에 예상 실제 방문자 수로 덮어써야 합니다.
유형 I 오류에 대한 계산된 Z 점수
Z 점수로 거짓 긍정 결과를 얻을 수 있습니다. 이것은 중간 통계 계산이다.
유형 II 오류에 대한 계산된 Z 점수
Z 점수를 잘못 음수로 만듭니다. 이것은 중간 통계 계산이다.
필요한 최소 방문자 수(Test+Control 그룹)
지정된 신뢰 수준, 전원 수준 및 Z 점수를 충족하기 위해 테스트에 필요한 최소 방문자 수는 기간당 예상 방문자 수 필드에 값의 백분율로 표시됩니다.
필요한 최소 방문자 수(Test+Control 그룹)
지정된 신뢰 수준, 전원 수준 및 Z 점수를 충족하기 위해 테스트에 필요한 최소 방문자 수입니다. 이 값은 방문자 섹션의 합계(일반적으로 100%) 필드의 값보다 작거나 같아야 합니다.
최소 실험 시간(일)
지정된 신뢰 수준, 전원 수준 및 Z 점수를 충족하기 위해 실험을 실행하는 데 필요한 최소 일 수입니다. 이 계산된 수는 기간당 예상 방문자 수 필드에 설명된 것과 동일한 문제를 따릅니다. 재방문자가 많은 웹 사이트의 경우 최소 실험 시간(일) 필드는 최소 방문자 필요 필드의 값과 같은 고유 방문자 수를 보는 데 걸리는 예상 일수입니다.
방문자 수
방문자 값에 대한 제목입니다.
테스트 그룹
테스트 그룹에 필요한 방문자 수입니다.
제어 그룹
제어 그룹에 필요한 방문자 수입니다.
합계(보통 100%)
실험에 필요한 총 방문자 수. 이 값은 필요한 최소 방문자 수(테스트+제어 그룹) 필드의 값보다 크거나 같아야 합니다.
테스트 그룹 정확도(타겟 신뢰 수준)
테스트 그룹에 대해 계산된 지표의 측정된 값이 실제 값의 이 퍼센트 내에 있을 수 있는 지정된 신뢰 수준과 같은 가능성이 있음을 나타내는 백분율입니다.
그룹 정확도 제어(타겟 신뢰 수준)
제어 그룹에 대해 계산된 지표의 측정된 값이 실제 값의 이 퍼센트 내에 있을 수 있는 지정된 신뢰 수준과 같은 가능성이 있음을 나타내는 백분율입니다.
Z 점수(타겟 정확성)
주어진 값이 테스트 평균에서 나온 표준 편차의 수입니다.
실제 신뢰 수준(타겟 간격)
실험에 대한 신뢰 수준. 신뢰도는 명시된 기대가 실현될 가능성을 측정합니다.
실제 간격(타겟 신뢰 수준)
알 수 없는 모집단 매개 변수를 포함할 수 있는 값의 예상 범위를 제공하는 실험에 대해 달성된 신뢰 구간. 이 범위는 주어진 샘플 데이터 세트에서 계산됩니다.
필요한 최소 방문자 수(테스트+제어 그룹) 필드에서 값을 확인해야 합니다...
을 Visitors 열의 합계 필드에 있는 값과 비교합니다.
실험 결과를 통계적으로 유효화하려면 # 필드의 값이 # 필드의 값보다 크거나 같아야 합니다.
제공된 입력과 함께 예제 워크시트는 10,475명의 방문자가 95% 신뢰 비율(이 숫자를 늘릴 수 있지만 제어 실험에 대해 제안된 최소 신뢰)을 달성하려면 이 실험에 참여해야 한다는 것을 보여줍니다. 현재 디자인된 이 실험에는 최소 방문자 수를 훨씬 넘는 30,000명의 방문자가 포함되어 있습니다.
일 수를 동일하게 유지하는 경우 총 방문자 수가 회의를 계속하거나 필요한 최소 수를 초과하는 한 신뢰 수준을 높일 수 있습니다.
  1. 기록을 위해 파일을 저장한 다음 파일의 정보를 사용하여 실험 구성 스프레드시트를 사용하여 실험을 구성합니다. 이 스프레드시트에 대한 자세한 내용은 실험 구성 및 배포를 참조하십시오 .