自動分配總覽

一個 自動分配 中的活動 Adobe Target 會從兩個或多個體驗中識別獲勝者,並自動重新分配更多流量給獲勝者以增加轉換,同時測試會繼續執行和學習。

建立A/B活動 使用三步驟引導式工作流程,選擇 自動分配至最佳體驗 上的選項 目標定位 頁面(步驟2)。

挑戰 section_85D5A03637204BACA75E19646162ACFF

標準 A/B 測試有其固有成本。您必須耗費流量來測量每個體驗的效能,並透過分析來定奪勝出體驗。即使在您認定某些體驗勝過其他體驗之後,流量分布仍然固定。另外,很難決定樣本大小,必須等到活動執行完整個過程,您才能對獲勝者採取動作。此外,已識別的獲勝者仍有可能不是真正的獲勝者。

解決方案: 自動分配 section_98388996F0584E15BF3A99C57EEB7629

一個 自動分配 活動可減少決定成功體驗的成本與額外負荷。 自動分配會監控所有體驗的目標量度效能,並依比例將更多新加入者安排到表現優異的體驗。有足夠的流量保留來探索其他體驗。即使活動仍在執行,您也可以看到測試帶給結果的好處: 最佳化與學習同步進行。

自動分配會逐漸將訪客移往勝出體驗,您不必等到活動結束才決定獲勝者。您會更快從提升中受益,因為原本安排到較差體驗的活動加入者會看到潛在的勝出體驗。

中的正常A/B測試 Target 僅顯示具有控制項的挑戰者配對比較。 例如,如果活動有體驗:A、B、C和D,其中A是控制項,則為正常 Target A/B測試會比較A與B、A與C以及A與D。

在此類測試中,大多數產品包括 Target,使用 韋爾奇的t檢定 以產生p值型信賴度。 接著,此信賴值用來判斷挑戰體驗與控制體驗是否明顯不同。不過, Target 不會自動執行尋找「最佳」體驗所需的隱含比較(B對C、B對D、C對D)。 因此,市場行銷人員必須手動分析結果,才能決定「最佳」體驗。

自動分配會對所有體驗執行全部的隱含比較,以產生「真正」贏家。測試中沒有「控制」體驗的概念。

自動分配 智慧地分配新訪客給體驗,直到最佳體驗的信賴區間與任何其他體驗的信賴區間不重疊。 這個過程通常會產生誤判,但是 自動分配 使用的信賴區間是根據 Bernstein不等式 以補償重複評估。 此時,就會有真正的贏家。 時間 自動分配 停止,假設對到達頁面的訪客沒有顯著的時間相依性,則至少有95%的機會會 自動分配 傳回其真實回應不比成功體驗的真實回應差1% (相對)的體驗。

使用時機 自動分配 與 A/B測試 或 Automated Personalization 活動 section_3F73B0818A634E4AAAA60A37B502BFF9

  • 當您想要從一開始便最佳化活動,並盡快識別勝出體驗時,請使用​ 自動分配。透過更頻繁地提供高效能體驗,整體活動效能得以提升。
  • 使用標準 A/B測試 當您想要在最佳化網站之前表徵所有體驗的效能時。 A/B測試可協助您將所有體驗排名,而 自動分配 尋找表現最好的人,但不保證表現較差的人之間會有區別。
  • 使用 Automated Personalization 當您想要將最複雜的演演算法最佳化時,例如根據個人設定檔屬性建立預測的機器學習模型。 自動分配 會檢視體驗的整體行為(如同標準A/B測試),不會區別訪客。

的主要優點 自動分配 section_0913BF06F73C4794862561388BBDDFF0

  • 保留 A/B 測試的的嚴謹度
  • 比手動 A/B 測試更快找出統計意義上的顯著成功者
  • 比手動 A/B 測試提供更高的平均促銷活動提升度

術語 section_670F8785BA894745B43B6D4BFF953188

討論下列詞語時,相當實用 自動分配:

多臂吃角子老虎機: ​最佳化的多臂吃角子老虎機方法可平衡探索學習和該學習的利用。

演演算法運作方式 section_ADB69A1C7352462D98849F2918D4FF7B

背後的整體邏輯 自動分配 會結合所測量的效能(例如轉換率)和累積資料的信賴區間。 有別於標準A/B測試在體驗之間平均分割流量, 自動分配 會變更不同體驗之間的流量分配。

  • 80% 的訪客是透過下述的智慧型邏輯來分配。
  • 20%的訪客會隨機指派到所有體驗,以因應不斷變化的訪客行為。

在利用表現良好的體驗時,多臂吃角子老虎機法會保留一些體驗以供探索。除了將更多的新訪客安排到表現較佳的體驗,仍然能夠隨情況變化而做出反應。這些模型至少每一小時更新一次,以確保模型是對最新資料做出反應。

隨著越多訪客進入活動,有些體驗會開始變得更成功,而更多流量會分配給成功體驗。20% 的流量會持續地隨機供應,以探索所有體驗。如果其中一個表現較差的體驗開始有較好的表現,則會分配更多流量給該體驗。或者,如果表現較佳的活動變得較不成功,則分配給該體驗的流量會變少。例如,若某事件促使訪客在您的媒體網站上尋找不同資訊,或您的零售網站上的週末銷售提供不同的結果。

下圖代表演演算法可能在測試期間對四個體驗(按一下以展開圖)的執行方式:

w-600 modal-image
自動分配影像

圖中顯示分配給每個體驗的流量如何經歷活動期限的幾個回合而增加,直到確定完勝贏家為止。

四捨五入
說明
img-md
w-200 modal-image
熱身回合

熱身回合 (0): 在熱身回合期間,每個體驗會獲得相等的流量分配,直到活動中的每個體驗至少有 1,000 位訪客和 50 次轉換為止。

  • 體驗 A=25%
  • 體驗 B=25%
  • 體驗 C=25%
  • 體驗 D=25%

每個體驗獲得1,000位訪客和50次轉換後, Target 開始自動流量分配。 所有分配皆透過回合輪翻進行,每個回合會挑出兩個體驗。
只有兩個體驗會前進到下一個回合:D和C。
往後移動表示這兩個體驗平均分配80%的流量。其他兩個體驗會持續參與,但只有在新訪客進入活動時,才會作為20%隨機流量分配的一部分提供。
所有分配每小時更新一次 (如沿著上面 x 軸的回合所示)。每個回合之後會比較累積資料。

img-md
w-200 modal-image
第 1 回合

第 1 回合: 在此回合中,80% 的流量分配給體驗 C 和 D (各 40%)。20% 的流量隨機分配給 A、B、C、D (各 5%)。在此回合中,體驗 A 表現良好。

  • 演演算法會挑選體驗D來進行下一個循環,因為它有最高的轉換率(如每個活動的垂直比例尺所指示)。
  • 演算法還會挑選體驗 A 來前進,因為相較於剩餘的體驗,它的 Bernstein 95% 信賴區間上界最高。

體驗 D 和 A 會前進。

img-md
w-200 modal-image
第 2 回合

第 2 回合: 在這個回合中,80%的流量會分配給體驗 A 和 D (各 40%)。20% 的流量會隨機分配,因此,這表示 A、B、C 和 D 每個都會獲得 5% 的流量。在此回合中,體驗 B 表現良好。

  • 演演算法會挑選體驗D來進行下一個循環,因為它有最高的轉換率(如每個活動的垂直比例尺所指示)。
  • 演算法還會挑選體驗 B 來前進,因為相較剩餘的體驗,它的 Bernstein 95% 信賴區間上界最高。

體驗 D 和 B 會前進。

img-md
w-200 modal-image
第 3 回合

第 3 回合: 在這個回合中,80%的流量會分配給體驗 B 和 D (各 40%)。20% 的流量會隨機分配,因此,這表示 A、B、C 和 D 每個都會獲得 5% 的流量。在此回合中,體驗 D 持續表現良好,體驗 C 也表現良好。

  • 演演算法會挑選體驗D來進行下一個循環,因為它有最高的轉換率(如每個活動的垂直比例尺所指示)。
  • 演算法還會挑選體驗 C 來前進,因為相較於剩餘的體驗,它的 Bernstein 95% 信賴區間上界最高。

體驗 D 和 C 會前進。

img-md
w-200 modal-image
第 4 回合

第 4 回合: 在此回合中,80% 的流量分配給體驗 C 和 D (各 40%)。20% 的流量會隨機分配,因此,這表示 A、B、C 和 D 每個都會獲得 5% 的流量。在此回合中,體驗 C 表現良好。

  • 演演算法會挑選體驗C來進行下一個循環,因為它有最高的轉換率(如每個活動的垂直刻度所示)。
  • 演算法還會挑選體驗 D 來前進,因為相較於剩餘的體驗,它的 Bernstein 95% 信賴區間上界最高。

體驗 C 和 D 會前進。

img-md
w-200 modal-image
第 n 回合

回合 n:隨著活動進行,表現優異的體驗會開始浮現,過程會持續到出現勝出體驗為止。當轉換率最高的體驗和任何其他體驗的信賴區間不重疊時,即會標示為獲勝者。 A 徽章會顯示在成功活動的頁面上 和 活動 清單。

  • 演算法會挑選體驗 C 成為確定贏家.

此時,演算法會將 80% 的流量供應給體驗 C,而 20% 的流量持續地隨機供應給所有體驗 (A、B、C、D)。C 總共獲得 85% 的流量。在很罕見的情況下,萬一獲勝者的信賴區間又開始重疊,演算法會回復到上面回合 4 的行為。

重要: 如果您在過程中太早手動選擇獲勝者,很容易會選出錯誤的體驗。因此,最好等待演算法決定勝出體驗。

NOTE
如果活動只有兩個體驗,則兩個體驗會獲得相等的流量,直到 Target 找到75%信賴度的成功體驗。 到那時,三分之二的流量會分配給成功者,三分之一分配給失敗者。 之後,當體驗達到95%信賴度時,90%的流量會分配給獲勝者,而10%會分配給失敗者。 Target 一律會傳送一些流量給「遺失」體驗,以避免最後的誤判(也就是說,維持一些探索)。

之後 自動分配 活動已啟動,從Tar進行下列操作不允許取得UI:

  • 將「流量配置」模式切換為「手動」
  • 變更目標量度類型
  • 變更「」中的選項進階設定「面板

瞭解自動分配如何運作

如需詳細資訊,請參閱 自動分配讓您能比手動測試更快速地測試果並獲得更高的收入.

注意事項 section_5C83F89F85C14FD181930AA420435E1D

使用時,請考慮下列資訊 自動分配:

此 自動分配 功能只適用於一個進階量度設定: 增加計數並讓使用者留在活動中

不支援下列進階量度設定: 遞增計數, 發行使用者, 允許重新進入和增加計數、和 釋放使用者並禁止重新進入.

經常再度訪問的訪客會抬高體驗轉換率。

如果一位見到體驗 A 的訪客經常再度訪問且多次轉換,則體驗 A 的轉換率 (CR) 會不自然地提高。將此結果與體驗B進行比較,後者訪客轉換但不常回訪。 因此,體驗A的CR看起來比體驗B的CR更好,因此新訪客更有可能分配至A而不是B。如果您選擇對每個加入者計算一次,A的CR和B的CR可能會相同。

如果再度訪問的訪客隨機分佈,則對轉換率的影響很可能互相抵銷。為了減輕這種效應,請考慮將目標量度的計數方法變更為每一個加入者只算一次。

區別較佳表現者,而非較差表現者。

自動分配擅長區別表現優異的體驗 (並找出獲勝者)。有時,表現不佳的體驗之間沒有足夠的差異性。

如果您想要在所有體驗之間產生統計上顯著的差異,可以考慮使用手動流量分配模式。

時間相關 (或隨情境變化) 的轉換率可能扭曲分配量。

在標準A/B測試中因會影響所有體驗而可忽略的某些因素,在 自動分配 活動。 演算法易受觀察的轉換率所影響。

可能以不同程度影響體驗效能的因素範例如下:

  • 具有不同內容(時間、位置、性別等)相關性的體驗。

    例如:

    • 「歡樂星期五」導致星期五的轉換偏高。
    • 「週一快速啟動」週一的轉換率較高。
    • 「Gear up for an East-coast winter」在東海岸或受冬季影響的位置提供較高的轉換率。

    使用具有不同內容關聯性的體驗可能會使結果產生偏差 自動分配 測試的時間比A/B測試長,因為A/B測試會分析較長期間的結果。

  • 體驗的延遲轉換時間不同,可能是由於消息的迫切性。

    例如,「七折促銷只到今天」暗示訪客今天應該成交,但「首購五折」就不會讓人感到相同的急迫性。

常見問題集 section_0E72C1D72DE74F589F965D4B1763E5C3

在使用時查詢下列的常見問答 自動分配 活動:

會 目標分析 (A4T)支援 自動分配 活動?

是.如需詳細資訊,請參閱「自動分配」和「自動鎖定目標」活動的 A4T 支援

再度訪問的訪客會自動重新分配到表現優異的體驗嗎?

無.只會自動重新分配新的訪客。再度訪問的訪客會繼續看見其原始體驗,以保護A/B測試的有效性。

演算法如何處理誤判?

如果您等待到獲勝者徽章出現,演算法可保證 95% 可信度或 5% 誤判率。

何時 自動分配 開始配置流量?

當活動中的所有體驗皆至少有 1,000 位訪客和 50 次轉換之後,演算法就開始運作。

演算法的利用積極性如何?

80%的流量是透過以下方式提供: 自動分配 和20%的流量是隨機提供的。 識別出獲勝者時,80%的流量會流向該獲勝者,而所有體驗仍會隨著20%的流量繼續獲得一些流量,包括獲勝者體驗。

到底會不會顯示失敗體驗?

是.多臂吃角子老虎機會確保至少保留 20% 的流量,以供探索所有體驗不斷變化的模式或轉換率。

轉換延遲很久的活動會如何?

只要所有要最佳化的體驗皆面臨類似的延遲,行為就同於轉換週期較快的活動。 不過,在流量分配程式開始之前,需要更長的時間才能達到50次轉換臨界值。

如何 自動分配 不同於 Automated Personalization?

自動個人化根據每個訪客的設定檔屬性來決定最佳體驗。這樣做不僅會最佳化,還會將該使用者的活動個人化。

自動分配另一方面,是A/B測試,可產生彙總成功者(最熱門的體驗,但不一定是每個訪客最有效的體驗)。

再度訪問的訪客會在我的成功量度上增加轉換率嗎?

目前,邏輯偏好快速轉換或瀏覽較頻繁的訪客,因為這類訪客會暫時誇大其所屬體驗的整體轉換率。 演算法會經常自行調整,因此,轉換率提高每次皆會放大。如果網站獲得大量回訪訪客,其轉換可能會導致其所屬體驗的整體轉換率膨脹。 再度訪問的訪客極可能是隨機分布,在此情況下,集體效應 (提升度增加) 會互相抵銷。為了減輕這種效應,請考慮將成功量度的計數方法變更為每一個加入者只算一次。

我可以在使用時使用樣本大小電腦嗎? 自動分配 來預估活動識別出獲勝者所需的時間?

您可以使用現有的 Adobe Target 樣本大小電腦 以取得測試執行時間的預估值。 (和傳統A/B測試一樣,如果您測試兩個以上的選件或多個轉換量度/假設,請套用Bonferroni校正。) 此計算器專為傳統的固定地平線A/B測試所設計,僅提供預估值。 將計算器用於 自動分配 活動為選用,因為 自動分配 為您宣告獲勝者。 您不需要挑選固定的時間點來檢視測試結果。 提供的值在統計上一律有效。

內部 Adobe 實驗發現以下內容:

  • 當測試兩個體驗時, 自動分配 當體驗之間的效能差異很大時,尋找成功者的速度會比固定總時程測試(即樣本大小電腦建議的時間範圍)更快。 不過, 自動分配 當體驗之間的效能差異很小時,可能需要額外的時間來識別獲勝者。 在這些情況下,固定總時程測試通常會在沒有統計上顯著結果的情況下結束。
  • 測試兩個以上的體驗時, 自動分配 當單一體驗的表現遠遠勝過所有其他體驗時,尋找成功者的速度會比固定總時程測試(即樣本大小計算器建議的時間範圍)更快。 當兩個或多個體驗都和其他體驗「獲勝」,但彼此非常相符時, 自動分配 可能需要額外的時間,才能判斷哪一種更優秀。 在這些情況下,固定範圍測試通常會以總結「成功」體驗優於表現較差的體驗結束,但未識別出哪個體驗更佳。

是否應從移除表現不佳的體驗 自動分配 活動來加速決定獲勝者的程式?

沒有必要移除表現缺佳的體驗。 自動分配 會自動增加提供高成效體驗的頻率,並減少提供表現不佳的體驗的頻率。 在活動中保留表現缺佳的體驗不會大幅影響決定獲勝者的速度。

20% 的訪客是隨機分配到所有體驗。系統會將提供給表現缺佳的體驗的流量減至最少(20%除以體驗數量)。

我可以透過以下專案半途變更目標量度嗎? 自動分配 活動? change-metric

Adobe 不建議您在活動中途變更目標量度。 雖然在活動期間有可能使用 Target UI 變更目標量度,您應該總是開始一個新的活動。Adobe 無法保證您在活動執行後變更目標量度會發生什麼情況。

此推薦適用於 自動分配、自動鎖定目標,以及 Automated Personalization 活動 (使用 Target 或 Analytics (A4T) 成作為報告來源。)

我可以在自動分配活動中途變更報表來源嗎? change-reporting

Adobe 不建議您在活動中途變更報表來源。 雖然可以變更報表來源(從 Target 到A4T或以相反的方式) Target UI,您應該總是開始一個新的活動。 Adobe 無法保證您在活動執行後變更報表來源時,會發生什麼情況。

此推薦適用於 自動分配、自動鎖定目標,以及 Automated Personalization 活動 (使用 Target 或 Analytics (A4T) 成作為報告來源。)

我可以使用 重設報表資料 選項 自動分配 活動?

使用 重設報表資料 選項 自動分配 不建議使用活動。 雖然此選項會移除可見的報表資料,它不會移除報表中的所有訓練記錄, 自動分配 模型。 不要使用 重設報表資料 選項 自動分配 活動、建立新活動和停用原始活動。 (本指引亦適用於 自動鎖定目標 和 Automated Personalization 活動。)

如何 自動分配 建立環境相關模型?

自動分配 僅根據預設環境中記錄的流量和轉換行為來建置模型。 根據預設, 生產 是預設環境,但預設環境可在以下位置變更: Target (管理>環境)。

如果點選發生在其他(非預設)環境中,流量會根據在預設環境中觀察到的轉換行為分配。 該點選的結果(轉換或非轉換)會記錄下來以用於報表用途,但不會考慮在 自動分配 模型。

選取其他環境時,報表會顯示該環境的流量和轉換。 報表的預設選定環境為已選取的帳戶範圍預設值。 預設環境無法根據每個活動進行設定。

可以 自動分配 活動是否在測試過程中調整回顧期間以考慮隨時間改變趨勢?

例如,活動是否可考慮12月份來決定如何分配流量,而非檢視9月的訪客資料(測試開始的時間)?

否, 自動分配 考量整個活動的效能。

如果成功體驗和訪客在取得活動資格時看到的不同,自動分配 是否會向回訪訪客顯示成功體驗?

自動分配 基於與以下相同的原因,使用粘性決策: A/B測試 活動有粘性。 流量分配僅適用於新訪客。

培訓影片 section_893E5B36DC4A415C9B1D287F51FCCB83

以下影片含有本文章探討之概念的詳細資訊。

活動工作流程 - 鎖定目標 (2:14) Tutorial badge

此視訊包含有關如何設定流量分配的資訊。

  • 指派對象至您的活動
  • 向上或向下調節流量
  • 選取您的流量分配方法
  • 在不同體驗之間分配流量

建立A/B測試(8:36) 教學課程徽章

此視訊示範如何使用 Target 三步驟引導式工作流程來建立 A//B 測試。自動分配 4:45處開始討論。

  • 在中建立A/B活動 Adobe Target
  • 使用手動分割或自動流量分配來分配流量
recommendation-more-help
3d9ad939-5908-4b30-aac1-a4ad253cd654