การทดสอบ A/B
การทดสอบ A/B (หรือที่รู้จักกันในชื่อการทดสอบแบบบัคเก็ ต การทดสอบแบบแบ่งกลุ่มหรือการทดสอบแบบแยกกลุ่ม ) เป็นวิธีการวิจัยประสบการณ์ผู้ใช้[ 1 ]การทดสอบ A/B ประกอบด้วยการทดลองแบบสุ่มซึ่งโดยปกติจะมีสองตัวแปร (A และ B) [ 2 ] [ 3 ] [ 4 ]แม้ว่าแนวคิดนี้สามารถขยายไปยังตัวแปรหลายตัวของตัวแปรเดียวกันได้ก็ตาม รวมถึงการประยุกต์ใช้การทดสอบสมมติฐานทางสถิติหรือ " การทดสอบสมมติฐานสองกลุ่มตัวอย่าง " ตามที่ใช้ในสาขาสถิติการทดสอบ A/B ใช้เพื่อเปรียบเทียบตัวแปรเดียวหลายเวอร์ชัน ตัวอย่างเช่นโดยการทดสอบการตอบสนองของบุคคลต่อตัวแปร A เทียบกับตัวแปร B และเพื่อพิจารณาว่าตัวแปรใดมีประสิทธิภาพมากกว่า[ 5 ]
การทดสอบแบบหลายตัวแปรหรือการทดสอบแบบหลายตัวเลือกคล้ายกับการทดสอบ A/B แต่สามารถทดสอบได้มากกว่าสองเวอร์ชันพร้อมกัน หรือใช้ตัวควบคุมมากกว่า การทดสอบ A/B แบบง่ายๆ นั้นใช้ไม่ได้ผลกับ สถานการณ์ เชิงสังเกตสถานการณ์กึ่งทดลองหรือ สถานการณ์ ที่ไม่ใช่การทดลอง อื่นๆ ซึ่งพบได้ทั่วไปในข้อมูลแบบสำรวจ ข้อมูลออฟไลน์ และปรากฏการณ์ที่ซับซ้อนกว่าอื่นๆ
คำนิยาม
"การทดสอบ A/B" เป็นคำย่อของ การทดลอง ควบคุม แบบสุ่มอย่างง่าย ซึ่ง เปรียบเทียบตัวอย่างจำนวนหนึ่ง (เช่น A และ B) ของตัวแปรเวกเตอร์ เดียว [ 1 ]การทดสอบ A/B ถือเป็นรูปแบบการทดลองควบคุมที่ง่ายที่สุด โดยเฉพาะอย่างยิ่งเมื่อมีเพียงสองตัวแปร อย่างไรก็ตาม การเพิ่มตัวแปรในการทดสอบจะทำให้ความซับซ้อนเพิ่มขึ้น[ 6 ]
ตัวอย่างต่อไปนี้แสดงให้เห็นถึงการทดสอบ A/B โดยใช้ตัวแปรเดียว:
บริษัทแห่งหนึ่งมีฐานข้อมูล ลูกค้า 2,000 คน และเปิดตัวแคมเปญอีเมลพร้อมรหัสส่วนลดเพื่อกระตุ้นยอดขายผ่านเว็บไซต์ บริษัทสร้างอีเมลสองเวอร์ชันที่มีข้อความกระตุ้นการตัดสินใจ (ส่วนของข้อความที่กระตุ้นให้ลูกค้าดำเนินการ—ในกรณีของแคมเปญขาย คือการซื้อสินค้า) และรหัสโปรโมชั่น ที่แตกต่างกัน
- บริษัทส่งอีเมลไปยังผู้คน 1,000 คน โดยมีข้อความกระตุ้นให้ดำเนินการว่า "โปรโมชั่นสิ้นสุดวันเสาร์นี้! ใช้รหัส A1"
- สำหรับลูกค้าอีก 1,000 คนที่เหลือ ระบบจะส่งอีเมลพร้อมข้อความกระตุ้นให้ดำเนินการว่า "โปรโมชั่นจะหมดลงในไม่ช้า! ใช้รหัส B1"
- องค์ประกอบอื่นๆ ทั้งหมดของเนื้อหาและรูปแบบอีเมลนั้นเหมือนกันทุกประการ
จากนั้นบริษัทจะตรวจสอบว่าแคมเปญใดมีอัตราความสำเร็จสูงกว่าโดยการวิเคราะห์การใช้รหัสโปรโมชั่น อีเมลที่ใช้รหัส A1 มีอัตราการตอบกลับ 5% (50 จาก 1,000 คนที่ได้รับอีเมลใช้รหัสเพื่อซื้อสินค้า) และอีเมลที่ใช้รหัส B1 มีอัตราการตอบกลับ 3% (30 คนจากผู้รับใช้รหัสเพื่อซื้อสินค้า) ดังนั้นบริษัทจึงสรุปว่าในกรณีนี้ การกระตุ้นให้เกิดการกระทำครั้งแรกมีประสิทธิภาพมากกว่าและจะนำไปใช้ในการขายในอนาคต แนวทางที่ละเอียดอ่อนกว่านั้นจะเกี่ยวข้องกับการใช้การทดสอบทางสถิติเพื่อพิจารณาว่าความแตกต่างในอัตราการตอบสนองระหว่าง A1 และ B1 มีนัยสำคัญทางสถิติ หรือไม่ (มีความเป็นไปได้สูงที่ความแตกต่างนั้นเป็นของจริง สามารถทำซ้ำได้ และไม่ใช่ผลจากความบังเอิญ) [ 7 ]
ในตัวอย่างก่อนหน้านี้ จุดประสงค์ของการทดสอบคือเพื่อหาว่ากลยุทธ์ใดมีประสิทธิภาพมากกว่าในการกระตุ้นให้ลูกค้าซื้อสินค้า แต่ถ้าหากจุดประสงค์ของการทดสอบคือการหาว่าอีเมลใดจะสร้างอัตราการคลิกผ่าน (Clickthrough Rate) ที่สูงกว่า (เปอร์เซ็นต์ของคนที่คลิกลิงก์หลังจากได้รับอีเมล) ผลลัพธ์อาจแตกต่างออกไป
ตัวอย่างเช่น แม้ว่าลูกค้าที่ได้รับรหัส B1 จะเข้าชมเว็บไซต์มากกว่า แต่เนื่องจากคำกระตุ้นการตัดสินใจไม่ได้ระบุวันสิ้นสุดของโปรโมชั่น ผู้รับจำนวนมากอาจไม่รู้สึกเร่งด่วนที่จะทำการซื้อทันที ดังนั้น หากจุดประสงค์ของการทดสอบคือการพิจารณาว่าอีเมลใดจะดึงดูดการเข้าชมเว็บไซต์ได้มากกว่า อีเมลที่มีรหัส B1 อาจประสบความสำเร็จมากกว่า การทดสอบ A/B ควรมีผลลัพธ์ที่กำหนดและวัดได้ เช่น ยอดขายที่แปลงเป็นยอดขาย อัตราการคลิกผ่าน หรืออัตราการลงทะเบียน[ 8 ]
สถิติการทดสอบทั่วไป
การทดสอบสมมติฐานแบบสองกลุ่มตัวอย่างเหมาะสมสำหรับการเปรียบเทียบสองกลุ่มตัวอย่าง โดยที่กลุ่มตัวอย่างทั้งสองถูกแบ่งออกด้วยกลุ่มควบคุมสองกลุ่มในการทดลอง การทดสอบ Zเหมาะสำหรับการเปรียบเทียบค่าเฉลี่ยภายใต้เงื่อนไขที่เข้มงวดเกี่ยวกับภาวะปกติและค่าเบี่ยงเบนมาตรฐานที่ทราบการทดสอบtของนักเรียนเหมาะสมสำหรับการเปรียบเทียบค่าเฉลี่ยภายใต้เงื่อนไขที่ผ่อนปรนกว่า โดยที่สมมติฐานน้อยกว่าการทดสอบtของเวลช์มีสมมติฐานน้อยที่สุด ดังนั้นจึงเป็นการทดสอบสมมติฐานแบบ สองกลุ่มตัวอย่างที่ใช้กันมากที่สุด โดยที่ต้องการหาค่าเฉลี่ยของตัวชี้วัดให้เหมาะสมที่สุด แม้ว่าค่าเฉลี่ยของตัวแปรที่จะหาค่าที่เหมาะสมที่สุดจะเป็นตัวประมาณค่าที่นิยมใช้ มากที่สุด แต่ก็ มีการใช้ตัวประมาณค่าอื่นๆ อยู่เป็นประจำเช่นกัน
สามารถใช้การทดสอบความแม่นยำของฟิชเชอร์ เพื่อเปรียบเทียบ การแจกแจงแบบทวินาม สองแบบ เช่นอัตราการคลิกผ่าน
| การกระจายที่สมมติขึ้น | ตัวอย่างกรณีศึกษา | การทดสอบมาตรฐาน | การทดสอบทางเลือก |
|---|---|---|---|
| เกาส์เซียน | รายได้เฉลี่ยต่อผู้ใช้ | การทดสอบtของเวลช์ ( การทดสอบ t แบบไม่จับคู่ ) | การทดสอบtของนักเรียน |
| ทวินาม | อัตราการคลิกผ่าน | การทดสอบที่แม่นยำของฟิชเชอร์ | การทดสอบของบาร์นาร์ด |
| ปัวซง | ธุรกรรมต่อผู้ใช้ที่ชำระเงิน | การทดสอบE [ 9 ] | การทดสอบC |
| มัลติโนเมียล | จำนวนของสินค้าแต่ละชนิดที่ซื้อ | การทดสอบไคสแควร์ | การทดสอบจี |
| ไม่ทราบ | การทดสอบMann–Whitney U | การสุ่มตัวอย่างแบบกิบบส์ |
การแบ่งกลุ่มและการกำหนดเป้าหมาย
โดยทั่วไป การทดสอบ A/B จะใช้ตัวแปรเดียวกัน (เช่น องค์ประกอบส่วนติดต่อผู้ใช้) ด้วยความน่าจะเป็นเท่ากันกับผู้ใช้ทั้งหมด อย่างไรก็ตาม ในบางสถานการณ์ การตอบสนองต่อตัวแปรอาจแตกต่างกัน ในขณะที่ตัวแปร A อาจมีอัตราการตอบสนองโดยรวมสูงกว่า ตัวแปร B อาจมีอัตราการตอบสนองที่สูงกว่าในกลุ่มลูกค้าเฉพาะกลุ่ม[ 10 ]
ตัวอย่างเช่น ในตัวอย่างข้างต้น การแบ่งอัตราการตอบกลับตามเพศอาจเป็นดังนี้:
| เพศ | โดยรวม | ผู้ชาย | ผู้หญิง |
|---|---|---|---|
| ยอดส่งทั้งหมด | 2,000 | 1,000 | 1,000 |
| จำนวนการตอบทั้งหมด | 80 | 35 | 45 |
| ตัวแปร A | 50 / 1,000 ( 5% ) | 10 / 500 ( 2% ) | 40 / 500 ( 8% ) |
| ตัวแปร B | 30 / 1,000 ( 3% ) | 25 / 500 ( 5 % ) | 5 / 500 ( 1 % ) |
ในกรณีนี้ แม้ว่าตัวแปร A จะดึงดูดอัตราการตอบสนองโดยรวมที่สูงกว่า แต่ตัวแปร B กลับดึงดูดอัตราการตอบสนองที่สูงกว่าในกลุ่มผู้ชาย
ด้วยเหตุนี้ บริษัทอาจเลือกใช้กลยุทธ์แบบแบ่งกลุ่มตามผลลัพธ์ของการทดสอบ A/B โดยส่งตัวแปร B ให้กับผู้ชายและตัวแปร A ให้กับผู้หญิงในอนาคต ในตัวอย่างนี้ กลยุทธ์แบบแบ่งกลุ่มจะทำให้ได้อัตราการตอบสนองที่คาดหวังเพิ่มขึ้น 30% ถึง.
หากคาดหวังผลลัพธ์แบบแบ่งกลุ่มจากการทดสอบ A/B ควรออกแบบการทดสอบให้เหมาะสมตั้งแต่เริ่มต้นเพื่อให้กระจายอย่างสม่ำเสมอในคุณลักษณะลูกค้าหลัก เช่น เพศ การทดสอบควรมีตัวอย่างที่เป็นตัวแทน ของผู้ชายและผู้หญิง และสุ่มเลือกผู้ชายและผู้หญิงให้กับแต่ละ “ตัวแปร” (ตัวแปร A เทียบกับตัวแปร B) การไม่ทำเช่นนั้นอาจนำไปสู่ ความลำเอียงในการทดลองและข้อสรุปที่ไม่ถูกต้อง[ 11 ]
แนวทางการแบ่งกลุ่มและกำหนดเป้าหมายนี้สามารถนำไปประยุกต์ใช้ได้โดยทั่วไป โดยอาจพิจารณาคุณลักษณะของลูกค้าหลายประการแทนที่จะใช้เพียงคุณลักษณะเดียวเช่น อายุและ เพศของลูกค้าเพื่อระบุรูปแบบที่ซับซ้อนยิ่งขึ้นซึ่งอาจมีอยู่ในผลการทดสอบ
ข้อแลกเปลี่ยน
ข้อดี
ผลลัพธ์ของการทดสอบ A/B นั้นง่ายต่อการตีความเพื่อสร้างภาพที่ชัดเจนของความชอบของผู้ใช้จริง เนื่องจากเป็นการทดสอบตัวเลือกหนึ่งเทียบกับอีกตัวเลือกหนึ่งโดยตรง การทดสอบ A/B ยังสามารถให้คำตอบสำหรับคำถามการออกแบบที่เฉพาะเจาะจงมากได้อีกด้วย ตัวอย่างหนึ่งคือการทดสอบ A/B ของ Google เกี่ยวกับสีของไฮเปอร์ลิงก์ เพื่อเพิ่มรายได้ Google ได้ทดสอบเฉดสีของไฮเปอร์ลิงก์หลายสิบเฉดเพื่อพิจารณาว่าสีใดดึงดูดการคลิกได้มากที่สุด[ 12 ]
ข้อเสีย
การทดสอบ A/B มีความไวต่อความแปรปรวนจำเป็นต้องใช้ขนาดตัวอย่าง ที่ใหญ่ เพื่อลดข้อผิดพลาดมาตรฐานและให้ผลลัพธ์ที่มีนัยสำคัญทางสถิติ ในแอปพลิเคชันที่มีผู้ใช้งานจำนวนมาก เช่น แพลตฟอร์มโซเชียลมีเดียออนไลน์ยอดนิยม การได้ขนาดตัวอย่างที่ใหญ่เป็นเรื่องง่าย ในกรณีอื่นๆ การได้ขนาดตัวอย่างที่ใหญ่ขึ้นทำได้โดยการเพิ่มระยะเวลาการลงทะเบียนการทดลอง อย่างไรก็ตาม การใช้เทคนิคที่ Microsoft เรียกว่า การทดลองแบบควบคุมโดยใช้ข้อมูลก่อนการทดลอง (CUPED) สามารถนำความแปรปรวนจากก่อนเริ่มการทดลองมาพิจารณาได้ ทำให้ต้องการตัวอย่างน้อยลงเพื่อให้ได้ผลลัพธ์ที่มีนัยสำคัญทางสถิติ[ 13 ] [ 14 ]
เนื่องจากการทดสอบแบบ A/B เป็นการทดลอง จึงมีความเสี่ยงที่จะเสียเวลาและทรัพยากรโดยเปล่าประโยชน์ หากผลการทดสอบไม่เป็นไปตามที่คาดหวังหรือไม่เป็นประโยชน์
ในเดือนธันวาคม 2018 ตัวแทนที่มีประสบการณ์ในการทดสอบ A/B ขนาดใหญ่จาก 13 องค์กร ( Airbnb , Amazon , Booking.com , Facebook , Google , LinkedIn , Lyft , Microsoft , Netflix , Twitter , UberและStanford University ) ได้สรุปความท้าทายที่สำคัญที่สุดไว้ในเอกสาร[ 15 ]ความท้าทายเหล่านี้ถูกจัดกลุ่มออกเป็นสี่ด้าน ได้แก่ การวิเคราะห์ วิศวกรรมและวัฒนธรรม การเบี่ยงเบนจากการทดสอบ A/B แบบดั้งเดิม และคุณภาพของข้อมูล
ประวัติศาสตร์
เป็นการยากที่จะระบุได้อย่างแน่ชัดว่าการทดสอบ A/B ถูกนำมาใช้ครั้งแรกเมื่อใด การทดลองแบบสุ่ม สองทางแบบปิดบัง ครั้งแรก เพื่อประเมินประสิทธิภาพของ ยา โฮมีโอพาธีเกิดขึ้นในปี 1835 [ 16 ]การทดลองกับ แคมเปญ โฆษณาซึ่งถูกนำมาเปรียบเทียบกับการทดสอบ A/B สมัยใหม่ เริ่มขึ้นในช่วงต้นศตวรรษที่ 20 [ 17 ] Claude Hopkinsผู้บุกเบิกด้านการโฆษณาใช้คูปอง ส่งเสริมการขาย เพื่อทดสอบประสิทธิภาพของแคมเปญของเขา อย่างไรก็ตาม กระบวนการนี้ ซึ่ง Hopkins อธิบายไว้ในหนังสือScientific Advertising ปี 1923 ของเขา ไม่ได้รวมแนวคิดต่างๆ เช่นนัยสำคัญทางสถิติและสมมติฐานว่างซึ่งใช้ในการทดสอบสมมติฐานทางสถิติ [ 18 ] วิธีการทางสถิติสมัยใหม่สำหรับการประเมินนัยสำคัญของข้อมูลตัวอย่างได้รับการพัฒนาแยกต่างหากในช่วงเวลาเดียวกัน งานนี้ดำเนินการในปี 1908 โดยWilliam Sealy Gossetเมื่อเขาปรับเปลี่ยนการทดสอบ Zเพื่อสร้างการทดสอบtของนักเรียน[ 19 ] [ 20 ]
ด้วยการเติบโตของอินเทอร์เน็ต ทำให้มีวิธีการสุ่มตัวอย่างประชากรแบบใหม่ๆ เกิดขึ้น วิศวกรของ Google ได้ทำการทดสอบ A/B ครั้งแรกในปี 2000 เพื่อกำหนดจำนวนผลลัพธ์ที่เหมาะสมที่สุดที่จะแสดงในผลการค้นหาของเครื่องมือค้นหา[ 5 ]การทดสอบครั้งแรกไม่ประสบความสำเร็จเนื่องจากข้อผิดพลาดที่เกิดจากเวลาในการโหลดที่ช้า การวิจัยการทดสอบ A/B ในภายหลังมีความก้าวหน้ามากขึ้น แต่พื้นฐานและหลักการพื้นฐานโดยทั่วไปยังคงเหมือนเดิม และในปี 2011 Google ได้ทำการทดสอบ A/B ที่แตกต่างกันมากกว่า 7,000 ครั้ง[ 5 ]
ในปี 2012 พนักงาน ของ Microsoftที่ทำงานเกี่ยวกับเครื่องมือค้นหาBingได้ทำการทดลองเพื่อทดสอบวิธีการแสดงหัวข้อโฆษณาที่แตกต่างกัน ภายในเวลาไม่กี่ชั่วโมง รูปแบบทางเลือกดังกล่าวทำให้รายได้เพิ่มขึ้น 12% โดยไม่มีผลกระทบต่อตัวชี้วัดประสบการณ์ของผู้ใช้[ 4 ]ปัจจุบัน บริษัทซอฟต์แวร์รายใหญ่ เช่น Microsoft และ Google ต่างทำการทดสอบ A/B มากกว่า 10,000 ครั้งต่อปี[ 4 ]
บางคนอ้างว่าการทดสอบ A/B เป็นการเปลี่ยนแปลงในปรัชญาและกลยุทธ์ทางธุรกิจในบางกลุ่มเฉพาะ แม้ว่าวิธีการนี้จะเหมือนกับการออกแบบระหว่างกลุ่มตัวอย่างซึ่งมักใช้กันทั่วไปในประเพณีการวิจัยที่หลากหลาย[ 21 ] [ 22 ] [ 23 ]การทดสอบ A/B ในฐานะปรัชญาของการพัฒนาเว็บทำให้สาขานี้สอดคล้องกับการเคลื่อนไหวที่กว้างขึ้นไปสู่การปฏิบัติที่อิงตามหลักฐาน
ปัจจุบันบริษัทหลายแห่งใช้แนวทาง "การทดลองที่ออกแบบไว้" ในการตัดสินใจทางการตลาด โดยคาดหวังว่าผลลัพธ์ตัวอย่างที่เกี่ยวข้องจะช่วยปรับปรุงผลลัพธ์การแปลงเชิงบวกได้[ 24 ]นับเป็นแนวปฏิบัติที่แพร่หลายมากขึ้นเรื่อยๆ เนื่องจากเครื่องมือและความเชี่ยวชาญในด้านนี้เพิ่มมากขึ้น[ 25 ]ส่งผลให้ทีมการตลาดจำนวนมากใช้การทดสอบ A/B เพื่อเป็นแนวทางในการตัดสินใจ โดยจับคู่ความเข้มงวดของการทดสอบกับสมมติฐานที่วัดได้ และวัดผลกระทบต่อผลลัพธ์ต่างๆ เช่น การแปลง รายได้ และการแปลงในขั้นตอนต่อไป[ 26 ]
แอปพลิเคชัน
สื่อสังคมออนไลน์
การทดสอบ A/B ถูกใช้โดย เว็บไซต์ โซเชียลมีเดีย ขนาดใหญ่ เช่นLinkedIn , FacebookและInstagramเพื่อทำความเข้าใจการมีส่วนร่วมและความพึงพอใจของผู้ใช้ต่อฟีเจอร์ออนไลน์ เช่น ฟีเจอร์หรือผลิตภัณฑ์ใหม่ การทดสอบ A/B ยังถูกใช้เพื่อทำการทดลองที่ซับซ้อนในหัวข้อต่างๆ เช่นผลกระทบของเครือข่ายเมื่อผู้ใช้ออฟไลน์ บริการออนไลน์ส่งผลต่อการกระทำของผู้ใช้อย่างไร และผู้ใช้มีอิทธิพลต่อกันอย่างไร[ 27 ]
อีคอมเมิร์ซ
บนเว็บไซต์อีคอมเมิร์ซช่องทางการซื้อมักเป็นตัวเลือกที่ดีสำหรับการทดสอบ A/B เนื่องจากแม้การลดอัตราการออกจากเว็บไซต์ เพียงเล็กน้อย ก็อาจส่งผลให้ยอดขายเพิ่มขึ้นอย่างมาก การปรับปรุงที่สำคัญบางครั้งอาจเห็นได้จากการทดสอบองค์ประกอบต่างๆ เช่น ข้อความ รูปแบบ รูปภาพ และสี[ 28 ]ในการทดสอบเหล่านี้ ผู้ใช้จะเห็นเพียงหนึ่งในสองเวอร์ชันเท่านั้น เนื่องจากเป้าหมายคือการค้นหาว่าเวอร์ชันใดในสองเวอร์ชันนั้นเป็นที่ต้องการมากกว่า[ 29 ]
การกำหนดราคาสินค้า
การทดสอบ A/B สามารถใช้เพื่อกำหนดราคาที่เหมาะสมสำหรับผลิตภัณฑ์ ซึ่งเป็นหนึ่งในความท้าทายที่ยากที่สุดที่ต้องเผชิญเมื่อเปิดตัวผลิตภัณฑ์หรือบริการใหม่ การทดสอบ A/B (โดยเฉพาะอย่างยิ่งที่ใช้ได้ผลกับสินค้าดิจิทัล) เป็นกลไกที่มีประสิทธิภาพในการระบุจุดราคาที่ทำให้รายได้รวมสูงสุด
การทดสอบ A/B ทางการเมือง
การทดสอบ A/B ยังถูกนำมาใช้ในการรณรงค์ทางการเมือง ด้วย ในปี 2550 การรณรงค์หาเสียงเลือกตั้งประธานาธิบดีของบารัค โอบามาใช้การทดสอบ A/B เพื่อดึงดูดความสนใจทางออนไลน์และทำความเข้าใจว่าผู้มีสิทธิเลือกตั้งต้องการเห็นอะไรจากโอบามา[ 30 ]ตัวอย่างเช่น ทีมของโอบามาได้ทดสอบปุ่มที่แตกต่างกันสี่ปุ่มบนเว็บไซต์ของพวกเขา ซึ่งนำผู้ใช้ไปลงทะเบียนรับจดหมายข่าว นอกจากนี้ ทีมยังใช้ภาพประกอบที่แตกต่างกันหกภาพเพื่อดึงดูดผู้ใช้[ 30 ]
การทดสอบการกำหนดเส้นทาง HTTP และคุณสมบัติของ API
การทดสอบ A/B มักใช้เมื่อปรับใช้ API เวอร์ชันใหม่กว่า[ 31 ]สำหรับการทดสอบประสบการณ์ผู้ใช้แบบเรียล ไทม์ จะมีการกำหนด ค่าพร็อกซีแบบย้อนกลับของเลเยอร์ 7 HTTP ในลักษณะที่n % ของ ทราฟฟิก HTTP จะถูกส่งไปยังอินสแตนซ์แบ็กเอนด์เวอร์ชันใหม่กว่า ในขณะที่ทราฟฟิก HTTP ที่เหลือ100-n % จะเข้าถึงบริการแอปพลิเคชัน HTTP แบ็กเอนด์เวอร์ชันเก่า (ที่เสถียร) [ 31 ]โดยทั่วไปแล้ว วิธีนี้ทำได้เพื่อจำกัดการเปิดเผยของลูกค้าต่ออินสแตนซ์แบ็กเอนด์เวอร์ชันใหม่กว่า เพื่อให้หากมีข้อบกพร่องในเวอร์ชันใหม่กว่า จะมีเพียงn % ของ เอเจนต์ผู้ใช้ หรือไคลเอนต์ ทั้งหมด เท่านั้น ที่ได้รับผลกระทบ ในขณะที่ส่วนที่เหลือจะถูกส่งไปยังแบ็กเอนด์ที่เสถียร ซึ่งเป็นกลไกการควบคุมการเข้าถึงทั่วไป[ 31 ]