MUSHRAย่อมาจากMultiple Stimuli with Hidden Reference and Anchorและเป็นวิธีการสำหรับการทดสอบการฟังโคเดกเพื่อประเมินคุณภาพที่รับรู้ได้ของเอาต์พุตจาก อัลกอริธึม การบีบอัดเสียงแบบสูญเสียข้อมูลโดยมีการกำหนดไว้ใน คำแนะนำ ITU-R BS.1534-3 ^{[ 1 ]}แนะนำให้ใช้วิธีการ MUSHRA สำหรับการประเมิน "คุณภาพเสียงระดับกลาง" สำหรับความบกพร่องทางเสียงเล็กน้อยหรือละเอียดอ่อนมากแนะนำให้ใช้ คำแนะนำ ITU-R BS.1116-3 (ABC/HR) แทน

MUSHRA สามารถใช้ทดสอบตัวแปลงสัญญาณเสียงได้ในหลากหลายการใช้งาน เช่น การฟังเพลงและชมภาพยนตร์ เสียงพูด เช่นพอดแคสต์และวิทยุการสตรีมออนไลน์ ( ซึ่งความสมดุลระหว่างคุณภาพและประสิทธิภาพของขนาดและการประมวลผลมีความสำคัญอย่างยิ่ง) โทรศัพท์ ดิจิทัลสมัยใหม่ และ แอปพลิเคชัน VOIP (ซึ่งต้องการการเข้ารหัสแบบกึ่งเรียลไทม์ อัตราบิตต่ำ แต่ยังคงฟังเข้าใจได้) สำหรับการใช้งานระดับมืออาชีพ " ผู้รักเสียงเพลง " และ " ผู้บริโภคระดับมืออาชีพ " มักจะเหมาะกับการทดสอบแบบอื่นมากกว่า เช่น ABC/HR ที่กล่าวถึงข้างต้น โดยมีข้อสมมติฐานพื้นฐานว่าเสียงมีคุณภาพสูงและมีความละเอียดสูงซึ่งจะมีความแตกต่างที่ตรวจจับได้น้อยที่สุดระหว่างวัสดุอ้างอิงและเอาต์พุตของตัวแปลงสัญญาณ

ข้อได้เปรียบหลักของ MUSHRA เหนือกว่า วิธีการ หาค่าเฉลี่ยความคิดเห็น (MOS) (ซึ่งมีวัตถุประสงค์คล้ายกัน) คือ MUSHRA ต้องการผู้เข้าร่วมน้อยกว่าเพื่อให้ได้ผลลัพธ์ที่มีนัยสำคัญทางสถิติเนื่องจากมีการนำเสนอข้อมูลเสียงทั้งหมดพร้อมกันแก่ผู้เข้าร่วมกลุ่มเดียวกัน ทำให้ สามารถใช้ การทดสอบ t-test แบบจับคู่หรือการวิเคราะห์ความแปรปรวน แบบวัดซ้ำในการวิเคราะห์ทางสถิติได้ นอกจากนี้ มาตราส่วน 0–100 ที่ใช้ใน MUSHRA ยังช่วยให้สามารถแสดงความแตกต่างที่รับรู้ได้อย่างละเอียด โดยเฉพาะอย่างยิ่งเมื่อเทียบกับ มาตราส่วน Likert แบบดัดแปลง 0-5 ที่มักใช้ในการทดลอง MOS

ใน MUSHRA ผู้ฟังจะได้รับข้อมูลอ้างอิง (ระบุไว้อย่างชัดเจน) ตัวอย่างทดสอบจำนวนหนึ่ง ข้อมูลอ้างอิงเวอร์ชันที่ซ่อนอยู่ และจุดอ้างอิงอย่างน้อยหนึ่งจุด (เช่น การเข้ารหัสที่บกพร่องอย่างรุนแรง ซึ่งทั้งผู้ทำการทดลองและผู้เข้าร่วมควรจะรับรู้ได้ทันทีว่าเป็นเช่นนั้น ใช้ในลักษณะเดียวกับข้อมูลอ้างอิงเพื่อเป็นพื้นฐานในการแสดงให้เห็น – “จุดอ้างอิง” – แก่ผู้เข้าร่วมถึงความเป็นจริงของระดับคุณภาพที่ต่ำ) ข้อแนะนำระบุว่าควรมีจุดอ้างอิงช่วงต่ำและช่วงกลางรวมอยู่ในสัญญาณทดสอบ โดยทั่วไปจะเป็นข้อมูลอ้างอิงเวอร์ชันกรองความถี่ต่ำ 7  kHz และ 3.5  kHz วัตถุประสงค์ของจุดอ้างอิงคือการปรับเทียบมาตราส่วนเพื่อให้สิ่งผิดปกติเล็กน้อยไม่ถูกลงโทษอย่างไม่เหมาะสม ซึ่งมีความสำคัญอย่างยิ่งเมื่อเปรียบเทียบหรือรวบรวมผลลัพธ์จากห้องปฏิบัติการต่างๆ

การทดสอบทั้ง MUSHRA และ ITU BS.1116 ^{[ 2 ]}เรียกร้องให้ผู้ฟังผู้เชี่ยวชาญที่ ได้รับการฝึกฝน ซึ่งรู้ว่าเสียงผิดปกติทั่วไปเป็นอย่างไรและมีแนวโน้มที่จะเกิดขึ้นที่ใด ผู้ฟังผู้เชี่ยวชาญยังมีความเข้าใจในมาตราส่วนการให้คะแนนได้ดีกว่า ซึ่งนำไปสู่ผลลัพธ์ที่ทำซ้ำได้มากกว่าผู้ฟังที่ไม่ได้รับการฝึกฝน ดังนั้น ด้วยผู้ฟังที่ได้รับการฝึกฝน จึงต้องการผู้ฟังจำนวนน้อยลงเพื่อให้ได้ผลลัพธ์ที่มีนัยสำคัญทางสถิติ

สันนิษฐานว่าความชอบของผู้ฟังผู้เชี่ยวชาญและผู้ฟังทั่วไปนั้นคล้ายคลึงกัน ดังนั้นผลลัพธ์จากผู้ฟังผู้เชี่ยวชาญจึงสามารถใช้ทำนายผลสำหรับผู้บริโภคได้เช่นกัน สอดคล้องกับสมมติฐานนี้ Schinkel-Bielefeld และคณะ พบว่าไม่มีความแตกต่างในลำดับการจัดอันดับระหว่างผู้ฟังผู้เชี่ยวชาญและผู้ฟังที่ไม่ได้รับการฝึกฝนเมื่อใช้สัญญาณทดสอบที่มีเฉพาะเสียงและไม่มีสิ่งแปลกปลอมเชิงพื้นที่^{[ 3 ]}อย่างไรก็ตาม Rumsey และคณะ แสดงให้เห็นว่าสำหรับสัญญาณที่มีสิ่งแปลกปลอมเชิงพื้นที่ ผู้ฟังผู้เชี่ยวชาญจะให้น้ำหนักกับสิ่งแปลกปลอมเชิงพื้นที่มากกว่าผู้ฟังที่ไม่ได้รับการฝึกฝนเล็กน้อย ซึ่งส่วนใหญ่จะมุ่งเน้นไปที่สิ่งแปลกปลอมด้านเสียงเป็นหลัก^{[ 4 ]}

นอกจากนี้ ยังแสดงให้เห็นว่าผู้ฟังผู้เชี่ยวชาญใช้ตัวเลือกในการฟังส่วนย่อยของสัญญาณที่กำลังทดสอบซ้ำๆ และทำการเปรียบเทียบระหว่างสัญญาณที่กำลังทดสอบกับสัญญาณอ้างอิงมากขึ้น^{[ 3 ]}ในทางตรงกันข้ามกับผู้ฟังทั่วไปที่ให้คะแนนความชอบ ผู้ฟังผู้เชี่ยวชาญจึงให้คะแนนคุณภาพเสียง โดยให้คะแนนความแตกต่างระหว่างสัญญาณที่กำลังทดสอบกับต้นฉบับที่ไม่ได้บีบอัด ซึ่งเป็นเป้าหมายที่แท้จริงของการทดสอบ MUSHRA

แนวทางของ MUSHRA อธิบายถึงความเป็นไปได้หลักสองประการในการประเมินความน่าเชื่อถือของผู้ฟัง (อธิบายไว้ด้านล่าง)

วิธีที่ง่ายที่สุดและพบได้บ่อยที่สุดคือ การตัดสิทธิ์ผู้ฟังทุกคนที่ให้คะแนนเสียงอ้างอิงที่ซ่อนอยู่ต่ำกว่า 90 คะแนน MUSHRA สำหรับรายการทดสอบมากกว่า 15% โดยในกรณีที่เหมาะสม เสียงอ้างอิงที่ซ่อนอยู่ควรได้รับการให้คะแนนที่ 100 คะแนน เพื่อแสดงถึงความเท่าเทียมกันในการรับรู้กับเสียงอ้างอิงต้นฉบับ แม้ว่าอาจเกิดขึ้นได้ที่เสียงอ้างอิงที่ซ่อนอยู่และสัญญาณคุณภาพสูงถูกเข้าใจผิด แต่ข้อกำหนดระบุว่า การให้คะแนนต่ำกว่า 90 ควรให้เฉพาะเมื่อผู้ฟังแน่ใจว่าสัญญาณที่ให้คะแนนนั้นแตกต่างจากเสียงอ้างอิงต้นฉบับ ดังนั้น การให้คะแนนต่ำกว่า 90 สำหรับเสียงอ้างอิงที่ซ่อนอยู่จึงถือเป็นข้อผิดพลาดของผู้ฟังที่ชัดเจนและเห็นได้ชัด

ความเป็นไปได้อีกประการหนึ่งในการประเมินประสิทธิภาพของผู้ฟังคือeGauge [ ^{5 ] ซึ่ง เป็น}กรอบการทำงานที่อิงตามการวิเคราะห์ความแปรปรวน (ANOVA) โดยจะคำนวณความสอดคล้อง ความสามารถในการทำซ้ำและความสามารถในการจำแนกแม้ว่าจะแนะนำให้ใช้เพียงสองอย่างหลังสำหรับการคัดกรองก่อนหรือหลังก็ตาม ความสอดคล้องคือ ANOVA ของความเห็นพ้องของผู้ฟังกับผู้ฟังคนอื่นๆ ความสามารถในการทำซ้ำจะตรวจสอบความน่าเชื่อถือ ภายในของแต่ละบุคคล เมื่อให้คะแนนสัญญาณทดสอบเดียวกันอีกครั้งเมื่อเปรียบเทียบกับความแปรปรวนของสัญญาณทดสอบอื่นๆ ความสามารถในการจำแนกจะวิเคราะห์ความน่าเชื่อถือระหว่างการทดสอบโดยการตรวจสอบว่าผู้ฟังสามารถแยกแยะความแตกต่างระหว่างสัญญาณทดสอบในเงื่อนไขต่างๆ ได้หรือไม่ เนื่องจาก eGauge ต้องฟังสัญญาณทดสอบทุกสัญญาณสองครั้ง การใช้งานจึงไม่มีประสิทธิภาพในระยะสั้นเมื่อเทียบกับวิธีการคัดกรองผู้ฟังหลังการทดสอบก่อนหน้านี้โดยอิงจากข้อมูลอ้างอิงที่ซ่อนอยู่ อย่างไรก็ตาม eGauge ก็มีข้อดีเมื่อใช้งานในระยะยาว วิธีนี้ช่วยลดโอกาสเล็กน้อยที่จะต้องทำการทดลองซ้ำทั้งหมดในกรณีที่ผลลัพธ์ของตัวอย่างขาดพลังทางสถิติ ที่เพียงพอ เนื่องจากอัตราความล้มเหลวที่สูงเกินไปซึ่งตรวจพบในภายหลัง นอกจากนี้ ความไม่มีประสิทธิภาพในเบื้องต้นสามารถชดเชยได้ในการทดลองหลายครั้งโดยไม่จำเป็นต้องผ่านขั้นตอนการคัดเลือกผู้เข้าร่วม: หากผู้ฟังได้รับการพิสูจน์แล้วว่าเป็นผู้ฟังที่เชื่อถือได้โดยใช้ eGauge เขาหรือเธอสามารถถือว่าเป็นผู้ฟังที่เชื่อถือได้สำหรับการทดสอบการฟังในอนาคตได้เช่นกัน โดยมีเงื่อนไขว่าลักษณะของการทดสอบจะไม่เปลี่ยนแปลงไปอย่างมาก (เช่น ผู้ฟังที่เชื่อถือได้สำหรับการทดสอบสเตอริโอไม่จำเป็นต้องมีความสามารถในการรับรู้สิ่งผิดปกติใน ระบบเสียง 5.1หรือ22.2 หรือแม้แต่ระบบเสียง โมโน ได้ดีเท่า กัน)

สิ่งสำคัญคือต้องเลือกรายการทดสอบที่สำคัญ โดยเฉพาะอย่างยิ่ง รายการที่เข้ารหัสได้ยากและมีแนวโน้มที่จะทำให้เกิดสิ่งผิดปกติ ในขณะเดียวกัน รายการทดสอบควรมีความถูกต้องตามหลักนิเวศวิทยากล่าวคือ ควรเป็นตัวแทนของวัสดุที่ออกอากาศ ไม่ใช่เพียงสัญญาณสังเคราะห์ที่ออกแบบมาให้เข้ารหัสได้ยากโดยแลกกับความสมจริง วิธีการเลือกวัสดุที่สำคัญได้รับการนำเสนอโดย Ekeroot et al.ซึ่งเสนอขั้นตอนการจัดอันดับโดยการกำจัด^{[ 6 ]}แม้ว่าวิธีนี้จะมีประสิทธิภาพในการเลือกรายการทดสอบที่สำคัญที่สุด แต่ก็ไม่รับประกันการรวมรายการทดสอบที่หลากหลายซึ่งมีแนวโน้มที่จะทำให้เกิดสิ่งผิดปกติที่แตกต่างกัน

โดยหลักการแล้ว รายการทดสอบ MUSHRA ควรมีลักษณะที่คล้ายคลึงกันตลอดระยะเวลา (เช่น การใช้เครื่องดนตรี ที่สม่ำเสมอ ในดนตรี หรือเสียงของบุคคลเดียวกันที่มีจังหวะและโทนเสียง ที่คล้ายคลึงกัน ในเสียงพูด) อาจเป็นเรื่องยากสำหรับผู้ฟังที่จะตัดสินใจให้คะแนน MUSHRA แบบมิติเดียว หากบางส่วนของรายการแสดงสิ่งผิดปกติที่แตกต่างกันหรือสิ่งผิดปกติที่รุนแรงกว่าส่วนอื่นๆ ซึ่งมีแนวโน้มที่จะเกิดขึ้นได้มากขึ้นจากความแปรปรวนขนาดใหญ่ในลักษณะของเสียง^{[ 7 ]}บ่อยครั้งที่รายการที่สั้นกว่าจะนำไปสู่ความแปรปรวนที่น้อยกว่า เนื่องจากแสดงให้เห็นถึงความคงที่ ที่มากขึ้น (ความสม่ำเสมอและความคงที่ในการรับรู้) ^{[ 8 ]}อย่างไรก็ตาม แม้จะพยายามเลือกรายการที่คงที่แล้ว สิ่งเร้าที่มีความถูกต้องตามหลักนิเวศวิทยา (เช่น เสียงที่น่าจะปรากฏหรือคล้ายกับเสียงที่น่าจะปรากฏในสถานการณ์จริง เช่น ในวิทยุ) มักจะมีบางส่วนที่สำคัญกว่าส่วนที่เหลือของสัญญาณเล็กน้อย (ตัวอย่างเช่น คำหลักในคำพูดหรือวลี หลัก ของดนตรี และขึ้นอยู่กับประเภทของสิ่งเร้า) ความนิ่งมีความสำคัญเนื่องจากผู้ฟังที่มุ่งเน้นในส่วนต่างๆ ของสัญญาณมักจะประเมินสัญญาณแตกต่างกัน ผู้ฟังที่วิเคราะห์ได้ดีกว่าดูเหมือนจะสามารถระบุส่วนที่สำคัญที่สุดของสิ่งเร้าได้ดีกว่าผู้ที่วิเคราะห์ได้น้อยกว่า^{[ 9 ]}

• webMUSHRA: ซอฟต์แวร์ทดลองที่ใช้ API เสียงบนเว็บซึ่งเป็นไปตามมาตรฐาน MUSHRA และสามารถกำหนดค่าได้โดยใช้ YAML
• RateIt: อินเทอร์เฟซผู้ใช้แบบกราฟิก (GUI) สำหรับการทำการทดลอง MUSHRA
• MUSHRAM - อินเทอร์เฟซ Matlab สำหรับการทดสอบการฟัง MUSHRA ที่Wayback Machine (เก็บถาวรเมื่อ 19 ตุลาคม 2008)
• อินเทอร์เฟซ Max/MSP สำหรับการทดสอบการฟัง MUSHRA
• เครื่องมือประเมินคุณภาพเสียงบนเว็บเบราว์เซอร์ สำหรับทำการทดสอบต่างๆ มากมาย รวมถึง MUSHRA - ไม่จำเป็นต้องเขียนโค้ด
• BeaqleJS: เฟรมเวิร์กที่ใช้ HTML5 และ JavaScript สำหรับการทดสอบการฟัง
• mushraJS+Server: พัฒนาต่อยอดจาก mushraJS โดยใช้ mochiweb server ซึ่งเป็นเว็บเซิร์ฟเวอร์ที่ใช้ภาษา Erlang