การจดจำผู้พูดคือการระบุตัวบุคคลจากลักษณะเฉพาะของเสียง^{[ 1 ]}ใช้เพื่อตอบคำถามว่า "ใครกำลังพูดอยู่?" คำว่าการจดจำเสียง^{[ 2 ] [ 3 ] [ 4 ] [ 5 ] [ 6 ]}อาจหมายถึงการจดจำผู้พูดหรือการจดจำคำพูดการตรวจสอบผู้พูด (เรียกอีกอย่างว่าการตรวจสอบความถูกต้องของผู้พูด ) แตกต่างจากการระบุตัวตน และการจดจำผู้พูดแตกต่างจากการแยกแยะผู้พูด (การรับรู้เมื่อผู้พูดคนเดียวกันกำลังพูดอยู่)

การจดจำเสียงพูดสามารถช่วยลดความซับซ้อนของงานแปลคำพูดในระบบที่ได้รับการฝึกฝนมากับเสียงเฉพาะ หรือสามารถใช้เพื่อตรวจสอบหรือยืนยันตัวตนของผู้พูดในกระบวนการรักษาความปลอดภัยได้ เทคโนโลยีการจดจำเสียงพูดมีประวัติยาวนานกว่าสี่ทศวรรษ (นับถึงปี 2019) และใช้คุณลักษณะทางเสียงของคำพูดที่พบว่าแตกต่างกันในแต่ละบุคคล รูปแบบทางเสียงเหล่านี้สะท้อนทั้งกายวิภาคและรูปแบบพฤติกรรมที่เรียนรู้มา

เทคโนโลยีและวิธีการจดจำเสียงผู้พูดมีแอปพลิเคชันหลักๆ สองอย่าง หากผู้พูดอ้างว่าเป็นบุคคลใดบุคคลหนึ่ง และใช้เสียงนั้นเพื่อยืนยันการอ้างสิทธิ์ดังกล่าว เรียกว่าการตรวจสอบหรือการรับรองความถูกต้องในทางกลับกัน การระบุตัวตน คือ การหาตัวตนของผู้พูดที่ไม่รู้จัก ในแง่หนึ่ง การตรวจสอบเสียงผู้พูดเป็นการจับคู่แบบ 1:1 โดยเสียงของผู้พูดคนหนึ่งจะถูกจับคู่กับแม่แบบเฉพาะ ในขณะที่การระบุตัวตนผู้พูดเป็นการจับคู่แบบ 1:N โดยเสียงจะถูกเปรียบเทียบกับแม่แบบหลายๆ แม่แบบ

จากมุมมองด้านความปลอดภัย การระบุตัวตนแตกต่างจากการตรวจสอบยืนยัน การตรวจสอบยืนยันผู้พูดมักใช้เป็น "ผู้เฝ้าประตู" เพื่อให้สามารถเข้าถึงระบบที่ปลอดภัย ระบบเหล่านี้ทำงานโดยที่ผู้ใช้รับรู้และโดยทั่วไปต้องอาศัยความร่วมมือจากผู้ใช้ ระบบระบุตัวตนผู้พูดสามารถนำไปใช้โดยไม่เปิดเผยตัวตนของผู้ใช้ได้เช่นกัน เพื่อระบุผู้พูดในการสนทนา แจ้งเตือนระบบอัตโนมัติเมื่อมีการเปลี่ยนแปลงผู้พูด ตรวจสอบว่าผู้ใช้ลงทะเบียนในระบบแล้วหรือไม่ เป็นต้น

ในการประยุกต์ใช้ทางนิติวิทยาศาสตร์ เป็นเรื่องปกติที่จะดำเนินการระบุตัวตนผู้พูดก่อนเพื่อสร้างรายการ "การจับคู่ที่ดีที่สุด" จากนั้นจึงดำเนินการตรวจสอบยืนยันหลายขั้นตอนเพื่อหาการจับคู่ที่แน่ชัด การทำงานเพื่อจับคู่ตัวอย่างจากผู้พูดกับรายการการจับคู่ที่ดีที่สุดจะช่วยให้ทราบว่าพวกเขาเป็นบุคคลเดียวกันหรือไม่โดยพิจารณาจากความคล้ายคลึงหรือความแตกต่าง ฝ่ายโจทก์และฝ่ายจำเลยใช้สิ่งนี้เป็นหลักฐานเพื่อพิจารณาว่าผู้ต้องสงสัยเป็นผู้กระทำความผิดจริงหรือไม่^{[ 7 ]}

หนึ่งในเทคโนโลยีการฝึกอบรมรุ่นแรกๆ ที่นำมาใช้ในเชิงพาณิชย์คือ ตุ๊กตา Julie ของ Worlds of Wonderในปี 1987 ณ จุดนั้น ความเป็นอิสระของผู้พูดถือเป็นความก้าวหน้าที่ตั้งใจไว้ และระบบต่างๆ จำเป็นต้องมีระยะเวลาในการฝึกอบรม โฆษณาตุ๊กตาในปี 1987 มีสโลแกนว่า "ในที่สุด ตุ๊กตาที่เข้าใจคุณ" - แม้ว่าจะมีการอธิบายว่าเป็นผลิตภัณฑ์ "ที่เด็กๆ สามารถฝึกให้ตอบสนองต่อเสียงของพวกเขาได้" ^{[ 8 ]}คำว่า การจดจำเสียง แม้จะผ่านไปแล้วหนึ่งทศวรรษ ก็ยังหมายถึงความเป็นอิสระของผู้พูด^{[ 9 ]}

ระบบการจดจำเสียงผู้พูดแต่ละระบบมีสองขั้นตอน ได้แก่ การลงทะเบียนและการตรวจสอบ ในระหว่างการลงทะเบียน เสียงของผู้พูดจะถูกบันทึก และโดยทั่วไปจะมีการดึงคุณลักษณะจำนวนหนึ่งออกมาเพื่อสร้างลายนิ้วมือเสียง แม่แบบ หรือแบบจำลอง^{[ 10 ]}ในขั้นตอนการตรวจสอบ ตัวอย่างคำพูดหรือ "คำพูด" จะถูกเปรียบเทียบกับลายนิ้วมือเสียงที่สร้างไว้ก่อนหน้านี้ สำหรับระบบการระบุตัวตน คำพูดจะถูกเปรียบเทียบกับลายนิ้วมือเสียงหลายรายการเพื่อกำหนดการจับคู่ที่ดีที่สุด ในขณะที่ระบบการตรวจสอบจะเปรียบเทียบคำพูดกับลายนิ้วมือเสียงเพียงรายการเดียว เนื่องจากกระบวนการที่เกี่ยวข้อง การตรวจสอบจึงเร็วกว่าการระบุตัวตน

ระบบการจดจำเสียงผู้พูดแบ่งออกเป็นสองประเภท: แบบขึ้นอยู่กับข้อความและแบบไม่ขึ้นอยู่กับข้อความ^{[ 11 ]} การจดจำแบบขึ้นอยู่กับข้อความต้องใช้ข้อความเดียวกันทั้งในขั้นตอนการลงทะเบียนและการตรวจสอบ^{[ 12 ]}ในระบบแบบขึ้นอยู่กับข้อความ ข้อความแจ้งเตือนอาจเป็นข้อความทั่วไปสำหรับผู้พูดทุกคน (เช่น วลีรหัสผ่านทั่วไป) หรือข้อความเฉพาะเจาะจง นอกจากนี้ การใช้ความลับร่วมกัน (เช่น รหัสผ่านและ PIN) หรือข้อมูลตามความรู้สามารถนำมาใช้เพื่อสร้าง สถานการณ์ การตรวจสอบสิทธิ์แบบหลายปัจจัยในทางกลับกัน ระบบแบบไม่ขึ้นอยู่กับข้อความไม่จำเป็นต้องใช้ข้อความเฉพาะ ระบบเหล่านี้มักใช้สำหรับการระบุตัวตนผู้พูด เนื่องจากต้องการความร่วมมือจากผู้พูดน้อยมากหรือไม่มีเลย ในกรณีนี้ ข้อความระหว่างการลงทะเบียนและการทดสอบจะแตกต่างกัน อันที่จริง การลงทะเบียนอาจเกิดขึ้นโดยที่ผู้ใช้ไม่รู้ตัว เช่นเดียวกับกรณีของแอปพลิเคชันทางนิติวิทยาศาสตร์หลายๆ แอปพลิเคชัน เนื่องจากเทคโนโลยีแบบไม่ขึ้นอยู่กับข้อความไม่ได้เปรียบเทียบสิ่งที่พูดในการลงทะเบียนและการตรวจสอบ แอปพลิเคชันการตรวจสอบจึงมักใช้การจดจำเสียงพูดเพื่อพิจารณาว่าผู้ใช้กำลังพูดอะไร ณ จุดของการตรวจสอบสิทธิ์ในระบบที่ไม่ขึ้นกับข้อความจะใช้ทั้งเทคนิคอะคูสติกและการวิเคราะห์คำพูด^{[ 13 ]}

การจดจำผู้พูดเป็น ปัญหา การจดจำรูปแบบเทคโนโลยีต่างๆ ที่ใช้ในการประมวลผลและจัดเก็บลายนิ้วมือเสียง ได้แก่การประมาณความถี่โมเดล Markov ที่ซ่อนอยู่โมเดลส่วนผสม Gaussianอัลกอริทึมการจับคู่รูปแบบ เครือข่ายประสาทเทียมการแสดงผลแบบเมทริกซ์การหาปริมาณเวกเตอร์ และต้นไม้ตัดสินใจสำหรับการเปรียบเทียบคำพูดกับลายนิ้วมือเสียง วิธีการพื้นฐานกว่า เช่นความคล้ายคลึงโคไซน์ถูกนำมาใช้ตามประเพณีเนื่องจากความเรียบง่ายและประสิทธิภาพ บางระบบยังใช้เทคนิค "ผู้พูดต่อต้าน" เช่นโมเดลกลุ่มและโมเดลโลก คุณลักษณะสเปกตรัมส่วนใหญ่ใช้ในการแสดงลักษณะเฉพาะของผู้พูด^{[ 14 ]}การเข้ารหัสทำนายเชิงเส้น (LPC) เป็น วิธี การเข้ารหัสเสียงที่ใช้ในการจดจำผู้พูดและการตรวจสอบเสียงพูด

ระดับเสียงรบกวนรอบข้างอาจขัดขวางการเก็บรวบรวมตัวอย่างเสียงทั้งในครั้งแรกและครั้งต่อๆ ไป สามารถใช้อัลกอริธึมลดเสียงรบกวนเพื่อเพิ่มความแม่นยำได้ แต่การใช้งานที่ไม่ถูกต้องอาจส่งผลตรงกันข้าม ประสิทธิภาพการทำงานอาจลดลงเนื่องจากการเปลี่ยนแปลงคุณลักษณะด้านพฤติกรรมของเสียง และจากการลงทะเบียนโดยใช้โทรศัพท์เครื่องหนึ่งและตรวจสอบความถูกต้องบนโทรศัพท์อีกเครื่องหนึ่ง คาดว่าการบูรณาการกับ ผลิตภัณฑ์ การตรวจสอบสิทธิ์แบบสองปัจจัยจะเพิ่มขึ้น การเปลี่ยนแปลงของเสียงเนื่องจากอายุอาจส่งผลกระทบต่อประสิทธิภาพของระบบเมื่อเวลาผ่านไป บางระบบจะปรับโมเดลลำโพงหลังจากตรวจสอบความถูกต้องสำเร็จแต่ละครั้งเพื่อบันทึกการเปลี่ยนแปลงระยะยาวของเสียงดังกล่าว อย่างไรก็ตาม ยังมีการถกเถียงกันเกี่ยวกับผลกระทบด้านความปลอดภัยโดยรวมที่เกิดจากการปรับตัวอัตโนมัติ

เนื่องจากการนำกฎหมายต่างๆ มาใช้ เช่นระเบียบการคุ้มครองข้อมูลทั่วไปในสหภาพยุโรปและพระราชบัญญัติคุ้มครองความเป็นส่วนตัวของผู้บริโภคแห่งแคลิฟอร์เนียในสหรัฐอเมริกา ทำให้มีการพูดคุยกันมากมายเกี่ยวกับการใช้การจดจำเสียงพูดในสถานที่ทำงาน ในเดือนกันยายน 2019 บริษัท Soapbox Labs ผู้พัฒนาเทคโนโลยีการจดจำเสียงพูดของไอร์แลนด์ ได้เตือนเกี่ยวกับผลกระทบทางกฎหมายที่อาจเกิดขึ้น^{[ 15 ]}

สิทธิบัตรระหว่างประเทศฉบับแรกยื่นในปี พ.ศ. 2526 ซึ่งมาจากการวิจัยด้านโทรคมนาคมในCSELT ^{[ 16 ]} (อิตาลี) โดย Michele Cavazza และAlberto Ciaramellaเป็นพื้นฐานสำหรับบริการโทรคมนาคมในอนาคตสำหรับลูกค้าปลายทางและเพื่อปรับปรุงเทคนิคการลดสัญญาณรบกวนทั่วทั้งเครือข่าย

ระหว่างปี พ.ศ. 2539 ถึง พ.ศ. 2541 เทคโนโลยีการจดจำเสียงพูดถูกนำมาใช้ที่ด่านชายแดน Scobey–Coronachเพื่อให้ผู้อยู่อาศัยในท้องถิ่นที่ลงทะเบียนไว้ซึ่งไม่มีอะไรต้องสำแดงสามารถข้ามพรมแดนแคนาดา-สหรัฐอเมริกาได้เมื่อสถานีตรวจสอบปิดทำการในเวลากลางคืน^{[ 17 ]} ระบบนี้ได้รับการพัฒนาสำหรับสำนักงานตรวจคนเข้าเมืองและสัญชาติ ของสหรัฐอเมริกา โดย Voice Strategies แห่งเมืองวอร์เรน รัฐมิชิแกน

ในปี 2013 Barclays Wealth ซึ่งเป็นแผนกธนาคารส่วนบุคคลของ Barclays ได้กลายเป็นบริษัทบริการทางการเงินแห่งแรกที่ใช้ระบบไบโอเมตริกเสียงเป็นวิธีการหลักในการระบุตัวตนลูกค้าให้กับศูนย์บริการลูกค้าระบบนี้ใช้การจดจำเสียงพูดแบบพาสซีฟเพื่อตรวจสอบตัวตนของลูกค้าทางโทรศัพท์ภายใน 30 วินาทีของการสนทนาปกติ^{[ 18 ]} ระบบ นี้ได้รับการพัฒนาโดยบริษัทจดจำเสียงNuance (ซึ่งในปี 2011 ได้เข้าซื้อกิจการบริษัทLoquendoซึ่งเป็นบริษัทที่แยกตัวออกมาจาก CSELT สำหรับเทคโนโลยีการพูด) ซึ่งเป็นบริษัทที่อยู่เบื้องหลัง เทคโนโลยี Siri ของ Apple ลูกค้า 93% ให้คะแนนระบบนี้ "9 จาก 10" สำหรับความเร็ว ความง่ายในการใช้งาน และความปลอดภัย^{[ 19 ]}

การจดจำเสียงผู้พูดอาจถูกนำมาใช้ในการสืบสวนคดีอาญา เช่น การประหารชีวิตเจมส์ โฟลีย์และสตีเวน ซอทลอฟฟ์ใน ปี 2014 เป็นต้น ^{[ 20 ]}

ในเดือนกุมภาพันธ์ พ.ศ. 2559 ธนาคาร HSBCในสหราชอาณาจักรและธนาคารค้าปลีกออนไลน์First Directประกาศว่าจะให้บริการซอฟต์แวร์ธนาคารไบโอเมตริกแก่ลูกค้า 15 ล้านราย เพื่อเข้าถึงบัญชีออนไลน์และบัญชีทางโทรศัพท์โดยใช้ลายนิ้วมือหรือเสียง^{[ 21 ]}

ในปี 2023 Vice NewsและThe Guardianได้แสดงให้เห็นแยกกันว่าพวกเขาสามารถเอาชนะระบบการตรวจสอบตัวตนผู้พูดทางการเงินมาตรฐานได้โดยใช้เสียงที่สร้างขึ้นจาก AIซึ่งสร้างขึ้นจากตัวอย่างเสียงของเป้าหมายประมาณห้านาที^{[ 22 ] [ 23 ]}

• เอฟเฟกต์ AI
• การประยุกต์ใช้ปัญญาประดิษฐ์
• การแยกเสียงผู้พูด
• การรู้จำเสียงพูด
• เครื่องเปลี่ยนเสียง

รายการ

• รายชื่อเทคโนโลยีเกิดใหม่
• ภาพรวมของปัญญาประดิษฐ์

• การหลบเลี่ยงการตรวจสอบตัวตนด้วยเสียง ( เก็บถาวรเมื่อวันที่ 10 มิถุนายน 2551 ในWayback Machine)พอดแคสต์ PLA Radio เพิ่งนำเสนอวิธีง่ายๆ ในการหลอกระบบตรวจสอบตัวตนด้วยเสียงขั้นพื้นฐาน
• การยกย่องผู้บรรยาย – Scholarpedia
• ประโยชน์และความท้าทายของการจดจำเสียงในระบบควบคุมการเข้าออก