การประมวลผลคำพูด
การประมวลผลเสียงพูดคือการศึกษาเกี่ยวกับสัญญาณเสียงพูด และวิธีการประมวลผลสัญญาณ โดยปกติสัญญาณจะถูกประมวลผลใน รูปแบบ ดิจิทัลดังนั้นการประมวลผลเสียงพูดจึงถือได้ว่าเป็นกรณีพิเศษของการประมวลผลสัญญาณดิจิทัลที่นำมาใช้กับสัญญาณเสียงพูดแง่มุมของการประมวลผลเสียงพูดประกอบด้วยการรับ การจัดการ การจัดเก็บ การถ่ายโอน และการส่งออกสัญญาณเสียงพูด งานประมวลผลเสียงพูดที่แตกต่างกัน ได้แก่การรู้จำเสียงพูดการสังเคราะห์เสียง พูด การแยกแยะผู้พูดการปรับปรุงคุณภาพเสียงพูดการรู้จำผู้พูดเป็นต้น[ 1 ]
ประวัติศาสตร์
ความพยายามในช่วงแรกในการประมวลผลและการจดจำเสียงพูดนั้นมุ่งเน้นไปที่การทำความเข้าใจ องค์ประกอบ ทางเสียง ง่ายๆ เพียงไม่กี่ อย่าง เช่น สระ ในปี พ.ศ. 2495 นักวิจัยสามคนจาก Bell Labs ได้แก่ Stephen Balashek, R. Biddulph และ KH Davis ได้พัฒนาระบบที่สามารถจดจำตัวเลขที่พูดโดยผู้พูดคนเดียวได้[ 2 ]งานบุกเบิกในสาขาการจดจำเสียงพูดโดยใช้การวิเคราะห์สเปกตรัมได้รับการรายงานในช่วงทศวรรษ พ.ศ. 2483 [ 3 ]
การเข้ารหัสทำนายเชิงเส้น (LPC) ซึ่งเป็นอัลกอริธึมการประมวลผลเสียงพูด ได้รับการเสนอครั้งแรกโดยFumitada Itakuraจากมหาวิทยาลัยนาโกยาและ Shuzo Saito จากบริษัท Nippon Telegraph and Telephone (NTT) ในปี 1966 [ 4 ]การพัฒนาเพิ่มเติมในเทคโนโลยี LPC เกิดขึ้นโดยBishnu S. AtalและManfred R. Schroederที่Bell Labsในช่วงทศวรรษ 1970 [ 4 ] LPC เป็นพื้นฐานสำหรับเทคโนโลยีเสียงผ่าน IP (VoIP) [ 4 ]รวมถึง ชิป สังเคราะห์เสียงพูดเช่นชิปเสียงพูด LPC ของ Texas Instrumentsที่ใช้ใน ของเล่น Speak & Spellตั้งแต่ปี 1978 [ 5 ]
หนึ่งในผลิตภัณฑ์การรู้จำเสียงพูดเชิงพาณิชย์รุ่นแรกๆ คือ Dragon Dictate ซึ่งวางจำหน่ายในปี 1990 ในปี 1992 เทคโนโลยีที่พัฒนาโดยLawrence Rabinerและคนอื่นๆ ที่ Bell Labs ถูกนำมาใช้โดยAT&Tในบริการประมวลผลการโทรแบบรู้จำเสียงพูดเพื่อกำหนดเส้นทางการโทรโดยไม่ต้องใช้โอเปเรเตอร์มนุษย์ ณ จุดนี้ คำศัพท์ของระบบเหล่านี้มีขนาดใหญ่กว่าคำศัพท์เฉลี่ยของมนุษย์[ 6 ]
ในช่วงต้นทศวรรษ 2000 กลยุทธ์การประมวลผลเสียงพูดที่โดดเด่นเริ่มเปลี่ยนจากแบบจำลองมาร์คอฟที่ซ่อนอยู่ ไปสู่ เครือข่ายประสาทเทียมและ การเรียนรู้ เชิงลึกที่ทันสมัยมากขึ้น[ 7 ]
ในปี 2012 Geoffrey Hintonและทีมงานของเขาที่มหาวิทยาลัยโทรอนโตได้แสดงให้เห็นว่าโครงข่ายประสาทเทียมเชิงลึกสามารถทำงานได้ดีกว่าระบบ HMM แบบดั้งเดิมอย่างมีนัยสำคัญในงานการรู้จำคำพูดต่อเนื่องที่มีคำศัพท์จำนวนมาก ความก้าวหน้านี้ทำให้มีการนำเทคนิคการเรียนรู้เชิงลึกมาใช้กันอย่างแพร่หลายในอุตสาหกรรม[ 8 ] [ 9 ]
ในช่วงกลางทศวรรษ 2010 บริษัทต่างๆ เช่นGoogle , Microsoft , AmazonและAppleได้รวมระบบการจดจำเสียงขั้นสูงเข้ากับผู้ช่วยเสมือนของตน เช่นGoogle Assistant , Cortana , AlexaและSiri [ 10 ] ระบบเหล่านี้ใช้โมเดลการเรียนรู้เชิงลึกเพื่อให้การโต้ตอบด้วยเสียงที่เป็นธรรมชาติและแม่นยำยิ่งขึ้น
การพัฒนาโมเดล Transformer เช่น BERT (Bidirectional Encoder Representations from Transformers) ของ Google และ GPT (Generative Pre-trained Transformer) ของ OpenAI ได้ผลักดันขอบเขตของการประมวลผลภาษาธรรมชาติและการรู้จำเสียงพูดให้ก้าวไปอีกขั้น โมเดลเหล่านี้ทำให้สามารถเข้าใจเสียงพูดได้อย่างมีบริบทและมีความหมายมากขึ้น[ 8 ]ในช่วงไม่กี่ปีที่ผ่านมา โมเดลการรู้จำเสียงพูดแบบครบวงจรได้รับความนิยมมากขึ้น โมเดลเหล่านี้ทำให้กระบวนการรู้จำเสียงพูดง่ายขึ้นโดยการแปลงอินพุตเสียงเป็นเอาต์พุตข้อความโดยตรง โดยไม่ต้องผ่านขั้นตอนกลาง เช่น การสกัดคุณลักษณะและการสร้างแบบจำลองเสียง วิธีการนี้ทำให้กระบวนการพัฒนาคล่องตัวขึ้นและเพิ่มประสิทธิภาพ[ 11 ]
เทคนิค
การบิดเบือนเวลาแบบไดนามิก
การปรับเวลาแบบไดนามิก (Dynamic Time Warping: DTW) เป็นอัลกอริธึมสำหรับวัดความคล้ายคลึงกันระหว่างลำดับเวลา สองลำดับ ซึ่งอาจมีความเร็วแตกต่างกัน โดยทั่วไป DTW เป็นวิธีการคำนวณการจับคู่ที่เหมาะสมที่สุดระหว่างลำดับสองลำดับที่กำหนด (เช่น อนุกรมเวลา) ภายใต้ข้อจำกัดและกฎบางประการ การจับคู่ที่เหมาะสมที่สุดคือการจับคู่ที่ตรงตามข้อจำกัดและกฎทั้งหมด และมีต้นทุนต่ำที่สุด โดยต้นทุนคำนวณจากผลรวมของความแตกต่างสัมบูรณ์สำหรับแต่ละคู่ของดัชนีที่ตรงกันระหว่างค่าของดัชนีเหล่านั้น
แบบจำลองมาร์คอฟที่ซ่อนอยู่
แบบจำลองมาร์คอฟที่ซ่อนอยู่สามารถแสดงได้ในรูปของเครือข่ายเบย์เซียนแบบไดนามิก ที่ง่ายที่สุด เป้าหมายของอัลกอริทึมคือการประมาณค่าตัวแปรที่ซ่อนอยู่ x(t) โดยกำหนดรายการของการสังเกต y(t) โดยการใช้คุณสมบัติของมาร์คอฟการแจกแจงความน่าจะเป็นแบบมีเงื่อนไขของตัวแปรที่ซ่อนอยู่x ( t ) ณ เวลาtเมื่อกำหนดค่าของตัวแปรที่ซ่อนอยู่xณ ทุกเวลา จะขึ้นอยู่กับค่าของตัวแปรที่ซ่อนอยู่x ( t − 1) เท่านั้น ในทำนองเดียวกัน ค่าของตัวแปรที่สังเกตได้y ( t ) ก็ขึ้นอยู่กับค่าของตัวแปรที่ซ่อนอยู่x ( t ) เท่านั้น (ทั้งสองค่า ณ เวลาt )
เครือข่ายประสาทเทียม
โครงข่ายประสาทเทียม (ANN) ประกอบด้วยหน่วยหรือโหนดที่เชื่อมต่อกันเรียกว่าเซลล์ประสาทเทียมซึ่งจำลองเซลล์ประสาทในสมอง ทางชีววิทยาอย่างคร่าวๆ การเชื่อมต่อแต่ละจุด เช่นเดียวกับไซแนปส์ในสมอง ทางชีววิทยา สามารถส่งสัญญาณจากเซลล์ประสาทเทียมหนึ่งไปยังอีกเซลล์หนึ่งได้ เซลล์ประสาทเทียมที่ได้รับสัญญาณสามารถประมวลผลและส่งสัญญาณไปยังเซลล์ประสาทเทียมอื่นๆ ที่เชื่อมต่ออยู่ ในการใช้งาน ANN ทั่วไป สัญญาณที่จุดเชื่อมต่อระหว่างเซลล์ประสาทเทียมจะเป็นจำนวนจริงและเอาต์พุตของแต่ละเซลล์ประสาทเทียมจะคำนวณจากฟังก์ชันไม่เชิงเส้นของผลรวมของอินพุต
การประมวลผลที่คำนึงถึงเฟส
โดยทั่วไปเฟสจะถูกสันนิษฐานว่าเป็นแบบสุ่ม แต่มีข้อมูลที่เป็นประโยชน์ การห่อหุ้มเฟส: [ 12 ]สามารถนำมาใช้ได้เนื่องจากการกระโดดเป็นระยะบนการคลายเฟส (ดู[ 13 ]บทที่ 2.3; เฟสและความถี่ทันที ) สามารถแสดงได้ดังนี้: [ 12 ] [ 14 ], ที่ไหนเป็นเฟสเชิงเส้น ((คือการเลื่อนเวลาในแต่ละเฟรมของการวิเคราะห์)คือการมีส่วนร่วมของเฟสของช่องเสียงและแหล่งกำเนิดเฟส[ 14 ] การประมาณค่าเฟสที่ได้รับสามารถนำมาใช้ในการลดเสียงรบกวนได้: การปรับเรียบเฟสทันที ตามเวลา [ 15 ]และอนุพันธ์ของเฟสตามเวลา ( ความถี่ทันที ) และความถี่ ( ความล่าช้าของกลุ่ม ) [ 16 ]การปรับเรียบเฟสตามความถี่[ 16 ]ตัวประมาณค่าแอมพลิจูดและเฟสที่รวมกันสามารถกู้คืนเสียงพูดได้แม่นยำยิ่งขึ้นโดยอาศัยสมมติฐานของการกระจายเฟสแบบ von Mises [ 14 ]
แอปพลิเคชัน
- ระบบตอบรับด้วยเสียงแบบโต้ตอบ
- ผู้ช่วยเสมือนจริง
- การระบุเสียง
- การรับรู้ทางอารมณ์
- ระบบอัตโนมัติศูนย์บริการลูกค้า
- หุ่นยนต์