การซิงโครไนซ์เสียงกับภาพ ( AV synchronizationหรือที่รู้จักกันในชื่อlip syncหรือในกรณีที่ไม่ซิงโครไนซ์: lip-sync error , lip flap ) หมายถึงจังหวะเวลาที่สัมพันธ์กันของ ส่วน เสียง (sound) และ ส่วน ภาพ (image) ในระหว่างการสร้าง การผลิตหลังการถ่ายทำ (การผสมเสียง) การส่งการรับชม และการประมวลผลการเล่นซ้ำ การซิงโครไนซ์ AV มีความสำคัญในโทรทัศน์การประชุมทางวิดีโอหรือภาพยนตร์

ในศัพท์เฉพาะทางอุตสาหกรรม ข้อผิดพลาดในการซิงค์เสียงและภาพจะแสดงเป็นปริมาณเวลาที่เสียงไม่ตรงกับภาพอย่างสมบูรณ์ โดยตัวเลขเวลาที่เป็นบวกแสดงว่าเสียงนำหน้าภาพ และตัวเลขที่เป็นลบแสดงว่าเสียงตามหลังภาพ^{[ 1 ]}ศัพท์เฉพาะและการกำหนดมาตรฐานของข้อผิดพลาดในการซิงค์เสียงและภาพเชิงตัวเลขนี้ถูกนำมาใช้ในอุตสาหกรรมการออกอากาศระดับมืออาชีพ ดังที่เห็นได้จากเอกสารทางวิชาชีพต่างๆ^{[ 2 ]}มาตรฐานต่างๆ เช่น ITU-R BT.1359-1 และเอกสารอ้างอิงอื่นๆ ด้านล่าง

โดยปกติแล้ว สตรีมเสียงและวิดีโอแบบดิจิทัลหรืออนาล็อกหรือไฟล์วิดีโอจะมีกลไกการซิงโครไนซ์อยู่ด้วย ไม่ว่าจะเป็นในรูปแบบของการสลับข้อมูลวิดีโอและเสียง หรือโดยการประทับเวลาสัมพัทธ์ของข้อมูล อย่างชัดเจน

ข้อผิดพลาดในการซิงค์ภาพและเสียงอาจเกิดขึ้นสะสมในหลายขั้นตอนด้วยเหตุผลหลายประการ

ในระหว่างการสร้างวิดีโอ อาจเกิดข้อผิดพลาด AV-sync ภายในเนื่องจากความล่าช้าในการประมวลผลสัญญาณ ที่แตกต่างกันระหว่างภาพและเสียงใน กล้องวิดีโอและไมโครโฟนความล่าช้าของ AV-sync โดยปกติจะคงที่ ข้อผิดพลาด AV-sync ภายนอกอาจเกิดขึ้นได้หากวางไมโครโฟนไว้ไกลจากแหล่งกำเนิดเสียง เสียงจะไม่อยู่ในจังหวะเดียวกันเนื่องจากความเร็วของเสียงต่ำกว่าความเร็วของแสง มาก หากแหล่งกำเนิดเสียงอยู่ห่างจากไมโครโฟน 340 เมตร เสียงจะมาถึงช้ากว่าแสงประมาณ 1 วินาที ความล่าช้าของ AV-sync จะเพิ่มขึ้นตามระยะทาง ในระหว่างการผสมคลิปวิดีโอ โดยปกติแล้วจะต้องมีการหน่วงเวลาเสียงหรือวิดีโอเพื่อให้ซิงโครไนซ์กัน ความล่าช้าของ AV-sync นั้นคงที่ แต่สามารถเปลี่ยนแปลงได้ตามแต่ละคลิป เอฟ เฟกต์ การตัดต่อวิดีโออาจทำให้วิดีโอหน่วงเวลา ส่งผลให้เสียงและเสียง ไม่ตรงกัน

การส่งสัญญาณ ( การออกอากาศ ) การรับสัญญาณ และการเล่นซ้ำ อาจทำให้เกิดข้อผิดพลาดในการซิงค์ภาพและเสียงได้ กล้องวิดีโอที่มีไมโครโฟนในตัวหรือช่องต่อสัญญาณอินพุตแบบ Line-in อาจไม่หน่วงเวลาเสียงและวิดีโอในปริมาณเท่ากัน กล้องวิดีโอแบบโซลิดสเตท (เช่นเซ็นเซอร์ภาพแบบ CCD และ CMOS ) อาจทำให้สัญญาณวิดีโอหน่วงเวลาไปหนึ่งเฟรมหรือมากกว่านั้น วงจรประมวลผลสัญญาณเสียงและวิดีโอในระบบโทรทัศน์มีตัวหน่วงเวลาที่สำคัญ (และอาจไม่คงที่) ตัวซิงโครไนเซอร์เฟรม ตัวประมวลผลเอฟเฟกต์วิดีโอดิจิทัล การลดสัญญาณรบกวนวิดีโอ ตัวแปลงรูปแบบ และระบบการบีบอัดเป็นตัวอย่างขององค์ประกอบการประมวลผลสัญญาณที่ใช้กันอย่างแพร่หลาย ซึ่งอาจทำให้เกิดความล่าช้าของวิดีโออย่างมาก

วงจรประมวลผลการแปลงรูปแบบและการประมวลผลดีอินเตอร์เลซในจอภาพวิดีโออาจทำให้เกิดความล่าช้าของวิดีโอหนึ่งเฟรมหรือมากกว่านั้น จอภาพวิดีโอที่มีลำโพงในตัวหรือช่องต่อสัญญาณเอาต์พุตอาจไม่หน่วงเวลาเสียงและวิดีโอเท่ากัน จอภาพวิดีโอบางรุ่นมีฟังก์ชันหน่วงเวลาเสียงภายในที่ผู้ใช้สามารถปรับได้เพื่อช่วยแก้ไขข้อผิดพลาด

โปรโตคอลการส่งข้อมูลบางอย่าง เช่นRTPจำเป็นต้องใช้วิธีการนอกแบนด์สำหรับการซิงโครไนซ์สตรีมสื่อ ในระบบ RTP บางระบบ สตรีมสื่อแต่ละสตรีมจะมีไทม์สแตมป์ของตัวเองโดยใช้อัตรานาฬิกาอิสระและค่าเริ่มต้นแบบสุ่มต่อสตรีมอาจจำเป็นต้องใช้ รายงานผู้ส่ง RTCP (SR) สำหรับแต่ละสตรีมเพื่อซิงโครไนซ์สตรีม^{[ 3 ]}

เมื่อระบบส่งสัญญาณภาพและเสียงแบบดิจิทัลหรืออนาล็อกไม่มีวิธีการหรือกลไกการซิงโครไนซ์ สัญญาณอาจไม่ตรงกัน ในภาพยนตร์ฟิล์ม ข้อผิดพลาดด้านเวลาเหล่านี้มักเกิดจากฟิล์มที่ชำรุดกระโดดข้ามเฟืองของเครื่องฉายภาพยนตร์เนื่องจากรูเฟืองฉีกขาด นอกจากนี้ ข้อผิดพลาดอาจเกิดจากการ ที่ ผู้ฉายภาพยนตร์ใส่ฟิล์มในเครื่องฉายผิดวิธี ด้วย

ข้อผิดพลาดในการซิงโครไนซ์กลายเป็นปัญหาสำคัญใน อุตสาหกรรม โทรทัศน์ดิจิทัลเนื่องจากมีการใช้การประมวลผลสัญญาณวิดีโอจำนวนมากในการผลิตรายการโทรทัศน์ การออกอากาศโทรทัศน์ และ จอแสดงผลโทรทัศน์ แบบพิกเซลเช่นจอ LCD , DLPและจอพลาสมา จอแสดงผลแบบพิกเซลใช้การประมวลผลสัญญาณวิดีโอที่ซับซ้อนเพื่อแปลงความละเอียดของสัญญาณวิดีโอขาเข้าให้เป็นความละเอียดดั้งเดิมของจอแสดงผลแบบพิกเซล ตัวอย่างเช่น การแปลงวิดีโอความละเอียดมาตรฐานให้แสดงบนจอแสดงผลความละเอียดสูง ปัญหาการซิงโครไนซ์มักเกิดขึ้นเมื่อ มี การประมวลผลวิดีโอ จำนวนมาก ในส่วนวิดีโอของรายการโทรทัศน์ แหล่งที่มาทั่วไปของความล่าช้าของวิดีโออย่างมากในด้านโทรทัศน์ ได้แก่ ตัวซิงโครไนเซอร์วิดีโอ และตัวเข้ารหัสและถอดรหัสการบีบอัดวิดีโอ ตัวเข้ารหัสและถอดรหัสที่มีปัญหาเป็นพิเศษนั้นใช้ใน ระบบการบีบอัด MPEGที่ใช้สำหรับการออกอากาศโทรทัศน์ดิจิทัลและการจัดเก็บรายการโทรทัศน์บนอุปกรณ์บันทึกและเล่นสำหรับผู้บริโภคและมืออาชีพ

ในการออกอากาศโทรทัศน์ ไม่ใช่เรื่องแปลกที่ความคลาดเคลื่อนของการซิงค์เสียงกับภาพจะแตกต่างกันมากกว่า 100  มิลลิวินาที (หลายเฟรมวิดีโอ) เป็นครั้งคราว โดยทั่วไปแล้ว การซิงค์เสียงและวิดีโอจะได้รับการแก้ไขและรักษาไว้ด้วยตัวซิงค์เสียงองค์กรมาตรฐานอุตสาหกรรมโทรทัศน์ได้กำหนดปริมาณความคลาดเคลื่อนของเวลาเสียงและวิดีโอที่ยอมรับได้ และแนะนำแนวทางปฏิบัติที่เกี่ยวข้องกับการรักษาเวลาที่ยอมรับได้^{[ 4 ] [ 1 ]}ข้อแนะนำ EBU R37 "เวลาสัมพัทธ์ของส่วนประกอบเสียงและภาพของสัญญาณโทรทัศน์" ระบุว่าการซิงค์เสียง/วิดีโอแบบ end-to-end ควรอยู่ภายใน +40  มิลลิวินาที และ -60 มิลลิ วินาที (เสียงก่อน/หลังวิดีโอ ตามลำดับ) และแต่ละขั้นตอนควรอยู่ภายใน +5  มิลลิวินาที และ -15  มิลลิวินาที^{[ 5 ]}

โดยทั่วไปแล้ว ผลลัพธ์ที่ได้จะทำให้การเคลื่อนไหวของปากของตัวละครที่ถ่ายทำหรือออกอากาศทางโทรทัศน์ไม่ตรงกับบทสนทนาที่พูด จึงเกิดคำว่าการขยับปากไม่ตรงกันหรือข้อผิดพลาดในการซิงค์เสียงและวิดีโอ ข้อผิดพลาดในการซิงค์เสียงและวิดีโอที่เกิดขึ้นนี้อาจสร้างความรำคาญให้กับผู้ชม และอาจทำให้ผู้ชมไม่สนุกกับรายการ ลดประสิทธิภาพของรายการ หรือนำไปสู่การรับรู้เชิงลบของผู้พูดจากมุมมองของผู้ชม^{[ 6 ]}การสูญเสียประสิทธิภาพที่อาจเกิดขึ้นนั้นเป็นเรื่องที่น่ากังวลเป็นพิเศษสำหรับโฆษณาผลิตภัณฑ์และผู้สมัครทางการเมือง องค์กรมาตรฐานอุตสาหกรรมโทรทัศน์ เช่นคณะกรรมการระบบโทรทัศน์ขั้นสูงได้เข้ามามีส่วนร่วมในการกำหนดมาตรฐานสำหรับข้อผิดพลาดในการซิงค์เสียงและวิดีโอ^{[ 4 ]}

เนื่องจากปัญหาเหล่านี้ ข้อผิดพลาด AV-sync จึงเป็นปัญหาสำหรับอุตสาหกรรมการผลิตรายการโทรทัศน์ ซึ่งรวมถึงสถานีโทรทัศน์ เครือข่าย ผู้โฆษณา และบริษัทผลิตรายการ น่าเสียดายที่การเกิดขึ้นของเทคโนโลยีจอแสดงผลแบบแบนความละเอียดสูง (LCD, DLP และพลาสมา) ซึ่งอาจทำให้วิดีโอหน่วงเวลามากกว่าเสียง ได้ทำให้ปัญหานี้ย้ายไปอยู่ในบ้านของผู้รับชมและอยู่นอกเหนือการควบคุมของอุตสาหกรรมการผลิตรายการโทรทัศน์เพียงอย่างเดียว บริษัทผู้ผลิตสินค้าอุปโภคบริโภคในปัจจุบันเสนอการปรับการหน่วงเวลาเสียงเพื่อชดเชยการเปลี่ยนแปลงการหน่วงเวลาวิดีโอในทีวีซาวด์บาร์และเครื่องรับ A/V ^{[ 7 ]}และหลายบริษัทผลิตอุปกรณ์หน่วงเวลาเสียงดิจิทัลเฉพาะสำหรับการแก้ไขข้อผิดพลาดลิปซิงค์โดยเฉพาะ

สำหรับแอปพลิเคชันโทรทัศน์คณะกรรมการระบบโทรทัศน์ขั้นสูงแนะนำว่าเสียงไม่ควรนำหน้าภาพเกินกว่า...เสียงควรหน่วงเวลาไม่เกิน 15 มิลลิวินาที และเสียงไม่ควรหน่วงเวลาวิดีโอเกิน 45  มิลลิวินาที^{[ 4 ]}อย่างไรก็ตามITU ได้ทำการ ทดสอบที่ควบคุมอย่างเข้มงวดกับผู้ชมผู้เชี่ยวชาญและพบว่าเกณฑ์สำหรับการตรวจจับคือ 45  มิลลิวินาทีนำไปสู่ ความล่าช้า 125 มิลลิวินาที^{[ 1 ]} สำหรับภาพยนตร์ การซิงค์ริมฝีปากที่ยอมรับได้ถือว่าไม่เกิน 22 มิลลิวินาทีในแต่ละทิศทาง^{[ 5 ] [ 8 ]}

สมาคมอิเล็กทรอนิกส์สำหรับผู้บริโภคได้เผยแพร่ชุดคำแนะนำเกี่ยวกับวิธีการที่เครื่องรับโทรทัศน์ดิจิทัลควรใช้การซิงค์ A/V ^{[ 9 ]}

มาตรฐาน SMPTE ST2064 ที่เผยแพร่ในปี 2558 ^{[ 10 ]}ให้เทคโนโลยีเพื่อลดหรือขจัดข้อผิดพลาดการซิงค์ริมฝีปากในโทรทัศน์ดิจิทัล มาตรฐานนี้ใช้ลายนิ้วมือเสียงและวิดีโอที่ได้จากรายการโทรทัศน์ ลายนิ้วมือเหล่านี้สามารถกู้คืนและใช้เพื่อแก้ไขข้อผิดพลาดการซิงค์ริมฝีปากที่สะสมได้ เมื่อสร้างลายนิ้วมือสำหรับรายการโทรทัศน์แล้ว และมีการรวมเทคโนโลยีที่จำเป็นเข้าไปโทรทัศน์ ของผู้รับชม จะสามารถวัดและแก้ไขข้อผิดพลาดการซิงค์ริมฝีปากได้อย่างต่อเนื่อง^{[ 11 ] [ 12 ]}

การประทับเวลาการนำเสนอ (PTS) จะถูกฝังอยู่ในสตรีมการขนส่ง MPEGเพื่อส่งสัญญาณอย่างแม่นยำว่าแต่ละส่วนของเสียงและวิดีโอจะถูกนำเสนอเมื่อใด และเพื่อหลีกเลี่ยงข้อผิดพลาด AV-sync อย่างไรก็ตาม การประทับเวลาเหล่านี้มักจะถูกเพิ่มหลังจากที่วิดีโอผ่านการซิงโครไนซ์เฟรม การแปลงรูปแบบ และการประมวลผลล่วงหน้า ดังนั้นข้อผิดพลาดลิปซิงค์ที่เกิดจากการดำเนินการเหล่านี้จะไม่ได้รับการแก้ไขโดยการเพิ่มและการใช้การประทับเวลา^{[ 13 ] [ 14 ] [ 15 ] [ 16 ]}

โปรโตคอลการขนส่งแบบเรียลไทม์จะกำหนดเวลาสื่อโดยใช้การประทับเวลา เริ่มต้น บนไทม์ไลน์ที่กำหนด นาฬิกาแบบเรียลไทม์ เช่น นาฬิกาที่ส่งผ่านโปรโตคอลเวลาเครือข่ายหรือโปรโตคอลเวลาแม่นยำและอธิบายไว้ในโปรโตคอลคำอธิบายเซสชัน^{[ 17 ]}ที่เกี่ยวข้องกับสื่อ อาจใช้เพื่อซิงโครไนซ์สื่อ จากนั้นอาจใช้เซิร์ฟเวอร์เพื่อซิงโครไนซ์ระหว่างตัวรับหลายตัว^{[ 18 ]}

• กระดานตบหนัง
• การพากย์เสียง
• อาการแล็ก (ในวิดีโอเกม)

• Cugnini, Aldo (1 กันยายน 2550). "การจัดการการซิงค์ริมฝีปาก" . เทคโนโลยีโทรทัศน์, เดิมมาจากวิศวกรรมการออกอากาศ. เก็บถาวรจากต้นฉบับเมื่อ 8 ตุลาคม 2558. สืบค้นเมื่อ 19 ตุลาคม 2551 .
• RA Salmon; Andrew Mason (มกราคม 2009). "ปัจจัยที่มีผลต่อการรับรู้การซิงโครไนซ์เสียงและภาพในโทรทัศน์" (PDF) . BBC Research & Development . เก็บถาวรจากต้นฉบับเมื่อ 13 กันยายน 2015
• Sieranoja, S.; Sahidullah, Md; Kinnunen, T.; Komulainen, J.; Hadid, A. (กรกฎาคม 2018). "การตรวจจับการซิงโครไนซ์ภาพและเสียงด้วยคุณลักษณะเสียงที่ได้รับการปรับให้เหมาะสม" (PDF) . การประชุมวิชาการนานาชาติ IEEE ครั้งที่ 3 ด้านการประมวลผลสัญญาณและภาพ (ICSIP) ปี 2018 .หน้า377– 381. doi : 10.1109/SIPROCESS.2018.8600424 . ISBN  978-1-5386-6396-7S2CID 51682024​​