การค้นหาข้ามรูปแบบ (Cross-modal retrieval)เป็นสาขาย่อยของการค้นหาข้อมูลที่ช่วยให้ผู้ใช้สามารถค้นหาและดึงข้อมูลจากรูปแบบข้อมูลที่แตกต่างกัน เช่น ข้อความ รูปภาพ เสียง และวิดีโอ^{[ 1 ]} แตกต่างจากระบบการค้นหาข้อมูลแบบดั้งเดิมที่จับคู่คำค้นหาและเอกสารภายในรูปแบบเดียวกัน (เช่น การค้นหาข้อความ) การค้นหาข้ามรูปแบบจะเชื่อมโยงสื่อประเภทต่างๆ เพื่ออำนวยความสะดวกในการเข้าถึงข้อมูลที่ยืดหยุ่นมากขึ้น^{[ 2 ] [ 3 ] [ 4 ]}

การค้นหาข้อมูลข้ามรูปแบบ (Cross-modal retrieval) คือการแก้ปัญหาในกรณีที่เอกสารที่ใช้ค้นหาและเอกสารเป้าหมายมีประเภทแตกต่างกัน ตัวอย่างการใช้งานทั่วไป ได้แก่:

• การดึงข้อมูลรูปภาพจากข้อความ : การค้นหารูปภาพโดยใช้คำอธิบายข้อความ^{[ 1 ]}
• การดึงข้อมูลรูปภาพเป็นข้อความ : การค้นหาเอกสารข้อความหรือคำบรรยายที่เกี่ยวข้องโดยใช้การค้นหารูปภาพ^{[ 1 ]}
• การค้นหาเสียงเป็นวิดีโอ : การค้นหาเนื้อหาวิดีโอตามลักษณะเสียง^{[ 5 ]}
• การดึงข้อมูลจากวิดีโอเป็นข้อความ : การดึงคำอธิบายข้อความหรือเอกสารที่เกี่ยวข้องกับเนื้อหาวิดีโอ^{[ 6 ]}

การค้นหาข้อมูลข้ามรูปแบบก่อให้เกิดความท้าทายหลายประการ:

• ช่องว่างทางความหมาย : รูปแบบการนำเสนอข้อมูลที่แตกต่างกันนั้นใช้วิธีการแสดงข้อมูลที่แตกต่างกัน ข้อความใช้การแสดงสัญลักษณ์แบบแยกส่วน ในขณะที่ภาพประกอบด้วยค่าพิกเซลต่อเนื่อง และเสียงใช้คุณลักษณะเชิงสเปกตรัม การสร้างความสอดคล้องทางความหมายที่มีความหมายระหว่างการนำเสนอข้อมูลที่แตกต่างกันเหล่านี้จึงเป็นความท้าทายหลัก
• ความแตกต่างของคุณลักษณะ : แต่ละรูปแบบมีคุณลักษณะระดับต่ำและคุณสมบัติเชิงโครงสร้างที่แตกต่างกัน ทำให้การเปรียบเทียบหรือการจับคู่โดยตรงทำได้ยากหากไม่มีเทคนิคการแปลงหรือการแมปที่เหมาะสม

ระบบการค้นหาข้อมูลข้ามรูปแบบสมัยใหม่ใช้เทคนิคต่างๆ ดังนี้:

• การเรียนรู้การแสดงผลร่วมกัน : แนวทางที่แพร่หลายที่สุดคือการเรียนรู้พื้นที่ฝังตัวร่วมกันซึ่งรายการจากรูปแบบต่างๆ จะถูกฉายภาพ ในพื้นที่นี้ รายการที่มีความหมายคล้ายกันจะถูกจัดวางไว้ใกล้กันโดยไม่คำนึงถึงรูปแบบดั้งเดิม ทำให้สามารถดึงข้อมูลตามความคล้ายคลึงกันได้
• สถาปัตยกรรมเครือข่ายประสาทเทียม : โมเดลการเรียนรู้เชิงลึก โดยเฉพาะอย่างยิ่งโมเดลทรานส์ฟอร์เมอร์ด้านภาพและภาษา และ เฟรมเวิร์ก การเรียนรู้เชิงเปรียบเทียบสามารถเรียนรู้การแสดงผลร่วมกันจากชุดข้อมูลหลายรูปแบบขนาดใหญ่ได้
• กลไกการให้ความสนใจข้ามรูปแบบ : สถาปัตยกรรมต่างๆ ผสานรวมกลไกการให้ความสนใจที่ช่วยให้ระบบสามารถโฟกัสไปที่ส่วนที่เกี่ยวข้องของรูปแบบหนึ่งเมื่อประมวลผลข้อมูลจากอีกรูปแบบหนึ่ง

การค้นหาข้อมูลข้ามรูปแบบมีประโยชน์ในทางปฏิบัติมากมาย รวมถึง:

• เครื่องมือค้นหามัลติมีเดีย
• ระบบแนะนำตามเนื้อหา
• การค้นหารูปภาพทางการแพทย์โดยใช้ข้อความทางคลินิก
• ระบบห้องสมุดดิจิทัล
• การค้นหาสินค้าอีคอมเมิร์ซ
• การค้นหาเนื้อหาบนโซเชียลมีเดีย

• การค้นหาข้อมูล
• การเรียนรู้แบบหลายรูปแบบ
• คอมพิวเตอร์วิชั่น
• การประมวลผลภาษาธรรมชาติ
• การค้นหารูปภาพตามเนื้อหา