ในสาขาการจดจำท่าทางและการประมวลผลภาพการติดตามนิ้วเป็น เทคนิค ความละเอียดสูงที่ใช้ในการระบุตำแหน่งของนิ้วมือผู้ใช้ในพื้นที่สามมิติ เทคนิคนี้ได้รับการพัฒนาขึ้นครั้งแรกในปี 1969

การติดตามนิ้วมือสามารถใช้เป็นอุปกรณ์ป้อนข้อมูลของคอมพิวเตอร์ได้

ระบบติดตามนิ้วมือมุ่งเน้นไปที่การโต้ตอบระหว่างผู้ใช้กับข้อมูล โดยผู้ใช้จะโต้ตอบกับข้อมูลเสมือนจริงโดยการใช้ปลายนิ้วสัมผัสและควบคุมปริมาตรของวัตถุ 3 มิติที่เราต้องการแสดง ระบบนี้เกิดขึ้นจาก ปัญหา การโต้ตอบระหว่างมนุษย์กับคอมพิวเตอร์โดยมีวัตถุประสงค์เพื่อให้การสื่อสารระหว่างกันและการใช้ท่าทางและการเคลื่อนไหวของมือเป็นไปอย่างเป็นธรรมชาติมากขึ้น ระบบติดตามนิ้วมือจึงถูกสร้างขึ้น ระบบเหล่านี้จะติดตามตำแหน่งในแบบ 3 มิติและ 2 มิติของทิศทางการวางตัวของนิ้วมือแต่ละนิ้วแบบเรียลไทม์ และใช้การเคลื่อนไหวและท่าทางของมือที่เป็นธรรมชาติในการโต้ตอบ

มีตัวเลือกมากมายสำหรับการใช้งานระบบติดตามนิ้วมือ โดยหลักๆ แล้วคือระบบที่ใช้งานร่วมกับหรือไม่ใช้ งานร่วมกับ อินเทอร์เฟซ

ระบบนี้ส่วนใหญ่ใช้ ระบบ จับการเคลื่อนไหวแบบเฉื่อยและแบบออปติคอล

ระบบจับการเคลื่อนไหวแบบเฉื่อยสามารถจับการเคลื่อนไหวของนิ้วได้โดยการอ่านการหมุนของแต่ละส่วนของนิ้วในพื้นที่ 3 มิติ การนำการหมุนเหล่านี้ไปใช้กับห่วงโซ่จลนศาสตร์ทำให้สามารถติดตามมือของมนุษย์ทั้งมือได้แบบเรียลไทม์ โดยไม่มีการบดบังและไม่ต้องใช้ระบบไร้สาย

ระบบจับการเคลื่อนไหวแบบเฉื่อยของมือ เช่น ถุงมือจับการเคลื่อนไหว Synertial ใช้เซ็นเซอร์ IMU ขนาดเล็ก ที่ติดตั้งอยู่บนแต่ละส่วนของนิ้ว การจับการเคลื่อนไหวที่แม่นยำต้องใช้เซ็นเซอร์อย่างน้อย 16 ตัว นอกจากนี้ยังมีถุงมือจับการเคลื่อนไหวรุ่นที่มีเซ็นเซอร์น้อยกว่า (13 / 7 เซ็นเซอร์) ซึ่งส่วนที่เหลือของนิ้วจะถูกประมาณค่าโดยวิธีสอดแทรก (ส่วนโคนนิ้ว) หรือประมาณค่าโดยวิธีขยาย (ส่วนปลายนิ้ว) โดยทั่วไปเซ็นเซอร์จะถูกฝังอยู่ในถุงมือผ้า ทำให้การใช้งานเซ็นเซอร์สะดวกสบายยิ่งขึ้น

เซ็นเซอร์วัดความเฉื่อยสามารถตรวจจับการเคลื่อนไหวได้ทั้ง 3 ทิศทาง ซึ่งหมายความว่าสามารถตรวจจับการงอ การเหยียด และการกางนิ้วและนิ้วหัวแม่มือได้

เนื่องจากเซ็นเซอร์เฉื่อยติดตามเฉพาะการหมุน การหมุนเหล่านั้นจึงต้องถูกนำไปใช้กับโครงกระดูกมือเพื่อให้ได้ผลลัพธ์ที่ถูกต้อง เพื่อให้ได้ผลลัพธ์ที่แม่นยำ (เช่น เพื่อให้สามารถสัมผัสปลายนิ้วได้) โครงกระดูกมือจะต้องถูกปรับขนาดให้เหมาะสมกับมือจริง เพื่อจุดประสงค์นี้ สามารถใช้การวัดมือด้วยตนเองหรือการสกัดการวัดอัตโนมัติได้

นอกเหนือจากการติดตามการเคลื่อนไหวของนิ้วมือแล้ว ผู้ใช้จำนวนมากยังต้องการการติดตามตำแหน่งของมือทั้งหมดในพื้นที่ ซึ่งมีหลายวิธีที่สามารถใช้เพื่อจุดประสงค์นี้ได้:

• การบันทึกการเคลื่อนไหวของร่างกายทั้งหมดโดยใช้ระบบจับการเคลื่อนไหวแบบเฉื่อย (โครงกระดูกมือติดอยู่ที่ปลายโซ่การเคลื่อนไหวของโครงกระดูกลำตัว) ตำแหน่งของฝ่ามือถูกกำหนดจากร่างกาย
• การบันทึกตำแหน่งของฝ่ามือ (หรือปลายแขน) โดยใช้ระบบจับการเคลื่อนไหวด้วยแสง (Optical Mocap System)
• การจับตำแหน่งของฝ่ามือ (หรือปลายแขน) โดยใช้วิธีการติดตามตำแหน่งแบบอื่น ซึ่งใช้กันอย่างแพร่หลายในชุดหูฟัง VR (เช่น HTC Vive Lighthouse)

เซ็นเซอร์แบบเฉื่อยมีข้อเสียหลักสองประการที่เกี่ยวข้องกับการติดตามนิ้วมือ:

• ปัญหาในการระบุตำแหน่งสัมบูรณ์ของมือในอวกาศ
• การรบกวนทางแม่เหล็ก
• วัสดุโลหะที่ใช้มักก่อให้เกิดการรบกวนต่อเซ็นเซอร์ ปัญหานี้อาจสังเกตเห็นได้ชัดเจนโดยเฉพาะเนื่องจากมือมักสัมผัสกับสิ่งต่างๆ ที่ทำจากโลหะ ถุงมือจับการเคลื่อนไหวรุ่นปัจจุบันสามารถทนต่อการรบกวนจากสนามแม่เหล็กได้ ระดับความต้านทานต่อการรบกวนจากสนามแม่เหล็กขึ้นอยู่กับผู้ผลิต ช่วงราคา และจำนวนเซ็นเซอร์ที่ใช้ในถุงมือจับการเคลื่อนไหว ที่สำคัญ เซ็นเซอร์แบบยืดได้เป็นตัวเก็บประจุที่ทำจากซิลิโคน ซึ่งไม่ได้รับผลกระทบจากการรบกวนจากสนามแม่เหล็กเลย

ระบบจะทำการติดตามตำแหน่งของเครื่องหมายและรูปแบบในแบบ 3 มิติ โดยระบบจะระบุและติดป้ายกำกับเครื่องหมายแต่ละอันตามตำแหน่งของนิ้วมือผู้ใช้ พิกัด3มิติของป้ายกำกับเครื่องหมายเหล่านี้จะถูกสร้างขึ้นแบบเรียลไทม์โดยใช้แอปพลิเคชันอื่น ๆ

ระบบออปติคอลบางระบบเช่น Vicon หรือ ART สามารถจับภาพการเคลื่อนไหวของมือผ่านเครื่องหมายได้ ในแต่ละมือจะมีเครื่องหมายสำหรับแต่ละนิ้วที่ "ใช้งาน" กล้องความละเอียดสูงสามตัวทำหน้าที่จับภาพเครื่องหมายแต่ละตัวและวัดตำแหน่งของมัน การทำงานจะเกิดขึ้นก็ต่อเมื่อกล้องสามารถมองเห็นเครื่องหมายเหล่านั้นได้เท่านั้น เครื่องหมายภาพเหล่านี้ ซึ่งโดยทั่วไปเรียกว่าแหวนหรือกำไล ใช้ในการจดจำท่าทางของผู้ใช้ในแบบ 3 มิตินอกจากนี้ ตามที่การจำแนกประเภทระบุไว้ แหวนเหล่านี้ยังทำหน้าที่เป็นอินเทอร์เฟซใน แบบ 2 มิติ ด้วย

การบดบังภาพเป็นวิธีการที่ใช้งานง่ายมากในการนำเสนอมุมมองที่สมจริงยิ่งขึ้นของข้อมูลเสมือนจริงในสามมิติ อินเทอร์เฟซเหล่านี้มอบ เทคนิค การโต้ตอบแบบ 3 มิติ ที่เป็นธรรมชาติมากกว่า ระบบฐาน 6

มาร์กเกอร์ทำงานผ่านจุดปฏิสัมพันธ์ซึ่งโดยปกติแล้วจะถูกกำหนดไว้แล้ว และเรามีความรู้เกี่ยวกับบริเวณเหล่านั้น ด้วยเหตุนี้ จึงไม่จำเป็นต้องติดตามมาร์กเกอร์แต่ละตัวตลอดเวลา สามารถจัดการกับมาร์กเกอร์หลายตัวได้ในลักษณะเดียวกับที่มีมาร์กเกอร์ทำงานเพียงตัวเดียว ในการตรวจจับมาร์กเกอร์เหล่านี้ผ่านการปฏิสัมพันธ์ เราจึงใช้ เซ็นเซอร์ อินฟราเรดอัลตราซาวนด์ การที่สามารถจัดการมาร์กเกอร์หลายตัวได้ราวกับเป็นตัวเดียว จะช่วยแก้ปัญหาต่างๆ ได้ ในกรณีที่เราต้องทำงานภายใต้สภาวะที่ยากลำบาก เช่นแสงสว่างไม่ เพียงพอ ภาพเบลอ จากการเคลื่อนไหว การเปลี่ยนรูปของมาร์กเกอร์ หรือการถูกบดบัง

ระบบนี้ช่วยให้สามารถติดตามวัตถุได้ แม้ว่าเครื่องหมายบางส่วนจะไม่ปรากฏให้เห็นก็ตาม เนื่องจากทราบความสัมพันธ์เชิงพื้นที่ของเครื่องหมายทั้งหมดแล้ว จึงสามารถคำนวณตำแหน่งของเครื่องหมายที่ไม่ปรากฏให้เห็นได้โดยใช้เครื่องหมายที่ทราบแล้ว มีวิธีการตรวจจับเครื่องหมายหลายวิธี เช่น วิธีการตรวจจับเครื่องหมายขอบ และวิธีการประมาณค่าเครื่องหมาย

• เทคนิคของโฮเมอร์ประกอบด้วยการเลือกแสงด้วยการจัดการโดยตรง: เมื่อเลือกวัตถุแล้ว ตำแหน่งและการวางแนวของวัตถุจะถูกจัดการราวกับว่ามันเชื่อมต่อโดยตรงกับมือ
• เทคนิคของคอนเนอร์นำเสนอชุดวิดเจ็ต 3 มิติ ที่ช่วยให้สามารถโต้ตอบกับวัตถุเสมือน จริงได้ โดยอ้อมผ่านวิดเจ็ตเสมือนที่ทำหน้าที่เป็นตัวกลาง

เนื่องจากการบดบังตำแหน่งของเครื่องหมายระหว่างการจับภาพ การติดตามนิ้วมือจึงเป็นส่วนที่ท้าทายที่สุดสำหรับระบบจับภาพการเคลื่อนไหวด้วยแสง (เช่น Vicon, Optitrackหรือ ART)

ผู้ใช้งานระบบจับการเคลื่อนไหวแบบออปติคอลอ้างว่างานประมวลผลหลังการบันทึกส่วนใหญ่มักเกิดจากการบันทึกการเคลื่อนไหวของนิ้วมือ เนื่องจากระบบจับการเคลื่อนไหวแบบเฉื่อย (หากได้รับการปรับเทียบอย่างถูกต้อง) ส่วนใหญ่ไม่จำเป็นต้องมีการประมวลผลหลังการบันทึก ดังนั้นการใช้งานทั่วไปสำหรับผู้ใช้ระบบจับการเคลื่อนไหวระดับสูงจึงเป็นการรวมข้อมูลจากระบบจับการเคลื่อนไหวแบบเฉื่อย (นิ้วมือ) กับระบบจับการเคลื่อนไหวแบบออปติคอล (ร่างกาย + ตำแหน่งในอวกาศ)

กระบวนการผสานข้อมูลโมแคปนั้นอาศัยการจับคู่รหัสเวลาของแต่ละเฟรมจากแหล่งข้อมูลระบบโมแคปแบบเฉื่อยและแบบออปติคอล ด้วยวิธีนี้ ซอฟต์แวร์จากบริษัทอื่น (เช่น MotionBuilder, Blender) สามารถนำการเคลื่อนไหวจากสองแหล่งข้อมูลมาใช้ได้ โดยไม่ขึ้นอยู่กับวิธีการโมแคปที่ใช้

ระบบจับการเคลื่อนไหวที่ใช้เซ็นเซอร์แบบยืดหยุ่นจะใช้ตัวเก็บประจุแบบแผ่นขนานที่ยืดหยุ่นเพื่อตรวจจับความแตกต่างของความจุเมื่อเซ็นเซอร์ยืด งอ เฉือน หรือได้รับแรงกด เซ็นเซอร์แบบยืดหยุ่นมักทำจากซิลิโคน ซึ่งหมายความว่าเซ็นเซอร์จะไม่ได้รับผลกระทบจากการรบกวนของสนามแม่เหล็ก การบดบัง หรือการเลื่อนตำแหน่ง (ซึ่งพบได้ทั่วไปในระบบเฉื่อย) คุณสมบัติที่แข็งแรงและยืดหยุ่นของเซ็นเซอร์เหล่านี้ทำให้สามารถติดตามนิ้วได้อย่างแม่นยำสูง และมีคุณสมบัติในถุงมือจับการเคลื่อนไหวที่ผลิตโดย StretchSense ^{[ 2 ]}

การติดตามการเคลื่อนไหวของมือแบบข้อต่อทำได้ง่ายกว่าและประหยัดกว่าหลายวิธี เนื่องจากใช้กล้อง เพียงตัวเดียว ความเรียบง่ายนี้ส่งผลให้ความแม่นยำลดลง แต่ก็เป็นพื้นฐานใหม่สำหรับการโต้ตอบแบบใหม่ในการสร้างแบบจำลอง การควบคุมแอนิเมชั่นและเพิ่มความสมจริง โดยใช้ถุงมือที่ประกอบด้วยชุดสีที่กำหนดตามตำแหน่งของนิ้ว การทดสอบสีนี้จำกัดอยู่เฉพาะระบบวิชั่นของคอมพิวเตอร์ และจากฟังก์ชันการจับภาพและตำแหน่งของสี ทำให้ทราบตำแหน่งของมือได้

ในแง่ของการรับรู้ทางสายตาขาและมือสามารถจำลองได้ว่าเป็นกลไกข้อต่อ ซึ่งเป็นระบบของวัตถุแข็งที่เชื่อมต่อกันด้วยข้อต่อที่มีองศาอิสระหนึ่งหรือมากกว่านั้น แบบจำลองนี้สามารถนำไปใช้ในขนาดที่เล็กลงเพื่ออธิบายการเคลื่อนไหวของมือ และในขนาดที่กว้างขึ้นเพื่ออธิบายการเคลื่อนไหวของร่างกายทั้งหมด ตัวอย่างเช่น การเคลื่อนไหวของนิ้วบางอย่างสามารถจดจำได้จากมุมมองปกติ และไม่ขึ้นอยู่กับตำแหน่งของมือเมื่อเทียบกับกล้อง

ระบบติดตามจำนวนมากใช้โมเดลที่เน้นปัญหาการประมาณลำดับ โดยจะให้ลำดับภาพและโมเดลการเปลี่ยนแปลงเพื่อประมาณค่าโครงสร้าง 3 มิติของแต่ละภาพ โครงสร้างมือที่เป็นไปได้ทั้งหมดจะถูกแทนด้วยเวกเตอร์บนปริภูมิสถานะซึ่งเข้ารหัสตำแหน่งของมือและมุมของข้อต่อของนิ้ว แต่ละโครงสร้างมือจะสร้างชุดภาพผ่านการตรวจจับขอบของการบดบังของข้อต่อของนิ้ว การประมาณค่าของแต่ละภาพคำนวณโดยการหาเวกเตอร์สถานะที่เหมาะสมกับลักษณะที่วัดได้มากที่สุด ข้อต่อของนิ้วมีสถานะเพิ่มขึ้น 21 สถานะมากกว่าการเคลื่อนไหวแบบแข็งของฝ่ามือ ซึ่งหมายความว่าต้นทุนการคำนวณของการประมาณค่าจะเพิ่มขึ้น เทคนิคนี้ประกอบด้วยการติดป้ายกำกับข้อต่อของนิ้วแต่ละข้อและจำลองเป็นทรงกระบอก เรากำหนดแกนที่แต่ละข้อต่อและเส้นแบ่งครึ่งแกนนี้คือการฉายภาพของข้อต่อ ดังนั้นเราจึงใช้ 3 DOF เนื่องจากมีการเคลื่อนไหวเพียง 3 องศาเท่านั้น

ในกรณีนี้ก็เหมือนกับในประเภท ก่อนหน้านี้ เนื่องจากมีทฤษฎีการนำไปใช้ที่หลากหลายในเรื่องนี้ ดังนั้น ขั้นตอนและเทคนิคการรักษาจึงแตกต่างกันไป ขึ้นอยู่กับวัตถุประสงค์และความต้องการของบุคคลที่จะใช้เทคนิคนี้ อย่างไรก็ตาม เราสามารถกล่าวได้ว่าโดยทั่วไปแล้วและในระบบส่วนใหญ่ คุณควรดำเนินการตามขั้นตอนต่อไปนี้:

• การลบพื้นหลัง: แนวคิดคือการนำภาพทั้งหมดที่ถ่ายได้มาทำการคอนโวลูชันกับตัวกรองเกาส์ขนาด 5x5 จากนั้นจึงปรับขนาดภาพเหล่านั้นเพื่อลดข้อมูลพิกเซลที่มีสัญญาณรบกวน
• การแบ่งส่วนภาพ: ใช้เทคนิคมาสก์แบบไบนารีเพื่อแสดงพิกเซลที่เป็นมือด้วยสีขาว และใช้สีดำกับภาพผิวหนังส่วนหน้า
• การแยกส่วนภูมิภาค: การตรวจจับมือซ้ายและมือขวาโดยอาศัยการเปรียบเทียบระหว่างทั้งสองมือ
• การสกัดลักษณะเฉพาะ: การระบุตำแหน่งของปลายนิ้วและตรวจจับว่าเป็นจุดสูงสุดหรือจุดต่ำสุด ในการจำแนกจุดว่าเป็นจุดสูงสุดหรือจุดต่ำสุด จะทำการแปลงจุดเหล่านั้นเป็นเวกเตอร์ 3 มิติ ซึ่งโดยทั่วไปเรียกว่าเวกเตอร์เสมือนในระนาบ xy จากนั้นจึงคำนวณผลคูณเวกเตอร์ หากเครื่องหมายของส่วนประกอบ z ในผลคูณเวกเตอร์เป็นบวก เราจะถือว่าจุดนั้นเป็นจุดสูงสุด และในกรณีที่ผลลัพธ์ของผลคูณเวกเตอร์เป็นลบ จุดนั้นจะเป็นจุดต่ำสุด
• การจดจำท่าทางแบบชี้และบีบ: โดยคำนึงถึงจุดอ้างอิงที่มองเห็นได้ (ปลายนิ้ว) เพื่อเชื่อมโยงกับท่าทางนั้นๆ
• การประมาณท่าทาง : กระบวนการที่ประกอบด้วยการระบุตำแหน่งของมือโดยใช้อัลกอริธึมที่คำนวณระยะห่างระหว่างตำแหน่งต่างๆ

นอกจากนี้ยังสามารถติดตามนิ้วมือแบบแอคทีฟได้อีกด้วย เครื่องสแกนเลเซอร์อัจฉริยะ (Smart Laser Scanner) เป็นระบบติดตามนิ้วมือแบบไร้เครื่องหมาย โดยใช้เครื่องสแกน/โปรเจ็กเตอร์เลเซอร์ที่ได้รับการดัดแปลง ซึ่งพัฒนาขึ้นที่มหาวิทยาลัยโตเกียวในปี 2546-2547 ระบบนี้สามารถรับพิกัดสามมิติแบบเรียลไทม์ได้โดยไม่ต้องประมวลผลภาพใดๆ เลย (โดยพื้นฐานแล้ว มันคือเครื่องสแกนแบบวัดระยะที่แทนที่จะสแกนอย่างต่อเนื่องทั่วทั้งขอบเขตการมองเห็น จะจำกัดพื้นที่การสแกนไว้ในหน้าต่างแคบๆ ที่มีขนาดเท่ากับเป้าหมายพอดี) มีการสาธิตการจดจำท่าทางด้วยระบบนี้แล้ว อัตราการสุ่มตัวอย่างสามารถสูงมาก (500 Hz) ทำให้สามารถรับเส้นทางการเคลื่อนไหวที่ราบรื่นได้โดยไม่จำเป็นต้องใช้การกรอง (เช่น Kalman) นอกจากนี้ ยังมีการพัฒนาเครื่องติดตามแบบเรขาคณิตที่แม่นยำโดยใช้เว็บแคมราคาประหยัดที่รองรับ HSV ซึ่งมีลักษณะเป็นแบบกำหนดได้แน่นอน ป้องกันภาพลวงตาและลดต้นทุนการคำนวณ

เทคโนโลยีการติดตามมือสามารถนำไปใช้ในความเป็นจริงเสมือน (VR)และความเป็นจริงเสริม (AR ) ได้ การประยุกต์ใช้ได้ก้าวไปถึงระดับมืออาชีพ ใน การสร้างแบบจำลอง 3 มิติแล้วอย่างไรก็ตาม ระบบดังกล่าวจึงไม่ค่อยได้ถูกนำมาใช้ในแอปพลิเคชันสำหรับผู้บริโภคเนื่องจากมีราคาสูงและความซับซ้อน ไม่ว่าในกรณีใด เป้าหมายหลักคือการอำนวยความสะดวกในการสั่งการคอมพิวเตอร์ผ่านภาษาธรรมชาติหรือท่าทางการโต้ตอบ

จุดประสงค์หลักอย่างหนึ่งของการติดตามนิ้วมือคือการทำให้การใช้คอมพิวเตอร์ง่ายขึ้น โดยควบคุมผ่านการโต้ตอบด้วยท่าทาง เทคโนโลยีนี้มีศักยภาพมากมาย โดยเฉพาะอย่างยิ่งการปั้นประติมากรรม การก่อสร้าง และการสร้างแบบจำลอง 3 มิติแบบเรียลไทม์โดยใช้คอมพิวเตอร์

• การเก็บรวบรวมข้อมูล 3 มิติและการสร้างแบบจำลองวัตถุ
• การสร้างภาพสามมิติจากภาพหลายภาพ
• การประมาณท่าทางสามมิติโดยทั่วไป และการประมาณท่าทางของร่างกายที่มีข้อต่อโดยเฉพาะอย่างยิ่งที่เกี่ยวข้องกับการจับภาพความเหมือนของมนุษย์
• การสร้างภาพ 4 มิติ

• http://www.synertial.com/
• http://www.vicon.com/
• https://stretchsense.com
• http://www.dgp.toronto.edu/~ravin/videos/graphite2006_proxy.mov
• https://web.archive.org/web/20091211043000/http://actuality-medical.com/Home.html
• http://www.dgp.toronto.edu/
• http://www.k2.tu-tokyo.ac.jp/perception/SmartLaserTracking/
• การติดตามนิ้วมือโดยใช้เครื่องหมายหรือไม่ใช้เครื่องหมาย
• การติดตามมือแบบ 3 มิติ