การแยกวัตถุแบบโต้ตอบอย่างง่าย

การสกัดวัตถุแบบโต้ตอบอย่างง่าย ( SIOX ) เป็นอัลกอริทึมสำหรับการสกัดวัตถุพื้นหน้าจากภาพสีและวิดีโอโดยมีการโต้ตอบกับผู้ใช้น้อยมาก^{[ 1 ]}มีการนำไปใช้เป็นเครื่องมือ "การเลือกพื้นหน้า" ในGIMP (ตั้งแต่เวอร์ชัน 2.3.3) เป็นส่วนหนึ่งของเครื่องมือติดตามในInkscape (ตั้งแต่ 0.44pre3) และเป็นฟังก์ชันในImageJและFiji (ปลั๊กอิน) นอกจากนี้ยังมีการรายงานการใช้งานแบบทดลองสำหรับBlenderและKrita ด้วย แม้ว่าอัลกอริทึมนี้จะได้รับการออกแบบมาสำหรับวิดีโอเป็นหลัก แต่การใช้งานเกือบทั้งหมดใช้ SIOX เป็นหลักสำหรับการแบ่งส่วนภาพนิ่ง ในความเป็นจริง มักกล่าวกันว่าเป็นมาตรฐานโดยพฤตินัย ในปัจจุบัน สำหรับงานนี้ในโลก โอเพนซอร์ส

ในขั้นต้น จะใช้เครื่องมือเลือกแบบอิสระเพื่อกำหนดขอบเขตที่สนใจ ขอบเขตนั้นต้องประกอบด้วยวัตถุพื้นหน้าทั้งหมดที่ต้องการแยก และมีวัตถุพื้นหลังให้น้อยที่สุด พิกเซลที่อยู่นอกขอบเขตที่สนใจจะประกอบเป็นพื้นหลังที่แน่นอน ในขณะที่ขอบเขตภายในจะกำหนดส่วนที่ใหญ่กว่าของวัตถุพื้นหน้า นั่นคือ บริเวณที่ไม่ทราบ จากนั้นจะใช้เครื่องมือที่เรียกว่าแปรงพื้นหน้าเพื่อทำเครื่องหมายบริเวณพื้นหน้าที่เป็นตัวแทน อัลกอริทึมจะส่งออกมาสก์การเลือก การเลือกสามารถปรับปรุงได้โดยการเพิ่มเครื่องหมายพื้นหน้าเพิ่มเติม หรือโดยการเพิ่มเครื่องหมายพื้นหลังโดยใช้แปรงพื้นหลัง

ในทางเทคนิคแล้ว อัลกอริทึมจะดำเนินการตามขั้นตอนต่อไปนี้:

สร้างชุดสีที่เป็นตัวแทนสำหรับพื้นหน้าและพื้นหลังที่แน่นอน ซึ่งเรียกว่าลายเซ็นสี
กำหนดจุดภาพทั้งหมดให้กับส่วนหน้าหรือส่วนหลังโดยใช้การค้นหาเพื่อนบ้านที่ใกล้ที่สุดแบบถ่วงน้ำหนักในลายเซ็นสี
ใช้กระบวนการประมวลผลภาพมาตรฐาน เช่น การกัดกร่อน การขยาย และการเบลอ เพื่อกำจัดสิ่งแปลกปลอมในภาพ
ค้นหาส่วนประกอบพื้นหน้าที่เชื่อมต่อกันซึ่งมีขนาดใหญ่พอหรือได้รับการทำเครื่องหมายโดยผู้ใช้

สำหรับการแบ่งส่วนวิดีโอ บริเวณพื้นหลังและพื้นหน้าที่แน่นอนจะถูกเรียนรู้จากสถิติการเคลื่อนไหว SIOX ยังมีเครื่องมือที่ช่วยให้สามารถปรับแต่งขอบและบริเวณที่มีพื้นผิวสูงได้อย่างแม่นยำระดับซับพิกเซล ซึ่งเรียกว่า "แปรงปรับแต่งรายละเอียด"

เช่นเดียวกับอัลกอริธึม การแบ่งส่วนภาพทั้งหมดย่อมมีภาพบางภาพที่อัลกอริธึมนี้ให้ผลลัพธ์ที่ไม่สมบูรณ์แบบ ข้อเสียที่สำคัญที่สุดของ SIOX คือการพึ่งพาของสี แม้ว่าภาพถ่ายจำนวนมากจะแยกออกจากกันได้ดีด้วยสี แต่อัลกอริธึมนี้ไม่สามารถจัดการกับการพรางตัวได้ หากภาพพื้นหน้าและพื้นหลังมีเฉดสีที่เหมือนกันหลายเฉด อัลกอริธึมอาจให้ผลลัพธ์ที่มีส่วนขาดหายไปหรือจัดประเภทภาพพื้นหน้าผิดพลาด SIOX ทำงานได้ดีพอๆ กันในเกณฑ์มาตรฐานต่างๆ เมื่อเทียบกับวิธีการแบ่งส่วนภาพแบบกราฟ เช่นGrabcutอย่างไรก็ตาม SIOX มีความทนทานต่อสัญญาณรบกวนมากกว่า จึงสามารถใช้สำหรับการแบ่งส่วนวิดีโอได้ด้วย วิธีการแบ่งส่วนภาพแบบกราฟจะค้นหาการตัดขั้นต่ำ ดังนั้นจึงมักทำงานได้ไม่ดีนักกับโครงสร้างที่ซับซ้อน

อัลกอริทึมนี้ได้รับการพัฒนาขึ้นครั้งแรกที่ภาควิชาวิทยาการคอมพิวเตอร์ มหาวิทยาลัย อิสระแห่ง เบอร์ลิน (Freie Universitaet Berlin ) ผู้พัฒนาหลักคือ Gerald Friedland ปัจจุบันเป็นอาจารย์ประจำภาควิชาวิศวกรรมไฟฟ้าและวิทยาการคอมพิวเตอร์ มหาวิทยาลัยแคลิฟอร์เนีย เบิร์กลีย์และยังเป็นนักวิทยาศาสตร์ข้อมูลหลักที่ห้องปฏิบัติการแห่งชาติลอว์เรนซ์ลิเวอร์ มอร์ (Lawrence Livermore National Lab ) เขายังคงให้การสนับสนุนการพัฒนาผ่านการให้คำปรึกษา เช่น ในโครงการGoogle Summer of Code

หมายเหตุ

^ Friedland, G., Jantz, K., Lenz, T., Wiesel, F., และ Rojas, R. (2006). "แนวทางปฏิบัติในการแยกวัตถุหลายชิ้นที่แม่นยำตามขอบเขตจากภาพนิ่งและวิดีโอ" การประชุมวิชาการนานาชาติ IEEE ครั้งที่ 8 ด้านมัลติมีเดีย (ISM'06)หน้า 307–316 . doi : 10.1109/ISM.2006.9 . ISBN 978-0-7695-2746-8. S2CID 13938666 .{{cite book}}: CS1 maint: multiple names: authors list ( link )

ลิงก์ภายนอก

www.siox.org
วิดีโอสาธิตการใช้งาน SIOX ใน GIMP
SIOX ในฟิจิ และ ImageJ
www.gimp.org
www.inkscape.org
www.echalk.de

[1] Friedland, G., Jantz, K., Lenz, T., Wiesel, F., และ Rojas, R. (2006). "แนวทางปฏิบัติในการแยกวัตถุหลายชิ้นที่แม่นยำตามขอบเขตจากภาพนิ่งและวิดีโอ" การประชุมวิชาการนานาชาติ IEEE ครั้งที่ 8 ด้านมัลติมีเดีย (ISM'06)หน้า 307–316 . doi : 10.1109/ISM.2006.9 . ISBN 978-0-7695-2746-8. S2CID 13938666 .{{cite book}}: CS1 maint: multiple names: authors list ( link )

[ 1 ]

การแยกวัตถุแบบโต้ตอบอย่างง่าย

หมายเหตุ

ลิงก์ภายนอก

ข้อมูลสำคัญจากบทความ