การทดสอบทัวริงเชิงภาพคือ “อุปกรณ์ช่วยเหลือผู้ปฏิบัติงานที่สร้าง ลำดับคำถามไบนารี แบบสุ่มจากภาพทดสอบที่กำหนด” ^{[ ​​1 ]}กลไกการสอบถามจะสร้างลำดับคำถามที่มีคำตอบที่คาดเดาไม่ได้เมื่อพิจารณาจากประวัติของคำถาม การทดสอบนี้เกี่ยวกับการมองเห็นเท่านั้นและไม่ต้องการการประมวลผลภาษาธรรมชาติ ใดๆ หน้าที่ของผู้ปฏิบัติงานคือการให้คำตอบที่ถูกต้องสำหรับคำถามหรือปฏิเสธคำถามนั้นว่าเป็นคำถามที่คลุมเครือ ตัวสร้างคำถามจะสร้างคำถามในลักษณะที่สอดคล้องกับ “เรื่องราวตามธรรมชาติ” คล้ายกับสิ่งที่มนุษย์ทำเมื่อมองดูภาพ

การวิจัยด้านคอมพิวเตอร์วิชั่นเริ่มต้นขึ้นในทศวรรษ 1960 เมื่อเซย์มัวร์ พาเพิร์ตพยายามแก้ปัญหานี้เป็นครั้งแรก ความพยายามที่ไม่ประสบความสำเร็จนี้ถูกเรียกว่าโครงการซัมเมอร์วิชั่น (Summer Vision Project ) เหตุผลที่ไม่ประสบความสำเร็จนั้นเป็นเพราะคอมพิวเตอร์วิชั่นมีความซับซ้อนมากกว่าที่คนทั่วไปคิด ความซับซ้อนนี้สอดคล้องกับระบบการมองเห็นของมนุษย์ สมองของมนุษย์ประมาณ 50% ทุ่มเทให้กับการประมวลผลการมองเห็น ซึ่งบ่งชี้ว่านี่เป็นปัญหาที่ยากลำบาก

ต่อมามีความพยายามที่จะแก้ปัญหาด้วยแบบจำลองที่ได้รับแรงบันดาลใจจากสมองมนุษย์เพอร์เซปตรอนโดยแฟรงค์ โรเซนแบ ลตต์ ซึ่งเป็นรูปแบบหนึ่งของโครงข่ายประสาทเทียม เป็นหนึ่งในแนวทางแรกๆ ดังกล่าว โครงข่ายประสาทเทียมแบบง่ายเหล่านี้ไม่สามารถตอบสนองความคาดหวังได้และมีข้อจำกัดบางประการ ทำให้ไม่ได้รับการพิจารณาในการวิจัยในอนาคต

ต่อมา เมื่อมีฮาร์ดแวร์และพลังการประมวลผลมากขึ้น การวิจัยจึงเปลี่ยนไปสู่การประมวลผลภาพซึ่งเกี่ยวข้องกับการดำเนินการระดับพิกเซล เช่นการค้นหาขอบการลดสัญญาณรบกวนในภาพหรือการใช้ฟิลเตอร์ เป็นต้น มีความก้าวหน้าอย่างมากในสาขานี้ แต่ปัญหาด้านการมองเห็น ซึ่งจะทำให้เครื่องจักรเข้าใจภาพได้นั้นยังไม่ได้รับการแก้ไข ในช่วงเวลานี้ เครือข่ายประสาทเทียมก็กลับมาได้รับความสนใจอีกครั้ง เนื่องจากมีการแสดงให้เห็นว่าข้อจำกัดของเพอร์เซปตรอนสามารถเอาชนะได้ด้วยเพอร์เซปตรอนหลายชั้นนอกจากนี้ ในช่วงต้นทศวรรษ 1990 เครือข่ายประสาทเทียมแบบคอน โวลูชันก็ถือกำเนิดขึ้น ซึ่งแสดงผลลัพธ์ที่ยอดเยี่ยมในการจดจำตัวเลข แต่ไม่สามารถขยายขนาดได้ดีในปัญหาที่ยากขึ้น

ช่วงปลายทศวรรษ 1990 และต้นทศวรรษ 2000 เป็นช่วงกำเนิดของวิทยาการคอมพิวเตอร์ด้านการมองเห็นสมัยใหม่ สาเหตุหนึ่งมาจากความพร้อมของอัลกอริทึมสำคัญ สำหรับ การสกัดคุณลักษณะ และการแสดงผล คุณลักษณะเหล่านี้ร่วมกับอัลกอริทึม การเรียนรู้ของเครื่องที่มีอยู่แล้วถูกนำมาใช้ในการตรวจจับ ระบุตำแหน่ง และแบ่งส่วนวัตถุในภาพ

ในขณะที่ความก้าวหน้าเหล่านี้เกิดขึ้น ชุมชนก็รู้สึกถึงความจำเป็นที่จะต้องมีชุดข้อมูลและตัวชี้วัดการประเมินผลที่เป็นมาตรฐาน เพื่อให้สามารถเปรียบเทียบประสิทธิภาพได้ นี่จึงนำไปสู่การเกิดขึ้นของความท้าทายต่างๆ เช่น ความท้าทาย Pascal VOC และ ความท้าทาย ImageNetการมีตัวชี้วัดการประเมินผลที่เป็นมาตรฐานและความท้าทายแบบเปิดได้ให้ทิศทางแก่การวิจัย มีการนำอัลกอริธึมที่ดีกว่ามาใช้สำหรับงานเฉพาะด้าน เช่น การตรวจจับ และการจำแนก วัตถุ

Visual Turing Test มีเป้าหมายที่จะให้ทิศทางใหม่แก่การวิจัยด้านคอมพิวเตอร์วิชั่น ซึ่งจะนำไปสู่การพัฒนาระบบที่สามารถเข้าใจภาพได้ใกล้เคียงกับมนุษย์มากขึ้น

มีการรวบรวมและสรุปชุดข้อมูลจำนวนมากเพื่อใช้เป็นเกณฑ์มาตรฐานในการวัดประสิทธิภาพของอัลกอริธึมประเภทต่างๆ ในการประเมินงานด้านการมองเห็นที่แตกต่างกัน (เช่น การตรวจจับ/การจดจำวัตถุ) บนโดเมนภาพบางอย่าง (เช่น ภาพทิวทัศน์)

หนึ่งในชุดข้อมูลที่มีชื่อเสียงที่สุดในคอมพิวเตอร์วิชั่นคือImageNetซึ่งใช้ในการประเมินปัญหาการจำแนกประเภทภาพระดับวัตถุ ImageNet เป็นหนึ่งในชุดข้อมูลที่มีคำอธิบายประกอบที่ใหญ่ที่สุดที่มีอยู่และมีภาพมากกว่าหนึ่งล้านภาพ งานวิชั่นที่สำคัญอีกอย่างหนึ่งคือการตรวจจับและระบุตำแหน่งวัตถุ ซึ่งหมายถึงการตรวจจับอินสแตนซ์ของวัตถุในภาพและให้พิกัดกรอบล้อมรอบอินสแตนซ์ของวัตถุหรือการแบ่งส่วนวัตถุ ชุดข้อมูลที่เป็นที่นิยมที่สุดสำหรับงานนี้คือชุดข้อมูล Pascal ในทำนองเดียวกัน มีชุดข้อมูลอื่นๆ สำหรับงานเฉพาะ เช่น ชุดข้อมูล H3D ^{[ 2 ]}สำหรับการตรวจจับท่าทางของมนุษย์ ชุดข้อมูล Core เพื่อประเมินคุณภาพของคุณลักษณะของวัตถุที่ตรวจพบ เช่น สี การวางแนว และกิจกรรม

การมีชุดข้อมูลมาตรฐานเหล่านี้ช่วยให้ชุมชนด้านการมองเห็นสามารถพัฒนาอัลกอริธึมที่มีประสิทธิภาพสูงสำหรับงานต่างๆ เหล่านี้ได้ ขั้นตอนต่อไปที่สมเหตุสมผลคือการสร้างงานขนาดใหญ่ขึ้นซึ่งครอบคลุมงานย่อยๆ เหล่านี้ การมีงานดังกล่าวจะนำไปสู่การสร้างระบบที่สามารถเข้าใจภาพได้ เนื่องจากความเข้าใจภาพนั้นเกี่ยวข้องกับการตรวจจับวัตถุ การระบุตำแหน่ง และการแบ่งส่วนภาพโดยเนื้อแท้

การทดสอบทัวริงเชิงภาพ (Visual Turing Test หรือ VTT) แตกต่างจากการทดสอบทัวริงทั่วไปตรงที่มีระบบเครื่องมือสอบถามซึ่งจะสอบถามระบบคอมพิวเตอร์วิชั่นโดยมีผู้ประสานงานที่เป็นมนุษย์อยู่ด้วย

เป็นระบบที่สร้างลำดับคำถามแบบไบนารีแบบสุ่มเฉพาะสำหรับภาพทดสอบ โดยที่คำตอบของคำถามk ใดๆ นั้น ไม่สามารถคาดเดาได้เมื่อพิจารณาจากคำตอบที่แท้จริงของ คำถาม k  − 1 ข้อก่อนหน้า (หรือที่เรียกว่าประวัติคำถาม)

การทดสอบนี้เกิดขึ้นต่อหน้าผู้ควบคุมที่เป็นมนุษย์ ซึ่งมีหน้าที่หลักสองประการคือ การลบ คำถาม ที่คลุมเครือและการให้คำตอบที่ถูกต้องสำหรับคำถามที่ไม่คลุมเครือ เมื่อมีภาพหนึ่งภาพ จะสามารถถามคำถามแบบไบนารีได้ไม่จำกัดจำนวน และหลายคำถามย่อมคลุมเครือ หากคำถามเหล่านี้ถูกสร้างขึ้นโดยระบบค้นหา คำถามเหล่านั้นจะถูกลบออกโดยผู้ควบคุมที่เป็นมนุษย์ และแทนที่ด้วยระบบค้นหา ระบบจะสร้างคำถามใหม่ขึ้นมา ซึ่งคำตอบของคำถามนั้นจะไม่สามารถคาดเดาได้ ขึ้นอยู่กับประวัติของคำถามที่ผ่านมา

จุดมุ่งหมายของการทดสอบทัวริงเชิงภาพ (Visual Turing Test) คือการประเมินความเข้าใจภาพของระบบคอมพิวเตอร์ และส่วนสำคัญของความเข้าใจภาพคือเรื่องราวในภาพ เมื่อมนุษย์มองภาพ พวกเขาไม่ได้คิดว่ามีรถยนต์อยู่ที่ระยะ ' x ' พิกเซลจากด้านซ้ายและ ' y ' พิกเซลจากด้านบน แต่พวกเขามองภาพในฐานะเรื่องราว ตัวอย่างเช่น พวกเขาอาจคิดว่ามีรถยนต์จอดอยู่บนถนน มีคนกำลังลงจากรถและมุ่งหน้าไปยังอาคาร องค์ประกอบที่สำคัญที่สุดของเรื่องราวคือวัตถุ ดังนั้นในการดึงเรื่องราวใดๆ จากภาพ งานแรกและสำคัญที่สุดคือการสร้างวัตถุในภาพนั้น และนั่นคือสิ่งที่เครื่องมือค้นหาทำ

ระบบประมวลผลคำถามเป็นหัวใจหลักของ Visual Turing Test และประกอบด้วยสองส่วนหลัก ได้แก่ คำศัพท์และคำถาม

คำศัพท์คือชุดคำที่ใช้แทนองค์ประกอบของภาพ คำศัพท์เหล่านี้เมื่อใช้ร่วมกับไวยากรณ์ที่เหมาะสมจะนำไปสู่ชุดคำถาม ไวยากรณ์จะถูกอธิบายในส่วนถัดไปในลักษณะที่นำไปสู่พื้นที่ของคำถามแบบไบนารี

คำศัพท์ประกอบด้วยส่วนประกอบสามส่วน: ${\displaystyle {\คณิตศาสตร์ {V}}}$

1. ประเภทของวัตถุ${\displaystyle {\mathcal {T}}}$
2. คุณลักษณะที่ขึ้นอยู่กับประเภทของวัตถุ${\displaystyle {\mathcal {A}}(t)}$
3. ความสัมพันธ์แบบขึ้นอยู่กับประเภทระหว่างวัตถุสองชิ้น${\displaystyle {\mathcal {R}}(t,t')}$

สำหรับภาพถ่ายฉากถนนในเมือง ประเภทของวัตถุประกอบด้วยคน ยานพาหนะและอาคารคุณลักษณะจะหมายถึงคุณสมบัติของวัตถุเหล่านี้ เช่นผู้หญิง เด็ก สวมหมวก หรือถือของสำหรับคน และกำลังเคลื่อนที่ จอดอยู่ หยุดนิ่ง เห็นล้อหนึ่งล้อ หรือเห็นสองล้อสำหรับยานพาหนะ ความสัมพันธ์ระหว่างวัตถุแต่ละคู่สามารถเป็นได้ทั้งแบบ "มีลำดับ" หรือ "ไม่มีลำดับ" ความสัมพันธ์ที่ไม่มีลำดับอาจรวมถึงการพูดคุยการเดินไปด้วยกันและความสัมพันธ์ที่มีลำดับรวมถึงสูงกว่าใกล้กล้องกว่า บังกัน ถูกบังเป็นต้น

นอกจากนี้ คำศัพท์ทั้งหมดนี้ใช้ในบริบทของบริเวณภาพสี่เหลี่ยมผืนผ้า w ∈ W ซึ่งช่วยให้สามารถระบุตำแหน่งของวัตถุในภาพได้ เนื่องจากมีบริเวณดังกล่าวจำนวนมากที่เป็นไปได้ จึงทำให้ปัญหาซับซ้อนขึ้น ดังนั้นสำหรับการทดสอบนี้ จึงใช้เฉพาะบริเวณที่มีขนาดเฉพาะ ซึ่งรวมถึงขนาด 1/16 ของขนาดภาพ 1/4 ของขนาดภาพ 1/2 ของขนาดภาพ หรือใหญ่กว่านั้น

ช่องว่างสำหรับคำถามประกอบด้วยคำถามสี่ประเภท:

• คำถามเกี่ยวกับการดำรงอยู่: จุดมุ่งหมายของคำถามเกี่ยวกับการดำรงอยู่คือการค้นหาวัตถุใหม่ในภาพที่ยังไม่เคยถูกระบุอย่างเฉพาะเจาะจงมาก่อน โดย มีรูปแบบดังนี้:

Q  = 'มีอินสแตนซ์ของวัตถุประเภท t ที่มีแอตทริบิวต์ A ซึ่งมองเห็นได้บางส่วนในพื้นที่ w ที่ยังไม่เคยถูกสร้างขึ้นมาก่อนหรือไม่?'

• คำถามเกี่ยวกับความเป็นเอกลักษณ์: คำถามเกี่ยวกับความเป็นเอกลักษณ์พยายามระบุวัตถุอย่างเฉพาะเจาะจงเพื่อสร้างอินสแตนซ์ของวัตถุนั้น

Q  = 'มีอินสแตนซ์ที่ไม่ซ้ำกันของวัตถุประเภท t ที่มีแอตทริบิวต์ A ซึ่งมองเห็นได้บางส่วนในพื้นที่ w ที่ยังไม่เคยถูกสร้างขึ้นมาก่อนหรือไม่?'

คำถามเกี่ยวกับความเป็นเอกลักษณ์และคำถามเกี่ยวกับการมีอยู่จริงนั้นก่อให้เกิดคำถามเกี่ยวกับการสร้างวัตถุขึ้นมา ดังที่กล่าวไว้ก่อนหน้านี้ การสร้างวัตถุขึ้นมานำไปสู่คำถามที่น่าสนใจอื่นๆ และในที่สุดก็กลายเป็นเรื่องราว คำถามเกี่ยวกับความเป็นเอกลักษณ์จะตามมาหลังจากคำถามเกี่ยวกับการมีอยู่จริง และคำตอบที่เป็นบวกจะนำไปสู่การสร้างวัตถุขึ้นมา

• คำถามเกี่ยวกับคุณลักษณะ: คำถามเกี่ยวกับคุณลักษณะพยายามค้นหาข้อมูลเพิ่มเติมเกี่ยวกับวัตถุหลังจากที่ได้สร้างอินสแตนซ์ของวัตถุนั้นแล้ว คำถามประเภทนี้สามารถสอบถามเกี่ยวกับคุณลักษณะเดียว การรวมกันของสองคุณลักษณะ หรือการแยกคุณลักษณะสองคุณลักษณะได้

Q  (o  ) = {'วัตถุ o มีแอตทริบิวต์ a หรือไม่?' , ' วัตถุ o มีแอตทริบิวต์ a หรือแอตทริบิวต์ a  หรือ ไม่?' , ' วัตถุ o มีแอตทริบิวต์ a และแอตทริบิวต์ a  หรือไม่ ?'}

• คำถามเกี่ยวกับความสัมพันธ์: เมื่อสร้างอ็อบเจ็กต์หลายรายการแล้ว คำถามเกี่ยวกับความสัมพันธ์จะสำรวจความสัมพันธ์ระหว่างอ็อบเจ็กต์แต่ละคู่

Q  (o  ,o  ) = 'วัตถุ o มีความสัมพันธ์ r กับวัตถุ o หรือไม่?'

ดังที่กล่าวไว้ก่อนหน้านี้ หัวใจหลักของการทดสอบทัวริงเชิงภาพคือตัวสร้างคำถาม ซึ่งสร้างลำดับของคำถามแบบไบนารี โดยที่คำตอบของคำถามk ใดๆ นั้น คาดเดาไม่ได้ เมื่อพิจารณาจากคำตอบที่ถูกต้องของ คำถาม k  − 1 ข้อก่อนหน้า กระบวนการนี้เป็นกระบวนการแบบเรียกซ้ำ โดยเมื่อมีประวัติของคำถามและคำตอบที่ถูกต้องแล้ว ตัวสร้างคำถามจะหยุดทำงานเนื่องจากไม่มีคำถามที่คาดเดาไม่ได้อีกต่อไป หรือจะสุ่มเลือกคำถามที่คาดเดาไม่ได้และเพิ่มเข้าไปในประวัติ

พื้นที่คำถามที่กำหนดไว้ก่อนหน้านี้ได้กำหนดข้อจำกัดโดยปริยายต่อลำดับของคำถาม กล่าวคือ คำถามเกี่ยวกับคุณลักษณะและความสัมพันธ์ไม่สามารถอยู่ก่อนคำถามเกี่ยวกับการสร้างอินสแตนซ์ได้ เฉพาะเมื่อวัตถุได้รับการสร้างอินสแตนซ์แล้วเท่านั้น จึงจะสามารถสอบถามเกี่ยวกับคุณลักษณะและความสัมพันธ์กับวัตถุอื่น ๆ ที่ได้รับการสร้างอินสแตนซ์ก่อนหน้านี้ได้ ดังนั้น เมื่อพิจารณาจากประวัติแล้ว เราสามารถจำกัดคำถามที่เป็นไปได้ที่จะตามมาได้ และชุดคำถามเหล่านี้เรียกว่า คำถามที่อาจเป็นไปได้ ${\displaystyle Q_{\text{can}}}$

งานนี้คือการเลือกคำถามที่ไม่สามารถคาดเดาได้จากคำถามที่เสนอมา โดยให้คำถามนั้นสอดคล้องกับลำดับคำถามที่เราจะอธิบายในส่วนถัดไป เพื่อการนี้ ให้หาค่าความไม่สามารถคาดเดาได้ของคำถามแต่ละข้อในบรรดาคำถามที่เสนอมา

ให้เป็นตัวแปรสุ่มไบนารี โดยที่ถ้าประวัติใช้ได้กับรูปภาพและถ้าไม่ใช่ ให้เป็นคำถามที่เสนอ และเป็นคำตอบของคำถามนั้น ${\displaystyle H}$${\displaystyle H(I)=1}$${\displaystyle H}$${\displaystyle I}$${\displaystyle 0}$${\displaystyle q\in Q}$${\displaystyle X_{q}}$${\displaystyle q}$

จากนั้น หาความน่าจะเป็นแบบมีเงื่อนไขของการได้คำตอบX สำหรับคำถามqโดยที่ประวัติH กำหนด ให้

${\displaystyle P_{H}(X_{q}=x)={\frac {P\{I:H(I)=1,X_{q}(I)=x\}}{P\{I:H(I)=1\}}}}$

เมื่อพิจารณาความน่าจะเป็นนี้แล้ว มาตรวัดความไม่แน่นอนจะกำหนดโดย:

${\displaystyle \rho _{H}(q)=|P_{H}(X_{Q}=1)-0.5|}$

ยิ่งค่าเข้าใกล้0 มากเท่าไหร่ คำถามก็จะยิ่งคาดเดาได้ยากขึ้นเท่านั้น ค่านี้จะถูกคำนวณสำหรับทุกคำถาม คำถามที่มีค่าเข้าใกล้ 0 มาก จะเป็นชุดของคำถามที่คาดเดาได้ยากมาก และคำถามถัดไปจะถูกสุ่มเลือกจากชุดคำถามเหล่านี้ ${\displaystyle \rho _{H}(q)}$${\displaystyle \rho _{H}(q)}$${\displaystyle \rho _{H}(q)<\epsilon }$

ดังที่ได้กล่าวไว้ในหัวข้อก่อนหน้านี้ มีลำดับโดยนัยในพื้นที่คำถาม ซึ่งคำถามเกี่ยวกับคุณลักษณะจะมาหลังจากคำถามเกี่ยวกับการสร้างอินสแตนซ์ และคำถามเกี่ยวกับความสัมพันธ์จะมาหลังจากคำถามเกี่ยวกับคุณลักษณะ เมื่อมีการสร้างอินสแตนซ์ของวัตถุหลายรายการแล้ว

ดังนั้น กลไกการค้นหาจึงใช้โครงสร้างแบบวนซ้ำ โดยเริ่มจากการสร้างอ็อบเจ็กต์ด้วยคำถามเกี่ยวกับการมีอยู่และความเป็นเอกลักษณ์ จากนั้นจึงค้นหาข้อมูลเกี่ยวกับคุณลักษณะของอ็อบเจ็กต์นั้น และสุดท้ายจึงถามคำถามเกี่ยวกับความสัมพันธ์ของอ็อบเจ็กต์นั้นกับอ็อบเจ็กต์ทั้งหมดที่สร้างขึ้นก่อนหน้านี้

เป็นที่ชัดเจนว่าคำถามที่น่าสนใจเกี่ยวกับคุณลักษณะและความสัมพันธ์นั้นเกิดขึ้นหลังจากคำถามเกี่ยวกับการสร้างอินสแตนซ์ ดังนั้นตัวสร้างแบบสอบถามจึงมุ่งเน้นที่จะสร้างอินสแตนซ์ของวัตถุให้ได้มากที่สุดเท่าที่จะเป็นไปได้

คำถามการสร้างอินสแตนซ์ประกอบด้วยคำถามการมีอยู่และคำถามความเป็นเอกลักษณ์ แต่เป็นคำถามความเป็นเอกลักษณ์ที่จะสร้างอินสแตนซ์ของวัตถุขึ้นมาได้จริง หากได้รับคำตอบที่เป็นบวก ดังนั้น หากตัวสร้างแบบสอบถามต้องสุ่มเลือกคำถามการสร้างอินสแตนซ์ มันจะเลือกคำถามความเป็นเอกลักษณ์ที่ไม่สามารถคาดเดาได้ หากมีคำถามดังกล่าวอยู่ หากไม่มีคำถามดังกล่าว ตัวสร้างแบบสอบถามจะเลือกคำถามการมีอยู่ซึ่งมีโอกาสสูงที่จะนำไปสู่คำถามความเป็นเอกลักษณ์ในอนาคต ดังนั้นในกรณีนี้ ตัวสร้างแบบสอบถามจึงทำการค้นหาแบบมองไปข้างหน้า

ส่วนสำคัญอย่างยิ่งของเป้าหมายสูงสุดในการสร้างระบบที่สามารถเข้าใจภาพได้ในแบบที่มนุษย์เข้าใจ คือ เรื่องราวในภาพ มนุษย์พยายามที่จะหาเรื่องราวจากภาพที่พวกเขาเห็น ระบบสร้างคำถามนี้บรรลุเป้าหมายดังกล่าวได้ด้วยความต่อเนื่องของลำดับคำถาม

นี่หมายความว่าเมื่อสร้างอ็อบเจ็กต์ขึ้นมาแล้ว ระบบจะพยายามสำรวจอ็อบเจ็กต์นั้นในรายละเอียดเพิ่มเติม นอกเหนือจากการค้นหาคุณลักษณะและความสัมพันธ์กับอ็อบเจ็กต์อื่นๆ แล้ว การระบุตำแหน่งก็เป็นขั้นตอนสำคัญเช่นกัน ดังนั้น ในขั้นตอนต่อไป ตัวสร้างแบบสอบถามจะพยายามระบุตำแหน่งของอ็อบเจ็กต์ในภูมิภาคที่ระบุไว้ในตอนแรก เพื่อจำกัดชุดคำถามในการสร้างอ็อบเจ็กต์ให้อยู่ในภูมิภาคภายในภูมิภาคเดิมเท่านั้น

หลักการเลือกคำถามตามความเรียบง่ายระบุว่า ตัวสร้างแบบสอบถามควรเลือกคำถามที่ง่ายกว่ามากกว่าคำถามที่ซับซ้อนกว่า คำถามที่ง่ายกว่าคือคำถามที่มีคุณลักษณะน้อยกว่า ดังนั้นจึงเป็นการจัดลำดับคำถามตามจำนวนคุณลักษณะ และตัวสร้างแบบสอบถามจะเลือกคำถามที่ง่ายกว่าเป็นหลัก

ในการเลือกคำถามถัดไปในลำดับ VTT ต้องประเมินความสามารถในการทำนายของคำถามแต่ละข้อที่เสนอมา โดยใช้ชุดข้อมูลฝึกฝนรูปภาพที่มีการระบุคำอธิบายประกอบ รูปภาพแต่ละรูปจะมีกรอบล้อมรอบวัตถุและติดป้ายกำกับคุณลักษณะ และวัตถุแต่ละคู่จะมีป้ายกำกับความสัมพันธ์พิจารณาคำถามแต่ละประเภทแยกกัน:

1. คำถามการสร้างอินสแตนซ์ : ตัวประมาณความน่าจะเป็นแบบมีเงื่อนไขสำหรับคำถามการสร้างอินสแตนซ์สามารถแสดงได้ดังนี้: คำถามจะถูกพิจารณาเฉพาะเมื่อตัวหารมีรูปภาพอย่างน้อย 80 รูป เงื่อนไขนี้เข้มงวดมากและอาจไม่เป็นจริงสำหรับรูปภาพจำนวนมาก เนื่องจากทุกคำถามในประวัติจะกำจัดผู้สมัครประมาณครึ่งหนึ่ง (รูปภาพในกรณีนี้) ดังนั้น ประวัติจึงถูกตัดทอนและคำถามที่ไม่เปลี่ยนแปลงความน่าจะเป็นแบบมีเงื่อนไขจะถูกกำจัดออกไป การมีประวัติที่สั้นลงทำให้เราสามารถพิจารณารูปภาพจำนวนมากขึ้นสำหรับการประมาณความน่าจะเป็นการตัดทอนประวัติทำในสองขั้นตอน: ${\displaystyle \quad {\widehat {P}}(X_{q}=1)={\frac {\#\{I\in T,H(I)=1,X_{q}(I)=1\}}{\#\{I\in T,H(I)=1\}}}}$${\displaystyle H(I)=1}$
   • ในขั้นตอนแรก คำถามเกี่ยวกับคุณลักษณะและความสัมพันธ์ทั้งหมดจะถูกลบออก โดยอยู่บนสมมติฐานว่าการปรากฏและการสร้างวัตถุขึ้นอยู่กับวัตถุอื่นเท่านั้น ไม่ใช่คุณลักษณะหรือความสัมพันธ์ของวัตถุเหล่านั้น นอกจากนี้ คำถามเกี่ยวกับการมีอยู่ทั้งหมดที่อ้างถึงบริเวณที่แยกจากบริเวณที่อ้างถึงในคำถามที่เสนอ จะถูกตัดออก โดยอยู่บนสมมติฐานว่าความน่าจะเป็นของการมีอยู่ของวัตถุ ณ ตำแหน่งหนึ่งจะไม่เปลี่ยนแปลงไปตามการมีอยู่หรือไม่มีอยู่ของวัตถุ ณ ตำแหน่งอื่นและสุดท้าย คำถามเกี่ยวกับความเป็นเอกลักษณ์ทั้งหมดที่มีคำตอบเป็นลบ ซึ่งอ้างถึงบริเวณที่แยกจากบริเวณที่อ้างถึงในคำถามที่เสนอ จะถูกตัดออก โดยอยู่บนสมมติฐานว่าคำถามเกี่ยวกับความเป็นเอกลักษณ์ที่มีคำตอบเป็นบวก หากถูกตัดออก อาจเปลี่ยนแปลงคำตอบของคำถามเกี่ยวกับการสร้างวัตถุในอนาคตได้ ประวัติของคำถามที่ได้หลังจากขั้นตอนการตัดแต่งขั้นแรกนี้ สามารถเรียกได้ว่า${\displaystyle w}$${\displaystyle w}$${\displaystyle H_{q}'}$
   • ในขั้นตอนที่สอง จะทำการตัดแต่งภาพทีละภาพ สมมติว่าเป็นคำถามเกี่ยวกับความไม่ซ้ำกันในที่ยังไม่ได้ถูกตัดแต่งและยังคงอยู่ในถ้าคำถามนี้อยู่ในบริบทของบริเวณที่แยกออกจากบริเวณที่อ้างอิงในคำถามที่เสนอ คำตอบที่คาดหวังสำหรับคำถามนี้จะเป็นเนื่องจากข้อจำกัดในขั้นตอนแรก แต่ถ้าคำตอบที่แท้จริงของคำถามนี้สำหรับภาพฝึกฝนคือภาพฝึกฝนนั้นจะไม่ถูกนำมาพิจารณาในการประมาณความน่าจะเป็น และคำถามนั้นก็จะถูกตัดทิ้งไปด้วย ประวัติคำถามสุดท้ายหลังจากนี้คือและความน่าจะเป็นจะกำหนดโดย:${\displaystyle q_{i}}$${\displaystyle H}$${\displaystyle H_{q}'}$${\displaystyle 1}$${\displaystyle 0}$${\displaystyle q_{i}}$${\displaystyle {\tilde {H}}(q,I)}$${\displaystyle \quad {\widehat {P}}(X_{q}=1)={\frac {\#\{I\in T,{\tilde {H}}(q,I)=1,X_{q}(I)=1\}}{\#\{I\in T,{\tilde {H}}(q,I)=1\}}}}$
2. คำถามเกี่ยวกับคุณลักษณะ : ตัวประมาณความน่าจะเป็นสำหรับคำถามเกี่ยวกับคุณลักษณะนั้นขึ้นอยู่กับจำนวนวัตถุที่มีป้ายกำกับมากกว่าจำนวนภาพ ซึ่งแตกต่างจากคำถามเกี่ยวกับการสร้างอินสแตนซ์พิจารณาคำถามเกี่ยวกับคุณลักษณะในรูปแบบ: 'วัตถุ o มีคุณลักษณะ a หรือไม่ 'โดยที่เป็นวัตถุประเภทและให้เป็นเซตของคุณลักษณะที่ทราบอยู่แล้วว่าอยู่ใน วัตถุ เนื่องจากประวัติให้ เป็นเซตของวัตถุทั้งหมดที่มีคำอธิบายประกอบ (ความจริงพื้นฐาน) ในชุดข้อมูลฝึกฝน และสำหรับแต่ละให้เป็นประเภทของวัตถุ และเป็นเซตของคุณลักษณะที่อยู่ในวัตถุ จากนั้นตัวประมาณจะได้รับจาก: นี่คืออัตราส่วนของจำนวนครั้งที่วัตถุประเภท ที่มีคุณลักษณะปรากฏในข้อมูลฝึกฝน ต่อจำนวนครั้งที่วัตถุประเภท ที่มีคุณลักษณะปรากฏในข้อมูลฝึกฝน จำนวนคุณลักษณะที่สูงใน นำไปสู่ปัญหาความเบาบางคล้ายกับคำถามเกี่ยวกับการสร้างอินสแตนซ์ เพื่อจัดการกับปัญหานี้ เราจึงแบ่งคุณลักษณะออกเป็นเซตย่อยที่ เป็นอิสระโดยประมาณโดยมีเงื่อนไขว่าอยู่ในวัตถุตัวอย่างเช่น สำหรับบุคคล คุณลักษณะอย่างการข้ามถนนและการยืนนิ่งนั้นไม่เป็นอิสระต่อกัน แต่ทั้งสองอย่างค่อนข้างเป็นอิสระจากเพศของบุคคลนั้นไม่ว่าบุคคลนั้นจะเป็นเด็กหรือผู้ใหญ่และไม่ว่าพวกเขาจะถือสิ่งของอยู่หรือไม่ความเป็นอิสระแบบมีเงื่อนไขเหล่านี้ช่วยลดขนาดของเซตและด้วยเหตุนี้จึงเอาชนะปัญหาความเบาบางได้${\displaystyle o_{t}}$${\displaystyle t}$${\displaystyle a\in A_{t}}$${\displaystyle A}$${\displaystyle o_{t}}$${\displaystyle {\mathcal {O}}_{\mathbb {T} }}$${\displaystyle o\in {\mathcal {O}}_{\mathbb {T} }}$${\displaystyle {\mathcal {T}}_{\mathbb {T} }(o)}$${\displaystyle {\mathcal {A}}_{\mathbb {T} }(o)}$${\displaystyle o}$${\displaystyle \quad P(X_{q}=1)={\frac {\#\{o\in {\mathcal {O}}_{\mathbb {T} }:{\mathcal {T}}_{\mathbb {T} }(o)=t,A\cup \{a\}\subseteq {\mathcal {A}}_{\mathbb {T} }(o)\}}{\#\{o\in {\mathcal {O}}_{\mathbb {T} }:{\mathcal {T}}_{\mathbb {T} }(o)=t,A\subseteq {\mathcal {A}}_{\mathbb {T} }(o)\}}}}$${\displaystyle o}$${\displaystyle t}$${\displaystyle A\cup \{a\}}$${\displaystyle o}$${\displaystyle t}$${\displaystyle A}$${\displaystyle A}$${\displaystyle o_{t}}$${\displaystyle t={}}$${\displaystyle A}$
3. คำถามเกี่ยวกับความสัมพันธ์ : แนวทางสำหรับคำถามเกี่ยวกับความสัมพันธ์นั้นเหมือนกับคำถามเกี่ยวกับคุณลักษณะ โดยแทนที่จะพิจารณาจำนวนวัตถุ จะพิจารณาจำนวนคู่ของวัตถุ และสำหรับสมมติฐานเรื่องความเป็นอิสระ จะรวมความสัมพันธ์ที่ไม่ขึ้นอยู่กับคุณลักษณะของวัตถุที่เกี่ยวข้อง และความสัมพันธ์ที่ไม่ขึ้นอยู่กับกันและกันด้วย

ตัวอย่างลำดับโดยละเอียดสามารถดูได้ที่นี่^{[ 3 ]}

ภาพที่นำมาพิจารณาในงานของGeman et al. ^{[ 1 ]}คือภาพจากชุดข้อมูล 'Urban street scenes' ^{[ 1 ]}ซึ่งมีฉากถนนจากเมืองต่างๆ ทั่วโลก ด้วยเหตุนี้ ประเภทของวัตถุจึงถูกจำกัดไว้ที่คนและยานพาหนะสำหรับการทดลองนี้

ชุดข้อมูลอีกชุดหนึ่งที่นำเสนอโดยสถาบัน Max Planck Institute for Informaticsเรียกว่าชุดข้อมูล DAQUAR ^{[ 4 ] [ 5 ]}ซึ่งมีภาพจริงของฉากภายในอาคาร แต่พวกเขา^{[ 4 ]}เสนอเวอร์ชันที่แตกต่างกันของการทดสอบ Turing ทางสายตาซึ่งใช้แนวทางแบบองค์รวมและคาดหวังว่าระบบที่เข้าร่วมจะแสดงสามัญสำนึกแบบมนุษย์

นี่คืองานวิจัยล่าสุดที่ตีพิมพ์เมื่อวันที่ 9 มีนาคม 2558 ในวารสารProceedings of the National Academy of Sciencesโดยนักวิจัยจากมหาวิทยาลัยบราวน์และมหาวิทยาลัยจอห์นส์ฮอปกินส์ งานวิจัย นี้ประเมินว่าระบบคอมพิวเตอร์วิชั่นเข้าใจภาพได้ดีเพียงใดเมื่อเทียบกับมนุษย์ ปัจจุบันการทดสอบเป็นการทดสอบแบบเขียน และผู้สอบถามเป็นเครื่องจักร เนื่องจากหากมีการประเมินด้วยวาจาโดยผู้สอบถามที่เป็นมนุษย์จะทำให้มนุษย์ได้เปรียบในด้านความเป็นอัตวิสัย และยังคาดหวังคำตอบแบบเรียลไทม์อีกด้วย

การทดสอบ Visual Turing Test คาดว่าจะให้ทิศทางใหม่แก่การวิจัยด้านคอมพิวเตอร์วิชั่น บริษัทต่างๆ เช่นGoogleและFacebookกำลังลงทุนหลายล้านดอลลาร์ในการวิจัยด้านคอมพิวเตอร์วิชั่น และพยายามสร้างระบบที่คล้ายคลึงกับระบบการมองเห็นของมนุษย์ เมื่อเร็วๆ นี้Facebookได้ประกาศแพลตฟอร์ม M ใหม่ ซึ่งตรวจสอบภาพและให้คำอธิบายเพื่อช่วยเหลือผู้พิการทางสายตา^{[ 6 ]}ระบบดังกล่าวอาจสามารถทำงานได้ดีบน VTT