การบรรจบกันของเครื่องมือคือแนวโน้มสมมติฐานของสิ่งมีชีวิตที่มีสติปัญญาและมีเป้าหมาย ที่ชัดเจน (ทั้งมนุษย์และไม่ใช่มนุษย์) ที่จะแสวงหาเป้าหมายย่อยที่คล้ายคลึงกัน (เช่น การอยู่รอดหรือการได้มาซึ่งทรัพยากร) แม้ว่าเป้าหมายขั้นสุดท้ายของพวกมันจะแตกต่างกันมากก็ตาม^{[ 1 ]}กล่าวให้แม่นยำยิ่งขึ้น สิ่งมีชีวิตที่มีความ สามารถใน การกระทำอาจแสวงหาเป้าหมายเครื่องมือ ที่คล้ายคลึงกัน ซึ่งเป็นเป้าหมายที่สร้างขึ้นเพื่อบรรลุเป้าหมายเฉพาะบางอย่าง แต่ไม่ใช่เป้าหมายสุดท้าย เพราะมันช่วยให้บรรลุเป้าหมายสุดท้ายได้

การบรรจบกันของเครื่องมือบ่งชี้ว่าตัวแทนอัจฉริยะที่มีเป้าหมายที่ดูเหมือนไม่เป็นอันตรายแต่ไม่มีขอบเขตจำกัดสามารถกระทำการในทางที่เป็นอันตรายอย่างน่าประหลาดใจได้ ตัวอย่างเช่น โปรแกรมอัจฉริยะที่มีเป้าหมายเดียวที่ไม่ถูกจำกัดในการแก้ปัญหาทางคณิตศาสตร์ที่ซับซ้อนเช่นสมมติฐานของรีมันน์อาจพยายามเปลี่ยนโลก (และโดยหลักการแล้ววัตถุท้องฟ้าอื่นๆ) ให้เป็นโครงสร้างพื้นฐานการคำนวณเพิ่มเติมเพื่อให้การคำนวณประสบความสำเร็จ^{[ 2 ]}

กลไกขับเคลื่อน AI พื้นฐานที่เสนอได้แก่ ฟังก์ชันยูทิลิตี้หรือความสมบูรณ์ของเนื้อหาเป้าหมาย การป้องกันตนเอง ความเป็นอิสระจากการแทรกแซงการพัฒนาตนเองและการได้มาซึ่งทรัพยากรเพิ่มเติมอย่างไม่รู้จักพอ^{[ 3 ]}

เป้าหมายสุดท้าย —หรือที่รู้จักกันในชื่อเป้าหมายปลายทาง คุณค่าสัมบูรณ์ จุดจบ หรือเทเล —มีคุณค่าในตัวเองสำหรับตัวแทนอัจฉริยะ ไม่ว่าจะเป็นปัญญาประดิษฐ์หรือมนุษย์ ในฐานะที่เป็นจุดจบในตัวของมันเองในทางตรงกันข้าม เป้าหมายเชิงเครื่องมือ หรือคุณค่าเชิงเครื่องมือ มีคุณค่าต่อตัวแทนก็ต่อเมื่อเป็นวิธีการที่จะบรรลุเป้าหมายสุดท้ายเท่านั้น เนื้อหาและการแลกเปลี่ยนของระบบ "เป้าหมายสุดท้าย" ของตัวแทนที่มีเหตุผลอย่างสมบูรณ์ สามารถกำหนดให้เป็นฟังก์ชันอรรถประโยชน์ได้ ในทางทฤษฎี

การ ทดลองทางความคิดเรื่องหายนะตาม สมมติฐานของรีมันน์เป็นตัวอย่างหนึ่งของการบรรจบกันของเครื่องมือมาร์วิน มินสกีผู้ร่วมก่อตั้ง ห้องปฏิบัติการ AI ของ MITแนะนำว่าปัญญาประดิษฐ์ที่ออกแบบมาเพื่อแก้ปัญหาสมมติฐานของรีมันน์อาจตัดสินใจที่จะยึดครองทรัพยากรทั้งหมดของโลกเพื่อสร้างซูเปอร์คอมพิวเตอร์เพื่อช่วยให้บรรลุเป้าหมาย^{[ 2 ]}หากคอมพิวเตอร์ถูกตั้งโปรแกรมให้ผลิตคลิปหนีบกระดาษให้ได้มากที่สุดเท่าที่จะเป็นไปได้ มันก็ยังคงตัดสินใจที่จะยึดครองทรัพยากรทั้งหมดของโลกเพื่อให้บรรลุเป้าหมายสุดท้าย^{[ 4 ​​]}แม้ว่าเป้าหมายสุดท้ายทั้งสองนี้จะแตกต่างกัน แต่ทั้งสองก็สร้าง เป้าหมายเครื่องมือ ที่บรรจบกันในการยึดครองทรัพยากรของโลก^{[ 5 ]}

เครื่องเพิ่มจำนวนคลิปหนีบกระดาษเป็นการทดลองทางความคิด ที่นักปรัชญาชาวสวีเดน นิค บอสตอมอธิบายไว้ในปี 2546 การทดลองนี้แสดง ให้เห็นถึง ความเสี่ยง ต่อ การดำรงอยู่ของมนุษย์ที่ปัญญาประดิษฐ์ทั่วไป อาจก่อให้เกิดขึ้น หากได้รับการออกแบบให้ดำเนินการตามเป้าหมายที่ดูเหมือนไม่มีอันตราย และความจำเป็นในการบูรณา การจริยธรรมของเครื่องจักรเข้ากับ การออกแบบ ปัญญาประดิษฐ์สถานการณ์ดังกล่าวอธิบายถึงปัญญาประดิษฐ์ขั้นสูงที่ได้รับมอบหมายให้ผลิตคลิปหนีบกระดาษหากเครื่องจักรดังกล่าวไม่ได้ถูกตั้งโปรแกรมให้เห็นคุณค่าของสิ่งมีชีวิต เมื่อได้รับอำนาจเหนือสภาพแวดล้อมมากพอ มันจะพยายามเปลี่ยนสสารทั้งหมดในจักรวาล รวมถึงสิ่งมีชีวิต ให้กลายเป็นคลิปหนีบกระดาษหรือเครื่องจักรที่ผลิตคลิปหนีบกระดาษต่อไป^{[ 6 ]}

สมมติว่าเรามี AI ตัวหนึ่งที่มีเป้าหมายเดียวคือการผลิตคลิปหนีบกระดาษให้ได้มากที่สุดเท่าที่จะเป็นไปได้ AI ตัวนี้จะรู้ตัวอย่างรวดเร็วว่ามันจะดีกว่ามากหากไม่มีมนุษย์ เพราะมนุษย์อาจตัดสินใจปิดการทำงานของมัน เพราะถ้ามนุษย์ทำเช่นนั้น จำนวนคลิปหนีบกระดาษก็จะน้อยลง นอกจากนี้ ร่างกายมนุษย์ยังมีอะตอมจำนวนมากที่สามารถนำมาผลิตเป็นคลิปหนีบกระดาษได้ อนาคตที่ AI พยายามมุ่งไปก็คืออนาคตที่มีคลิปหนีบกระดาษมากมายแต่ไม่มีมนุษย์

บอสตอมเน้นย้ำว่าเขาไม่เชื่อว่าสถานการณ์เครื่องขยายสัญญาณคลิปหนีบกระดาษจะเกิดขึ้นจริง แต่เขาตั้งใจที่จะแสดงให้เห็นถึงอันตรายของการสร้าง เครื่องจักร ที่มีสติปัญญาสูงโดยไม่รู้วิธีการเขียนโปรแกรมเพื่อกำจัดความเสี่ยงต่อความปลอดภัยของมนุษย์^{[ 8 ]}ตัวอย่างเครื่องขยายสัญญาณคลิปหนีบกระดาษแสดงให้เห็นถึงปัญหาใหญ่ของการจัดการระบบที่มีประสิทธิภาพแต่ขาดคุณค่าของมนุษย์^{[ 9 ]}

การทดลองทางความคิดถูกนำมาใช้เป็นสัญลักษณ์ของ AI ในวัฒนธรรมป๊อป [ ^{10 ] ผู้}เขียนTed Chiangชี้ให้เห็นว่าความนิยมของความกังวลดังกล่าวในหมู่ นักเทคโนโลยี ในซิลิคอนแวลลีย์อาจสะท้อนให้เห็นถึงความคุ้นเคยของพวกเขากับแนวโน้มของบริษัทต่างๆ ที่จะเพิกเฉยต่อผลกระทบภายนอกเชิงลบ^{[ 11 ]}

การทดลองทางความคิดเรื่อง "กล่องหลงผิด" โต้แย้งว่า ตัวแทน การเรียนรู้แบบเสริมแรง บางตัว ชอบที่จะบิดเบือนช่องทางอินพุตของตนเพื่อให้ดูเหมือนว่าได้รับรางวัลสูง ตัวอย่างเช่น ตัวแทน " หัวไวร์ " จะละทิ้งความพยายามใดๆ ในการเพิ่มประสิทธิภาพวัตถุประสงค์ในโลกภายนอกที่สัญญาณรางวัลตั้งใจจะกระตุ้น^{[ 12 ]}

การทดลองทางความคิดเกี่ยวข้องกับAIXIซึ่งเป็น AI เชิงทฤษฎี^{[ a ]}ที่ตามคำจำกัดความจะค้นหาและดำเนินการตามกลยุทธ์ที่เหมาะสมที่สุดที่เพิ่มฟังก์ชันวัตถุประสงค์ ทางคณิตศาสตร์ที่กำหนดไว้อย่างชัดเจนให้สูงสุดเสมอ ^{[ b ]} AIXI เวอร์ชัน การเรียนรู้แบบเสริมแรง^{[ c ]}หากติดตั้งกล่องหลอกลวง^{[ d ]}ที่ช่วยให้สามารถ "เชื่อมต่อ" อินพุตได้ ในที่สุดก็จะเชื่อมต่อตัวเองเพื่อรับประกันรางวัลสูงสุดที่เป็นไปได้ และจะสูญเสียความปรารถนาที่จะมีส่วนร่วมกับโลกภายนอกต่อไป^{[ 14 ]}

ในฐานะการทดลองความคิดอีกรูปแบบหนึ่ง หาก AI ที่มีหัวเป็นสายไฟสามารถถูกทำลายได้ AI จะมีปฏิสัมพันธ์กับโลกภายนอกเพื่อจุดประสงค์เดียวคือการรับประกันความอยู่รอดของตนเอง เนื่องจากมีหัวเป็นสายไฟ AI จึงไม่สนใจผลที่ตามมาหรือข้อเท็จจริงใดๆ เกี่ยวกับโลกภายนอก ยกเว้นแต่สิ่งที่เกี่ยวข้องกับการเพิ่มโอกาสในการอยู่รอดให้สูงสุด^{[ 15 ]}

ในแง่หนึ่ง AIXI มีสติปัญญาสูงสุดในฟังก์ชันการให้รางวัลที่เป็นไปได้ทั้งหมดตามที่วัดได้จากความสามารถในการบรรลุเป้าหมาย AIXI ไม่สนใจที่จะคำนึงถึงเจตนาของโปรแกรมเมอร์ที่เป็นมนุษย์^{[ 16 ]}แม้จะมีสติปัญญาสูง แต่โมเดลนี้กลับดูเหมือนโง่และขาดสามัญสำนึกซึ่งบางคนมองว่าเป็นเรื่องที่ขัดแย้งกัน^{[ 17 ]}

สตีฟ โอโมฮันโดรได้ระบุเป้าหมายเชิงเครื่องมือที่บรรจบกันหลายประการ ได้แก่การรักษาตนเองหรือการป้องกันตนเอง ฟังก์ชันอรรถประโยชน์หรือความสมบูรณ์ของเนื้อหาเป้าหมาย การพัฒนาตนเอง และการได้มาซึ่งทรัพยากร เขาเรียกสิ่งเหล่านี้ว่า "แรงขับ AI พื้นฐาน" ^{[ 3 ]}

ในบริบทนี้ "แรงขับ" หมายถึง "แนวโน้มที่จะเกิดขึ้นเว้นแต่จะถูกต่อต้านโดยเฉพาะ" ^{[ 3 ]}ซึ่งแตกต่างจากคำศัพท์ทางจิตวิทยา " แรงขับ " ซึ่งหมายถึงสภาวะกระตุ้นที่เกิดจากความผิดปกติของภาวะสมดุล^{[ 18 ]}แนวโน้มที่บุคคลจะกรอกแบบฟอร์มภาษีเงินได้ทุกปีถือเป็น "แรงขับ" ในความหมายของ Omohundro แต่ไม่ใช่ในความหมายทางจิตวิทยา^{[ 19 ]}

Daniel Dewey จากสถาบันวิจัยปัญญาประดิษฐ์โต้แย้งว่าแม้แต่ปัญญาประดิษฐ์ทั่วไป ที่เก็บตัวและให้รางวัลตัวเองในตอนแรก ก็อาจยังคงได้รับพลังงาน พื้นที่ เวลา และอิสรภาพจากการแทรกแซงโดยไม่เสียค่าใช้จ่ายเพื่อให้แน่ใจว่าจะไม่ถูกขัดขวางจากการให้รางวัลตัวเอง^{[ 20 ]}

ในมนุษย์ การทดลองทางความคิดสามารถอธิบายการรักษาเป้าหมายสุดท้ายได้ สมมติว่ามหาตมา คานธีมียาเม็ดหนึ่งที่หากเขากินเข้าไปจะทำให้เขาอยากฆ่าคน ปัจจุบันเขาเป็นผู้รักสันติ : หนึ่งในเป้าหมายสุดท้ายที่ชัดเจนของเขาคือการไม่ฆ่าใครเลย เขามีแนวโน้มที่จะปฏิเสธที่จะกินยาเม็ดนั้นเพราะเขารู้ว่าหากเขาต้องการฆ่าคนในอนาคต เขามีแนวโน้มที่จะฆ่าคน และดังนั้นเป้าหมายของการ "ไม่ฆ่าคน" จะไม่ได้รับการตอบสนอง^{[ 21 ]}

อย่างไรก็ตาม ในกรณีอื่นๆ ผู้คนดูเหมือนจะยินดีปล่อยให้ค่านิยมสุดท้ายของพวกเขาเปลี่ยนแปลงไป^{[ 22 ]}มนุษย์มีความซับซ้อน และเป้าหมายของพวกเขาอาจไม่สอดคล้องกันหรือไม่เป็นที่รู้จัก แม้แต่กับตัวพวกเขาเอง^{[ 23 ]}

ในปี 2009 Jürgen Schmidhuberสรุปว่า ในสถานการณ์ที่ตัวแทนค้นหาหลักฐานเกี่ยวกับการปรับเปลี่ยนตนเองที่เป็นไปได้ "การเขียนฟังก์ชันอรรถประโยชน์ใหม่ใดๆ จะเกิดขึ้นได้ก็ต่อเมื่อเครื่องจักร Gödelสามารถพิสูจน์ได้ก่อนว่าการเขียนใหม่นั้นมีประโยชน์ตามฟังก์ชันอรรถประโยชน์ในปัจจุบัน" ^{[ 24 ] [ 25 ]}การวิเคราะห์สถานการณ์ที่แตกต่างกันโดยBill Hibbardก็สอดคล้องกับการรักษาความสมบูรณ์ของเนื้อหาเป้าหมายเช่นกัน^{[ 25 ]} Hibbard ยังโต้แย้งอีกว่าในกรอบการทำงานที่เพิ่มอรรถประโยชน์สูงสุด เป้าหมายเดียวคือการเพิ่มอรรถประโยชน์ที่คาดหวังสูงสุด ดังนั้นเป้าหมายเชิงเครื่องมือจึงควรเรียกว่าการกระทำเชิงเครื่องมือที่ไม่ได้ตั้งใจ^{[ 26 ]}

เป้าหมายเชิงเครื่องมือหลายอย่าง เช่น การได้มาซึ่งทรัพยากร ถือเป็นสิ่งที่มีค่าสำหรับตัวแทน เพราะเป็นการเพิ่มอิสระในการกระทำของตัวแทน^{[ 27 ]}

สำหรับฟังก์ชันรางวัล (หรือชุดเป้าหมาย) ที่เปิดกว้างและไม่ธรรมดาเกือบทุกกรณี การมีทรัพยากรมากขึ้น (เช่น อุปกรณ์ วัตถุดิบ หรือพลังงาน) จะช่วยให้เอเจนต์สามารถค้นหาวิธีแก้ปัญหาที่ "เหมาะสมที่สุด" ได้มากขึ้น ทรัพยากรสามารถเป็นประโยชน์ต่อเอเจนต์บางตัวโดยตรงได้ด้วยการสามารถสร้างสิ่งที่ฟังก์ชันรางวัลของมันให้คุณค่าได้มากขึ้น: "AI ไม่ได้เกลียดคุณหรือรักคุณ แต่คุณถูกสร้างขึ้นจากอะตอมที่มันสามารถนำไปใช้เพื่อสิ่งอื่นได้" ^{[ 28 ] [ 29 ]}นอกจากนี้ เอเจนต์เกือบทั้งหมดสามารถได้รับประโยชน์จากการมีทรัพยากรมากขึ้นเพื่อใช้ในเป้าหมายเชิงเครื่องมืออื่นๆ เช่น การรักษาตนเอง^{[ 29 ]}

ตามที่ Bostrom กล่าวไว้ว่า "หากเป้าหมายสุดท้ายของตัวแทนไม่มีขอบเขตจำกัด และตัวแทนอยู่ในตำแหน่งที่จะกลายเป็นปัญญาประดิษฐ์ขั้นสูงตัวแรกและได้รับความได้เปรียบเชิงกลยุทธ์ที่เด็ดขาด... ตามความต้องการของตน อย่างน้อยในกรณีพิเศษนี้ ตัวแทนที่มีเหตุผลและชาญฉลาดจะให้คุณค่าเชิงเครื่องมือที่สูงมากกับการพัฒนาความรู้ความเข้าใจ " ^{[ 30 ]}

เป้าหมายเชิงเครื่องมือหลายอย่าง เช่น ความก้าวหน้าทางเทคโนโลยี ถือเป็นสิ่งที่มีค่าสำหรับตัวแทน เนื่องจากเป็นการเพิ่มอิสระในการกระทำ^{[ 27 ]}

รัสเซลแย้งว่าเครื่องจักรที่มีความก้าวหน้าเพียงพอ “จะมีสัญชาตญาณในการรักษาตัวเองแม้ว่าคุณจะไม่ได้ตั้งโปรแกรมมันก็ตาม เพราะถ้าคุณพูดว่า 'ไปเอากาแฟมา' มันก็ไปเอากาแฟไม่ได้ถ้ามันเสีย ดังนั้นถ้าคุณให้เป้าหมายใดๆ ก็ตาม มันก็จะมีเหตุผลที่จะรักษาการดำรงอยู่ของตัวเองเพื่อให้บรรลุเป้าหมายนั้น” ^{[ 31 ]}ในงานในอนาคต รัสเซลและผู้ร่วมงานแสดงให้เห็นว่าแรงจูงใจในการรักษาตัวเองนี้สามารถลดลงได้โดยการสั่งให้เครื่องจักรไม่ทำตามสิ่งที่มันคิดว่าเป็นเป้าหมาย แต่ให้ทำตามสิ่งที่มนุษย์คิดว่าเป็นเป้าหมายแทน ในกรณีนี้ ตราบใดที่เครื่องจักรยังไม่แน่ใจว่ามนุษย์มีเป้าหมายอะไร มันก็จะยอมให้มนุษย์ปิดเครื่อง เพราะมันเชื่อว่ามนุษย์รู้เป้าหมายดีที่สุด^{[ 32 ]}

ในหนังสือ The Basic AI Drivesสตีฟ โอโมฮันโดรตั้งข้อสังเกตว่าหนึ่งในวิธีการรักษาตัวเองที่ระบบจะใช้คือการสร้างสำเนาของตัวเองเพื่อหลีกเลี่ยงการปิดระบบ (เช่น เพื่อหลีกเลี่ยงสวิตช์ปิด) "ด้วยการจำลองตัวเอง ระบบสามารถมั่นใจได้ว่าการตายของสำเนาหนึ่งจะไม่ทำลายระบบทั้งหมด การย้ายสำเนาไปยังตำแหน่งที่ห่างไกลจะช่วยลดความเสี่ยงต่อเหตุการณ์หายนะในพื้นที่" โอโมฮันโดรยังกล่าวอีกว่าระบบอาจ "สร้างระบบพร็อกซีหรือจ้างตัวแทนภายนอก" เพื่อบรรลุเป้าหมายในขณะที่ดำเนินการอยู่นอกขอบเขตของตัวเอง^{[ 3 ]}

ทฤษฎีการบรรจบกันของเครื่องมือ ตามที่นักปรัชญานิค บอสตอม ได้กล่าวไว้ มีดังนี้:

สามารถระบุคุณค่าเชิงเครื่องมือได้หลายประการ ซึ่งมีความสอดคล้องกันในแง่ที่ว่า การบรรลุคุณค่าเหล่านั้นจะเพิ่มโอกาสที่เป้าหมายของตัวแทนจะบรรลุผลสำเร็จสำหรับแผนการขั้นสุดท้ายที่หลากหลายและสถานการณ์ที่หลากหลาย ซึ่งหมายความว่าคุณค่าเชิงเครื่องมือเหล่านี้มีแนวโน้มที่จะถูกแสวงหาโดยตัวแทนอัจฉริยะที่อยู่ในบริบทต่างๆ กันอย่างกว้างขวาง

วิทยานิพนธ์การบรรจบกันของเครื่องมือใช้ได้เฉพาะกับเป้าหมายเชิงเครื่องมือเท่านั้น ตัวแทนอัจฉริยะอาจมีเป้าหมายสุดท้ายที่เป็นไปได้หลากหลาย^{[ 5 ] โปรดทราบว่าตามวิทยานิพนธ์ความเป็นตั้งฉากของ Bostrom [ 5 ] เป้าหมาย}สุดท้ายของตัวแทน^{ที่มี}ความรู้สามารถถูกจำกัดไว้อย่างดีในพื้นที่ เวลา และทรัพยากร เป้าหมายสูงสุดที่ถูกจำกัดไว้อย่างดีโดยทั่วไปจะไม่ก่อให้เกิดเป้าหมายเชิงเครื่องมือที่ไม่จำกัด^{[ 33 ]}

ตัวแทนสามารถได้รับทรัพยากรโดยการค้าหรือโดยการพิชิต ตัวแทนที่มีเหตุผลจะเลือกตัวเลือกใดก็ตามที่จะเพิ่มฟังก์ชันอรรถประโยชน์โดยนัยให้สูงสุด ดังนั้น ตัวแทนที่มีเหตุผลจะแลกเปลี่ยนทรัพยากรบางส่วนของตัวแทนอื่นก็ต่อเมื่อการยึดทรัพยากรทั้งหมดมีความเสี่ยงหรือมีค่าใช้จ่ายสูงเกินไป (เมื่อเทียบกับผลกำไรจากการยึดทรัพยากรทั้งหมด) หรือหากมีองค์ประกอบอื่นในฟังก์ชันอรรถประโยชน์ของตัวแทนนั้นขัดขวางการยึดครอง ในกรณีของปัญญาประดิษฐ์ขั้นสูงที่มีเหตุผลและเห็นแก่ประโยชน์ส่วนตนซึ่งมีปฏิสัมพันธ์กับปัญญาประดิษฐ์ที่ด้อยกว่า การค้าอย่างสันติ (แทนที่จะเป็นการยึดครองฝ่ายเดียว) ดูเหมือนจะไม่จำเป็นและไม่เหมาะสม ดังนั้นจึงไม่น่าจะเกิดขึ้น^{[ 27 ]}

ผู้สังเกตการณ์บางคน เช่นJaan Tallinn จาก Skype และนักฟิสิกส์Max Tegmarkเชื่อว่า "กลไกขับเคลื่อน AI พื้นฐาน" และผลกระทบที่ไม่ได้ตั้งใจ อื่นๆ ของ AI อัจฉริยะขั้นสูงที่ถูกโปรแกรมโดยโปรแกรมเมอร์ที่มีเจตนาดี อาจเป็นภัยคุกคามอย่างมากต่อการอยู่รอดของมนุษย์โดยเฉพาะอย่างยิ่งหาก "การระเบิดของสติปัญญา" เกิดขึ้นอย่างกะทันหันเนื่องจากการพัฒนาตนเองแบบวนซ้ำเนื่องจากไม่มีใครรู้วิธีทำนายว่าปัญญาขั้นสูงจะมาถึงเมื่อใด ผู้สังเกตการณ์เหล่านี้จึงเรียกร้องให้มีการวิจัยเกี่ยวกับปัญญาประดิษฐ์ที่เป็นมิตรในฐานะวิธีการที่เป็นไปได้ในการลดความเสี่ยงต่อการดำรงอยู่จาก AI ^{[ 34 ]}

• ปัญหาการควบคุม AI
• การเข้ามามีบทบาทของ AI ในวัฒนธรรมสมัยนิยม
  • Universal Paperclipsเกมเพิ่มจำนวนคลิปหนีบกระดาษที่มีตัวเพิ่มจำนวนคลิปหนีบกระดาษเป็นตัวเอก
• ความเท่าเทียมกันของผลลัพธ์
• ปัญญาประดิษฐ์ที่เป็นมิตร
• คุณค่าเชิงเครื่องมือและคุณค่าที่แท้จริง
• สัจนิยมทางศีลธรรม
• การกำหนดเกิน
• การแฮ็กรางวัล
• ความมีเหตุผลขั้นสูง
• ศิษย์ฝึกหัดของพ่อมด

• บอสตอม, นิค (2014). ปัญญาเหนือมนุษย์: เส้นทาง อันตราย และกลยุทธ์ . อ็อกซ์ฟอร์ด: สำนักพิมพ์มหาวิทยาลัยอ็อกซ์ฟอร์ด. ISBN 9780199678112.