ซอฟต์แวร์ตรวจจับปัญญาประดิษฐ์มีเป้าหมายเพื่อตรวจสอบว่าเนื้อหา บางอย่าง (ข้อความ รูปภาพ วิดีโอ หรือเสียง) ถูกสร้างขึ้นโดยใช้ปัญญาประดิษฐ์ (AI) หรือไม่ ซอฟต์แวร์นี้มักไม่น่าเชื่อถือ^{[ 1 ]}

เครื่องมือตรวจจับ AI จำนวนมากได้รับการพิสูจน์แล้วว่าไม่น่าเชื่อถือในการตรวจจับข้อความที่สร้างโดย AI ในการศึกษาวิจัยที่ดำเนินการโดย Weber-Wulff et al. ในปี 2023 นักวิจัยได้ประเมินเครื่องมือตรวจจับ 14 รายการ รวมถึงTurnitinและGPTZeroและพบว่า "ทั้งหมดได้คะแนนความแม่นยำต่ำกว่า 80% และมีเพียง 5 รายการเท่านั้นที่ได้คะแนนมากกว่า 70%" ^{[ 2 ]}พวกเขายังพบว่าเครื่องมือเหล่านี้มีแนวโน้มที่จะจัดประเภทข้อความว่าเป็นมนุษย์มากกว่าเป็น AI และความแม่นยำของเครื่องมือเหล่านี้แย่ลงเมื่อมีการเรียบเรียงใหม่^{[ 2 ]}

ในการตรวจจับเนื้อหาด้วย AI ข้อผิดพลาดแบบบวกเท็จคือเมื่อผลงานที่เขียนโดยมนุษย์ถูกระบุว่าเป็นผลงานที่เขียนโดย AI อย่างไม่ถูกต้อง แพลตฟอร์มการตรวจจับ AI หลายแห่งอ้างว่ามีอัตราข้อผิดพลาดแบบบวกเท็จน้อยมาก โดย Turnitin อ้างว่ามีอัตราข้อผิดพลาดแบบบวกเท็จน้อยกว่า 1% ^{[ 3 ]}อย่างไรก็ตาม การวิจัยในภายหลังโดยThe Washington Postพบอัตราที่สูงกว่ามากถึง 50% แม้ว่าจะใช้ขนาดตัวอย่างที่เล็กกว่าก็ตาม^{[ 4 ]}ข้อผิดพลาดแบบบวกเท็จในบริบททางวิชาการมักนำไปสู่การกล่าวหาว่ามีการประพฤติมิชอบทางวิชาการ ซึ่งอาจส่งผลร้ายแรงต่อ ประวัติการเรียนของนักเรียนนอกจากนี้ การศึกษายังแสดงหลักฐานว่าแบบจำลองการตรวจจับ AI หลายแบบมีแนวโน้มที่จะให้ข้อผิดพลาดแบบบวกเท็จกับผลงานที่เขียนโดยผู้ที่ภาษาแรกไม่ใช่ ภาษา อังกฤษและกับผู้ที่มีความแตกต่างทางระบบประสาท^{[ 5 ] [ 6 ]}

ในเดือนมิถุนายน พ.ศ. 2566 Janelle Shaneเขียนว่าบางส่วนของหนังสือYou Look Like a Thing and I Love You ของเธอ ถูกระบุว่าเป็นเนื้อหาที่สร้างโดย AI ^{[ 1 ]}

ผลลัพธ์เชิงลบเท็จคือความล้มเหลวในการระบุเอกสารที่มีข้อความที่เขียนโดย AI ผลลัพธ์เชิงลบเท็จมักเกิดขึ้นเนื่องจาก ระดับ ความไว ของซอฟต์แวร์ตรวจจับ หรือเนื่องจากมีการใช้เทคนิคการหลีกเลี่ยงเมื่อสร้างงานเพื่อให้ฟังดูเหมือนมนุษย์มากขึ้น^{[ 7 ]}ผลลัพธ์เชิงลบเท็จเป็นเรื่องที่น่ากังวลน้อยกว่าในเชิงวิชาการ เนื่องจากไม่น่าจะนำไปสู่การกล่าวหาและผลกระทบ ที่น่าสังเกตคือ Turnitin ระบุว่ามีอัตราผลลัพธ์เชิงลบเท็จ 15% ^{[ 8 ]}

สำหรับข้อความ การตรวจสอบนี้มักทำเพื่อป้องกันการลอกเลียนแบบ ที่ถูกกล่าวหา โดยมักตรวจจับการซ้ำคำซึ่งเป็นสัญญาณบ่งชี้ว่าข้อความนั้นสร้างขึ้นโดย AI (รวมถึงภาพลวงตา ) ระบบตรวจจับอาจอาศัยความสม่ำเสมอทางด้านรูปแบบและโครงสร้างที่เกี่ยวข้องกับผลลัพธ์ของ LLM เช่น ไวยากรณ์ที่สอดคล้องกันอย่างผิดปกติ การเปลี่ยนผ่านตามสูตรสำเร็จ เครื่องหมายแสดงการสนทนาที่ซ้ำกัน และแม่แบบทางวาทศิลป์ที่เกิดขึ้นซ้ำๆ เครื่องมือบางอย่างได้รับการออกแบบมาเพื่อระบุข้อความที่คล้ายกับรูปแบบการสร้าง LLM ทั่วไป มากกว่าที่จะพิสูจน์ที่มาของผู้เขียน

ครูมักใช้ซอฟต์แวร์เหล่านี้ในการตรวจงานของนักเรียน โดยส่วนใหญ่ จะใช้เป็นครั้ง คราว หลังจากมีการเปิดตัวChatGPTและซอฟต์แวร์สร้างข้อความ AI ที่คล้ายกัน สถานศึกษาหลายแห่งได้ออกนโยบายห้ามนักเรียนใช้ AI ^{[ 9 ]}ซอฟต์แวร์ตรวจจับข้อความ AI ยังถูกใช้โดยผู้ประเมินผู้สมัครงาน รวมถึงเครื่องมือค้นหาออนไลน์[ 10 ^{]การจ้าง}งาน การดูแลจัดการออนไลน์ และการเผยแพร่

เครื่องตรวจจับปัจจุบันบางครั้งอาจไม่น่าเชื่อถือและทำเครื่องหมายงานของมนุษย์ผิดพลาดว่าเป็นงานที่มาจาก AI ^{[ 11 ] [ 12 ] [ 4 ]}ในขณะที่ไม่สามารถตรวจจับงานที่สร้างโดย AI ในกรณีอื่นๆ ได้^{[ 13 ]} MIT Technology Reviewกล่าวว่าเทคโนโลยีนี้ "ประสบปัญหาในการตรวจจับข้อความที่สร้างโดย ChatGPT ซึ่งมนุษย์ได้จัดเรียงใหม่เล็กน้อยและถูกทำให้คลุมเครือโดยเครื่องมือการถอดความ" ^{[ 14 ]}ซอฟต์แวร์ตรวจจับข้อความ AI ยังแสดงให้เห็นว่ามีการเลือกปฏิบัติกับผู้พูดภาษาอังกฤษที่ไม่ใช่เจ้าของภาษา^{[ 10 ]}

นักศึกษา 2 คนจากมหาวิทยาลัยแคลิฟอร์เนีย เดวิสถูกส่งตัวไปยังสำนักงานความสำเร็จของนักศึกษาและกิจการทางวินัยของมหาวิทยาลัย (OSSJA) หลังจากที่อาจารย์ของพวกเขาสแกนเรียงความและพบผลลัพธ์ที่เป็นบวก โดยคนแรกใช้ตัวตรวจจับ AI ที่ชื่อ GPTZero และคนที่สองใช้ตัวตรวจจับ AI ที่ผสานรวมในTurnitinอย่างไรก็ตาม หลังจากมีการรายงานข่าวในสื่อ^{[ 15 ]}และการสืบสวนอย่างละเอียด นักศึกษาทั้งสองก็ได้รับการยกเว้นจากความผิดใดๆ^{[ 16 ] [ 17 ]}

ในเดือนเมษายน พ.ศ. 2566 มหาวิทยาลัยเคมบริดจ์และสมาชิกอื่นๆ ของกลุ่มมหาวิทยาลัยรัสเซลในสหราชอาณาจักรได้ถอนตัวออกจากเครื่องมือตรวจจับข้อความ AI ของ Turnitin หลังจากแสดงความกังวลว่าเครื่องมือนี้ไม่น่าเชื่อถือ^{[ 18 ]}มหาวิทยาลัยเท็กซัสที่ออสตินได้ถอนตัวออกจากระบบหกเดือนต่อมา^{[ 19 ]}

ในเดือนพฤษภาคม พ.ศ. 2566 ศาสตราจารย์ท่านหนึ่งที่มหาวิทยาลัย Texas A&M University–Commerceใช้ ChatGPT เพื่อตรวจสอบว่าเนื้อหาของนักเรียนถูกเขียนโดยซอฟต์แวร์นี้หรือไม่ ซึ่ง ChatGPT ระบุว่าเป็นเช่นนั้น ดังนั้น เขาจึงขู่ว่าจะให้สอบตกนักเรียนทั้งชั้นเรียน แม้ว่า ChatGPT จะไม่สามารถตรวจจับงานเขียนที่สร้างโดย AI ได้ก็ตาม^{[ 20 ]}ไม่มีนักเรียนคนใดถูกขัดขวางไม่ให้สำเร็จการศึกษาเนื่องจากปัญหานี้ และนักเรียนทุกคนยกเว้นหนึ่งคน (ที่ยอมรับว่าใช้ซอฟต์แวร์) ได้รับการยกเว้นจากข้อกล่าวหาว่าใช้ ChatGPT ในเนื้อหาของตน^{[ 21 ]}

ในเดือนกรกฎาคม พ.ศ. 2566 มีการเผยแพร่บทความชื่อ "เครื่องตรวจจับ GPT มีอคติต่อผู้เขียนที่ไม่ใช่เจ้าของภาษาอังกฤษ" ซึ่งรายงานว่า GPT เลือกปฏิบัติกับผู้เขียนที่ไม่ใช่เจ้าของภาษาอังกฤษ บทความนี้เปรียบเทียบเครื่องตรวจจับ GPT เจ็ดตัวกับเรียงความจากทั้งผู้พูดภาษาอังกฤษที่ไม่ใช่เจ้าของภาษาและเรียงความจากนักเรียนในสหรัฐอเมริกา เรียงความจากผู้พูดภาษาอังกฤษที่ไม่ใช่เจ้าของภาษามีอัตราผลบวกเท็จเฉลี่ย 61.3% ^{[ 22 ]}

บทความของ Thomas Germain ที่ตีพิมพ์ในGizmodoในเดือนมิถุนายน 2024 รายงานว่ามีการสูญเสียงานในหมู่นักเขียนอิสระและนักข่าวเนื่องจากซอฟต์แวร์ตรวจจับข้อความ AI จัดประเภทงานของพวกเขาผิดพลาดว่าเป็นงานที่สร้างโดย AI ^{[ 23 ]}

ในเดือนกันยายน พ.ศ. 2567 Common Sense Mediaรายงานว่าเครื่องตรวจจับ AI แบบสร้างภาพมีอัตราผลบวกเท็จ 20% สำหรับนักเรียนผิวดำ เมื่อเทียบกับนักเรียนเชื้อสายลาติน 10% และนักเรียนผิวขาว 7% ^{[ 24 ] [ 25 ]}

เพื่อปรับปรุงความน่าเชื่อถือของการตรวจจับข้อความด้วย AI นักวิจัยได้สำรวจ เทคนิค การฝังลายน้ำดิจิทัลบทความปี 2023 เรื่อง "A Watermark for Large Language Models" ^{[ 26 ]}นำเสนอวิธีการฝังลายน้ำที่มองไม่เห็นลงในข้อความที่สร้างโดยแบบจำลองภาษาขนาดใหญ่ (LLMs) แนวทางการฝังลายน้ำนี้ช่วยให้สามารถระบุเนื้อหาที่สร้างโดย AI ได้อย่างแม่นยำสูง แม้ว่าข้อความจะถูกถอดความหรือแก้ไขเล็กน้อยก็ตาม เทคนิคนี้ได้รับการออกแบบให้มีความละเอียดอ่อนและตรวจจับได้ยากสำหรับผู้อ่านทั่วไป จึงช่วยรักษาความสามารถในการอ่าน ในขณะเดียวกันก็ให้สัญญาณที่ตรวจจับได้สำหรับผู้ที่ใช้เครื่องมือเฉพาะทาง อย่างไรก็ตาม แม้ว่าจะมีแนวโน้มที่ดี แต่การฝังลายน้ำก็เผชิญกับความท้าทายในการรักษาความแข็งแกร่งภายใต้การแปลงแบบต่อต้าน และการรับรองความเข้ากันได้ใน LLMs ที่แตกต่างกัน

มีซอฟต์แวร์ที่ออกแบบมาเพื่อหลีกเลี่ยงการตรวจจับข้อความ AI ^{[ 27 ] [ 28 ]}

ในทางปฏิบัติ การหลีกเลี่ยงอาจไม่จำเป็นต้องใช้เครื่องมือบายพาสเฉพาะทาง การเรียบเรียงใหม่ การแก้ไขรูปแบบ และการลบเครื่องหมายการสนทนาที่ซ้ำกันสามารถลดประสิทธิภาพของตัวตรวจจับที่อาศัยรูปแบบพื้นผิวที่จดจำได้อย่างมาก การศึกษาที่ตีพิมพ์ในเดือนสิงหาคม 2023 ได้วิเคราะห์บทคัดย่อ 20 เรื่องจากบทความที่ตีพิมพ์ในEye Journalซึ่งถูกเรียบเรียงใหม่โดยใช้GPT-4.0บทคัดย่อที่เรียบเรียงใหม่โดย AI ได้รับการตรวจสอบการลอกเลียนแบบโดยใช้ QueText และเนื้อหาที่สร้างโดย AI โดยใช้ Originality.AI จากนั้นข้อความได้รับการประมวลผลใหม่ผ่านซอฟต์แวร์ต่อต้านที่เรียกว่าUndetectable.aiเพื่อลดคะแนนการตรวจจับของ AI การศึกษาพบว่าเครื่องมือตรวจจับ AI Originality.AI ระบุข้อความที่สร้างโดย GPT-4 ด้วยความแม่นยำเฉลี่ย 91.3% อย่างไรก็ตาม หลังจากประมวลผลใหม่โดย Undetectable.ai ความแม่นยำในการตรวจจับของ Originality.ai ลดลงเหลือความแม่นยำเฉลี่ย 27.8% ^{[ 29 ]}

ผู้เชี่ยวชาญบางคนยังเชื่อว่าเทคนิคต่างๆ เช่นการทำลายน้ำแบบดิจิทัลนั้นไม่มีประสิทธิภาพ เนื่องจากสามารถลบหรือเพิ่มเข้าไปเพื่อทำให้เกิดผลลัพธ์ที่ผิดพลาดได้^{[ 30 ]}บทความ "A Watermark for Large Language Models" โดย Kirchenbauer et al. (2023) ^{[ 26 ]}ยังกล่าวถึงช่องโหว่ที่อาจเกิดขึ้นของเทคนิคการทำลายน้ำ ผู้เขียนได้สรุปกลยุทธ์การโจมตีต่างๆ รวมถึงการแทรก การลบ และการแทนที่ข้อความ ซึ่งสามารถใช้เพื่อหลีกเลี่ยงการตรวจจับลายน้ำได้ การโจมตีเหล่านี้มีความซับซ้อนแตกต่างกันไป ตั้งแต่การถอดความอย่างง่ายไปจนถึงวิธีการที่ซับซ้อนกว่าซึ่งเกี่ยวข้องกับการแยกคำและการเปลี่ยนแปลงโฮโมกลิฟ การศึกษาเน้นถึงความท้าทายในการรักษาความแข็งแกร่งของลายน้ำต่อผู้โจมตีที่อาจใช้ เครื่องมือ ถอดความ อัตโนมัติ หรือแม้แต่การแทนที่แบบจำลองภาษาเฉพาะเพื่อเปลี่ยนแปลงช่วงข้อความซ้ำๆ ในขณะที่ยังคงรักษาความคล้ายคลึงทางความหมายไว้ ผลการทดลองแสดงให้เห็นว่าแม้ว่าการโจมตีดังกล่าวจะสามารถลดความแข็งแกร่งของลายน้ำได้ แต่ก็มาพร้อมกับต้นทุนด้านคุณภาพของข้อความและทรัพยากรการคำนวณที่เพิ่มขึ้น

มีซอฟต์แวร์ตรวจจับภาพ AI หลายตัวที่อ้างว่าสามารถตรวจจับภาพที่สร้างโดย AI ได้ (เช่น ภาพที่มาจากMidjourneyหรือDALL-E ) แต่ซอฟต์แวร์เหล่านี้ไม่น่าเชื่อถืออย่างสมบูรณ์^{[ 31 ] [ 32 ]}

การวิเคราะห์อุตสาหกรรมยังตั้งข้อสังเกตว่าระบบการจดจำภาพที่ขับเคลื่อนด้วย AI มักประสบปัญหาในสภาพแวดล้อมจริง ซึ่งแสงที่ไม่สม่ำเสมอ เสียงรบกวน และอินพุตภาพที่แปรผันจะลดความน่าเชื่อถือในการตรวจจับ ซึ่งเป็นความท้าทายที่เน้นย้ำในการวิจัยการควบคุมคุณภาพทางการเกษตรสมัยใหม่^{[ 33 ]}

บางคนอ้างว่าสามารถระบุ deepfakeวิดีโอและเสียงได้แต่เทคโนโลยีนี้ยังไม่น่าเชื่อถืออย่างเต็มที่เช่นกัน^{[ 34 ]}

แม้จะมีการถกเถียงกันเกี่ยวกับประสิทธิภาพของลายน้ำ แต่Google DeepMindก็กำลังพัฒนาซอฟต์แวร์ตรวจจับที่เรียกว่า SynthID ซึ่งทำงานโดยการแทรกลายน้ำดิจิทัลที่มองไม่เห็นด้วยตาเปล่าลงในพิกเซลของภาพ^{[ 35 ] [ 36 ]}

• ปัญญาประดิษฐ์
• การใส่ลายน้ำเนื้อหาด้วย AI
• เอฟเฟกต์ AI
• AI slop
• การรั่วไหลของข้อมูล
• การจัดเรียง AI
• ปัญญาประดิษฐ์และการเลือกตั้ง
• การเปรียบเทียบซอฟต์แวร์ป้องกันการลอกเลียนแบบ
• การตรวจจับความคล้ายคลึงของเนื้อหา
• ภาพหลอน (ปัญญาประดิษฐ์)
• การประมวลผลภาษาธรรมชาติ