อคติเชิงอัลกอริทึมอธิบายถึงแนวโน้มที่เป็นอันตรายอย่างเป็นระบบและทำซ้ำได้ใน ระบบ สังคมเทคนิคคอมพิวเตอร์ เพื่อสร้าง ผลลัพธ์ ที่ไม่ยุติธรรมเช่น การ "ให้สิทธิพิเศษ" แก่หมวดหมู่หนึ่งเหนืออีกหมวดหมู่หนึ่งในลักษณะที่อาจแตกต่างหรือไม่แตกต่างจากหน้าที่ที่ตั้งใจไว้ของอัลกอริทึม^{[ 2 ]}

อคติสามารถเกิดขึ้นได้จากหลายปัจจัย รวมถึงการตัดสินใจออกแบบที่มีอคติโดยเจตนา หรือการใช้งานหรือการตัดสินใจที่ไม่ตั้งใจหรือไม่คาดคิดที่เกี่ยวข้องกับวิธีการเข้ารหัส การรวบรวม การเลือก หรือการใช้ข้อมูลเพื่อฝึกอัลกอริทึม^{[ 3 ]}ตัวอย่างเช่น พบอคติของอัลกอริทึมในผลการค้นหาของเครื่องมือค้นหาและแพลตฟอร์มโซเชียลมีเดียอคตินี้อาจส่งผลกระทบตั้งแต่การละเมิดความเป็นส่วนตัวไปจนถึงการเสริมสร้างอคติทางสังคมเกี่ยวกับเชื้อชาติ เพศ รสนิยมทางเพศ และชาติพันธุ์ การศึกษาเกี่ยวกับอคติของอัลกอริทึมส่วนใหญ่เกี่ยวข้องกับอัลกอริทึมที่สะท้อนถึงการเลือกปฏิบัติที่ "เป็นระบบและไม่ยุติธรรม" ^{[ 4 ]}อคตินี้เพิ่งได้รับการแก้ไขในกรอบกฎหมายเมื่อไม่นานมานี้ เช่นระเบียบการคุ้มครองข้อมูลทั่วไป ของสหภาพยุโรป (บังคับใช้ในปี 2018) และพระราชบัญญัติปัญญาประดิษฐ์ (เสนอในปี 2021 และรับรองในปี 2024)

เมื่ออัลกอริทึมขยายขีดความสามารถในการจัดระเบียบสังคม การเมือง สถาบัน และพฤติกรรม นักสังคมวิทยาจึงเริ่มกังวลเกี่ยวกับวิธีที่ผลลัพธ์ที่ไม่คาดคิดและการจัดการข้อมูลสามารถส่งผลกระทบต่อโลกทางกายภาพได้ เนื่องจากอัลกอริทึมมักถูกมองว่าเป็นกลางและไม่มีอคติ จึงอาจฉายภาพอำนาจที่มากกว่าความเชี่ยวชาญของมนุษย์อย่างไม่ถูกต้อง (ส่วนหนึ่งเนื่องมาจากปรากฏการณ์ทางจิตวิทยาของอคติในการทำงานอัตโนมัติ ) และในบางกรณี การพึ่งพาอัลกอริทึมอาจทำให้ความรับผิดชอบของมนุษย์ต่อผลลัพธ์ลดลง โดยปราศจาก การคิด อย่างรอบคอบ อคติสามารถเกิดขึ้นในระบบอัลกอริทึมอันเป็นผลมาจากความคาดหวังทางวัฒนธรรม สังคม หรือสถาบันที่มีอยู่ก่อนแล้ว โดยวิธีการเลือกคุณลักษณะและป้ายกำกับ เนื่องจากข้อจำกัดทางเทคนิคของการออกแบบ หรือโดยการนำไปใช้ในบริบทที่ไม่คาดคิดหรือโดยกลุ่มเป้าหมายที่ไม่ได้พิจารณาในการออกแบบซอฟต์แวร์ในขั้นต้น^{[ 5 ]}

อคติทางอัลกอริทึมได้รับการอ้างถึงในกรณีต่างๆ ตั้งแต่ผลการเลือกตั้งไปจนถึงการแพร่กระจายคำพูดแสดงความเกลียดชังทางออนไลน์นอกจากนี้ยังเกิดขึ้นในกระบวนการยุติธรรมทางอาญา^{[ 6 ]}การดูแลสุขภาพ และการจ้างงาน ซึ่งเป็นการเพิ่มอคติทางเชื้อชาติ สังคมเศรษฐกิจ และเพศที่มีอยู่เดิม ความไม่สามารถของเทคโนโลยีการจดจำใบหน้าในการระบุใบหน้าที่มีผิวสีเข้มได้อย่างแม่นยำนั้นเชื่อมโยงกับการจับกุมชายผิวดำโดยไม่ถูกต้องหลายครั้ง ซึ่งเป็นปัญหาที่เกิดจากชุดข้อมูลที่ไม่สมดุล ปัญหาในการทำความเข้าใจ การวิจัย และการค้นพบอคติทางอัลกอริทึมยังคงมีอยู่เนื่องจากลักษณะที่เป็นกรรมสิทธิ์ของอัลกอริทึม ซึ่งโดยทั่วไปถือเป็นความลับทางการค้า แม้ว่าจะมีการเปิดเผยข้อมูลอย่างโปร่งใสอย่างเต็มที่ ความซับซ้อนของอัลกอริทึมบางอย่างก็เป็นอุปสรรคต่อการทำความเข้าใจการทำงานของอัลกอริทึมเหล่านั้น ยิ่งไปกว่านั้น อัลกอริทึมอาจเปลี่ยนแปลงหรือตอบสนองต่อข้อมูลเข้าหรือข้อมูลออกในลักษณะที่ไม่สามารถคาดการณ์หรือทำซ้ำเพื่อการวิเคราะห์ได้ง่าย ในหลายกรณี แม้แต่ภายในเว็บไซต์หรือแอปพลิเคชันเดียว ก็ไม่มี "อัลกอริทึม" เพียงอย่างเดียวให้ตรวจสอบ แต่เป็นเครือข่ายของโปรแกรมและข้อมูลป้อนเข้าที่เชื่อมโยงกันมากมาย แม้กระทั่งระหว่างผู้ใช้บริการเดียวกันก็ตาม

การสำรวจในปี 2021 ระบุอคติเชิงอัลกอริทึมหลายรูปแบบ รวมถึงอคติทางประวัติศาสตร์ การเป็นตัวแทน และการวัด ซึ่งแต่ละอย่างสามารถส่งผลให้เกิดผลลัพธ์ที่ไม่เป็นธรรมได้^{[ 7 ]}

อัลกอริทึมนั้น ยาก ที่จะนิยาม^{[ 8 ]}แต่โดยทั่วไปอาจเข้าใจได้ว่าเป็นรายการคำสั่งที่กำหนดวิธีการที่โปรแกรมอ่าน รวบรวม ประมวลผล และวิเคราะห์ข้อมูลเพื่อสร้างผลลัพธ์ที่ใช้งานได้^{[ 9 ] : 13} สำหรับการแนะนำทางเทคนิคที่เข้มงวด โปรดดูที่ อัลกอริทึมความก้าวหน้าในฮาร์ดแวร์และซอฟต์แวร์คอมพิวเตอร์ได้นำไปสู่ความสามารถที่เพิ่มขึ้นในการประมวลผล จัดเก็บ และส่งข้อมูล ซึ่งส่งผลให้การออกแบบและการนำเทคโนโลยีต่างๆ เช่นการเรียนรู้ของเครื่องและปัญญาประดิษฐ์สามารถทำได้ทั้งในทางเทคนิคและเชิงพาณิชย์^{[ 10 ] : 14–15} ด้วยการวิเคราะห์และประมวลผลข้อมูล อัลกอริทึมจึงเป็นหัวใจสำคัญของเครื่องมือค้นหา^{[ 11 ]}เว็บไซต์โซเชียลมีเดีย^{[ 12 ]}เครื่องมือแนะนำ^{[ 13 ]}การค้าปลีกออนไลน์^{[ 14 ]}การโฆษณาออนไลน์^{[ 15 ]}และอื่นๆ^{[ 16 ]}

นักสังคมศาสตร์ร่วมสมัยกังวลเกี่ยวกับกระบวนการอัลกอริทึมที่ฝังอยู่ในฮาร์ดแวร์และแอปพลิเคชันซอฟต์แวร์เนื่องจากผลกระทบทางการเมืองและสังคม และตั้งคำถามถึงสมมติฐานพื้นฐานของความเป็นกลางของอัลกอริทึม^{[ 17 ] : 2 [ 18 ] : 563 [ 19 ] : 294 [ 20 ]}คำว่าอคติของอัลกอริทึมอธิบายถึงข้อผิดพลาดที่เป็นระบบและทำซ้ำได้ซึ่งสร้างผลลัพธ์ที่ไม่ยุติธรรม เช่น การให้สิทธิพิเศษแก่กลุ่มผู้ใช้กลุ่มใดกลุ่มหนึ่งโดยพลการเหนือกลุ่มอื่น ตัวอย่างเช่น อัลกอริทึม คะแนนเครดิตอาจปฏิเสธการให้สินเชื่อโดยไม่ถือว่าไม่ยุติธรรม หากอัลกอริทึมพิจารณาเกณฑ์ทางการเงินที่เกี่ยวข้องอย่างสม่ำเสมอ หากอัลกอริทึมแนะนำให้สินเชื่อแก่กลุ่มผู้ใช้กลุ่มหนึ่ง แต่ปฏิเสธสินเชื่อแก่กลุ่มผู้ใช้ที่เกือบจะเหมือนกันอีกกลุ่มหนึ่งโดยอาศัยเกณฑ์ที่ไม่เกี่ยวข้อง และหากพฤติกรรมนี้สามารถทำซ้ำได้หลายครั้ง อัลกอริทึมนั้นก็สามารถอธิบายได้ว่ามีอคติ^{[ 21 ] : 332} อคตินี้อาจเป็นไปโดยเจตนาหรือไม่เจตนา (ตัวอย่างเช่น อาจมาจากข้อมูลที่มีอคติซึ่งได้มาจากพนักงานที่เคยทำงานที่อัลกอริทึมจะทำนับจากนี้เป็นต้นไป)

อคติสามารถเกิดขึ้นได้ในอัลกอริทึมหลายวิธี ในระหว่างการรวบรวมชุดข้อมูล ข้อมูลอาจถูกรวบรวม แปลงเป็นดิจิทัล ปรับเปลี่ยน และป้อนลงในฐานข้อมูลตามเกณฑ์การจัดหมวดหมู่ ที่มนุษย์ออกแบบ ^{[ 22 ] : 3} จากนั้น โปรแกรมเมอร์จะกำหนดลำดับความสำคัญหรือลำดับชั้นสำหรับวิธีที่โปรแกรมประเมินและจัดเรียงข้อมูลนั้น ซึ่งต้องอาศัยการตัดสินใจของมนุษย์เกี่ยวกับวิธีการจัดหมวดหมู่ข้อมูล และข้อมูลใดที่จะรวมหรือทิ้ง^{[ 22 ] : 4} อัลกอริทึมบางตัวรวบรวมข้อมูลของตนเองตามเกณฑ์ที่มนุษย์เลือก ซึ่งอาจสะท้อนถึงอคติของนักออกแบบที่เป็นมนุษย์ได้เช่นกัน^{[ 22 ] : 8} อัลกอริทึมอื่นๆ อาจเสริมสร้างแบบแผนและความชอบในขณะที่ประมวลผลและแสดงข้อมูลที่ "เกี่ยวข้อง" สำหรับผู้ใช้ที่เป็นมนุษย์ ตัวอย่างเช่น โดยการเลือกข้อมูลตามตัวเลือกก่อนหน้าของผู้ใช้หรือกลุ่มผู้ใช้ที่คล้ายคลึงกัน^{[ 22 ] : 6}

นอกเหนือจากการรวบรวมและประมวลผลข้อมูลแล้ว อคติยังอาจเกิดขึ้นจากการออกแบบ^{[ 23 ]}ตัวอย่างเช่น อัลกอริทึมที่กำหนดการจัดสรรทรัพยากรหรือการตรวจสอบ (เช่น การกำหนดตำแหน่งในโรงเรียน) อาจเลือกปฏิบัติกับหมวดหมู่โดยไม่ได้ตั้งใจเมื่อกำหนดความเสี่ยงโดยอิงจากผู้ใช้ที่คล้ายคลึงกัน (เช่น คะแนนเครดิต) ^{[ 24 ] : 36} ในขณะเดียวกัน เครื่องมือแนะนำที่ทำงานโดยการเชื่อมโยงผู้ใช้กับผู้ใช้ที่คล้ายคลึงกัน หรือที่ใช้คุณลักษณะทางการตลาดที่อนุมานได้ อาจอาศัยการเชื่อมโยงที่ไม่ถูกต้องซึ่งสะท้อนถึงแบบแผนทางชาติพันธุ์ เพศ สถานะทางเศรษฐกิจและสังคม หรือเชื้อชาติในวงกว้าง อีกตัวอย่างหนึ่งมาจากการกำหนดเกณฑ์สำหรับสิ่งที่รวมและไม่รวมอยู่ในผลลัพธ์ เกณฑ์เหล่านี้อาจนำเสนอผลลัพธ์ที่ไม่คาดคิดสำหรับผลการค้นหา เช่น ซอฟต์แวร์แนะนำเที่ยวบินที่ละเว้นเที่ยวบินที่ไม่เป็นไปตามเส้นทางการบินของสายการบินผู้สนับสนุน^{[ 23 ]}อัลกอริทึมอาจแสดงอคติความไม่แน่นอนโดยเสนอการประเมินที่มั่นใจมากขึ้นเมื่อมีชุดข้อมูล ขนาดใหญ่ขึ้น สิ่งนี้อาจทำให้กระบวนการอัลกอริทึมเบี่ยงเบนไปสู่ผลลัพธ์ที่สอดคล้องกับตัวอย่างขนาดใหญ่มากขึ้น ซึ่งอาจละเลยข้อมูลจากประชากรที่มีจำนวนน้อย^{[ 25 ] : 4}

โปรแกรมคอมพิวเตอร์รุ่นแรกๆ ถูกออกแบบมาเพื่อเลียนแบบการใช้เหตุผลและการอนุมานของมนุษย์ และถือว่าทำงานได้เมื่อสามารถจำลองตรรกะของมนุษย์ได้อย่างประสบความสำเร็จและสม่ำเสมอ ในหนังสือComputer Power and Human Reasonปี 1976 ของเขา โจเซฟ ไวเซนบอมผู้บุกเบิกด้านปัญญาประดิษฐ์เสนอแนะว่าอคติอาจเกิดขึ้นได้ทั้งจากข้อมูลที่ใช้ในโปรแกรม และจากวิธีการเขียนโค้ดของโปรแกรม^{[ 26 ] : 149}

ไวเซนบอมเขียนว่าโปรแกรมคือลำดับของกฎที่มนุษย์สร้างขึ้นเพื่อให้คอมพิวเตอร์ปฏิบัติตาม โดยการปฏิบัติตามกฎเหล่านั้นอย่างสม่ำเสมอ โปรแกรมดังกล่าวจึง "แสดงถึงกฎหมาย" ^{[ 26 ] : 40} กล่าวคือ บังคับใช้วิธีการเฉพาะในการแก้ปัญหา กฎที่คอมพิวเตอร์ปฏิบัติตามนั้นขึ้นอยู่กับสมมติฐานของโปรแกรมเมอร์คอมพิวเตอร์เกี่ยวกับวิธีการแก้ปัญหาเหล่านี้ นั่นหมายความว่าโค้ดอาจรวมเอาจินตนาการของโปรแกรมเมอร์เกี่ยวกับวิธีการทำงานของโลก รวมถึงอคติและความคาดหวังของพวกเขาด้วย^{[ 26 ] : 109} ในขณะที่โปรแกรมคอมพิวเตอร์สามารถรวมเอาอคติในลักษณะนี้ได้ ไวเซนบอมยังตั้งข้อสังเกตอีกว่าข้อมูลใดๆ ที่ป้อนให้กับเครื่องจักรยังสะท้อนถึง "กระบวนการตัดสินใจของมนุษย์" เนื่องจากมีการเลือกข้อมูล^{[ 26 ] : 70, 105}

สุดท้าย เขาตั้งข้อสังเกตว่าเครื่องจักรอาจถ่ายโอนข้อมูลที่ดีแต่มีผลลัพธ์ที่ไม่ได้ตั้งใจหากผู้ใช้ไม่เข้าใจวิธีการตีความผลลัพธ์^{[ 26 ] : 65} ไวเซนบอมเตือนไม่ให้เชื่อถือการตัดสินใจที่ทำโดยโปรแกรมคอมพิวเตอร์ที่ผู้ใช้ไม่เข้าใจ โดยเปรียบเทียบความเชื่อดังกล่าวกับนักท่องเที่ยวที่สามารถหาทางไปยังห้องพักในโรงแรมได้โดยการเลี้ยวซ้ายหรือขวาจากการโยนเหรียญเท่านั้น ที่สำคัญ นักท่องเที่ยวไม่มีพื้นฐานความเข้าใจว่าเขามาถึงจุดหมายปลายทางได้อย่างไรหรือเพราะเหตุใด และการมาถึงที่ประสบความสำเร็จไม่ได้หมายความว่ากระบวนการนั้นถูกต้องหรือน่าเชื่อถือ^{[ 26 ] : 226}

ตัวอย่างแรกๆ ของอคติเชิงอัลกอริทึมส่งผลให้ผู้หญิงและชนกลุ่มน้อยทางชาติพันธุ์มากถึง 60 คนถูกปฏิเสธการเข้าเรียนที่โรงเรียนแพทย์โรงพยาบาลเซนต์จอร์จในแต่ละปีตั้งแต่ปี 1982 ถึง 1986 โดยอิงจากการนำระบบประเมินผลด้วยคอมพิวเตอร์แบบใหม่มาใช้ ซึ่งปฏิเสธการเข้าเรียนของผู้หญิงและผู้ชายที่มี "ชื่อที่ฟังดูเหมือนต่างชาติ" โดยพิจารณาจากแนวโน้มการรับเข้าเรียนในอดีต^{[ 28 ]}ในขณะที่โรงเรียนหลายแห่งในขณะนั้นใช้อคติที่คล้ายกันในกระบวนการคัดเลือก แต่เซนต์จอร์จโดดเด่นที่สุดในการใช้อัลกอริทึมเพื่อทำให้เกิดอคติดังกล่าวโดยอัตโนมัติ จึงดึงดูดความสนใจของผู้คนในวงกว้างมากขึ้น

ในช่วงไม่กี่ปีที่ผ่านมา เนื่องจากอัลกอริทึมพึ่งพาวิธีการเรียนรู้ของเครื่องที่นำไปใช้กับข้อมูลจริงมากขึ้นเรื่อยๆ อคติของอัลกอริทึมจึงแพร่หลายมากขึ้นเนื่องจากอคติที่มีอยู่ในข้อมูลเอง ตัวอย่างเช่น ระบบการจดจำใบหน้าพบว่าระบุตัวบุคคลจากกลุ่มชายขอบผิดพลาดในอัตราที่สูงกว่าคนผิวขาวอย่างมีนัยสำคัญ ซึ่งเน้นให้เห็นว่าอคติในชุดข้อมูลการฝึกอบรมปรากฏให้เห็นในระบบที่ใช้งานจริงอย่างไร^{[ 29 ]}การศึกษาในปี 2018 โดยJoy BuolamwiniและTimnit Gebruพบว่าเทคโนโลยีการจดจำใบหน้าเชิงพาณิชย์มีอัตราความผิดพลาดสูงถึง 35% เมื่อระบุตัวผู้หญิงผิวคล้ำ เมื่อเทียบกับน้อยกว่า 1% สำหรับผู้ชายผิวขาว^{[ 30 ]}

อคติของอัลกอริทึมไม่ได้เป็นเพียงความล้มเหลวทางเทคนิคเท่านั้น แต่บ่อยครั้งยังสะท้อนถึงความไม่เท่าเทียมกันเชิงระบบที่ฝังอยู่ในข้อมูลทางประวัติศาสตร์และสังคม นักวิจัยและนักวิจารณ์ เช่นCathy O'NeilในหนังสือWeapons of Math Destruction (2016) ของเธอ เน้นย้ำว่าอคติเหล่านี้สามารถขยายความไม่เท่าเทียมกันทางสังคมที่มีอยู่ภายใต้หน้ากากของความเป็นกลาง O'Neil โต้แย้งว่า กระบวนการ ตัดสินใจอัตโนมัติ ที่ไม่โปร่งใส ในด้านต่างๆ เช่น การให้คะแนนเครดิต การคาดการณ์การก่ออาชญากรรม และการศึกษา สามารถเสริมสร้างแนวปฏิบัติที่เลือกปฏิบัติในขณะที่ดูเหมือนเป็นกลางหรือเป็นวิทยาศาสตร์^{[ 31 ]}

แม้ว่าอัลกอริทึมที่ออกแบบมาอย่างดีมักจะกำหนดผลลัพธ์ที่เท่าเทียมกัน (หรือมากกว่า) ยุติธรรมกว่าการตัดสินใจของมนุษย์ แต่กรณีของอคติยังคงเกิดขึ้น และยากที่จะคาดการณ์และวิเคราะห์ได้^{[ 32 ]}ความซับซ้อนของการวิเคราะห์อคติของอัลกอริทึมเพิ่มขึ้นควบคู่ไปกับความซับซ้อนของโปรแกรมและการออกแบบ การตัดสินใจที่ทำโดยนักออกแบบคนหนึ่งหรือทีมนักออกแบบอาจถูกบดบังด้วยโค้ดจำนวนมากที่สร้างขึ้นสำหรับโปรแกรมเดียว เมื่อเวลาผ่านไป การตัดสินใจเหล่านี้และผลกระทบโดยรวมต่อผลลัพธ์ของโปรแกรมอาจถูกลืมไป^{[ 33 ] : 115} ในทางทฤษฎี อคติเหล่านี้อาจสร้างรูปแบบพฤติกรรมใหม่หรือ "สคริปต์" ในความสัมพันธ์กับเทคโนโลยีเฉพาะเมื่อโค้ดโต้ตอบกับองค์ประกอบอื่นๆ ของสังคม^{[ 34 ]}อคติอาจส่งผลกระทบต่อวิธีที่สังคมกำหนดรูปร่างตัวเองรอบๆจุดข้อมูลที่อัลกอริทึมต้องการ ตัวอย่างเช่น หากข้อมูลแสดงจำนวนการจับกุมสูงในพื้นที่ใดพื้นที่หนึ่ง อัลกอริทึมอาจมอบหมายการลาดตระเวนของตำรวจมากขึ้นในพื้นที่นั้น ซึ่งอาจนำไปสู่การจับกุมที่มากขึ้น^{[ 35 ] : 180}

การตัดสินใจของโปรแกรมอัลกอริทึมสามารถมองได้ว่ามีอำนาจมากกว่าการตัดสินใจของมนุษย์ที่โปรแกรมเหล่านั้นมีไว้เพื่อช่วยเหลือ^{[ 36 ] : 15} ซึ่งเป็นกระบวนการที่ผู้เขียนClay Shirky อธิบาย ว่าเป็น "อำนาจของอัลกอริทึม" ^{[ 37 ]} Shirky ใช้คำนี้เพื่ออธิบาย "การตัดสินใจที่จะถือว่ากระบวนการที่ไม่ได้รับการจัดการในการดึงคุณค่าจากแหล่งข้อมูลที่หลากหลายและไม่น่าเชื่อถือเป็นสิ่งที่มีอำนาจ" เช่น ผลการค้นหา^{[ 37 ]}ความเป็นกลางนี้ยังสามารถถูกบิดเบือนได้ด้วยภาษาที่ผู้เชี่ยวชาญและสื่อใช้เมื่อนำเสนอผลลัพธ์ต่อสาธารณะ ตัวอย่างเช่น รายการข่าวที่เลือกและนำเสนอเป็น "ข่าวที่กำลังเป็นที่นิยม" หรือ "ข่าวที่ได้รับความนิยม" อาจถูกสร้างขึ้นโดยอิงจากเกณฑ์ที่กว้างกว่าแค่ความนิยม^{[ 22 ] : 14}

เนื่องจากความสะดวกสบายและอำนาจของอัลกอริทึม จึงมีการตั้งทฤษฎีว่าอัลกอริทึมเป็นวิธีการมอบหมายความรับผิดชอบจากมนุษย์^{[ 36 ] : 16 [ 38 ] : 6} ซึ่งอาจส่งผลให้ตัวเลือกทางเลือก การประนีประนอม หรือความยืดหยุ่นลดลง^{[ 36 ] : 16} นักสังคมวิทยาScott Lashได้วิพากษ์วิจารณ์อัลกอริทึมว่าเป็น "พลังสร้างสรรค์" รูปแบบใหม่ เนื่องจากเป็นวิธีการเสมือนจริงในการสร้างเป้าหมายที่แท้จริง ในอดีตพฤติกรรมของมนุษย์สร้างข้อมูลเพื่อรวบรวมและศึกษา แต่อัลกอริทึมที่มีประสิทธิภาพมากขึ้นเรื่อยๆ สามารถกำหนดและนิยามพฤติกรรมของมนุษย์ได้^{[ 39 ] : 71}

ในขณะที่การยึดมั่นในการตัดสินใจของอัลกอริทึมโดยไม่ไตร่ตรองเป็นเรื่องที่น่ากังวล ปัญหาตรงกันข้ามก็เกิดขึ้นเมื่อผู้ตัดสินใจที่เป็นมนุษย์แสดง "การยึดมั่นแบบเลือกสรร" ต่อคำแนะนำของอัลกอริทึม ในกรณีเช่นนี้ บุคคลจะยอมรับคำแนะนำที่สอดคล้องกับความเชื่อที่มีอยู่ก่อนแล้วและเพิกเฉยต่อคำแนะนำที่ไม่สอดคล้อง ซึ่งจะทำให้ความลำเอียงที่มีอยู่คงอยู่ต่อไปและบั่นทอนวัตถุประสงค์ด้านความยุติธรรมของการแทรกแซงของอัลกอริทึม ดังนั้น การรวมเครื่องมืออัลกอริทึมที่ยุติธรรมเข้าไว้ในกระบวนการตัดสินใจจึงไม่ได้ขจัดความลำเอียงของมนุษย์โดยอัตโนมัติ^{[ 40 ]}

ความกังวลเกี่ยวกับผลกระทบของอัลกอริทึมต่อสังคมนำไปสู่การสร้างกลุ่มทำงานในองค์กรต่างๆ เช่นGoogleและMicrosoftซึ่งได้ร่วมกันสร้างกลุ่มทำงานชื่อ Fairness, Accountability, and Transparency in Machine Learning ^{[ 41 ] : 115} แนวคิดจาก Google รวมถึงกลุ่มชุมชนที่คอยตรวจสอบผลลัพธ์ของอัลกอริทึมและลงคะแนนเพื่อควบคุมหรือจำกัดผลลัพธ์ที่พวกเขาเห็นว่ามีผลกระทบเชิงลบ^{[ 41 ] : 117} ในช่วงไม่กี่ปีที่ผ่านมา การศึกษาเรื่องความเป็นธรรม ความรับผิดชอบ และความโปร่งใส (FAT) ของอัลกอริทึมได้กลายเป็นสาขาวิจัยสหวิทยาการของตนเอง โดยมีการประชุมประจำปีชื่อ FAccT ^{[ 42 ]}นักวิจารณ์ได้เสนอแนะว่าโครงการริเริ่ม FAT ไม่สามารถทำหน้าที่เป็นผู้เฝ้าระวังอิสระได้อย่างมีประสิทธิภาพ เมื่อหลายโครงการได้รับทุนจากบริษัทที่สร้างระบบที่กำลังศึกษาอยู่^{[ 43 ]}

กรอบการจัดการความเสี่ยง AI เวอร์ชัน 1.0 ของ NIST และโปรไฟล์ AI เชิงสร้างสรรค์ปี 2024 ให้คำแนะนำเชิงปฏิบัติสำหรับการกำกับดูแลและการวัดการลดอคติในระบบ AI ^{[ 44 ]}

อคติที่มีอยู่ก่อนแล้วในอัลกอริทึมเป็นผลมาจากอุดมการณ์ ทางสังคมและสถาบันที่อยู่เบื้องหลัง อคติอาจเกิดขึ้นโดยเจตนาหรือโดยบังเอิญ^{[ 21 ] : 334 [ 19 ] : 294} ข้อมูลป้อนเข้าที่เลือกไม่ดี หรือข้อมูลจากแหล่งที่มีอคติ จะส่งผลต่อผลลัพธ์ที่สร้างขึ้นโดยเครื่องจักร^{[ 27 ] : 17} การเข้ารหัสอคติที่มีอยู่ก่อนแล้วลงในซอฟต์แวร์สามารถรักษาอคติทางสังคมและสถาบันไว้ได้ และหากไม่แก้ไข ก็สามารถทำซ้ำได้ในการใช้งานอัลกอริทึมนั้นในอนาคตทั้งหมด^{[ 33 ] : 116 [ 38 ] : 8}

ตัวอย่างของอคติรูปแบบนี้คือโครงการพระราชบัญญัติสัญชาติอังกฤษ ซึ่งออกแบบมาเพื่อประเมินพลเมืองอังกฤษใหม่โดยอัตโนมัติหลังจากพระราชบัญญัติสัญชาติอังกฤษ ปี 1981 ^{[ 21 ] : 341} โครงการนี้สะท้อนหลักการของกฎหมายอย่างถูกต้อง ซึ่งระบุว่า "ผู้ชายเป็นบิดาเฉพาะบุตรที่ถูกต้องตามกฎหมายของตนเท่านั้น ในขณะที่ผู้หญิงเป็นมารดาของบุตรทั้งหมดของเธอ ไม่ว่าจะเป็นบุตรที่ถูกต้องตามกฎหมายหรือไม่ก็ตาม" ^{[ 21 ] : 341 [ 45 ] : 375} ในความพยายามที่จะถ่ายทอดตรรกะเฉพาะลงในกระบวนการอัลกอริทึม BNAP ได้จารึกตรรกะของพระราชบัญญัติสัญชาติอังกฤษลงในอัลกอริทึม ซึ่งจะทำให้ตรรกะนี้คงอยู่ต่อไปแม้ว่าพระราชบัญญัตินี้จะถูกยกเลิกในที่สุดก็ตาม^{[ 21 ] : 342}

แหล่งที่มาของอคติอีกประการหนึ่งที่เรียกว่า "อคติจากการเลือกป้ายกำกับ" ^{[ 46 ]}เกิดขึ้นเมื่อมีการใช้มาตรวัดตัวแทนในการฝึกอัลกอริทึม ซึ่งสร้างอคติต่อกลุ่มบางกลุ่ม ตัวอย่างเช่น อัลกอริทึมที่ใช้กันอย่างแพร่หลายทำนายค่าใช้จ่ายด้านการดูแลสุขภาพโดยใช้เป็นตัวแทนของความต้องการด้านการดูแลสุขภาพ และใช้การทำนายเพื่อจัดสรรทรัพยากรเพื่อช่วยเหลือผู้ป่วยที่มีความต้องการด้านสุขภาพที่ซับซ้อน สิ่งนี้ทำให้เกิดอคติเนื่องจากผู้ป่วยผิวดำมีค่าใช้จ่ายต่ำกว่า แม้ว่าพวกเขาจะมีสุขภาพไม่ดีเท่ากับผู้ป่วยผิวขาวก็ตาม^{[ 47 ]}วิธีแก้ปัญหา "อคติจากการเลือกป้ายกำกับ" มีเป้าหมายเพื่อให้เป้าหมายที่แท้จริง (สิ่งที่อัลกอริทึมกำลังทำนาย) ตรงกับเป้าหมายในอุดมคติ (สิ่งที่นักวิจัยต้องการให้อัลกอริทึมทำนาย) มากขึ้น ดังนั้นสำหรับตัวอย่างก่อนหน้านี้ แทนที่จะทำนายค่าใช้จ่าย นักวิจัยจะมุ่งเน้นไปที่ตัวแปรความต้องการด้านการดูแลสุขภาพซึ่งมีความสำคัญมากกว่า การปรับเป้าหมายทำให้จำนวนผู้ป่วยผิวดำที่ได้รับการคัดเลือกเข้าร่วมโครงการเพิ่มขึ้นเกือบสองเท่า^{[ 46 ]}

อคติในการเรียนรู้ของเครื่อง หมายถึง ความไม่เท่าเทียมกันอย่างเป็นระบบและไม่เป็นธรรมในผลลัพธ์ของอัลกอริธึมการเรียนรู้ของเครื่อง อคติเหล่านี้สามารถแสดงออกมาได้หลายรูปแบบ และมักเป็นผลสะท้อนจากข้อมูลที่ใช้ในการฝึกฝนอัลกอริธึมเหล่านั้น ตัวอย่างของอคติในการเรียนรู้ของเครื่องที่พบได้ทั่วไป ได้แก่:

• อคติของข้อมูล: ข้อมูลการฝึกอบรมอาจแสดงถึงกลุ่มบางกลุ่ม (เช่น ประชากรกลุ่มน้อย) น้อยกว่าความเป็นจริง มีความไม่เท่าเทียมกันทางประวัติศาสตร์ หรือถูกรวบรวมในลักษณะที่เบี่ยงเบน ทำให้โมเดลทำงานได้แย่ลงหรือมีพฤติกรรมที่ไม่เป็นธรรมต่อกลุ่มเหล่านั้น^{[ 48 ]}
• อคติจากป้ายกำกับ: ป้ายกำกับที่มนุษย์กำหนดอาจแฝงด้วยการตัดสินใจส่วนตัวหรืออคติ (ตัวอย่างเช่น สิ่งที่ถูกระบุว่าเป็น "เสี่ยง" "เป็นพิษ" หรือ "มีคุณสมบัติเหมาะสม") ดังนั้นแบบจำลองจึงเรียนรู้และขยายการตัดสินใจเหล่านั้น
• อคติในการวัด: ตัวแปรหรือการวัดที่ใช้แทนแนวคิดสำคัญๆ (เช่น "ความน่าเชื่อถือทางเครดิต" หรือ " ประสิทธิภาพในการทำงาน ") อาจมีสัญญาณรบกวนหรือบิดเบือนอย่างเป็นระบบสำหรับบางกลุ่ม ซึ่งจะส่งผลให้การคาดการณ์ผิดเพี้ยนไป
• อคติเชิงอัลกอริทึม: แม้จะมีข้อมูลที่ค่อนข้างสมดุล การเลือกแบบจำลอง (ฟังก์ชันการสูญเสีย เกณฑ์ วัตถุประสงค์การเพิ่มประสิทธิภาพ) อาจให้ความสำคัญกับความแม่นยำโดยรวมมากกว่าความยุติธรรม ทำให้บางกลุ่มย่อยมีผลลัพธ์ที่แย่ลงอย่างต่อเนื่อง^{[ 49 ]}
• อคติในการนำไปใช้: การนำแบบจำลองไปใช้ในบริบทที่ไม่ตรงกับที่ออกแบบไว้ (เช่น แบบจำลองที่ฝึกฝนกับผู้ใหญ่แล้วนำไปใช้กับเด็ก หรือแบบจำลองที่ฝึกฝนในประเทศหนึ่งแล้วนำไปใช้ในอีกประเทศหนึ่ง) อาจทำให้เกิดผลลัพธ์ที่มีอคติได้ เนื่องจากสภาพแวดล้อมและประชากรแตกต่างกัน

การลดอคติในการเรียนรู้ของเครื่องจักรโดยทั่วไปเกี่ยวข้องกับการแทรกแซงในหลายขั้นตอน ได้แก่ การรวบรวมข้อมูลที่เป็นตัวแทนและมีคุณภาพสูงขึ้น การตรวจสอบชุดข้อมูลและแบบจำลองเพื่อหาอัตราข้อผิดพลาดหรือผลลัพธ์ที่แตกต่างกันระหว่างกลุ่ม การปรับวัตถุประสงค์การฝึกอบรม (เช่น การเพิ่มข้อจำกัดด้านความเป็นธรรม) และการตรวจสอบระบบหลังการใช้งาน การจัดทำเอกสารอย่างโปร่งใสเกี่ยวกับแหล่งข้อมูลและกรณีการใช้งานที่ตั้งใจไว้ก็มีความสำคัญเช่นกัน เพื่อให้ผู้ใช้และผู้มีส่วนได้ส่วนเสียสามารถเข้าใจว่าอคติอาจยังคงอยู่ตรงไหน และวิธีการตีความผลลัพธ์ของแบบจำลองอย่างมีความรับผิดชอบ

อคติทางภาษาหมายถึงอคติในการสุ่มตัวอย่างทางสถิติประเภทหนึ่งที่เชื่อมโยงกับภาษาของคำถาม ซึ่งนำไปสู่ ​​"การเบี่ยงเบนอย่างเป็นระบบในการสุ่มตัวอย่างข้อมูลที่ป้องกันไม่ให้แสดงถึงความครอบคลุมที่แท้จริงของหัวข้อและมุมมองที่มีอยู่ในคลังข้อมูลได้อย่างแม่นยำ" ^{[ 50 ]}งานของ Luo et al. ^{[ 50 ]}แสดงให้เห็นว่าแบบจำลองภาษาขนาดใหญ่ในปัจจุบัน เนื่องจากส่วนใหญ่ได้รับการฝึกฝนจากข้อมูลภาษาอังกฤษ จึงมักนำเสนอมุมมองแบบแองโกล-อเมริกันว่าเป็นความจริง ในขณะที่ลดทอนมุมมองที่ไม่ใช่ภาษาอังกฤษอย่างเป็นระบบว่าเป็นสิ่งที่ไม่เกี่ยวข้อง ผิด หรือเป็นสัญญาณรบกวน เมื่อถูกถามเกี่ยวกับอุดมการณ์ทางการเมือง เช่น"ลัทธิเสรีนิยมคืออะไร?"แบบจำลองภาษาขนาดใหญ่ที่ได้รับการฝึกฝนจากข้อมูลที่เน้นภาษาอังกฤษเป็นหลัก มักจะอธิบายลัทธิเสรีนิยมจากมุมมองแบบแองโกล-อเมริกัน โดยเน้นด้านต่างๆ เช่น สิทธิมนุษยชนและความเท่าเทียมกัน ในการทำเช่นนั้น พวกเขาอาจละเว้นการตีความที่ถูกต้องเท่าเทียมกัน เช่น การเน้นย้ำถึงการต่อต้านการแทรกแซงของรัฐในชีวิตส่วนตัวและเศรษฐกิจที่พบในวาทกรรมของเวียดนาม หรือการมุ่งเน้นไปที่ข้อจำกัดของอำนาจรัฐบาลที่แพร่หลายในความคิดทางการเมืองของจีน^{[ 50 ]}ในทำนองเดียวกัน แบบจำลองภาษาอาจแสดงอคติต่อผู้คนภายในกลุ่มภาษาโดยอิงจากสำเนียงเฉพาะที่พวกเขาใช้^{[ 51 ]}

อคติในการเลือกหมายถึงแนวโน้มโดยธรรมชาติของแบบจำลองภาษาขนาดใหญ่ที่จะให้ความสำคัญกับตัวระบุตัวเลือกบางอย่างโดยไม่คำนึงถึงเนื้อหาจริงของตัวเลือก อคตินี้ส่วนใหญ่เกิดจากอคติของโทเค็น กล่าวคือ แบบจำลองจะกำหนดความน่าจะเป็นล่วงหน้าที่สูงกว่าให้กับโทเค็นคำตอบเฉพาะ (เช่น "A") เมื่อสร้างการตอบสนอง ผลที่ตามมาคือ เมื่อลำดับของตัวเลือกถูกเปลี่ยนแปลง (ตัวอย่างเช่น โดยการย้ายคำตอบที่ถูกต้องไปยังตำแหน่งต่างๆ อย่างเป็นระบบ) ประสิทธิภาพของแบบจำลองอาจผันผวนอย่างมาก ปรากฏการณ์นี้บั่นทอนความน่าเชื่อถือของแบบจำลองภาษาขนาดใหญ่ในการตั้งค่าแบบเลือกตอบ^{[ 52 ] [ 53 ]}

อคติทางเพศหมายถึงแนวโน้มของแบบจำลองเหล่านี้ที่จะสร้างผลลัพธ์ที่มีอคติอย่างไม่เป็นธรรมต่อเพศหนึ่งมากกว่าอีกเพศหนึ่ง อคตินี้มักเกิดขึ้นจากข้อมูลที่ใช้ในการฝึกฝนแบบจำลองเหล่านี้ ตัวอย่างเช่น แบบจำลองภาษาขนาดใหญ่มักจะกำหนดบทบาทและลักษณะตามบรรทัดฐานทางเพศแบบดั้งเดิม อาจเชื่อมโยงพยาบาลหรือเลขานุการกับผู้หญิงเป็นส่วนใหญ่ และวิศวกรหรือซีอีโอกับผู้ชาย^{[ 54 ] [ 55 ]}การตรวจสอบเชิงประจักษ์ของระบบ AI ที่ใช้งานอยู่ยังแสดงให้เห็นถึงอคติทางเพศแบบตัดกัน ตัวอย่างเช่น Google Cloud Vision AI ระบุผู้หญิงในฐานะนักวิทยาศาสตร์น้อยกว่าความเป็นจริง โดยมีผู้หญิงผิวสีเป็นตัวแทนน้อยกว่าความเป็นจริงมากที่สุด^{[ 56 ]}

นอกเหนือจากเรื่องเพศและเชื้อชาติแล้ว แบบจำลองเหล่านี้ยังสามารถเสริมสร้าง แบบแผนความคิดที่หลากหลายรวมถึงแบบแผนที่อิงตามอายุ สัญชาติ ศาสนา หรืออาชีพ ซึ่งอาจนำไปสู่ผลลัพธ์ที่ทำให้กลุ่มคนมีความเป็นเนื้อเดียวกัน หรือเหมารวมหรือล้อเลียนกลุ่มคนอย่างไม่เป็นธรรม บางครั้งในลักษณะที่เป็นอันตรายหรือดูหมิ่น^{[ 57 ] [ 58 ]}

งานวิจัยล่าสุดมุ่งเน้นไปที่ปฏิสัมพันธ์ที่ซับซ้อนระหว่างคุณสมบัติทางไวยากรณ์ของภาษาและอคติในโลกแห่งความเป็นจริงที่อาจฝังตัวอยู่ในระบบ AI ซึ่งอาจทำให้เกิดการสืบทอดแบบแผนและสมมติฐานที่เป็นอันตรายได้ การศึกษาเกี่ยวกับอคติทางเพศในแบบจำลองภาษาที่ฝึกฝนด้วยภาษาไอซ์แลนด์ ซึ่งเป็นภาษาที่มีการแบ่งเพศทางไวยากรณ์สูง พบว่าแบบจำลองมีแนวโน้มไปทางเพศชายอย่างมีนัยสำคัญเมื่ออ้างถึงคำศัพท์เกี่ยวกับอาชีพ แม้แต่ในอาชีพที่ผู้หญิงเป็นส่วนใหญ่^{[ 59 ]}สิ่งนี้ชี้ให้เห็นว่าแบบจำลองได้ขยายอคติทางเพศในสังคมที่มีอยู่ในข้อมูลการฝึกอบรม

อคติทางการเมืองหมายถึงแนวโน้มของอัลกอริทึมที่จะให้ความสำคัญกับมุมมองทางการเมือง อุดมการณ์ หรือผลลัพธ์บางอย่างมากกว่าอย่างอื่นอย่างเป็นระบบ โมเดลภาษาก็อาจแสดงอคติทางการเมืองได้เช่นกัน เนื่องจากข้อมูลการฝึกอบรมประกอบด้วยความคิดเห็นและการครอบคลุมทางการเมืองที่หลากหลาย โมเดลอาจสร้างการตอบสนองที่เอนเอียงไปทางอุดมการณ์หรือมุมมองทางการเมืองบางอย่าง ขึ้นอยู่กับความแพร่หลายของมุมมองเหล่านั้นในข้อมูล^{[ 60 ]}

อคติทางเชื้อชาติหมายถึงแนวโน้มของแบบจำลองการเรียนรู้ของเครื่องจักรที่จะสร้างผลลัพธ์ที่เลือกปฏิบัติหรือเหมารวมบุคคลอย่างไม่เป็นธรรมโดยอิงจากเชื้อชาติหรือชาติพันธุ์ อคตินี้มักเกิดจากข้อมูลการฝึกฝน ซึ่งถูกกำหนดโดยความคิดเห็น สมมติฐาน และอคติทางเชื้อชาติของมนุษย์ ข้อมูลเหล่านี้ทำให้ระบบ AI ทำซ้ำและขยายการเลือกปฏิบัติทางประวัติศาสตร์และระบบ ตัวอย่างเช่น ระบบ AI ที่ใช้ในการจ้างงาน การบังคับใช้กฎหมาย หรือการดูแลสุขภาพ อาจทำให้กลุ่มเชื้อชาติบางกลุ่มเสียเปรียบอย่างไม่สมส่วนโดยการเสริมสร้างภาพเหมารวมที่มีอยู่หรือลดจำนวนพวกเขาในด้านสำคัญๆ อคติดังกล่าวอาจปรากฏในรูปแบบต่างๆ เช่น ระบบจดจำใบหน้าที่ระบุตัวบุคคลที่มีเชื้อชาติบางกลุ่มผิดพลาด หรืออัลกอริทึมด้านการดูแลสุขภาพประเมินความต้องการทางการแพทย์ของผู้ป่วยกลุ่มน้อยต่ำเกินไป การแก้ไขอคติทางเชื้อชาติจำเป็นต้องมีการตรวจสอบข้อมูลอย่างรอบคอบ ความโปร่งใสที่เพิ่มขึ้นในกระบวนการอัลกอริทึม และความพยายามที่จะสร้างความยุติธรรมตลอดวงจรการพัฒนา AI ^{[ 61 ] [ 62 ]}การตรวจสอบเชิงประจักษ์ของแบบจำลองวิสัยทัศน์ที่นำไปใช้ยังแสดงให้เห็นถึงความเหลื่อมล้ำที่เชื่อมโยงกับเชื้อชาติในการกำหนดอาชีพ ตัวอย่างเช่น ใน Google Cloud Vision AI ผู้หญิงผิวสีมีโอกาสน้อยที่สุดที่จะถูกระบุว่าเป็นนักวิทยาศาสตร์ ซึ่งบ่งชี้ถึงผลกระทบสะสมของเชื้อชาติและเพศในผลลัพธ์ของแบบจำลอง^{[ 63 ]}

อีกหนึ่งข้อบ่งชี้ที่ชัดเจนว่าอคติทางเชื้อชาติถูกผลิตซ้ำผ่านความก้าวหน้าทางเทคโนโลยีคือการคาดการณ์อาชญากรรม เครื่องมือคาดการณ์อาชญากรรมจะประเมินว่าใครจะก่ออาชญากรรมในอนาคตเมื่อใด^{[ 64 ]}และอาชญากรรมในอนาคตอาจเกิดขึ้นที่ใด โดยอิงจากตำแหน่งที่ตั้งและข้อมูลส่วนบุคคล^{[ 65 ]}ซึ่งหมายความว่าพื้นที่เฉพาะและบริเวณที่มีอาชญากรรมเพิ่มขึ้นมักจะมีการคาดการณ์อาชญากรรมในอนาคตมากขึ้น

ตัวอย่างเช่น ชาวอัฟกานิสถานส่วนใหญ่ถูกจำกัดไม่ให้ซื้อปุ๋ยแอมโมเนียม เนื่องจากมีการค้นพบว่าอุปกรณ์ระเบิดแสวงหาเองที่ใช้โจมตีทหารสหรัฐฯ ส่วนใหญ่มีไนเตรตในปริมาณที่เพียงพอ ซึ่งเป็นส่วนประกอบหลักของปุ๋ยแอมโมเนียม การห้ามนี้ซึ่งต่อมาถูกบังคับใช้โดยใช้ปัญญาประดิษฐ์โดยกองกำลังสหรัฐฯ ทำให้แม้แต่ชาวอัฟกานิสถานที่มีอาชีพหรือปัจจัยยังชีพเพียงอย่างเดียวคือเกษตรกรรม ก็ถูกปฏิเสธการเข้าถึงปัจจัยการผลิตทางการเกษตรที่สำคัญ (ปุ๋ย) เนื่องจาก AI ที่ใช้ในการบังคับใช้การห้ามนี้ส่วนใหญ่จะมองหาคำอธิบายโดยรวมของชาวมุสลิมที่มีเคราหรือชาวอัฟกานิสถาน ^{[ 66 ]}

ในประเทศจีน โดยเฉพาะอย่างยิ่งในเขตซินเจียงซึ่งเป็นชนกลุ่มน้อยชาวมุสลิม การใช้ AI เพื่อจำกัดชนกลุ่มน้อยชาวมุสลิม หรือที่รู้จักกันในชื่อชาวอุยกูร์นั้นไปไกลกว่าการห้ามใช้วัสดุเฉพาะ ^{[ 65 ]}ที่นี่มีการใช้ระบบการปฏิเสธโดยอัตโนมัติอย่างแพร่หลาย แตกต่างจากการห้ามใช้ปุ๋ยในอัฟกานิสถาน ระบบของจีนใช้ AI ในการกำหนด "พฤติกรรมที่น่าสงสัย" จากนั้นจึงปฏิเสธโดยอัตโนมัติไม่ให้ชาวอุยกูร์สามารถซื้อสินค้าอุปโภคบริโภคในครัวเรือน เช่น มีดทำครัว^{[ 67 ]}หากจำเป็น พวกเขาจะต้องผ่านขั้นตอนที่เข้มงวด ซึ่งรวมถึงการสลักบาร์โค้ดที่น่าเชื่อถือลงบนมีด โดยบาร์โค้ดนั้นจะมีข้อมูลส่วนบุคคลหรือข้อมูลระบุตัวตนของชาวอุยกูร์ที่ซื้อทุกอย่าง ด้วยการฝึกโมเดลปัญญาประดิษฐ์ให้สามารถคาดการณ์หรือแม้กระทั่งสามารถจำแนกเชื้อชาติได้ ระบบนี้จึงถูกสร้างขึ้นมาโดยมีอคติทางเชื้อชาติอย่างชัดเจน

อคติทางสายพันธุ์ (หรือที่เรียกว่าอคติแบบมนุษย์เป็นศูนย์กลาง) หมายถึงแนวโน้มของแบบจำลองภาษาขนาดใหญ่ที่จะลดคุณค่าหรือเลือกปฏิบัติกับสัตว์ที่ไม่ใช่มนุษย์อย่างเป็นระบบ โดยมักจะให้ความสำคัญกับผลประโยชน์ของมนุษย์หรือเสริมสร้างการทำให้สัตว์เป็นวัตถุ อคตินี้มักแสดงออกมาในรูปแบบของมนุษย์เป็นศูนย์กลาง ซึ่ง AI มองสัตว์โดยพิจารณาจากประโยชน์ใช้สอยต่อมนุษย์เป็นหลัก (เช่น เป็นอาหาร เครื่องมือ หรือศัตรูพืช) มากกว่าที่จะมองว่าเป็นสิ่งมีชีวิตที่มีความรู้สึกและมีคุณค่าในตัวเอง^{[ 68 ]}

อคติทางเทคนิคเกิดขึ้นจากข้อจำกัดของโปรแกรม กำลังการคำนวณ การออกแบบ หรือข้อจำกัดอื่นๆ ของระบบ^{[ 21 ] : 332} อคติดังกล่าวอาจเป็นข้อจำกัดของการออกแบบได้เช่นกัน ตัวอย่างเช่น เครื่องมือค้นหาที่แสดงผลลัพธ์สามรายการต่อหน้าจอ อาจเข้าใจได้ว่าให้ความสำคัญกับผลลัพธ์สามรายการแรกมากกว่าสามรายการถัดไปเล็กน้อย เช่นเดียวกับการแสดงราคาตั๋วเครื่องบิน^{[ 21 ] : 336} อีกกรณีหนึ่งคือซอฟต์แวร์ที่อาศัยความสุ่มเพื่อการกระจายผลลัพธ์อย่างเป็นธรรม หากกลไกการสร้างตัวเลขสุ่มไม่เป็นแบบสุ่มอย่างแท้จริง อาจทำให้เกิดอคติได้ ตัวอย่างเช่น โดยการเลือกรายการที่อยู่ตอนท้ายหรือตอนต้นของรายการมากกว่า^{[ 21 ] : 332}

อัลกอริทึมที่ปราศจากบริบทจะใช้ข้อมูลที่ไม่เกี่ยวข้องกันในการจัดเรียงผลลัพธ์ ตัวอย่างเช่น อัลกอริทึมการกำหนดราคาเที่ยวบินที่จัดเรียงผลลัพธ์ตามลำดับตัวอักษรจะเอนเอียงไปทางสายการบินอเมริกันแอร์ไลน์มากกว่าสายการบินยูไนเต็ดแอร์ไลน์^{[ 21 ] : 332} ในทางกลับกันก็อาจใช้ได้เช่นกัน โดยผลลัพธ์จะถูกประเมินในบริบทที่แตกต่างจากบริบทที่รวบรวมข้อมูล ข้อมูลอาจถูกรวบรวมโดยปราศจากบริบทภายนอกที่สำคัญ ตัวอย่างเช่น เมื่อ ซอฟต์แวร์ จดจำใบหน้าถูกใช้โดยกล้องวงจรปิด แต่ถูกประเมินโดยเจ้าหน้าที่ระยะไกลในประเทศหรือภูมิภาคอื่น หรือถูกประเมินโดยอัลกอริทึมที่ไม่ใช่มนุษย์ซึ่งไม่ทราบถึงสิ่งที่เกิดขึ้นนอกเหนือขอบเขตการมองเห็น ของกล้อง สิ่งนี้อาจทำให้เกิดความเข้าใจที่ไม่สมบูรณ์เกี่ยวกับสถานที่เกิดเหตุอาชญากรรม ตัวอย่างเช่น อาจเข้าใจผิดว่าผู้เห็นเหตุการณ์เป็นผู้ก่ออาชญากรรม^{[ 18 ] : 574}

สุดท้ายนี้ อคติทางเทคนิคสามารถเกิดขึ้นได้จากการพยายามกำหนดการตัดสินใจอย่างเป็นทางการเป็นขั้นตอนที่เป็นรูปธรรม โดยตั้งสมมติฐานว่าพฤติกรรมของมนุษย์ทำงานในลักษณะเดียวกัน ตัวอย่างเช่น ซอฟต์แวร์จะชั่งน้ำหนักจุดข้อมูลเพื่อพิจารณาว่าจำเลยควรยอมรับข้อตกลงการรับสารภาพหรือไม่ โดยไม่คำนึงถึงผลกระทบของอารมณ์ต่อคณะลูกขุน^{[ 21 ] : 332} ผลลัพธ์ที่ไม่ได้ตั้งใจอีกประการหนึ่งของอคติรูปแบบนี้พบได้ในซอฟต์แวร์ตรวจจับการลอกเลียนแบบTurnitinซึ่งเปรียบเทียบข้อความที่นักเรียนเขียนกับข้อมูลที่พบในออนไลน์และส่งคืนคะแนนความน่าจะเป็นที่งานของนักเรียนถูกคัดลอก เนื่องจากซอฟต์แวร์เปรียบเทียบสตริงข้อความที่ยาว จึงมีแนวโน้มที่จะระบุผู้พูดภาษาอังกฤษที่ไม่ใช่เจ้าของภาษาได้มากกว่าเจ้าของภาษา เนื่องจากกลุ่มหลังอาจสามารถเปลี่ยนคำแต่ละคำ แบ่งสตริงข้อความที่ลอกเลียนแบบ หรือปกปิดข้อความที่คัดลอกผ่านคำพ้องความหมายได้ดีกว่า เนื่องจากผู้พูดภาษาแม่สามารถหลีกเลี่ยงการตรวจจับได้ง่ายกว่าอันเป็นผลมาจากข้อจำกัดทางเทคนิคของซอฟต์แวร์ สถานการณ์นี้จึงทำให้ Turnitin ระบุผู้พูดภาษาอังกฤษชาวต่างชาติว่ามีการลอกเลียนแบบ ในขณะที่อนุญาตให้ผู้พูดภาษาแม่หลีกเลี่ยงการตรวจจับได้มากขึ้น^{[ 36 ] : 21–22}

อคติ ที่เกิดขึ้นใหม่เป็นผลมาจากการใช้และการพึ่งพาอัลกอริทึมในบริบทใหม่หรือที่ไม่คาดคิด^{[ 21 ] : 334} อัลกอริทึมอาจไม่ได้ถูกปรับให้พิจารณาความรู้รูปแบบใหม่ เช่น ยาใหม่หรือความก้าวหน้าทางการแพทย์ กฎหมายใหม่ รูปแบบธุรกิจ หรือบรรทัดฐานทางวัฒนธรรมที่เปลี่ยนแปลงไป^{[ 21 ] : 334, 336} สิ่งนี้อาจกีดกันกลุ่มต่างๆ ผ่านทางเทคโนโลยี โดยไม่มีการระบุอย่างชัดเจนว่าใครเป็นผู้รับผิดชอบต่อการกีดกันนั้น^{[ 35 ] : 179 [ 19 ] : 294} ในทำนองเดียวกัน ปัญหาอาจเกิดขึ้นเมื่อข้อมูลการฝึกอบรม (ตัวอย่างที่ "ป้อน" ให้กับเครื่องจักร ซึ่งเครื่องจักรจะจำลองข้อสรุปบางอย่าง) ไม่สอดคล้องกับบริบทที่อัลกอริทึมพบในโลกแห่งความเป็นจริง^{[ 69 ]}

ในปี พ.ศ. 2533 ตัวอย่างของอคติที่เกิดขึ้นใหม่ถูกระบุในซอฟต์แวร์ที่ใช้ในการจัดนักศึกษาแพทย์ของสหรัฐฯ เข้าสู่โปรแกรมการจับคู่การฝึกอบรมแพทย์ประจำบ้านแห่งชาติ (NRMP) ^{[ 21 ] : 338} อัลกอริทึมนี้ได้รับการออกแบบในช่วงเวลาที่คู่สมรส จำนวนน้อย จะแสวงหาการฝึกอบรมแพทย์ประจำบ้านร่วมกัน เมื่อมีผู้หญิงเข้าเรียนในโรงเรียนแพทย์มากขึ้น นักศึกษาจำนวนมากขึ้นก็มีแนวโน้มที่จะขอฝึกอบรมแพทย์ประจำบ้านร่วมกับคู่ของตน กระบวนการนี้กำหนดให้ผู้สมัครแต่ละคนต้องระบุรายการความต้องการในการจัดตำแหน่งทั่วสหรัฐฯ ซึ่งจะถูกจัดเรียงและกำหนดเมื่อโรงพยาบาลและผู้สมัครตกลงที่จะจับคู่กัน ในกรณีของคู่สมรสที่ทั้งคู่แสวงหาการฝึกอบรมแพทย์ประจำบ้าน อัลกอริทึมจะพิจารณาตัวเลือกสถานที่ของคู่สมรสที่มีคะแนนสูงกว่าก่อน ผลที่ได้คือการจัดสรรโรงเรียนที่ต้องการสูงให้กับคู่สมรสคนแรกและโรงเรียนที่ต้องการน้อยกว่าให้กับคู่สมรสคนที่สองบ่อยครั้ง แทนที่จะจัดเรียงเพื่อหาจุดลงตัวในความต้องการในการจัดตำแหน่ง^{[ 21 ] : 338 [ 70 ]}

อคติที่เกิดขึ้นใหม่เพิ่มเติม ได้แก่:

ความสัมพันธ์ที่ไม่สามารถคาดเดาได้อาจเกิดขึ้นเมื่อมีการเปรียบเทียบชุดข้อมูลขนาดใหญ่เข้าด้วยกัน ตัวอย่างเช่น ข้อมูลที่รวบรวมเกี่ยวกับรูปแบบการท่องเว็บอาจสอดคล้องกับสัญญาณที่บ่งชี้ข้อมูลที่ละเอียดอ่อน (เช่น เชื้อชาติหรือรสนิยมทางเพศ) การเลือกตามพฤติกรรมหรือรูปแบบการท่องเว็บบางอย่าง ผลลัพธ์สุดท้ายจะเกือบเหมือนกับการเลือกปฏิบัติโดยใช้ข้อมูลเชื้อชาติหรือรสนิยมทางเพศโดยตรง^{[ 25 ] : 6} ในกรณีอื่นๆ อัลกอริทึมจะสรุปผลจากความสัมพันธ์โดยไม่สามารถเข้าใจความสัมพันธ์เหล่านั้นได้ ตัวอย่างเช่น โปรแกรมคัดกรองผู้ป่วยโปรแกรมหนึ่งให้ความสำคัญกับผู้ป่วยโรคหอบหืดที่มีปอดบวมน้อยกว่าผู้ป่วยโรคหอบหืดที่ไม่มีปอดบวม อัลกอริทึมของโปรแกรมทำเช่นนี้เพราะมันเปรียบเทียบอัตราการรอดชีวิตเท่านั้น ผู้ป่วยโรคหอบหืดที่มีปอดบวมมีความเสี่ยงสูงสุด ในอดีตด้วยเหตุผลเดียวกันนี้ โรงพยาบาลมักจะให้การดูแลที่ดีที่สุดและทันทีที่สุดแก่ผู้ป่วยโรคหอบหืดดังกล่าว^{[ 71 ]}

อคติที่เกิดขึ้นใหม่สามารถเกิดขึ้นได้เมื่ออัลกอริทึมถูกใช้งานโดยกลุ่มเป้าหมายที่ไม่คาดคิด ตัวอย่างเช่น เครื่องจักรอาจต้องการให้ผู้ใช้สามารถอ่าน เขียน หรือเข้าใจตัวเลข หรือเกี่ยวข้องกับอินเทอร์เฟซโดยใช้คำอุปมาที่พวกเขาไม่เข้าใจ^{[ 21 ] : 334} การกีดกันเหล่านี้อาจทวีความรุนแรงขึ้นเมื่อเทคโนโลยีที่มีอคติหรือกีดกันถูกบูรณาการเข้ากับสังคมอย่างลึกซึ้งยิ่งขึ้น^{[ 35 ] : 179}

นอกเหนือจากการกีดกันแล้ว การใช้งานที่ไม่คาดคิดอาจเกิดขึ้นจากการที่ผู้ใช้พึ่งพาซอฟต์แวร์มากกว่าความรู้ของตนเอง ในตัวอย่างหนึ่ง กลุ่มผู้ใช้ที่ไม่คาดคิดนำไปสู่ความลำเอียงของอัลกอริทึมในสหราชอาณาจักร เมื่อโครงการ British National Act Program ถูกสร้างขึ้นเป็นต้นแบบโดยนักวิทยาศาสตร์คอมพิวเตอร์และทนายความด้านการเข้าเมืองเพื่อประเมินความเหมาะสมสำหรับการเป็นพลเมืองอังกฤษนักออกแบบสามารถเข้าถึงความเชี่ยวชาญด้านกฎหมายได้มากกว่าผู้ใช้ปลายทางในสำนักงานตรวจคนเข้าเมือง ซึ่งความเข้าใจทั้งด้านซอฟต์แวร์และกฎหมายตรวจคนเข้าเมืองอาจไม่ซับซ้อน เจ้าหน้าที่ที่ดูแลคำถามพึ่งพาซอฟต์แวร์ทั้งหมด ซึ่งไม่รวมเส้นทางอื่น ๆ ในการเป็นพลเมือง และใช้ซอฟต์แวร์แม้หลังจากคำพิพากษาและคำตีความทางกฎหมายใหม่ ๆ ทำให้อัลกอริทึมล้าสมัยไปแล้ว ผลจากการออกแบบอัลกอริทึมสำหรับผู้ใช้ที่สันนิษฐานว่ามีความเชี่ยวชาญด้านกฎหมายตรวจคนเข้าเมือง อัลกอริทึมของซอฟต์แวร์จึงนำไปสู่ความลำเอียงโดยอ้อมที่เอื้อประโยชน์ต่อผู้สมัครที่ตรงตามเกณฑ์ทางกฎหมายที่แคบมากซึ่งกำหนดโดยอัลกอริทึม มากกว่าเกณฑ์ที่กว้างกว่าของกฎหมายตรวจคนเข้าเมืองของอังกฤษ^{[ 21 ] : 342}

อคติที่เกิดขึ้นใหม่อาจสร้างวงจรป้อนกลับหรือการวนซ้ำได้ หากข้อมูลที่รวบรวมสำหรับอัลกอริทึมส่งผลให้เกิดการตอบสนองในโลกแห่งความเป็นจริงซึ่งถูกป้อนกลับเข้าไปในอัลกอริทึม^{[ 72 ] [ 73 ]}ตัวอย่างเช่น การจำลอง ซอฟต์แวร์ การคาดการณ์อาชญากรรม (PredPol) ที่ใช้งานในโอ๊คแลนด์ รัฐแคลิฟอร์เนีย ชี้ให้เห็นถึงการเพิ่มจำนวนตำรวจในย่านคนผิวดำโดยอิงจากข้อมูลอาชญากรรมที่รายงานโดยประชาชน^{[ 74 ]}การจำลองแสดงให้เห็นว่าประชาชนรายงานอาชญากรรมโดยอิงจากการเห็นรถตำรวจ โดยไม่คำนึงถึงสิ่งที่ตำรวจกำลังทำ การจำลองตีความการเห็นรถตำรวจในการสร้างแบบจำลองการคาดการณ์อาชญากรรม และจะกำหนดให้มีการเพิ่มจำนวนตำรวจในย่านเหล่านั้นมากขึ้นไปอีก^{[ 72 ] [ 75 ] [ 76 ]}กลุ่มวิเคราะห์ข้อมูลสิทธิมนุษยชนซึ่งดำเนินการจำลอง ได้เตือนว่าในสถานที่ที่การเลือกปฏิบัติทางเชื้อชาติเป็นปัจจัยในการจับกุม วงจรป้อนกลับดังกล่าวอาจเสริมและทำให้การเลือกปฏิบัติทางเชื้อชาติในการปฏิบัติงานของตำรวจคงอยู่ต่อไป^{[ 73 ]}ตัวอย่างที่รู้จักกันดีอีกประการหนึ่งของอัลกอริทึมที่แสดงพฤติกรรมดังกล่าวคือCOMPASซึ่งเป็นซอฟต์แวร์ที่กำหนดความน่าจะเป็นที่บุคคลจะกลายเป็นผู้กระทำความผิดทางอาญา ซอฟต์แวร์นี้มักถูกวิพากษ์วิจารณ์ว่าติดป้ายให้คนผิวดำว่าเป็นอาชญากรมากกว่าคนอื่นๆ และป้อนข้อมูลกลับเข้าไปในตัวเองในกรณีที่บุคคลนั้นกลายเป็นอาชญากรที่ขึ้นทะเบียน ซึ่งเป็นการตอกย้ำอคติที่สร้างขึ้นโดยชุดข้อมูลที่อัลกอริทึมกำลังทำงานอยู่^{[ 77 ]}

ระบบแนะนำ เช่น ระบบที่ใช้แนะนำวิดีโอออนไลน์หรือบทความข่าว สามารถสร้างวงจรป้อนกลับได้^{[ 78 ]}เมื่อผู้ใช้คลิกเนื้อหาที่อัลกอริทึมแนะนำ จะส่งผลต่อชุดคำแนะนำถัดไป^{[ 79 ]}เมื่อเวลาผ่านไป อาจทำให้ผู้ใช้เข้าสู่ฟองสบู่กรองข้อมูลและไม่รับรู้ถึงเนื้อหาที่สำคัญหรือมีประโยชน์^{[ 80 ] [ 81 ]}

อัลกอริทึมขององค์กรอาจถูกบิดเบือนเพื่อให้เอื้อประโยชน์ต่อข้อตกลงทางการเงินหรือข้อตกลงระหว่างบริษัทต่างๆ โดยที่ผู้ใช้ไม่รู้ตัว และอาจเข้าใจผิดว่าอัลกอริทึมนั้นเป็นกลาง ตัวอย่างเช่นสายการบินอเมริกันแอร์ไลน์ได้สร้างอัลกอริทึมค้นหาเที่ยวบินในช่วงทศวรรษ 1980 ซอฟต์แวร์ดังกล่าวแสดงเที่ยวบินต่างๆ จากสายการบินต่างๆ ให้กับลูกค้า แต่จะพิจารณาปัจจัยที่ส่งเสริมเที่ยวบินของตนเอง โดยไม่คำนึงถึงราคาหรือความสะดวกสบาย ในการให้การต่อรัฐสภาสหรัฐอเมริกาประธานของสายการบินกล่าวอย่างตรงไปตรงมาว่าระบบนี้ถูกสร้างขึ้นโดยมีเจตนาที่จะได้เปรียบในการแข่งขันผ่านการปฏิบัติอย่างเป็นพิเศษ^{[ 82 ] : 2 [ 21 ] : 331}

ในเอกสารปี 1998 ที่อธิบายถึงGoogleผู้ก่อตั้งบริษัทได้นำนโยบายความโปร่งใสในผลการค้นหาเกี่ยวกับการจัดวางโฆษณาแบบเสียเงินมาใช้ โดยให้เหตุผลว่า "เครื่องมือค้นหาที่ได้รับเงินทุนจากโฆษณาจะเอนเอียงไปทางผู้ลงโฆษณาโดยเนื้อแท้และห่างไกลจากความต้องการของผู้บริโภค" ^{[ 83 ]}ความเอนเอียงนี้จะเป็นการบิดเบือนผู้ใช้แบบ "มองไม่เห็น" ^{[ 82 ] : 3}

การศึกษาวิจัยหลายชุดเกี่ยวกับผู้มีสิทธิเลือกตั้งที่ยังไม่ตัดสินใจในสหรัฐอเมริกาและอินเดียพบว่าผลการค้นหาของเครื่องมือค้นหาสามารถเปลี่ยนแปลงผลการลงคะแนนได้ประมาณ 20% นักวิจัยสรุปว่าผู้สมัคร "ไม่มีทางแข่งขันได้" หากอัลกอริทึม ไม่ว่าจะโดยตั้งใจหรือไม่ก็ตาม ช่วยเพิ่มการแสดงผลหน้าเว็บของผู้สมัครคู่แข่ง^{[ 84 ]}ผู้ใช้ Facebook ที่เห็นข้อความที่เกี่ยวข้องกับการลงคะแนนมีแนวโน้มที่จะลงคะแนนมากขึ้นการทดลองแบบสุ่ม ในปี 2010 ของผู้ใช้ Facebook แสดงให้เห็นว่ามีการเพิ่มขึ้น 20% (340,000 เสียง) ในกลุ่มผู้ใช้ที่เห็นข้อความกระตุ้นให้ลงคะแนน รวมถึงรูปภาพของเพื่อนที่ลงคะแนนแล้ว^{[ 85 ]}นักวิชาการด้านกฎหมาย Jonathan Zittrain ได้เตือนว่าสิ่งนี้อาจสร้างผลกระทบ "การแบ่งเขตเลือกตั้งแบบดิจิทัล" ในการเลือกตั้ง "การนำเสนอข้อมูลอย่างเลือกสรรโดยตัวกลางเพื่อให้ตรงกับวาระของตนเอง แทนที่จะให้บริการผู้ใช้" หากมีการบิดเบือนโดยเจตนา^{[ 86 ] : 335}

ในปี 2016 มีการค้นพบว่าเว็บไซต์เครือข่ายมืออาชีพLinkedInแนะนำชื่อผู้หญิงในรูปแบบผู้ชายเพื่อตอบสนองต่อคำค้นหา เว็บไซต์ไม่ได้ให้คำแนะนำที่คล้ายกันในการค้นหาชื่อผู้ชาย ตัวอย่างเช่น การค้นหา "Andrea" จะแสดงข้อความถามว่าผู้ใช้หมายถึง "Andrew" หรือไม่ แต่การค้นหา "Andrew" จะไม่ถามว่าผู้ใช้ต้องการค้นหา "Andrea" หรือไม่ บริษัทกล่าวว่านี่เป็นผลมาจากการวิเคราะห์ปฏิสัมพันธ์ของผู้ใช้กับเว็บไซต์^{[ 87 ]}

ในปี 2555 ห้างสรรพสินค้าTargetถูกกล่าวหาว่ารวบรวมข้อมูลเพื่ออนุมานว่าลูกค้าหญิงตั้งครรภ์ แม้ว่าพวกเธอจะไม่ได้ประกาศก็ตาม จากนั้นจึงแบ่งปันข้อมูลดังกล่าวกับพันธมิตรทางการตลาด^{[ 88 ] : 94 [ 89 ]}เนื่องจากข้อมูลดังกล่าวเป็นการคาดการณ์ ไม่ใช่การสังเกตหรือรายงานโดยตรง บริษัทจึงไม่มีภาระผูกพันทางกฎหมายที่จะต้องปกป้องความเป็นส่วนตัวของลูกค้าเหล่านั้น^{[ 88 ] : 98}

อัลกอริทึมการค้นหาบนเว็บยังถูกกล่าวหาว่ามีอคติ ผลการค้นหาของ Google อาจให้ความสำคัญกับเนื้อหาลามกอนาจารในคำค้นหาที่เกี่ยวข้องกับเรื่องเพศ เช่น "เลสเบี้ยน" อคตินี้ยังขยายไปถึงการแสดงเนื้อหาที่เป็นที่นิยมแต่มีลักษณะทางเพศในเครื่องมือค้นหาในการค้นหาที่เป็นกลาง ตัวอย่างเช่น บทความ "นักกีฬาหญิงที่เซ็กซี่ที่สุด 25 อันดับแรก" จะแสดงเป็นผลลัพธ์หน้าแรกในการค้นหา "นักกีฬาหญิง" ^{[ 90 ] : 31} ในปี 2017 Google ได้ปรับผลลัพธ์เหล่านี้พร้อมกับผลลัพธ์อื่นๆ ที่แสดงกลุ่มที่แสดงความเกลียดชัง มุมมองเหยียดเชื้อชาติ การล่วงละเมิดเด็ก และภาพลามกอนาจาร รวมถึงเนื้อหาที่ไม่พึงประสงค์และน่ารังเกียจอื่นๆ^{[ 91 ]}ตัวอย่างอื่นๆ ได้แก่ การแสดงงานที่มีค่าตอบแทนสูงกว่าให้กับผู้สมัครชายในเว็บไซต์หางาน^{[ 92 ]}นักวิจัยยังพบว่าการแปลด้วยเครื่องจักรมีแนวโน้มไปทางค่าเริ่มต้นของผู้ชายอย่างมาก^{[ 93 ]}โดยเฉพาะอย่างยิ่ง สิ่งนี้พบได้ในสาขาที่เกี่ยวข้องกับการกระจายเพศที่ไม่สมดุล รวมถึงอาชีพSTEM ^{[ 94 ]}ในความเป็นจริง ระบบการแปลด้วยเครื่องจักรในปัจจุบันไม่สามารถจำลองการกระจายตัวของแรงงานหญิงในโลกแห่งความเป็นจริงได้^{[ 95 ]}

ในปี 2558 Amazon.comได้ปิดใช้งานระบบ AI ที่พัฒนาขึ้นเพื่อคัดกรองใบสมัครงาน เมื่อพบว่าระบบดังกล่าวมีอคติต่อผู้หญิง^{[ 96 ]}เครื่องมือการสรรหาบุคลากรนี้ไม่รวมผู้สมัครที่เข้าเรียนในวิทยาลัยหญิงล้วนและประวัติย่อที่มีคำว่า "ผู้หญิง" ^{[ 97 ]}ปัญหาที่คล้ายกันนี้เกิดขึ้นกับบริการสตรีมมิ่งเพลง—ในปี 2562 มีการค้นพบว่าอัลกอริทึมระบบแนะนำเพลงที่ Spotify ใช้มีอคติต่อศิลปินหญิง^{[ 98 ]}คำแนะนำเพลงของ Spotify แนะนำศิลปินชายมากกว่าศิลปินหญิง

อัลกอริทึมถูกวิพากษ์วิจารณ์ว่าเป็นวิธีการปกปิดอคติทางเชื้อชาติในการตัดสินใจ^{[ 99 ] [ 100 ] [ 101 ] : 158} เนื่องจากการปฏิบัติต่อเชื้อชาติและกลุ่มชาติพันธุ์บางกลุ่มในอดีต ข้อมูลจึงมักมีอคติแฝงอยู่^{[ 102 ]}ตัวอย่างเช่น คนผิวดำมีแนวโน้มที่จะได้รับโทษจำคุกนานกว่าคนผิวขาวที่กระทำความผิดเดียวกัน^{[ 103 ] [ 104 ]}ซึ่งอาจหมายความว่าระบบขยายอคติเดิมในข้อมูลให้มากขึ้น

ในปี 2015 Google ได้ขอโทษเมื่อผู้ใช้ผิวดำสองคนร้องเรียนว่าอัลกอริทึมการระบุภาพในแอปพลิเคชัน Photos ระบุว่าพวกเขาเป็นกอริลลา[ ^{105 ] ใน}ปี 2010 กล้อง Nikonถูกวิพากษ์วิจารณ์เมื่ออัลกอริทึมการจดจำภาพถามผู้ใช้ชาวเอเชียอย่างต่อเนื่องว่าพวกเขากำลังกระพริบตาหรือไม่^{[ 106 ]}ตัวอย่างเหล่านี้เป็นผลมาจากอคติในชุดข้อมูลไบโอเมตริก^{[ 105 ]}ข้อมูลไบโอเมตริกได้มาจากลักษณะต่างๆ ของร่างกาย รวมถึงลักษณะทางเชื้อชาติที่สังเกตหรืออนุมานได้ ซึ่งสามารถแปลงเป็นจุดข้อมูลได้^{[ 101 ] : 154} เทคโนโลยีการจดจำเสียงพูดอาจมีความแม่นยำแตกต่างกันไปขึ้นอยู่กับสำเนียงของผู้ใช้ ซึ่งอาจเกิดจากการขาดข้อมูลการฝึกอบรมสำหรับผู้พูดสำเนียงนั้น^{[ 107 ]}

ข้อมูลไบโอเมตริกเกี่ยวกับเชื้อชาติอาจถูกอนุมานมากกว่าที่จะสังเกตได้ ตัวอย่างเช่น การศึกษาในปี 2012 แสดงให้เห็นว่าชื่อที่มักเกี่ยวข้องกับคนผิวดำมีแนวโน้มที่จะให้ผลการค้นหาที่บ่งบอกถึงบันทึกการจับกุม ไม่ว่าจะมีบันทึกของตำรวจเกี่ยวกับชื่อของบุคคลนั้นหรือไม่ก็ตาม^{[ 108 ]}การศึกษาในปี 2015 ยังพบว่าคนผิวดำและคนเอเชียถูกสันนิษฐานว่ามีปอดที่ทำงานได้น้อยกว่าเนื่องจากข้อมูลการสัมผัสทางเชื้อชาติและอาชีพไม่ได้ถูกรวมเข้าไว้ในแบบจำลองการทำงานของปอดของอัลกอริทึมการทำนาย^{[ 109 ] [ 110 ]}

ในปี 2019 งานวิจัยชิ้นหนึ่งเปิดเผยว่าอัลกอริทึมด้านการดูแลสุขภาพที่จำหน่ายโดยOptumให้ความสำคัญกับผู้ป่วยผิวขาวมากกว่าผู้ป่วยผิวดำที่ป่วยหนักกว่า อัลกอริทึมนี้คาดการณ์ว่าผู้ป่วยแต่ละรายจะมีค่าใช้จ่ายเท่าใดสำหรับระบบการดูแลสุขภาพในอนาคต อย่างไรก็ตาม ค่าใช้จ่ายไม่ได้เป็นกลางทางเชื้อชาติ เนื่องจากผู้ป่วยผิวดำมีค่าใช้จ่ายทางการแพทย์น้อยกว่าผู้ป่วยผิวขาวประมาณ 1,800 ดอลลาร์ต่อปี เมื่อเทียบกับผู้ป่วยผิวขาวที่มีโรคเรื้อรังจำนวนเท่ากัน ซึ่งส่งผลให้อัลกอริทึมให้คะแนนผู้ป่วยผิวขาวว่ามีความเสี่ยงต่อปัญหาสุขภาพในอนาคตเท่าเทียมกับผู้ป่วยผิวดำที่ป่วยเป็นโรคมากกว่าอย่างมีนัยสำคัญ^{[ 111 ]}

การศึกษาวิจัยที่ดำเนินการโดยนักวิจัยที่ UC Berkeley ในเดือนพฤศจิกายน 2019 เปิดเผยว่าอัลกอริทึมสินเชื่อจำนองมีการเลือกปฏิบัติต่อชาวลาตินและชาวแอฟริกันอเมริกัน ซึ่งเป็นการเลือกปฏิบัติต่อชนกลุ่มน้อยโดยอิงจาก "ความน่าเชื่อถือทางเครดิต" ซึ่งมีรากฐานมาจากกฎหมายการให้สินเชื่อที่เป็นธรรมของสหรัฐฯ ที่อนุญาตให้ผู้ให้กู้ใช้มาตรการระบุตัวตนเพื่อพิจารณาว่าบุคคลนั้นสมควรได้รับเงินกู้หรือไม่ อัลกอริทึมเหล่านี้มีอยู่ในบริษัทฟินเทคและแสดงให้เห็นว่ามีการเลือกปฏิบัติต่อชนกลุ่มน้อย^{[ 112 ]}

การศึกษาวิจัยอีกชิ้นหนึ่งที่ตีพิมพ์ในเดือนสิงหาคม พ.ศ. 2567 เกี่ยวกับแบบจำลองภาษาขนาดใหญ่ตรวจสอบว่าแบบจำลองภาษาทำให้เกิดการเหยียดเชื้อชาติแบบแอบแฝงได้อย่างไร โดยเฉพาะอย่างยิ่งผ่านอคติทางภาษาถิ่นต่อผู้พูดภาษาอังกฤษแบบแอฟริกันอเมริกัน (AAE) งานวิจัยนี้เน้นว่าแบบจำลองเหล่านี้แสดงภาพเหมารวมเชิงลบเกี่ยวกับผู้พูด AAE มากกว่าอคติของมนุษย์ที่บันทึกไว้ ในขณะที่ภาพเหมารวมแบบเปิดเผยของแบบจำลองเหล่านี้เป็นไปในเชิงบวกมากกว่า ความไม่สอดคล้องกันนี้ก่อให้เกิดความกังวลเกี่ยวกับผลเสียที่อาจเกิดขึ้นจากอคติดังกล่าวในกระบวนการตัดสินใจ^{[ 113 ]}

การศึกษาในปี 2018 พบว่าระบบจำแนกเพศเชิงพาณิชย์มีอัตราความผิดพลาดสูงกว่าอย่างมีนัยสำคัญสำหรับผู้หญิงผิวสีเข้ม โดยมีอัตราความผิดพลาดสูงถึง 34.7% เมื่อเทียบกับความแม่นยำเกือบสมบูรณ์แบบสำหรับผู้ชายผิวสีอ่อน^{[ 114 ]}

อัลกอริทึมมีการใช้งานมากมายในระบบกฎหมายอยู่แล้ว ตัวอย่างเช่นCOMPASซึ่งเป็นโปรแกรมเชิงพาณิชย์ที่ศาลสหรัฐฯ ใช้กันอย่างแพร่หลาย เพื่อประเมินโอกาสที่จำเลยจะกระทำความผิดซ้ำProPublica อ้างว่าระดับความเสี่ยงในการกระทำความผิดซ้ำโดยเฉลี่ยที่ COMPAS กำหนดให้กับจำเลยผิวดำนั้นสูงกว่าระดับความเสี่ยงโดยเฉลี่ยที่ COMPAS กำหนดให้กับจำเลยผิวขาวอย่างมีนัยสำคัญ และจำเลยผิวดำมีโอกาสถูกจัดอยู่ในกลุ่ม "มีความเสี่ยงสูง" โดยไม่ถูกต้องมากกว่าจำเลยผิวขาวถึงสองเท่า^{[ 115 ] [ 116 ]}

ตัวอย่างหนึ่งคือการใช้การประเมินความเสี่ยงในการตัดสินคดีอาญาในสหรัฐอเมริกาและการพิจารณาการปล่อยตัวชั่วคราวผู้พิพากษาจะได้รับคะแนนที่สร้างขึ้นโดยอัลกอริทึมซึ่งมีจุดประสงค์เพื่อสะท้อนความเสี่ยงที่นักโทษจะกระทำความผิดซ้ำ^{[ 117 ]}ในช่วงเวลาตั้งแต่ปี 1920 ถึงปี 1970 สัญชาติของบิดาของผู้กระทำความผิดถือเป็นปัจจัยหนึ่งในการประเมินความเสี่ยง^{[ 118 ] : 4} ปัจจุบัน คะแนนเหล่านี้ถูกแบ่งปันกับผู้พิพากษาในรัฐแอริโซนา โคโลราโด เดลาแวร์ เคนตักกี้ ลุยเซียนา โอคลาโฮมา เวอร์จิเนีย วอชิงตัน และวิสคอนซิน การตรวจสอบอิสระโดยProPublicaพบว่าคะแนนไม่ถูกต้องถึง 80% และเบี่ยงเบนไปในสัดส่วนที่บ่งชี้ว่าคนผิวดำมีความเสี่ยงที่จะกระทำความผิดซ้ำมากกว่าคนผิวขาวถึง 77% ^{[ 117 ]}

การศึกษาวิจัยหนึ่งที่มุ่งตรวจสอบ "ความเสี่ยง เชื้อชาติ และการกระทำผิดซ้ำ: อคติในการคาดการณ์และผลกระทบที่ไม่เท่าเทียมกัน" อ้างว่ามีโอกาสเป็นลบสองเท่า (45 เปอร์เซ็นต์เทียบกับ 23 เปอร์เซ็นต์) ที่จำเลยผิวดำจะถูกจัดประเภทผิดว่ามีความเสี่ยงสูงกว่าจำเลยผิวขาว แม้ว่าจะไม่มีการกระทำผิดซ้ำที่ได้รับการบันทึกไว้อย่างเป็นรูปธรรมในช่วงระยะเวลาการสังเกตสองปีก็ตาม^{[ 119 ]}

ในบริบทของการควบคุมตัวก่อนการพิจารณาคดี บทความวิจารณ์กฎหมายโต้แย้งว่าการประเมินความเสี่ยงด้วยอัลกอริทึมละเมิด สิทธิ การคุ้มครองที่เท่าเทียมกันตามมาตรา 14 ของรัฐธรรมนูญ บนพื้นฐานของเชื้อชาติ เนื่องจากมีการโต้แย้งว่าอัลกอริทึมดังกล่าวเป็นการเลือกปฏิบัติอย่างชัดเจน ส่งผลให้เกิดการปฏิบัติที่ไม่เท่าเทียมกัน และไม่ได้ถูกปรับให้เหมาะสมอย่างแคบ^{[ 120 ]}

ในปี 2017 พบว่าอัลกอริทึมของ Facebook ที่ออกแบบมาเพื่อลบคำพูดแสดงความเกลียดชังทางออนไลน์นั้น เอื้อประโยชน์ให้กับผู้ชายผิวขาวมากกว่าเด็กผิวดำเมื่อประเมินเนื้อหาที่ไม่เหมาะสม ตามเอกสารภายในของ Facebook ^{[ 121 ]}อัลกอริทึมนี้ ซึ่งเป็นการผสมผสานระหว่างโปรแกรมคอมพิวเตอร์และผู้ตรวจสอบเนื้อหาที่เป็นมนุษย์ ถูกสร้างขึ้นเพื่อปกป้องหมวดหมู่กว้างๆ มากกว่ากลุ่มย่อยเฉพาะ ตัวอย่างเช่น โพสต์ที่ประณาม "ชาวมุสลิม" จะถูกบล็อก ในขณะที่โพสต์ที่ประณาม "ชาวมุสลิมหัวรุนแรง" จะได้รับอนุญาต ผลลัพธ์ที่ไม่คาดคิดของอัลกอริทึมคือการอนุญาตให้มีคำพูดแสดงความเกลียดชังต่อเด็กผิวดำ เนื่องจากพวกเขาประณามกลุ่มย่อย "เด็ก" ของคนผิวดำ มากกว่า "คนผิวดำทั้งหมด" ในขณะที่ "ผู้ชายผิวขาวทั้งหมด" จะถูกบล็อก เนื่องจากคนผิวขาวและผู้ชายไม่ได้ถูกพิจารณาว่าเป็นกลุ่มย่อย^{[ 121 ]}นอกจากนี้ยังพบว่า Facebook อนุญาตให้ผู้ซื้อโฆษณากำหนดเป้าหมาย "ผู้เกลียดชังชาวยิว" เป็นหมวดหมู่ของผู้ใช้ ซึ่งบริษัทกล่าวว่าเป็นผลลัพธ์ที่ไม่ได้ตั้งใจของอัลกอริทึมที่ใช้ในการประเมินและจัดหมวดหมู่ข้อมูล การออกแบบของบริษัทยังอนุญาตให้ผู้ซื้อโฆษณาปิดกั้นไม่ให้ชาวแอฟริกันอเมริกันเห็นโฆษณาที่อยู่อาศัยได้อีกด้วย^{[ 122 ]}

ในขณะที่อัลกอริทึมถูกใช้เพื่อติดตามและบล็อกคำพูดแสดงความเกลียดชัง พบว่าบางอัลกอริทึมมีแนวโน้มที่จะติดธงข้อมูลที่โพสต์โดยผู้ใช้ผิวดำมากกว่า 1.5 เท่า และมีแนวโน้มที่จะติดธงข้อมูลว่าเป็นคำพูดแสดงความเกลียดชังมากกว่า 2.2 เท่า หากเขียนด้วย ภาษา อังกฤษแบบแอฟริกันอเมริกัน^{[ 123 ] [ 124 ]}

ซอฟต์แวร์กล้องวงจรปิดอาจถูกมองว่ามีลักษณะทางการเมืองโดยเนื้อแท้ เนื่องจากต้องใช้อัลกอริทึมในการแยกแยะพฤติกรรมปกติจากพฤติกรรมผิดปกติ และเพื่อกำหนดว่าใครควรอยู่ในสถานที่ใดในเวลาใด^{[ 18 ] : 572} ความสามารถของอัลกอริทึมดังกล่าวในการจดจำใบหน้าข้ามเชื้อชาติได้รับการพิสูจน์แล้วว่ามีข้อจำกัดเนื่องจากความหลากหลายทางเชื้อชาติของภาพในฐานข้อมูลการฝึกอบรม หากภาพถ่ายส่วนใหญ่เป็นของเชื้อชาติหรือเพศใดเพศหนึ่ง ซอฟต์แวร์จะสามารถจดจำสมาชิกคนอื่นๆ ในเชื้อชาติหรือเพศนั้นได้ดีกว่า^{[ 125 ]}อย่างไรก็ตาม แม้แต่การตรวจสอบระบบการจดจำภาพเหล่านี้ก็ยังเต็มไปด้วยปัญหาทางจริยธรรม และนักวิชาการบางคนได้เสนอแนะว่าบริบทของเทคโนโลยีจะมีผลกระทบที่ไม่สมดุลต่อชุมชนที่มีการกระทำที่ถูกเฝ้าระวังมากเกินไปเสมอ^{[ 126 ]}ตัวอย่างเช่น การวิเคราะห์ซอฟต์แวร์ที่ใช้ในการระบุตัวบุคคลใน ภาพ CCTV ในปี 2545 พบตัวอย่างของอคติหลายประการเมื่อนำไปใช้กับฐานข้อมูลอาชญากร ซอฟต์แวร์ดังกล่าวได้รับการประเมินว่าระบุผู้ชายได้บ่อยกว่าผู้หญิง ระบุผู้สูงอายุได้บ่อยกว่าคนหนุ่มสาว และระบุชาวเอเชีย ชาวแอฟริกันอเมริกัน และเชื้อชาติอื่นๆ ได้บ่อยกว่าคนผิวขาว^{[ 35 ] : 190} การศึกษาในปี 2018 พบว่าซอฟต์แวร์การจดจำใบหน้ามีแนวโน้มที่จะระบุผู้ชายผิวขาว (โดยทั่วไปคือชาวยุโรป) ได้อย่างแม่นยำที่สุด โดยมีอัตราความแม่นยำที่ต่ำกว่าเล็กน้อยสำหรับผู้หญิงผิวขาว ผู้ชายและผู้หญิงผิวคล้ำมีโอกาสน้อยกว่าอย่างมีนัยสำคัญที่จะถูกระบุได้อย่างแม่นยำโดยซอฟต์แวร์การจดจำใบหน้า ความแตกต่างเหล่านี้เกิดจากการที่ผู้เข้าร่วมที่มีผิวคล้ำมีจำนวนน้อยในชุดข้อมูลที่ใช้ในการพัฒนาซอฟต์แวร์นี้^{[ 127 ] [ 128 ]}

ในปี 2011 ผู้ใช้แอปพลิเคชันหาคู่เกย์Grindrรายงานว่าอัลกอริทึมการแนะนำของAndroid Store เชื่อมโยง Grindr กับแอปพลิเคชันที่ออกแบบมาเพื่อค้นหาผู้กระทำความผิดทางเพศ ซึ่งนักวิจารณ์กล่าวว่าเป็นการ เชื่อมโยงความรักร่วมเพศกับพฤติกรรมล่วงละเมิดทางเพศเด็ก อย่างไม่ถูกต้อง นักเขียน Mike Ananny วิพากษ์วิจารณ์การเชื่อมโยงนี้ในThe Atlanticโดยโต้แย้งว่าการเชื่อมโยงดังกล่าวเป็นการตีตราผู้ชายรักร่วมเพศ มากยิ่งขึ้น ^{[ 129 ]}ในปี 2009 ผู้ค้าปลีกออนไลน์Amazonได้ถอดหนังสือ 57,000 เล่มออกจากรายการหลังจากที่การเปลี่ยนแปลงอัลกอริทึมขยายรายการหนังสือต้องห้าม "เนื้อหาสำหรับผู้ใหญ่" ให้รวมถึงหนังสือใดๆ ที่กล่าวถึงเรื่องเพศหรือธีมเกย์ เช่น นวนิยายที่ได้รับการยกย่องอย่างBrokeback Mountain [ ^{130 ] [ 22 ] : 5 [ 131 ]}

ในปี 2019 พบว่าบน Facebook การค้นหา "รูปถ่ายของเพื่อนผู้หญิงของฉัน" จะแสดงผลลัพธ์เช่น "ในชุดบิกินี่" หรือ "ที่ชายหาด" ในทางตรงกันข้าม การค้นหา "รูปถ่ายของเพื่อนผู้ชายของฉัน" จะไม่แสดงผลลัพธ์ใดๆ^{[ 132 ]}

เทคโนโลยีการจดจำใบหน้าถูกมองว่าก่อให้เกิดปัญหาสำหรับบุคคลข้ามเพศ ในปี 2018 มีรายงานว่าคนขับ Uber ที่เป็นบุคคลข้ามเพศหรือกำลังอยู่ในช่วงเปลี่ยนผ่านทางเพศประสบปัญหาในการใช้ซอฟต์แวร์จดจำใบหน้าที่ Uber นำมาใช้เป็นมาตรการรักษาความปลอดภัยในตัว ส่งผลให้บัญชีของคนขับ Uber ที่เป็นบุคคลข้ามเพศบางรายถูกระงับ ซึ่งทำให้พวกเขาเสียค่าโดยสารและอาจเสียงานได้ ทั้งหมดนี้เป็นเพราะซอฟต์แวร์จดจำใบหน้ามีปัญหาในการจดจำใบหน้าของคนขับที่เป็นบุคคลข้ามเพศที่กำลังอยู่ในช่วงเปลี่ยนผ่านทางเพศ^{[ 133 ]}แม้ว่าวิธีแก้ปัญหานี้ดูเหมือนจะเป็นการรวมบุคคลข้ามเพศไว้ในชุดข้อมูลฝึกฝนสำหรับแบบจำลองการเรียนรู้ของเครื่อง แต่กรณีหนึ่งของวิดีโอ YouTube ของบุคคลข้ามเพศที่รวบรวมไว้เพื่อใช้เป็นข้อมูลฝึกฝนนั้นไม่ได้รับการยินยอมจากบุคคลข้ามเพศที่ปรากฏในวิดีโอ ซึ่งก่อให้เกิดปัญหาการละเมิดความเป็นส่วนตัว^{[ 134 ]}

นอกจากนี้ยังมีการศึกษาวิจัยที่ดำเนินการที่มหาวิทยาลัยสแตนฟอร์ดในปี 2017 ซึ่งทดสอบอัลกอริทึมในระบบการเรียนรู้ของเครื่องที่กล่าวกันว่าสามารถตรวจจับรสนิยมทางเพศของบุคคลโดยพิจารณาจากภาพใบหน้าได้^{[ 135 ]}แบบจำลองในการศึกษาวิจัยนี้ทำนายความแตกต่างที่ถูกต้องระหว่างชายรักร่วมเพศและชายแท้ได้ 81% และความแตกต่างที่ถูกต้องระหว่างหญิงรักร่วมเพศและหญิงแท้ได้ 74% การศึกษาวิจัยนี้ส่งผลให้เกิดปฏิกิริยาต่อต้านจากชุมชน LGBTQIA ซึ่งเกรงว่าระบบ AI นี้อาจมีผลกระทบเชิงลบต่อบุคคลในชุมชน LGBTQIA โดยทำให้บุคคลเหล่านั้นเสี่ยงต่อการถูก " เปิดเผย " โดยไม่เต็มใจ^{[ 136 ]}

ในขณะที่รูปแบบของความยุติธรรมเชิงอัลกอริทึมได้รับการตัดสินบนพื้นฐานของอคติที่แตกต่างกัน เช่น เพศ เชื้อชาติ และสถานะทางเศรษฐกิจและสังคม แต่ความพิการมักถูกละเลยจากรายการ^{[ 137 ] [ 138 ]}การถูกกีดกันที่คนพิการเผชิญอยู่ในสังคมในปัจจุบันกำลังถูกถ่ายทอดไปยังระบบ AI และอัลกอริทึม ทำให้เกิดการกีดกันมากยิ่งขึ้น^{[ 139 ] [ 140 ]}

ลักษณะที่เปลี่ยนแปลงไปของความพิการและลักษณะเฉพาะที่เป็นอัตวิสัย ทำให้การแก้ไขปัญหาด้วยวิธีการคำนวณทำได้ยากขึ้น การขาดความลึกซึ้งทางประวัติศาสตร์ในการกำหนดความพิการ การรวบรวมอุบัติการณ์และความชุกในแบบสอบถาม และการสร้างการยอมรับ ทำให้เกิดข้อโต้แย้งและความคลุมเครือในการวัดปริมาณและการคำนวณ นิยามของความพิการเป็นที่ถกเถียงกันมานาน โดยเปลี่ยนจากแบบจำลองทางการแพทย์ไปเป็นแบบจำลองทางสังคมของความพิการเมื่อไม่นานมานี้ ซึ่งกำหนดว่าความพิการเป็นผลมาจากความไม่สอดคล้องกันระหว่างปฏิสัมพันธ์ของผู้คนและอุปสรรคในสภาพแวดล้อมของพวกเขา มากกว่าความบกพร่องและสภาวะสุขภาพ ความพิการยังอาจเป็นสถานการณ์หรือชั่วคราว^{[ 141 ]}ซึ่งถือว่าอยู่ในสถานะที่เปลี่ยนแปลงอยู่ตลอดเวลา ความพิการมีความหลากหลายอย่างเหลือเชื่อ^{[ 142 ]}อยู่ในสเปกตรัมขนาดใหญ่ และอาจเป็นเอกลักษณ์เฉพาะบุคคล อัตลักษณ์ของผู้คนอาจแตกต่างกันไปตามประเภทของความพิการที่พวกเขาประสบ วิธีที่พวกเขาใช้เทคโนโลยีช่วยเหลือ และผู้ที่พวกเขาสนับสนุน ความแปรปรวนระดับสูงในประสบการณ์ของผู้คนทำให้การแสดงออกของความพิการเป็นเรื่องส่วนบุคคลอย่างมาก อัตลักษณ์ที่ทับซ้อนกันและประสบการณ์ที่ซ้อนทับกัน^{[ 143 ]}ถูกแยกออกจากสถิติและชุดข้อมูล^{[ 144 ]}ดังนั้นจึงมีการนำเสนอที่น้อยเกินไปและไม่มีอยู่จริงในข้อมูลการฝึกอบรม^{[ 145 ]}ด้วยเหตุนี้ โมเดลการเรียนรู้ของเครื่องจึงได้รับการฝึกฝนอย่างไม่เท่าเทียมกัน และระบบปัญญาประดิษฐ์ก็ทำให้เกิดอคติทางอัลกอริทึมมากขึ้น^{[ 146 ]}ตัวอย่างเช่น หากผู้ที่มีความบกพร่องทางการพูดไม่ได้รับการรวมอยู่ในการฝึกอบรมคุณสมบัติการควบคุมด้วยเสียงและผู้ช่วย AI อัจฉริยะ พวกเขาจะไม่สามารถใช้คุณสมบัตินั้นได้ หรือการตอบสนองที่ได้รับจาก Google Home หรือ Alexa จะแย่มาก

เนื่องจากยังมีแบบแผนและอคติที่ยังคงมีอยู่เกี่ยวกับความพิการ การเปิดเผยลักษณะเฉพาะเหล่านี้จึงมีความละเอียดอ่อนและก่อให้เกิดความท้าทายด้านความเป็นส่วนตัวอย่างมาก การเปิดเผยข้อมูลความพิการอาจเป็นเรื่องต้องห้ามและนำไปสู่การเลือกปฏิบัติเพิ่มเติมต่อกลุ่มคนเหล่านี้ ทำให้ขาดข้อมูลความพิการที่ชัดเจนสำหรับระบบอัลกอริทึมในการโต้ตอบ ผู้พิการต้องเผชิญกับอันตรายและความเสี่ยงเพิ่มเติมในด้านการสนับสนุนทางสังคม ค่าใช้จ่ายด้านประกันสุขภาพ การเลือกปฏิบัติในที่ทำงาน และสิ่งจำเป็นพื้นฐานอื่นๆ เมื่อเปิดเผยสถานะความพิการของตน อัลกอริทึมยิ่งทำให้ช่องว่างนี้รุนแรงขึ้นโดยการสร้างอคติที่มีอยู่แล้วในระบบและโครงสร้างทางสังคมขึ้นมาใหม่^{[ 147 ] [ 148 ]}

ในขณะที่ผู้ใช้สร้างผลลัพธ์ที่ "เสร็จสมบูรณ์" โดยอัตโนมัติ Google ล้มเหลวในการลบข้อความเติมคำอัตโนมัติที่เหยียดเพศและเหยียดเชื้อชาติ ตัวอย่างเช่นAlgorithms of Oppression: How Search Engines Reinforce Racism Safiya Noble ตั้งข้อสังเกตถึงตัวอย่างของการค้นหา "black girls" ซึ่งมีรายงานว่าส่งผลให้ได้ภาพลามกอนาจาร Google อ้างว่าไม่สามารถลบหน้าเหล่านั้นได้เว้นแต่จะถือว่าผิดกฎหมาย^{[ 149 ]}

ปัญหาหลายประการขัดขวางการศึกษาอคติเชิงอัลกอริทึมขนาดใหญ่ ขัดขวางการประยุกต์ใช้การศึกษาที่เข้มงวดทางวิชาการและความเข้าใจของสาธารณชน^{[ 17 ] : 5 [ 150 ] [ 151 ]}

วรรณกรรมเกี่ยวกับอคติของอัลกอริทึมมุ่งเน้นไปที่การแก้ไขความเป็นธรรม แต่คำจำกัดความของความเป็นธรรมมักไม่สอดคล้องกันและไม่สอดคล้องกับความเป็นจริงของการเพิ่มประสิทธิภาพการเรียนรู้ของเครื่องจักร^{[ 152 ] [ 153 ]}ตัวอย่างเช่น การกำหนดความเป็นธรรมว่าเป็น "ความเท่าเทียมกันของผลลัพธ์" อาจหมายถึงระบบที่สร้างผลลัพธ์เดียวกันสำหรับทุกคน ในขณะที่ความเป็นธรรมที่กำหนดเป็น "ความเท่าเทียมกันของการปฏิบัติ" อาจพิจารณาความแตกต่างระหว่างบุคคลอย่างชัดเจน^{[ 154 ] : 2} ด้วยเหตุนี้ ความเป็นธรรมจึงถูกอธิบายว่าขัดแย้งกับความถูกต้องของแบบจำลอง ซึ่งชี้ให้เห็นถึงความตึงเครียดโดยธรรมชาติระหว่างลำดับความสำคัญของสวัสดิการสังคมและลำดับความสำคัญของผู้ขายที่ออกแบบระบบเหล่านี้^{[ 155 ] : 2} เพื่อตอบสนองต่อความตึงเครียดนี้ นักวิจัยได้แนะนำให้ระมัดระวังมากขึ้นในการออกแบบและการใช้ระบบที่ใช้ประโยชน์จากอัลกอริทึมที่มีอคติ โดยกำหนด "ความเป็นธรรม" สำหรับการใช้งานและบริบทเฉพาะ^{[ 156 ]}

กระบวนการอัลกอริทึมมีความซับซ้อนมักเกินความเข้าใจของผู้ใช้งาน^{[ 17 ] : 2 [ 157 ] : 7} แม้แต่ผู้ที่เกี่ยวข้องกับการสร้างกระบวนการขนาดใหญ่ก็อาจไม่เข้าใจ^{[ 158 ]}วิธีการและกระบวนการของโปรแกรมร่วมสมัยมักถูกบดบังด้วยความไม่สามารถรู้การเรียงลำดับทุกรูปแบบของอินพุตหรือเอาต์พุตของโค้ด^{[ 35 ] : 183} นักสังคมศาสตร์Bruno Latourได้ระบุถึงกระบวนการนี้ว่าเป็นblackboxingซึ่งเป็นกระบวนการที่ "งานทางวิทยาศาสตร์และเทคนิคถูกทำให้มองไม่เห็นด้วยความสำเร็จของตัวมันเอง เมื่อเครื่องจักรทำงานได้อย่างมีประสิทธิภาพ เมื่อข้อเท็จจริงได้รับการแก้ไขแล้ว เราจำเป็นต้องมุ่งเน้นไปที่อินพุตและเอาต์พุตเท่านั้น ไม่ใช่ความซับซ้อนภายใน ดังนั้น ในทางกลับกัน ยิ่งวิทยาศาสตร์และเทคโนโลยีประสบความสำเร็จมากเท่าไร ก็ยิ่งทึบและคลุมเครือมากขึ้นเท่านั้น" ^{[ 159 ]}คนอื่นๆ ได้วิพากษ์วิจารณ์อุปมาอุปไมยกล่องดำ โดยเสนอแนะว่าอัลกอริทึมในปัจจุบันไม่ใช่กล่องดำกล่องเดียว แต่เป็นเครือข่ายของกล่องดำที่เชื่อมต่อกัน^{[ 160 ] : 92}

ตัวอย่างของความซับซ้อนนี้สามารถพบได้ในช่วงของข้อมูลป้อนเข้าในการปรับแต่งฟีดแบ็ก เว็บไซต์โซเชียลมีเดีย Facebook พิจารณาข้อมูลอย่างน้อย 100,000 จุดเพื่อกำหนดเค้าโครงของฟีดโซเชียลมีเดียของผู้ใช้ในปี 2013 ^{[ 161 ]}นอกจากนี้ ทีมโปรแกรมเมอร์ขนาดใหญ่อาจทำงานแยกจากกัน และไม่ตระหนักถึงผลกระทบสะสมของการตัดสินใจเล็กๆ น้อยๆ ภายในอัลกอริทึมที่เชื่อมต่อกันและซับซ้อน^{[ 33 ] : 118} ไม่ใช่โค้ดทั้งหมดที่เป็นต้นฉบับ และอาจถูกยืมมาจากไลบรารีอื่นๆ ทำให้เกิดความสัมพันธ์ที่ซับซ้อนระหว่างระบบประมวลผลข้อมูลและระบบป้อนข้อมูล^{[ 10 ] : 22}

ความซับซ้อนเพิ่มเติมเกิดขึ้นจากการเรียนรู้ของเครื่องและการปรับแต่งอัลกอริทึมตามปฏิสัมพันธ์ของผู้ใช้ เช่น การคลิก เวลาที่ใช้บนเว็บไซต์ และตัวชี้วัดอื่นๆ การปรับแต่งส่วนบุคคลเหล่านี้อาจทำให้ความพยายามทั่วไปในการทำความเข้าใจอัลกอริทึมเกิดความสับสน^{[ 162 ] : 367 [ 157 ] : 7} บริการวิทยุสตรีมมิ่งที่ไม่ระบุชื่อรายหนึ่งรายงานว่าใช้อัลกอริทึมการเลือกเพลงที่ไม่ซ้ำกันห้าแบบที่เลือกสำหรับผู้ใช้ตามพฤติกรรมของพวกเขา ซึ่งสร้างประสบการณ์ที่แตกต่างกันของบริการสตรีมมิ่งเดียวกันระหว่างผู้ใช้ที่แตกต่างกัน ทำให้ยากที่จะเข้าใจว่าอัลกอริทึมเหล่านี้ทำอะไร^{[ 17 ] : 5} บริษัทต่างๆ ยังทำการทดสอบ A/B บ่อยครั้ง เพื่อปรับแต่งอัลกอริทึมตามการตอบสนองของผู้ใช้ ตัวอย่างเช่น เครื่องมือค้นหาBingสามารถเรียกใช้บริการที่แตกต่างกันเล็กน้อยได้มากถึงสิบล้านครั้งต่อวัน สร้างประสบการณ์ที่แตกต่างกันของบริการระหว่างการใช้งานแต่ละครั้งและ/หรือผู้ใช้^{[ 17 ] : 5}

อัลกอริทึมเชิงพาณิชย์เป็นกรรมสิทธิ์ และอาจถือเป็นความลับทางการค้า [ ^{17 ] : 2 [ 157 ] : 7 [ 35 ] : 183} การปฏิบัติต่ออัลกอริทึมในฐานะความลับทางการค้าช่วยปกป้องบริษัทต่างๆ เช่นเครื่องมือค้นหาซึ่งอัลกอริทึมที่โปร่งใสอาจเปิดเผยกลยุทธ์ในการจัดการอันดับการค้นหา^{[ 162 ] : 366} ทำให้ยากสำหรับนักวิจัยที่จะทำการสัมภาษณ์หรือวิเคราะห์เพื่อค้นหาวิธีการทำงานของอัลกอริทึม^{[ 10 ] : 20} นักวิจารณ์ชี้ว่าความลับดังกล่าวอาจบดบังวิธีการที่ไม่ถูกต้องทางจริยธรรมที่อาจใช้ในการผลิตหรือประมวลผลผลลัพธ์ของอัลกอริทึม^{[ 162 ] : 369} นักวิจารณ์คนอื่นๆ เช่น ทนายความและนักกิจกรรม Katarzyna Szymielewicz ได้เสนอแนะว่าการขาดความโปร่งใสมักถูกปกปิดไว้เนื่องจากความซับซ้อนของอัลกอริทึม ทำให้บริษัทต่างๆ ไม่ต้องเปิดเผยหรือตรวจสอบกระบวนการอัลกอริทึมของตนเอง^{[ 163 ]}

อุปสรรคสำคัญในการทำความเข้าใจการจัดการกับอคติในทางปฏิบัติคือ หมวดหมู่ต่างๆ เช่น ข้อมูลประชากรของบุคคลที่ได้รับการคุ้มครองโดยกฎหมายต่อต้านการเลือกปฏิบัติมักจะไม่ได้รับการพิจารณาอย่างชัดเจนเมื่อรวบรวมและประมวลผลข้อมูล^{[ 164 ]}ในบางกรณี มีโอกาสน้อยที่จะรวบรวมข้อมูลนี้อย่างชัดเจน เช่น ใน การระบุลายนิ้วมือ ของอุปกรณ์การประมวลผลแบบยูบิควิตัสและอินเทอร์เน็ตของสิ่งต่างๆในกรณีอื่นๆ ผู้ควบคุมข้อมูลอาจไม่ต้องการรวบรวมข้อมูลดังกล่าวด้วยเหตุผลด้านชื่อเสียง หรือเนื่องจากข้อมูลดังกล่าวแสดงถึงความรับผิดและความเสี่ยงด้านความปลอดภัยที่สูงขึ้น นอกจากนี้ อาจเป็นไปได้ว่า อย่างน้อยในส่วนที่เกี่ยวข้องกับระเบียบการคุ้มครองข้อมูลทั่วไป ของสหภาพยุโรป ข้อมูลดังกล่าวจัดอยู่ในหมวด 'ประเภทพิเศษ' (มาตรา 9) และด้วยเหตุนี้จึงมีข้อจำกัดมากขึ้นในการรวบรวมและประมวลผลข้อมูล

ผู้ปฏิบัติงานบางรายพยายามประมาณค่าและเติมเต็มหมวดหมู่ที่ละเอียดอ่อนที่ขาดหายไปเหล่านี้เพื่อลดอคติ ตัวอย่างเช่น การสร้างระบบเพื่ออนุมานเชื้อชาติจากชื่อ^{[ 165 ]}อย่างไรก็ตาม วิธีนี้อาจทำให้เกิดอคติในรูปแบบอื่นได้หากไม่ได้ดำเนินการอย่างระมัดระวัง^{[ 166 ]}นักวิจัยด้านการเรียนรู้ของเครื่องได้นำเทคโนโลยีการเข้ารหัสลับที่ช่วยเพิ่มความเป็นส่วนตัวเช่นการคำนวณแบบหลายฝ่ายที่ปลอดภัยมาใช้เพื่อเสนอวิธีการที่สามารถประเมินหรือลดอคติของอัลกอริทึมได้โดยไม่ต้องให้ข้อมูลเหล่านี้แก่ผู้สร้างแบบจำลองในรูปแบบข้อความธรรมดา^{[ 167 ]}

อคติเชิงอัลกอริทึมไม่เพียงแต่รวมถึงหมวดหมู่ที่ได้รับการคุ้มครองเท่านั้น แต่ยังอาจเกี่ยวข้องกับลักษณะที่สังเกตหรือกำหนดรหัสได้ยากกว่า เช่น มุมมองทางการเมือง ในกรณีเหล่านี้ แทบจะไม่มีความจริงพื้นฐาน ที่เข้าถึงได้ง่ายหรือไม่มีข้อโต้แย้ง และการขจัดอคติออกจากระบบดังกล่าวจึงทำได้ยากกว่า^{[ 168 ]} ยิ่งไปกว่านั้น ความสัมพันธ์ที่ผิดพลาดและโดยบังเอิญอาจเกิดขึ้นจากการขาดความเข้าใจในหมวดหมู่ที่ได้รับการคุ้มครอง ตัวอย่างเช่น อัตราค่าประกันภัยที่อิงตามข้อมูลในอดีตของอุบัติเหตุทางรถยนต์ ซึ่งอาจทับซ้อนกันโดยบังเอิญกับกลุ่มที่อยู่อาศัยของชนกลุ่มน้อยทางชาติพันธุ์^{[ 169 ]}

จากการศึกษาแนวทางนโยบาย 84 ข้อเกี่ยวกับ AI ที่มีจริยธรรม พบว่าความยุติธรรมและ "การลดอคติที่ไม่พึงประสงค์" เป็นประเด็นที่น่ากังวลร่วมกัน และได้รับการแก้ไขผ่านการผสมผสานระหว่างโซลูชันทางเทคนิค ความโปร่งใสและการตรวจสอบ สิทธิในการเยียวยาและการกำกับดูแลที่เพิ่มขึ้น และความพยายามด้านความหลากหลายและการมีส่วนร่วม^{[ 170 ]}

มีความพยายามหลายครั้งในการสร้างวิธีการและเครื่องมือที่สามารถตรวจจับและสังเกตอคติภายในอัลกอริทึม สาขาที่เกิดขึ้นใหม่เหล่านี้มุ่งเน้นไปที่เครื่องมือซึ่งโดยทั่วไปจะนำไปใช้กับข้อมูล (การฝึกอบรม) ที่โปรแกรมใช้มากกว่ากระบวนการภายในของอัลกอริทึม วิธีการเหล่านี้อาจวิเคราะห์ผลลัพธ์ของโปรแกรมและประโยชน์ของมัน ดังนั้นจึงอาจเกี่ยวข้องกับการวิเคราะห์เมทริกซ์ความสับสน (หรือตารางความสับสน) ^{[ 171 ] [ 172 ] [ 173 ] [ 174 ] [ 175 ] [ 176 ] [ 177 ] [ 178 ] [ 179 ] AI ที่อธิบายได้เพื่อตรวจจับอคติของอัลกอริ ทึม}เป็นวิธีการที่แนะนำในการตรวจจับการมีอยู่ของอคติในอัลกอริทึมหรือแบบจำลองการเรียนรู้^{[ 180 ] การใช้การเรียนรู้ของเครื่องเพื่อตรวจจับอคติเรียกว่า " การ ตรวจสอบ AI" โดยที่ "ผู้ ตรวจ}สอบ" คืออัลกอริทึมที่ผ่านแบบจำลอง AI และข้อมูลการฝึกอบรมเพื่อระบุอคติ^{[ 181 ]} การรับรองว่าเครื่องมือ AI เช่น ตัวจำแนกประเภท ปราศจากอคติ เป็นเรื่องยากกว่าการลบข้อมูลที่ละเอียดอ่อนออกจากสัญญาณอินพุต เนื่องจากโดยทั่วไปแล้วข้อมูลนี้จะแฝงอยู่ในสัญญาณอื่นๆ ตัวอย่างเช่น งานอดิเรก กีฬา และโรงเรียนที่ผู้สมัครงานเข้าเรียน อาจเปิดเผยเพศของพวกเขาให้กับซอฟต์แวร์ได้ แม้ว่าข้อมูลนี้จะถูกลบออกจากการวิเคราะห์แล้วก็ตาม วิธีแก้ปัญหานี้เกี่ยวข้องกับการรับรองว่าตัวแทนอัจฉริยะไม่มีข้อมูลใดๆ ที่สามารถใช้ในการสร้างข้อมูลที่ได้รับการปกป้องและข้อมูลที่ละเอียดอ่อนเกี่ยวกับบุคคลนั้นขึ้นมาใหม่ได้ ดังที่แสดงให้เห็นเป็นครั้งแรกใน^{[ 182 ]}ซึ่งเครือข่ายการเรียนรู้เชิงลึกได้รับการฝึกฝนให้เรียนรู้งานไปพร้อมๆ กันโดยไม่สนใจคุณลักษณะที่ได้รับการปกป้อง วิธีการที่ง่ายกว่านี้ได้รับการเสนอในบริบทของการฝังคำ และเกี่ยวข้องกับการลบข้อมูลที่สัมพันธ์กับลักษณะที่ได้รับการปกป้อง^{[ 183 ]}

ปัจจุบันมาตรฐาน IEEE ฉบับใหม่ กำลังถูกร่างขึ้น โดยมีเป้าหมายเพื่อกำหนดระเบียบวิธีที่จะช่วยให้ผู้สร้างอัลกอริทึมสามารถขจัดปัญหาเรื่องอคติและแสดงความโปร่งใส (เช่น ต่อหน่วยงานหรือผู้ใช้ปลายทาง ) เกี่ยวกับการทำงานและผลกระทบที่อาจเกิดขึ้นจากอัลกอริทึมของตน โครงการนี้ได้รับการอนุมัติในเดือนกุมภาพันธ์ 2017 และได้รับการสนับสนุนโดยคณะกรรมการมาตรฐานวิศวกรรมซอฟต์แวร์และระบบ^{[ 184 ]}ซึ่งเป็นคณะกรรมการที่จัดตั้งขึ้นโดยIEEE Computer Societyคาดว่าจะมีการส่งร่างมาตรฐานเพื่อลงคะแนนในเดือนมิถุนายน 2019 ^{[ 185 ] [ 186 ]}มาตรฐานนี้ได้รับการเผยแพร่ในเดือนมกราคม 2025 ^{[ 187 ]}

ในปี 2022 IEEEได้ออกมาตรฐานที่มุ่งเน้นการกำหนดวิธีการเพื่อช่วยผู้สร้างอัลกอริทึมในการแก้ไขปัญหาอคติและส่งเสริมความโปร่งใสเกี่ยวกับการทำงานและผลกระทบที่อาจเกิดขึ้นจากอัลกอริทึมของพวกเขา โครงการนี้ได้รับการอนุมัติในเบื้องต้นในเดือนกุมภาพันธ์ 2017 โดยได้รับการสนับสนุนจากคณะกรรมการมาตรฐานวิศวกรรมซอฟต์แวร์และระบบ^{[ 188 ]}ซึ่งเป็นคณะกรรมการภายใต้IEEE Computer Societyมาตรฐานนี้ให้แนวทางในการแสดงความโปร่งใสต่อหน่วยงานหรือผู้ใช้ปลายทางและลดอคติของอัลกอริทึม^{[ 185 ] [ 186 ] [ 189 ]}

แนวทางจริยธรรมเกี่ยวกับ AI ชี้ให้เห็นถึงความจำเป็นในการตรวจสอบความรับผิดชอบ โดยแนะนำให้ดำเนินการเพื่อปรับปรุงความสามารถในการตีความผลลัพธ์^{[ 190 ]}แนวทางแก้ไขดังกล่าวรวมถึงการพิจารณา "สิทธิในการทำความเข้าใจ" ในอัลกอริธึมการเรียนรู้ของเครื่อง และการต่อต้านการใช้งานการเรียนรู้ของเครื่องในสถานการณ์ที่การตัดสินใจไม่สามารถอธิบายหรือตรวจสอบได้^{[ 191 ]}เพื่อบรรลุเป้าหมายนี้ การเคลื่อนไหวเพื่อ " AI ที่อธิบายได้ " กำลังดำเนินอยู่แล้วภายในองค์กรต่างๆ เช่นDARPAด้วยเหตุผลที่นอกเหนือไปจากการแก้ไขอคติ^{[ 192 ]} ตัวอย่างเช่น Price Waterhouse Coopersยังแนะนำว่าการตรวจสอบผลลัพธ์หมายถึงการออกแบบระบบในลักษณะที่ทำให้มั่นใจได้ว่าส่วนประกอบแต่ละส่วนของระบบสามารถแยกและปิดได้หากทำให้ผลลัพธ์ผิดเพี้ยน^{[ 193 ]}

แนวทางเบื้องต้นในการสร้างความโปร่งใสรวมถึงการเปิดเผยซอร์สโค้ดของอัลกอริทึม [ ^{194 ] สามารถ}ตรวจสอบโค้ดซอฟต์แวร์และเสนอการปรับปรุงได้ผ่านทางสิ่งอำนวยความสะดวกในการโฮสต์ซอร์สโค้ดอย่างไรก็ตาม แนวทางนี้ไม่ได้ก่อให้เกิดผลตามที่ตั้งใจไว้เสมอไป บริษัทและองค์กรต่างๆ สามารถแบ่งปันเอกสารและโค้ดที่เป็นไปได้ทั้งหมด แต่สิ่งนี้ไม่ได้สร้างความโปร่งใสหากผู้ชมไม่เข้าใจข้อมูลที่ให้ไว้ ดังนั้น บทบาทของผู้ชมที่สนใจและวิพากษ์วิจารณ์จึงควรค่าแก่การสำรวจในส่วนที่เกี่ยวข้องกับความโปร่งใส อัลกอริทึมไม่สามารถรับผิดชอบได้หากไม่มีผู้ชมที่วิพากษ์วิจารณ์^{[ 195 ]}

มีการเสนอแนวทางการจัดทำเอกสารหลายวิธีเพื่อปรับปรุงความโปร่งใสและสนับสนุนการประเมินอคติในระบบอัลกอริทึม วิธีการหนึ่งที่อ้างถึงกันอย่างแพร่หลายคือการใช้การ์ดโมเดลซึ่งให้บทสรุปมาตรฐานเกี่ยวกับการใช้งานที่ตั้งใจไว้ของระบบ AI ตัวชี้วัดประสิทธิภาพ ชุดข้อมูลการประเมิน และข้อจำกัดที่ทราบ^{[ 196 ]}ความพยายามที่เกี่ยวข้อง ได้แก่เอกสารข้อมูลสำหรับชุดข้อมูลซึ่งสรุปที่มา องค์ประกอบ วิธีการรวบรวม และการใช้งานที่แนะนำของข้อมูลการฝึกอบรม^{[ 197 ]}กรอบงานเอกสารเหล่านี้มีจุดมุ่งหมายเพื่อชี้แจงสมมติฐานและอคติที่อาจเกิดขึ้นซึ่งฝังอยู่ในข้อมูลการฝึกอบรมและระบบการเรียนรู้ของเครื่อง ช่วยให้ผู้ปฏิบัติงาน ผู้ตรวจสอบ และกลุ่มที่ได้รับผลกระทบสามารถตีความพฤติกรรมของระบบได้ดียิ่งขึ้น

นอกเหนือจากแนวทางการจัดทำเอกสารแล้ว นักวิจัยและผู้กำหนดนโยบายยังสนับสนุนการใช้กลไกการกำกับดูแลที่มีโครงสร้าง เช่นการประเมินผลกระทบของอัลกอริทึมขั้นตอนการประเมินตามความเสี่ยงและการติดตามหลังการใช้งานกระบวนการเหล่านี้มุ่งที่จะระบุผลกระทบที่ไม่เท่าเทียมกันที่อาจเกิดขึ้นก่อนการใช้งาน และรับรองว่าระบบ AI จะยังคงได้รับการประเมินเพื่อความเป็นธรรมในระหว่างการใช้งานจริง โครงการริเริ่มของภาครัฐ เช่นคำสั่งของแคนาดาเกี่ยวกับการตัดสินใจอัตโนมัติกำหนดให้มีการประเมินผลกระทบ มาตรการอธิบายได้ และการตรวจสอบเป็นประจำสำหรับระบบอัตโนมัติที่มีความเสี่ยงสูงบางระบบ^{[ 198 ]}แนวทางการกำกับดูแลเหล่านี้ร่วมกันเสริมกลยุทธ์การลดผลกระทบทางเทคนิคโดยการฝังความรับผิดชอบและความโปร่งใสตลอดวงจรชีวิตของการพัฒนาและการใช้งาน AI

จากมุมมองด้านกฎระเบียบปฏิญญาโทรอนโตเรียกร้องให้ใช้กรอบสิทธิมนุษยชนกับความเสียหายที่เกิดจากอคติของอัลกอริทึม^{[ 199 ]}ซึ่งรวมถึงการออกกฎหมายกำหนดความคาดหวังในการใช้ความระมัดระวังอย่างรอบคอบในนามของผู้ออกแบบอัลกอริทึมเหล่านี้ และสร้างความรับผิดชอบเมื่อภาคเอกชนไม่สามารถปกป้องผลประโยชน์สาธารณะ โดยสังเกตว่าสิทธิดังกล่าวอาจถูกบดบังด้วยความซับซ้อนของการกำหนดความรับผิดชอบภายในเครือข่ายของกระบวนการที่ซับซ้อนและเกี่ยวพันกัน^{[ 200 ]}บางคนเสนอความจำเป็นสำหรับกลไกการประกันความรับผิดที่ชัดเจน^{[ 201 ]}

ท่ามกลางความกังวลว่าการออกแบบระบบ AI ส่วนใหญ่เป็นขอบเขตของวิศวกรชายผิวขาว^{[ 202 ]}นักวิชาการจำนวนหนึ่งได้เสนอแนะว่าอคติของอัลกอริทึมอาจลดลงได้โดยการขยายการมีส่วนร่วมในกลุ่มผู้ที่ออกแบบระบบ AI ^{[ 191 ] [ 170 ]}ตัวอย่างเช่น วิศวกรการเรียนรู้ของเครื่องเพียง 12% เป็นผู้หญิง^{[ 203 ]}โดยผู้นำ AI ผิวดำชี้ให้เห็นถึง "วิกฤตความหลากหลาย" ในสาขานี้^{[ 204 ]}กลุ่มต่างๆ เช่นBlack in AIและQueer in AIกำลังพยายามสร้างพื้นที่ที่ครอบคลุมมากขึ้นในชุมชน AI และต่อต้านความต้องการที่เป็นอันตรายของบริษัทต่างๆ ที่ควบคุมทิศทางของการวิจัย AI ^{[ 205 ]}คำวิจารณ์เกี่ยวกับความพยายามในการรวมอย่างง่ายๆ ชี้ให้เห็นว่าโปรแกรมความหลากหลายไม่สามารถแก้ไขรูปแบบความไม่เท่าเทียมกันที่ทับซ้อนกันได้ และเรียกร้องให้ใช้มุมมองที่รอบคอบมากขึ้นของความเชื่อมโยงระหว่างกันในการออกแบบอัลกอริทึม^{[ 206 ] [ 207 ] :} นักวิจัย 4 คนที่มหาวิทยาลัยเคมบริดจ์ได้โต้แย้งว่าการจัดการกับความหลากหลายทางเชื้อชาติถูกขัดขวางโดย "ความเป็นคนผิวขาว" ของวัฒนธรรม AI ^{[ 208 ]}

การบูรณาการสหวิทยาการและการทำงานร่วมกันในการพัฒนาระบบ AI สามารถมีบทบาทสำคัญในการจัดการกับอคติของอัลกอริทึม การบูรณาการข้อมูลเชิงลึก ความเชี่ยวชาญ และมุมมองจากสาขาวิชานอกเหนือจากวิทยาการคอมพิวเตอร์สามารถส่งเสริมความเข้าใจที่ดีขึ้นเกี่ยวกับผลกระทบของโซลูชันที่ขับเคลื่อนด้วยข้อมูลต่อสังคม ตัวอย่างหนึ่งในการวิจัย AI คือ PACT หรือParticipatory Approach to enable Capabilities in communiTies ซึ่งเป็นกรอบการทำงานที่เสนอเพื่ออำนวยความสะดวกในการทำงานร่วมกันเมื่อพัฒนาโซลูชันที่ขับเคลื่อนด้วย AI ที่เกี่ยวข้องกับผลกระทบทางสังคม^{[ 209 ]}กรอบการทำงานนี้ระบุหลักการชี้นำสำหรับการมีส่วนร่วมของผู้มีส่วนได้ส่วนเสียเมื่อทำงานในโครงการ AI for Social Good (AI4SG) PACT พยายามที่จะทำให้ความสำคัญของความพยายามในการลดอิทธิพลของลัทธิล่าอาณานิคมและการเปลี่ยนอำนาจเป็นรูปธรรมในการออกแบบโซลูชัน AI ที่เน้นมนุษย์เป็นศูนย์กลาง โครงการริเริ่มทางวิชาการในเรื่องนี้คือสถาบันปัญญาประดิษฐ์ที่เน้นมนุษย์เป็นศูนย์กลางของมหาวิทยาลัยสแตนฟอร์ด ซึ่งมีเป้าหมายเพื่อส่งเสริมความร่วมมือแบบสหวิทยาการ ภารกิจของสถาบันคือการพัฒนาการวิจัย การศึกษา นโยบาย และการปฏิบัติปัญญาประดิษฐ์ (AI) เพื่อปรับปรุงสภาพความเป็นอยู่ของมนุษย์^{[ 210 ]}

การทำงานร่วมกับผู้เชี่ยวชาญภายนอกและผู้มีส่วนได้ส่วนเสียต่างๆ ช่วยให้การพัฒนาระบบอัจฉริยะเป็นไปอย่างมีจริยธรรม ครอบคลุม และมีความรับผิดชอบ โดยคำนึงถึงจริยธรรม เข้าใจบริบททางสังคมและวัฒนธรรม ส่งเสริมการออกแบบที่เน้นมนุษย์เป็นศูนย์กลาง ใช้ประโยชน์จากความเชี่ยวชาญทางเทคนิค และจัดการกับข้อควรพิจารณาด้านนโยบายและกฎหมาย^{[ 211 ]}การทำงานร่วมกันข้ามสาขาวิชาเป็นสิ่งจำเป็นเพื่อลดอคติในระบบ AI อย่างมีประสิทธิภาพ และทำให้มั่นใจได้ว่าเทคโนโลยี AI มีความเป็นธรรม โปร่งใส และมีความรับผิดชอบ

ระเบียบการคุ้มครองข้อมูลทั่วไป (GDPR) ซึ่ง เป็นระบอบการคุ้มครองข้อมูลที่ได้รับการแก้ไขของ สหภาพยุโรปซึ่งนำมาใช้ในปี 2018 กล่าวถึง "การตัดสินใจอัตโนมัติเกี่ยวกับบุคคล รวมถึงการสร้างโปรไฟล์ " ในมาตรา 22 กฎเหล่านี้ห้ามการตัดสินใจอัตโนมัติ "เพียงอย่างเดียว" ที่มีผล "สำคัญ" หรือ "ทางกฎหมาย" ต่อบุคคล เว้นแต่จะได้รับอนุญาตอย่างชัดแจ้งโดยความยินยอม สัญญา หรือ กฎหมาย ของรัฐสมาชิกในกรณีที่อนุญาต จะต้องมีมาตรการคุ้มครอง เช่น สิทธิในการมีมนุษย์เข้ามาเกี่ยวข้องและสิทธิที่ไม่ผูกมัดในการขอคำอธิบายเกี่ยวกับการตัดสินใจที่ได้มา แม้ว่าโดยทั่วไปแล้วกฎระเบียบเหล่านี้จะถือว่าเป็นของใหม่ แต่บทบัญญัติที่เกือบจะเหมือนกันนี้มีอยู่แล้วทั่วทวีปยุโรปตั้งแต่ปี 1995 ในมาตรา 15 ของคำสั่งคุ้มครองข้อมูลกฎและมาตรการคุ้มครองการตัดสินใจอัตโนมัติฉบับดั้งเดิมพบได้ในกฎหมายฝรั่งเศสตั้งแต่ปลายทศวรรษ 1970 ^{[ 212 ]}

GDPR กล่าวถึงอคติเชิงอัลกอริทึมในระบบการสร้างโปรไฟล์ รวมถึงแนวทางทางสถิติที่สามารถนำมาใช้เพื่อแก้ไขอคติดังกล่าวได้โดยตรงในข้อความอ้างอิงที่ 71 ^{[ 213 ]}โดยระบุว่า

ผู้ควบคุมข้อมูลควรใช้วิธีการทางคณิตศาสตร์หรือสถิติที่เหมาะสมสำหรับการจัดทำโปรไฟล์ ดำเนินการมาตรการทางเทคนิคและองค์กรที่เหมาะสม ... ที่ป้องกันผลกระทบเชิงเลือกปฏิบัติต่อบุคคลธรรมดาบนพื้นฐานของเชื้อชาติหรือชาติพันธุ์ ความคิดเห็นทางการเมือง ศาสนาหรือความเชื่อ การเป็นสมาชิกสหภาพแรงงาน สถานะทางพันธุกรรมหรือสุขภาพ หรือรสนิยมทางเพศ หรือมาตรการที่ส่งผลให้เกิดผลกระทบดังกล่าว

เช่นเดียวกับสิทธิที่ไม่ผูกมัดในการขอคำอธิบายในข้อความอ้างอิงที่ 71 ปัญหาคือลักษณะที่ไม่ผูกมัดของข้อความอ้างอิง [ ^{214 ] แม้ว่า}คณะทำงานตามมาตรา 29ที่ให้คำแนะนำเกี่ยวกับการดำเนินการตามกฎหมายคุ้มครองข้อมูลจะถือว่าเป็นข้อกำหนด^{[ 213 ]}แต่มิติในทางปฏิบัติยังไม่ชัดเจน มีการโต้แย้งว่าการประเมินผลกระทบด้านการคุ้มครองข้อมูลสำหรับการสร้างโปรไฟล์ข้อมูลที่มีความเสี่ยงสูง (ควบคู่ไปกับมาตรการป้องกันล่วงหน้าอื่นๆ ภายในการคุ้มครองข้อมูล) อาจเป็นวิธีที่ดีกว่าในการจัดการกับปัญหาการเลือกปฏิบัติโดยอัลกอริทึม เนื่องจากเป็นการจำกัดการกระทำของผู้ที่ใช้งานอัลกอริทึม แทนที่จะกำหนดให้ผู้บริโภคต้องยื่นเรื่องร้องเรียนหรือขอเปลี่ยนแปลง^{[ 215 ]}

สหรัฐอเมริกาไม่มีกฎหมายทั่วไปที่ควบคุมอคติของอัลกอริทึม โดยใช้วิธีแก้ไขปัญหาผ่านกฎหมายของรัฐและรัฐบาลกลางต่างๆ ที่อาจแตกต่างกันไปตามอุตสาหกรรม ภาคส่วน และวิธีการใช้อัลกอริทึม^{[ 216 ]}นโยบายหลายอย่างบังคับใช้เองหรือควบคุมโดยคณะกรรมการการค้าของรัฐบาลกลาง^{[ 216 ] ในปี 2559 รัฐบาลโอบามาได้เผยแพร่แผนยุทธศาสตร์การวิจัยและพัฒนาปัญญาประดิษฐ์แห่งชาติ [} 217 ^{]ซึ่งมี}จุดประสงค์เพื่อ^{ชี้นำผู้}กำหนดนโยบายไปสู่การประเมินอัลกอริทึมอย่างมีวิจารณญาณ โดยแนะนำให้นักวิจัย "ออกแบบระบบเหล่านี้เพื่อให้การกระทำและการตัดสินใจของระบบมีความโปร่งใสและมนุษย์สามารถตีความได้ง่าย และสามารถตรวจสอบอคติใดๆ ที่อาจมีอยู่ได้ แทนที่จะเรียนรู้และทำซ้ำอคติเหล่านั้น" รายงานนี้มีจุดประสงค์เพื่อเป็นแนวทางเท่านั้น และไม่ได้สร้างบรรทัดฐานทางกฎหมายใดๆ^{[ 218 ] : 26}

ในปี 2017 นครนิวยอร์ก ได้ผ่านร่างกฎหมาย ความรับผิดชอบของอัลกอริทึมฉบับแรกในสหรัฐอเมริกา^{[ 219 ]}กฎหมายฉบับนี้ซึ่งมีผลบังคับใช้ในวันที่ 1 มกราคม 2018 กำหนดให้ "มีการจัดตั้งคณะทำงานที่ให้คำแนะนำเกี่ยวกับวิธีการแบ่งปันข้อมูลเกี่ยวกับระบบการตัดสินใจอัตโนมัติของหน่วยงานกับสาธารณชน และวิธีที่หน่วยงานอาจจัดการกับกรณีที่ผู้คนได้รับอันตรายจากระบบการตัดสินใจอัตโนมัติของหน่วยงาน" ^{[ 220 ]}ในปี 2023 นครนิวยอร์กได้บังคับใช้กฎหมายที่กำหนดให้นายจ้างที่ใช้เครื่องมือการจ้างงานอัตโนมัติต้องดำเนินการ "การตรวจสอบอคติ" อย่างอิสระและเผยแพร่ผลลัพธ์ กฎหมายฉบับนี้ถือเป็นหนึ่งในมาตรการความโปร่งใสที่กำหนดโดยกฎหมายฉบับแรกสำหรับระบบ AI ที่ใช้ในการตัดสินใจด้านการจ้างงานในสหรัฐอเมริกา^{[ 221 ]}คณะทำงานจะต้องนำเสนอข้อค้นพบและคำแนะนำสำหรับการดำเนินการด้านกฎระเบียบเพิ่มเติมในปี 2019 ^{[ 222 ]} เมื่อวันที่ 11 กุมภาพันธ์ 2019 ตามคำสั่งบริหารที่ 13859รัฐบาลกลางได้เปิดตัว "โครงการริเริ่ม AI ของอเมริกา" ซึ่งเป็นกลยุทธ์ที่ครอบคลุมเพื่อรักษาความเป็นผู้นำของสหรัฐอเมริกาในด้านปัญญาประดิษฐ์ โครงการริเริ่มนี้เน้นย้ำถึงความสำคัญของการวิจัยและพัฒนา AI อย่างต่อเนื่อง มาตรฐานทางจริยธรรม การฝึกอบรมบุคลากร และการปกป้องเทคโนโลยี AI ที่สำคัญ^{[ 223 ]}ซึ่งสอดคล้องกับความพยายามที่กว้างขึ้นในการสร้างความโปร่งใส ความรับผิดชอบ และนวัตกรรมในระบบ AI ทั่วทั้งภาครัฐและเอกชน นอกจากนี้ เมื่อวันที่ 30 ตุลาคม 2566 ประธานาธิบดีได้ลงนามในคำสั่งบริหารที่ 14110ซึ่งเน้นย้ำถึงการพัฒนาและการใช้ปัญญาประดิษฐ์ (AI) อย่างปลอดภัย มั่นคง และน่าเชื่อถือ คำสั่งดังกล่าวได้กำหนดแนวทางที่ประสานงานกันทั่วทั้งภาครัฐเพื่อใช้ประโยชน์จากศักยภาพของ AI ในขณะเดียวกันก็ลดความเสี่ยงต่างๆ รวมถึงการฉ้อโกง การเลือกปฏิบัติ และภัยคุกคามต่อความมั่นคงของชาติ จุดสำคัญในความมุ่งมั่นนี้คือการส่งเสริมนวัตกรรมและความร่วมมืออย่างมีความรับผิดชอบในทุกภาคส่วนเพื่อให้แน่ใจว่า AI จะเป็นประโยชน์ต่อสังคมโดยรวม^{[ 224 ]}ด้วยคำสั่งนี้ ประธานาธิบดีโจ ไบเดน ได้มอบหมายให้รัฐบาลกลางสร้างแนวปฏิบัติที่ดีที่สุดสำหรับบริษัทต่างๆ เพื่อเพิ่มประโยชน์ของ AI ให้สูงสุดและลดอันตรายให้น้อยที่สุด^{[ 225 ]}

เมื่อวันที่ 31 กรกฎาคม พ.ศ. 2561 ได้มีการนำเสนอร่างพระราชบัญญัติข้อมูลส่วนบุคคล^{[ 226 ]}ร่างดังกล่าวเสนอมาตรฐานสำหรับการจัดเก็บ การประมวลผล และการส่งข้อมูล แม้ว่าจะไม่ได้ใช้คำว่าอัลกอริทึม แต่ก็มีบทบัญญัติเกี่ยวกับ "ความเสียหายที่เกิดจากการประมวลผลใดๆ หรือการประมวลผลใดๆ ที่ดำเนินการโดยผู้รับมอบหมาย" โดยกำหนด "การปฏิเสธหรือการเพิกถอนบริการ ผลประโยชน์ หรือสินค้าใดๆ ที่เกิดจากการตัดสินใจประเมินเกี่ยวกับเจ้าของข้อมูล" หรือ "การปฏิบัติอย่างเลือกปฏิบัติใดๆ" เป็นแหล่งที่มาของความเสียหายที่อาจเกิดขึ้นจากการใช้ข้อมูลอย่างไม่เหมาะสม นอกจากนี้ยังมีบทบัญญัติพิเศษสำหรับบุคคลที่มี "สถานะเพศกำกวม" ^{[ 227 ]}

• การเลือกปฏิบัติทางค่าจ้างโดยใช้ระบบอัลกอริทึม
• การขยายสัญญาณด้วยอัลกอริทึม
• การตัดสินใจอัตโนมัติ
• การขีดเส้นสีแดงแบบดิจิทัล
• จริยธรรมของปัญญาประดิษฐ์
• ความเป็นธรรม (การเรียนรู้ของเครื่องจักร)
• ภาพหลอน (ปัญญาประดิษฐ์)
• เป้าหมายที่ไม่สอดคล้องกันในปัญญาประดิษฐ์
• การคาดการณ์การก่ออาชญากรรม
• เซนส์ไทม์
• จอย บูโอลาวินี
• ทิมนิต เกบรู
• แคธี่ โอนีล

• แบร์, โทเบียส (2019). ทำความเข้าใจ จัดการ และป้องกันอคติจากอัลกอริทึม: คู่มือสำหรับผู้ใช้ทางธุรกิจและนักวิทยาศาสตร์ข้อมูล . นิวยอร์ก: Apress. ISBN 978-1-4842-4884-3.
• โนเบิล, ซาฟิยา อูโมจา (2018). อัลกอริทึมแห่งการกดขี่: เครื่องมือค้นหาเสริมสร้างลัทธิเหยียดผิวอย่างไร . นิวยอร์ก: สำนักพิมพ์มหาวิทยาลัยนิวยอร์ก. ISBN 978-1-4798-3724-3.