การประมวลผลแบบขนานขนาดใหญ่ (Massively parallel) คือคำที่ใช้เรียกการใช้ หน่วยประมวลผลคอมพิวเตอร์จำนวนมาก(หรือคอมพิวเตอร์หลายเครื่องแยกกัน) เพื่อทำการคำนวณที่ประสานงานกันหลายๆ ชุดพร้อมกันในแบบขนาน GPU เป็นสถาปัตยกรรมแบบขนานขนาดใหญ่ที่มีเธรดนับหมื่นๆ เธรด

แนวทางหนึ่งคือการประมวลผลแบบกริดซึ่งใช้พลังการประมวลผลของคอมพิวเตอร์จำนวนมากในโดเมนการบริหาร แบบกระจายและหลากหลายอย่างฉวยโอกาสเมื่อใดก็ตามที่มีคอมพิวเตอร์ว่าง ^{[ 1 ]}ตัวอย่างเช่นBOINCซึ่ง เป็นระบบกริดแบบฉวยโอกาสที่ ใช้โดยอาสาสมัครโดยกริดจะให้พลังงานเฉพาะในกรณีที่มีความพยายามอย่างเต็มที่เท่านั้น^{[ 2 ]}

แนวทางอื่นคือการจัดกลุ่มโปรเซสเซอร์จำนวนมากไว้ใกล้กัน เช่น ในคลัสเตอร์คอมพิวเตอร์ในระบบรวมศูนย์เช่นนี้ ความเร็วและความยืดหยุ่นของการเชื่อมต่อกลายเป็นสิ่งสำคัญมาก และซูเปอร์คอมพิวเตอร์สมัยใหม่ได้ใช้แนวทางต่างๆ ตั้งแต่ ระบบ InfiniBand ที่ได้รับการปรับปรุงไปจนถึง การเชื่อมต่อแบบทอรัสสามมิติ^{[ 3 ]}

คำนี้ยังใช้กับอาร์เรย์โปรเซสเซอร์แบบขนานขนาดใหญ่ (MPPA) ซึ่งเป็นวงจรรวมชนิดหนึ่งที่มีหน่วยประมวลผลกลาง (CPU) และ หน่วย ความจำเข้าถึงแบบสุ่ม (RAM) หลายร้อยหรือหลายพันหน่วยเรียงกัน โปรเซสเซอร์เหล่านี้ส่งงานให้กันและกันผ่านการเชื่อมต่อช่องสัญญาณที่กำหนดค่าใหม่ได้ ด้วยการใช้โปรเซสเซอร์จำนวนมากทำงานแบบขนาน ชิป MPPA จึงสามารถทำงานที่ต้องการประสิทธิภาพสูงกว่าชิปทั่วไปได้ MPPA ใช้โมเดลการเขียนโปรแกรมแบบขนานด้วยซอฟต์แวร์สำหรับการพัฒนาแอปพลิเคชันระบบฝังตัวประสิทธิภาพสูง

Goodyear MPPเป็นการนำสถาปัตยกรรมคอมพิวเตอร์แบบขนานขนาดใหญ่มาใช้ในยุคแรกๆ สถาปัตยกรรม MPP เป็น การนำ ซูเปอร์คอมพิวเตอร์มา ใช้ที่พบได้มากเป็นอันดับสองรอง จากคลัสเตอร์ ณ เดือนพฤศจิกายน 2556 ^{[ 4 ]}

อุปกรณ์คลังข้อมูลเช่นTeradata , Netezzaหรือ PDW ของ Microsoftมักใช้สถาปัตยกรรม MPP เพื่อจัดการการประมวลผลข้อมูลจำนวนมหาศาลแบบขนาน

• การประมวลผลแบบมัลติโปรเซสซิ่ง
• ขนานกันอย่างน่าอับอาย
• การประมวลผลแบบขนาน
• การเขียนโปรแกรมเชิงกระบวนการ
• สถาปัตยกรรมแบบไม่มีการแบ่งปันข้อมูล (SN)
• การประมวลผลแบบมัลติโปรเซสซิ่งแบบสมมาตร (SMP)
• เครื่องเชื่อมต่อ
• ออโตมาตาเซลลูลาร์
• เฟรมเวิร์ก CUDA
• โปรเซสเซอร์หลายคอร์
• ตัวประมวลผลเวกเตอร์
• สถาปัตยกรรมเชิงพื้นที่