อ่าน 12 นาที
การประมวลผลแบบกริด
การประมวลผลแบบกริด คือการใช้ ทรัพยากร คอมพิวเตอร์ ที่กระจายอยู่เป็นวงกว้าง เพื่อให้บรรลุเป้าหมายร่วมกัน กริดคอมพิวเตอร์สามารถคิดได้ว่าเป็น ระบบกระจาย...
การประมวลผลแบบกริด
การประมวลผลแบบกริดคือการใช้ทรัพยากรคอมพิวเตอร์ ที่กระจายอยู่เป็นวงกว้าง เพื่อให้บรรลุเป้าหมายร่วมกัน กริดคอมพิวเตอร์สามารถคิดได้ว่าเป็นระบบกระจายที่มีภาระงานที่ไม่โต้ตอบกันซึ่งเกี่ยวข้องกับไฟล์จำนวนมาก การประมวลผลแบบกริดแตกต่างจากระบบประมวลผลประสิทธิภาพสูงแบบดั้งเดิม เช่น การประมวลผล แบบคลัสเตอร์ตรงที่คอมพิวเตอร์แบบกริดแต่ละโหนดถูกตั้งค่าให้ทำงาน/แอปพลิเคชันที่แตกต่างกัน คอมพิวเตอร์แบบกริดยังมีแนวโน้มที่จะมีความหลากหลายและกระจายตัวทางภูมิศาสตร์มากกว่า (ดังนั้นจึงไม่ได้เชื่อมต่อกันทางกายภาพ) เมื่อเทียบกับคอมพิวเตอร์แบบคลัสเตอร์[ 1 ]แม้ว่ากริดเดียวอาจถูกจัดสรรให้กับแอปพลิเคชันเฉพาะ แต่โดยทั่วไปแล้วกริดจะถูกใช้เพื่อวัตถุประสงค์ที่หลากหลาย กริดมักถูกสร้างขึ้นด้วย ไลบรารีซอฟต์แวร์ มิดเดิลแวร์ กริดอเนกประสงค์ ขนาดของกริดอาจมีขนาดใหญ่มาก[ 2 ]
ระบบกริดเป็นรูปแบบหนึ่งของการประมวลผลแบบกระจายประกอบด้วยคอมพิวเตอร์ จำนวนมาก ที่เชื่อมต่อกันอย่างหลวมๆ ผ่าน เครือข่าย เพื่อทำงานร่วมกันในการทำงานขนาดใหญ่ สำหรับบางแอปพลิเคชัน การประมวลผลแบบกระจายหรือแบบกริดสามารถมองได้ว่าเป็นรูปแบบพิเศษของ การประมวลผลแบบขนานซึ่งอาศัยคอมพิวเตอร์ที่สมบูรณ์ (พร้อมซีพียู หน่วยเก็บข้อมูล แหล่งจ่ายไฟ อินเทอร์เฟซเครือข่าย ฯลฯ) ที่เชื่อมต่อกับเครือข่ายคอมพิวเตอร์ (ส่วนตัวหรือสาธารณะ) ผ่านอินเทอร์เฟซเครือข่าย ทั่วไป เช่นอีเธอร์เน็ตซึ่งแตกต่างจากแนวคิดดั้งเดิมของซูเปอร์คอมพิวเตอร์ ที่มีโปรเซสเซอร์จำนวนมากเชื่อมต่อกันด้วย บัสคอมพิวเตอร์ความเร็วสูงในพื้นที่เทคโนโลยีนี้ถูกนำไปใช้กับปัญหาทางวิทยาศาสตร์ คณิตศาสตร์ และวิชาการที่ต้องใช้การคำนวณอย่างเข้มข้น ผ่านการประมวลผลโดยอาสาสมัครและยังใช้ในองค์กรเชิงพาณิชย์สำหรับแอปพลิเคชันที่หลากหลาย เช่นการค้นพบยาการพยากรณ์ทางเศรษฐกิจการวิเคราะห์แผ่นดินไหวและ การประมวลผลข้อมูล สำนักงานเบื้องหลังเพื่อสนับสนุนอีคอมเมิร์ซและบริการเว็บ
การประมวลผลแบบกริดเป็นการรวมคอมพิวเตอร์จากโดเมนการบริหารหลายแห่งเข้าด้วยกันเพื่อให้บรรลุเป้าหมายร่วมกัน[ 3 ]เพื่อแก้ปัญหางานเดียว และอาจหายไปอย่างรวดเร็วเช่นกัน ขนาดของกริดอาจแตกต่างกันไปตั้งแต่ขนาดเล็ก—จำกัดอยู่เฉพาะเครือข่ายเวิร์กสเตชันคอมพิวเตอร์ภายในองค์กร เช่น—ไปจนถึงการทำงานร่วมกันขนาดใหญ่ในที่สาธารณะข้ามบริษัทและเครือข่ายจำนวนมาก “แนวคิดของกริดที่จำกัดอาจเรียกว่าความร่วมมือภายในโหนด ในขณะที่แนวคิดของกริดที่ใหญ่กว่าและกว้างกว่าอาจหมายถึงความร่วมมือระหว่างโหนด” [ 4 ]
การประสานงานแอปพลิเคชันบนระบบกริดอาจเป็นงานที่ซับซ้อน โดยเฉพาะอย่างยิ่งเมื่อต้องประสานงานการไหลของข้อมูลข้ามทรัพยากรการประมวลผล แบบกระจาย ระบบ เวิร์กโฟลว์บนกริดได้รับการพัฒนาขึ้นมาในฐานะรูปแบบเฉพาะของระบบจัดการเวิร์กโฟลว์ที่ออกแบบมาโดยเฉพาะเพื่อประกอบและดำเนินการชุดขั้นตอนการคำนวณหรือการจัดการข้อมูล หรือเวิร์กโฟลว์ ในบริบทของกริด
การเปรียบเทียบระบบกริดและซูเปอร์คอมพิวเตอร์แบบดั้งเดิม
การประมวลผลแบบ "กระจาย" หรือ "กริด" โดยทั่วไปเป็นการ ประมวลผลแบบขนานชนิดพิเศษที่อาศัยคอมพิวเตอร์แบบครบชุด (พร้อม CPU ในตัว หน่วยเก็บข้อมูล แหล่งจ่ายไฟ อินเทอร์เฟซเครือข่าย ฯลฯ) ที่เชื่อมต่อกับเครือข่าย (ส่วนตัว สาธารณะ หรืออินเทอร์เน็ต ) โดยใช้อินเทอร์เฟซเครือข่าย ทั่วไป ซึ่งทำให้ฮาร์ดแวร์ทั่วไปมีประสิทธิภาพมากกว่าการออกแบบและสร้างซูเปอร์คอมพิวเตอร์แบบกำหนดเองจำนวนน้อย ซึ่งมีประสิทธิภาพต่ำกว่า ข้อเสียเปรียบหลักด้านประสิทธิภาพคือโปรเซสเซอร์ต่างๆ และพื้นที่จัดเก็บข้อมูลในพื้นที่ไม่มีการเชื่อมต่อความเร็วสูง ดังนั้นการจัดเรียงนี้จึงเหมาะสำหรับแอปพลิเคชันที่สามารถดำเนินการคำนวณแบบขนานหลายรายการได้อย่างอิสระ โดยไม่จำเป็นต้องสื่อสารผลลัพธ์ระหว่างโปรเซสเซอร์[ 5 ]ความสามารถในการปรับขนาดระดับสูงของกริดที่กระจายทางภูมิศาสตร์โดยทั่วไปเป็นที่น่าพอใจ เนื่องจากความต้องการการเชื่อมต่อระหว่างโหนด ต่ำ เมื่อเทียบกับความจุของอินเทอร์เน็ตสาธารณะ[ 6 ]
นอกจากนี้ ยังมีความแตกต่างบางประการระหว่างการเขียนโปรแกรมสำหรับซูเปอร์คอมพิวเตอร์และการเขียนโปรแกรมสำหรับระบบประมวลผลแบบกริด การเขียนโปรแกรมให้ทำงานในสภาพแวดล้อมของซูเปอร์คอมพิวเตอร์นั้นอาจมีค่าใช้จ่ายสูงและยากลำบาก เนื่องจากซูเปอร์คอมพิวเตอร์อาจมีระบบปฏิบัติการที่กำหนดเอง หรือต้องการให้โปรแกรมจัดการกับ ปัญหา การ ทำงานพร้อม กัน หากปัญหาใดสามารถประมวลผลแบบขนานได้อย่างเหมาะสม โครงสร้างพื้นฐานแบบกริดที่ “บาง” จะช่วยให้โปรแกรมแบบสแตนด์อโลนทั่วไป สามารถทำงานบนเครื่องหลายเครื่องได้ หากเป็นส่วนที่แตกต่างกันของปัญหาเดียวกัน ทำให้สามารถเขียนและแก้ไขข้อผิดพลาดบนเครื่องทั่วไปเพียงเครื่องเดียว และขจัดความซับซ้อนที่เกิดจากการทำงานหลายอินสแตนซ์ของโปรแกรมเดียวกันในหน่วยความจำและพื้นที่จัดเก็บข้อมูลที่ใช้ร่วมกันในเวลาเดียวกัน
ข้อควรพิจารณาและรูปแบบการออกแบบ
คุณสมบัติอย่างหนึ่งของระบบโครงข่ายกระจายศูนย์คือ สามารถสร้างขึ้นจากทรัพยากรการประมวลผลที่เป็นของบุคคลหรือองค์กรเดียวหรือหลายแห่ง (เรียกว่าโดเมนการบริหารจัดการ หลายแห่ง ) ซึ่งสามารถอำนวยความสะดวกในการทำธุรกรรมเชิงพาณิชย์ เช่นการประมวลผลแบบยูทิลิตี้หรือทำให้การสร้างเครือข่าย การประมวลผลโดยอาสาสมัคร ทำได้ง่ายขึ้น
ข้อเสียอย่างหนึ่งของฟีเจอร์นี้คือ คอมพิวเตอร์ที่ทำการคำนวณจริงอาจไม่น่าเชื่อถือทั้งหมด ดังนั้นผู้ออกแบบระบบจึงต้องมีมาตรการป้องกันความผิดพลาดหรือผู้ไม่ประสงค์ดีที่อาจทำให้เกิดผลลัพธ์ที่ผิดพลาด ไม่ถูกต้อง หรือทำให้เข้าใจผิด และป้องกันไม่ให้ระบบถูกใช้เป็นช่องทางโจมตี ซึ่งมักเกี่ยวข้องกับการสุ่มมอบหมายงานให้กับโหนดต่างๆ (โดยสันนิษฐานว่ามีเจ้าของที่แตกต่างกัน) และตรวจสอบว่าอย่างน้อยสองโหนดที่แตกต่างกันรายงานคำตอบเดียวกันสำหรับหน่วยงานที่กำหนด ความไม่สอดคล้องกันจะระบุโหนดที่ทำงานผิดพลาดและโหนดที่เป็นอันตราย อย่างไรก็ตาม เนื่องจากขาดการควบคุมส่วนกลางเหนือฮาร์ดแวร์ จึงไม่มีวิธีใดที่จะรับประกันได้ว่าโหนดจะไม่หลุดออกจากเครือข่ายในเวลาสุ่ม โหนดบางโหนด (เช่น แล็ปท็อปหรือ ลูกค้าอินเทอร์เน็ต แบบ dial-up ) อาจพร้อมสำหรับการคำนวณ แต่ไม่สามารถสื่อสารผ่านเครือข่ายได้ในช่วงเวลาที่ไม่สามารถคาดเดาได้ ความผันแปรเหล่านี้สามารถรองรับได้โดยการมอบหมายหน่วยงานขนาดใหญ่ (ซึ่งจะช่วยลดความจำเป็นในการเชื่อมต่อเครือข่ายอย่างต่อเนื่อง) และมอบหมายหน่วยงานใหม่เมื่อโหนดใดโหนดหนึ่งไม่สามารถรายงานผลลัพธ์ได้ภายในเวลาที่คาดไว้
ปัญหาความเข้ากันได้ทางสังคมอีกชุดหนึ่งในช่วงแรกของการประมวลผลแบบกริดเกี่ยวข้องกับเป้าหมายของนักพัฒนากริดในการนำนวัตกรรมของพวกเขาไปไกลกว่าขอบเขตเดิมของการประมวลผลประสิทธิภาพสูงและข้ามขอบเขตวินัยไปสู่สาขาใหม่ ๆ เช่น ฟิสิกส์พลังงานสูง[ 7 ]
ผลกระทบของความไว้วางใจและความพร้อมใช้งานต่อประสิทธิภาพและความยากในการพัฒนาสามารถส่งผลต่อการตัดสินใจว่าจะติดตั้งระบบบนคลัสเตอร์เฉพาะ บนเครื่องที่ไม่ได้ใช้งานภายในองค์กรที่กำลังพัฒนา หรือบนเครือข่ายภายนอกแบบเปิดของอาสาสมัครหรือผู้รับเหมา ในหลายกรณี โหนดที่เข้าร่วมต้องไว้วางใจระบบส่วนกลางว่าจะไม่ใช้สิทธิ์การเข้าถึงในทางที่ผิด เช่น การแทรกแซงการทำงานของโปรแกรมอื่น การทำลายข้อมูลที่จัดเก็บ การส่งข้อมูลส่วนตัว หรือการสร้างช่องโหว่ด้านความปลอดภัยใหม่ ระบบอื่นๆ ใช้มาตรการเพื่อลดปริมาณความไว้วางใจที่โหนด "ไคลเอ็นต์" ต้องมีต่อระบบส่วนกลาง เช่น การวางแอปพลิเคชันไว้ในเครื่องเสมือน
ระบบสาธารณะหรือระบบที่ครอบคลุมหลายหน่วยงาน (รวมถึงแผนกต่างๆ ในองค์กรเดียวกัน) มักส่งผลให้จำเป็นต้องใช้งานบนระบบที่หลากหลาย โดยใช้ ระบบปฏิบัติการและสถาปัตยกรรมฮาร์ดแวร์ ที่แตกต่างกัน ในหลายๆ ภาษา มักมีการแลกเปลี่ยนระหว่างการลงทุนในการพัฒนาซอฟต์แวร์กับจำนวนแพลตฟอร์มที่สามารถรองรับได้ (และขนาดของเครือข่ายที่เกิดขึ้น) ภาษา โปรแกรมแบบข้ามแพลตฟอร์มสามารถลดความจำเป็นในการแลกเปลี่ยนนี้ได้ แม้ว่าอาจแลกมาด้วยประสิทธิภาพที่ลดลงในแต่ละโหนด (เนื่องจากการตีความในขณะทำงานหรือการขาดการปรับแต่งให้เหมาะสมกับแพลตฟอร์มนั้นๆ) โครงการ มิดเดิลแวร์ ต่างๆ ได้สร้างโครงสร้างพื้นฐานทั่วไปเพื่อให้โครงการทางวิทยาศาสตร์และเชิงพาณิชย์ที่หลากหลายสามารถใช้ประโยชน์จากกริดที่เกี่ยวข้อง หรือเพื่อวัตถุประสงค์ในการตั้งค่ากริดใหม่BOINC เป็นตัวอย่างหนึ่งที่ใช้กันทั่วไปสำหรับโครงการทางวิชาการต่างๆ ที่ต้องการอาสาสมัครจากสาธารณะ ตัวอย่างอื่นๆ จะ แสดงไว้ในตอนท้ายของบทความ
อันที่จริง มิดเดิลแวร์สามารถมองได้ว่าเป็นชั้นระหว่างฮาร์ดแวร์และซอฟต์แวร์ เหนือมิดเดิลแวร์นั้น ยังต้องพิจารณาถึงด้านเทคนิคอีกหลายด้าน ซึ่งอาจเป็นอิสระจากมิดเดิลแวร์หรือไม่ก็ได้ ตัวอย่างเช่น การจัดการ SLA , ความน่าเชื่อถือและความปลอดภัย, การจัดการ องค์กรเสมือน , การจัดการใบอนุญาต, พอร์ทัล และการจัดการข้อมูล ด้านเทคนิคเหล่านี้อาจได้รับการดูแลในโซลูชันเชิงพาณิชย์ แต่ความก้าวหน้าล้ำสมัยในแต่ละด้านมักพบได้ในโครงการวิจัยเฉพาะด้านที่ศึกษาในสาขานั้นๆ
การแบ่งส่วนตลาดของตลาดการประมวลผลแบบกริด
ในการแบ่งส่วนตลาดการประมวลผลแบบกริด จำเป็นต้องพิจารณาสองมุมมอง ได้แก่ มุมมองด้านผู้ให้บริการและมุมมองด้านผู้ใช้งาน:
ฝั่งผู้ให้บริการ
ตลาดกริดโดยรวมประกอบด้วยตลาดเฉพาะหลายตลาด ได้แก่ ตลาดมิดเดิลแวร์กริด ตลาดแอปพลิเคชันที่รองรับกริด ตลาด การประมวลผลแบบยูทิลิตี้และตลาดซอฟต์แวร์เป็นบริการ (SaaS)
มิดเดิลแวร์สำหรับระบบกริด (Grid middleware ) คือผลิตภัณฑ์ซอฟต์แวร์เฉพาะที่ช่วยให้สามารถแบ่งปันทรัพยากรที่หลากหลายและองค์กรเสมือน (Virtual Organizations) ได้ โดยจะติดตั้งและผสานรวมเข้ากับโครงสร้างพื้นฐานที่มีอยู่ของบริษัทที่เกี่ยวข้อง และทำหน้าที่เป็นชั้นพิเศษคั่นกลางระหว่างโครงสร้างพื้นฐานที่หลากหลายและแอปพลิเคชันของผู้ใช้ มิดเดิลแวร์สำหรับระบบกริดที่สำคัญ ได้แก่ Globus Toolkit , gLiteและUNICORE
ยูทิลิตี้คอมพิวติ้ง หมายถึง การให้บริการประมวลผลแบบกริดและแอปพลิเคชันในรูปแบบบริการ ไม่ว่าจะเป็นกริดแบบเปิด หรือโซลูชันการโฮสติ้งสำหรับองค์กรใดองค์กรหนึ่งหรือองค์กรเสมือน(VO)ผู้ เล่นหลักในตลาดยูทิลิตี้คอมพิวติ้ง ได้แก่Sun Microsystems , IBMและHP
แอปพลิเคชันที่รองรับระบบโครงข่ายไฟฟ้า คือแอปพลิเคชันซอฟต์แวร์เฉพาะที่สามารถใช้ประโยชน์จากโครงสร้างพื้นฐานของระบบโครงข่ายไฟฟ้าได้ ซึ่งเป็นไปได้ด้วยการใช้มิดเดิลแวร์ของระบบโครงข่ายไฟฟ้า ดังที่ได้กล่าวไว้ข้างต้น
ซอฟต์แวร์เป็นบริการ (SaaS) คือ “ซอฟต์แวร์ที่เป็นกรรมสิทธิ์ ส่งมอบ และจัดการจากระยะไกลโดยผู้ให้บริการหนึ่งรายหรือมากกว่า” ( Gartner 2007) นอกจากนี้ แอปพลิเคชัน SaaS ยังใช้ชุดโค้ดและคำจำกัดความข้อมูลทั่วไปชุดเดียว มีการใช้งานในรูปแบบหนึ่งต่อหลาย และ SaaS ใช้โมเดลการจ่ายตามการใช้งาน (PAYG) หรือโมเดลการสมัครสมาชิกตามการใช้งาน ผู้ให้บริการ SaaS ไม่จำเป็นต้องเป็นเจ้าของทรัพยากรการประมวลผลเอง ซึ่งจำเป็นต่อการทำงานของ SaaS ดังนั้น ผู้ให้บริการ SaaS อาจใช้ประโยชน์จากตลาดการประมวลผลแบบยูทิลิตี้ ตลาดการประมวลผลแบบยูทิลิตี้จัดหาทรัพยากรการประมวลผลให้กับผู้ให้บริการ SaaS
ฝั่งผู้ใช้
สำหรับบริษัทต่างๆ ที่อยู่ในฝั่งผู้ใช้หรือผู้ต้องการใช้บริการในตลาดกริดคอมพิวติ้งนั้น กลุ่มต่างๆ เหล่านี้มีผลกระทบอย่างมากต่อกลยุทธ์การใช้งานไอทีของพวกเขา กลยุทธ์การใช้งานไอที ตลอดจนประเภทของการลงทุนด้านไอที ล้วนเป็นแง่มุมที่เกี่ยวข้องสำหรับผู้ใช้กริดที่มีศักยภาพ และมีบทบาทสำคัญต่อการนำกริดมาใช้
การกวาดล้าง CPU
การกวาดทรัพยากร CPU , การกวาดทรัพยากรรอบการทำงานหรือการประมวลผลแบบใช้ร่วมกันสร้าง "โครงข่าย" จากทรัพยากรที่ไม่ได้ใช้งานในเครือข่ายของผู้เข้าร่วม (ไม่ว่าจะทั่วโลกหรือภายในองค์กร) โดยทั่วไป เทคนิคนี้จะใช้ประโยชน์ จาก รอบการทำงานคำสั่งที่ 'เหลือ' ซึ่งเกิดจากการไม่ใช้งานเป็นช่วงๆ ที่มักเกิดขึ้นในเวลากลางคืน ระหว่างพักกลางวัน หรือแม้กระทั่งในช่วงเวลาว่าง (ซึ่งค่อนข้างน้อย แต่มีจำนวนมาก) ที่ CPU เดสก์ท็อปสมัยใหม่รอคอยตลอดทั้งวัน ( เมื่อคอมพิวเตอร์กำลังรอการรับส่งข้อมูลจากผู้ใช้ เครือข่าย หรือที่เก็บข้อมูล ) ในทางปฏิบัติ คอมพิวเตอร์ที่เข้าร่วมยังบริจาคพื้นที่จัดเก็บข้อมูลดิสก์ RAM และแบนด์วิดท์เครือข่ายบางส่วน นอกเหนือจากพลังการประมวลผล CPU ดิบด้วย
โครงการ คอมพิวเตอร์อาสาสมัครหลายโครงการ เช่นBOINCใช้โมเดลการหมุนเวียน CPU เนื่องจากโหนดอาจ "ออฟไลน์" เป็นครั้งคราว เพราะเจ้าของใช้ทรัพยากรเพื่อวัตถุประสงค์หลักของตน โมเดลนี้จึงต้องได้รับการออกแบบมาเพื่อรองรับเหตุการณ์ฉุกเฉินดังกล่าว
การสร้างสภาพแวดล้อมแบบฉวยโอกาสเป็นอีกหนึ่งการใช้งานของการเก็บเกี่ยว CPU โดยที่ระบบการจัดการภาระงานพิเศษจะเก็บเกี่ยวคอมพิวเตอร์เดสก์ท็อปที่ไม่ได้ใช้งานสำหรับงานที่ต้องใช้การคำนวณสูง ซึ่งเรียกอีกอย่างว่า Enterprise Desktop Grid (EDG) ตัวอย่างเช่นHTCondor [ 8 ] (เฟรมเวิร์กซอฟต์แวร์การประมวลผลแบบโอเพนซอร์สที่มีประสิทธิภาพสูงสำหรับการจัดการงานที่ใช้การคำนวณสูงแบบกระจายในระดับหยาบ) สามารถกำหนดค่าให้ใช้เฉพาะเครื่องเดสก์ท็อปที่แป้นพิมพ์และเมาส์ไม่ได้ใช้งาน เพื่อใช้ประโยชน์จากพลังงาน CPU ที่สูญเปล่าจากเวิร์กสเตชันเดสก์ท็อปที่ไม่ได้ใช้งานได้อย่างมีประสิทธิภาพ เช่นเดียวกับระบบแบตช์ที่มีคุณสมบัติครบถ้วนอื่นๆ HTCondor มีกลไกการจัดคิวงาน นโยบายการจัดกำหนดการ แผนลำดับความสำคัญ การตรวจสอบทรัพยากร และการจัดการทรัพยากร สามารถใช้จัดการภาระงานบนคลัสเตอร์คอมพิวเตอร์เฉพาะ หรือสามารถผสานรวมทรัพยากรเฉพาะ (คลัสเตอร์แบบติดตั้งบนแร็ค) และเครื่องเดสก์ท็อปที่ไม่เฉพาะ (การเก็บเกี่ยวรอบการทำงาน) เข้ากับสภาพแวดล้อมการประมวลผลเดียวได้อย่างราบรื่น
ประวัติศาสตร์
คำว่าgrid computingมีต้นกำเนิดในช่วงต้นทศวรรษ 1990 ในฐานะคำอุปมาสำหรับการทำให้พลังการประมวลผลคอมพิวเตอร์เข้าถึงได้ง่ายเหมือนกับโครงข่าย ไฟฟ้า คำอุปมาเรื่องโครงข่ายไฟฟ้าสำหรับการประมวลผลที่เข้าถึงได้ง่ายกลายเป็นแบบแผนอย่างรวดเร็วเมื่อIan FosterและCarl Kesselmanตีพิมพ์ผลงานสำคัญของพวกเขาเรื่อง "The Grid: Blueprint for a new computing infrastructure" (1999) ก่อนหน้านั้นหลายทศวรรษ มีคำอุปมาเรื่องutility computing (1961) ซึ่งหมายถึงการประมวลผลในฐานะสาธารณูปโภค คล้ายกับระบบโทรศัพท์[ 9 ] [ 10 ]
การเก็บเกี่ยว CPU และการประมวลผลโดยอาสาสมัครได้รับความนิยมตั้งแต่ปี 1997 โดยdistributed.netและต่อมาในปี 1999 โดยSETI@homeเพื่อใช้ประโยชน์จากพลังของพีซีที่เชื่อมต่อเครือข่ายทั่วโลก เพื่อแก้ปัญหาการวิจัยที่ต้องใช้ CPU จำนวนมาก[ 11 ] [ 12 ]
แนวคิดของกริด (รวมถึงแนวคิดจากการประมวลผลแบบกระจาย การเขียนโปรแกรมเชิงวัตถุ และบริการเว็บ) ได้ถูกนำมารวมกันโดยIan FosterและSteve TueckeจากมหาวิทยาลัยชิคาโกและCarl Kesselmanจากสถาบันวิทยาศาสตร์สารสนเทศของ มหาวิทยาลัยเซาท์เทิร์ นแคลิฟอร์เนีย[ 13 ] ทั้งสามคนซึ่งเป็นผู้นำในการสร้าง Globus Toolkit ได้รับการยกย่องอย่างกว้างขวางว่าเป็น "บิดาแห่งกริด" [ 14 ] ชุดเครื่องมือนี้ไม่เพียงแต่รวมการจัดการการคำนวณเท่านั้น แต่ยังรวมถึงการจัดการพื้นที่จัดเก็บการจัดเตรียมความปลอดภัย การเคลื่อนย้ายข้อมูล การตรวจสอบ และชุดเครื่องมือสำหรับการพัฒนาบริการเพิ่มเติมบนพื้นฐานของโครงสร้างพื้นฐานเดียวกัน รวมถึงการเจรจาข้อตกลง กลไกการแจ้งเตือน บริการทริกเกอร์ และการรวบรวมข้อมูล[ 15 ]แม้ว่า Globus Toolkit จะยังคงเป็นมาตรฐานโดยพฤตินัยสำหรับการสร้างโซลูชันกริด แต่ก็มีเครื่องมืออื่นๆ อีกจำนวนมากที่สร้างขึ้นเพื่อตอบสนองบริการบางส่วนที่จำเป็นในการสร้างกริดระดับองค์กรหรือระดับโลก
ในปี 2007 คำว่า " คลาวด์คอมพิวติ้ง"เริ่มเป็นที่นิยม ซึ่งในเชิงแนวคิดแล้วคล้ายคลึงกับคำจำกัดความดั้งเดิมของฟอสเตอร์เกี่ยวกับกริดคอมพิวติ้ง (ในแง่ของการใช้ทรัพยากรการประมวลผลเหมือนกับการใช้ไฟฟ้าจากโครงข่ายไฟฟ้า ) และยูทิลิตี้คอมพิวติ้งในยุคก่อนหน้า
ความคืบหน้า
ในเดือนพฤศจิกายน พ.ศ. 2549 เอ็ดเวิร์ด ไซเดลได้รับรางวัลซิดนีย์ เฟิร์นบัคในการประชุมซูเปอร์คอมพิวเตอร์ที่แทมปา รัฐฟลอริดา [ 16 ] "สำหรับการมีส่วนร่วมที่โดดเด่นในการพัฒนาซอฟต์แวร์สำหรับ HPC และการประมวลผลแบบกริด เพื่อให้สามารถสืบสวนเชิงตัวเลขร่วมกันของปัญหาที่ซับซ้อนในฟิสิกส์ โดยเฉพาะอย่างยิ่ง การจำลองการชนกันของหลุมดำ" [ 17 ]รางวัลนี้ ซึ่งเป็นหนึ่งในเกียรติยศสูงสุดในด้านการคำนวณ ได้รับมอบให้แก่เขาสำหรับความสำเร็จในด้านสัมพัทธภาพเชิงตัวเลข
ซูเปอร์คอมพิวเตอร์เสมือนที่เร็วที่สุด
- ณ เดือนมีนาคม พ.ศ. 2563 Folding@home – 1.1 exaFLOPS [ 18 ]
- ณ วันที่ 7 เมษายน 2563 BOINC – 29.8 PFLOPS [ 19 ]
- ณ เดือนพฤศจิกายน 2019 IceCube ผ่าน OSG – 350 fp32 PFLOPS [ 20 ]
- ณ เดือนกุมภาพันธ์ พ.ศ. 2561 Einstein@Home – 3.489 PFLOPS [ 21 ]
- ณ วันที่ 7 เมษายน 2563 SETI@Home – 1.11 PFLOPS [ 22 ]
- ณ วันที่ 7 เมษายน 2563 MilkyWay@Home – 1.465 PFLOPS [ 23 ]
- ณ เดือนมีนาคม พ.ศ. 2562 GIMPS – 0.558 PFLOPS [ 24 ]
นอกจากนี้ ณ เดือนมีนาคม พ.ศ. 2562 เครือข่าย Bitcoinมีกำลังการประมวลผลที่วัดได้เทียบเท่ากับมากกว่า 80,000 exaFLOPS (Floating-point Operations Per Second) [ 25 ] การวัดนี้สะท้อนถึงจำนวน FLOPS ที่จำเป็นเพื่อให้เท่ากับเอาต์พุตแฮชของเครือข่าย Bitcoin มากกว่าความสามารถในการดำเนินการทางคณิตศาสตร์แบบจุดลอยตัวทั่วไป เนื่องจากองค์ประกอบของเครือข่าย Bitcoin ( ASICสำหรับการขุด Bitcoin ) จะทำการคำนวณแฮชการเข้ารหัสลับเฉพาะที่จำเป็นโดยโปรโตคอล Bitcoin เท่านั้น
โครงการและแอปพลิเคชัน
การประมวลผลแบบกริดนำเสนอวิธีการแก้ปัญหาความท้าทายครั้งใหญ่เช่นการพับโปรตีนการสร้างแบบจำลองทางการเงินการจำลองแผ่นดินไหวและ การสร้างแบบจำลองสภาพ ภูมิอากาศ / สภาพอากาศและเป็นส่วนสำคัญในการเปิดใช้งานเครื่องเร่งอนุภาคขนาดใหญ่ที่ CERN [ 26 ]กริดนำเสนอวิธีการใช้ทรัพยากรเทคโนโลยีสารสนเทศอย่างเหมาะสมภายในองค์กร นอกจากนี้ยังเป็นวิธีการในการนำเสนอเทคโนโลยีสารสนเทศเป็นสาธารณูปโภคสำหรับลูกค้าเชิงพาณิชย์และไม่ใช่เชิงพาณิชย์ โดยลูกค้าจะจ่ายเฉพาะสิ่งที่พวกเขาใช้ เช่นเดียวกับไฟฟ้าหรือน้ำ
ณ เดือนตุลาคม 2559 มีเครื่องคอมพิวเตอร์มากกว่า 4 ล้านเครื่องที่ใช้แพลตฟอร์มโอเพนซอร์สBerkeley Open Infrastructure for Network Computing (BOINC) เป็นสมาชิกของWorld Community Grid [ 19 ] หนึ่งในโครงการที่ใช้ BOINC คือSETI@homeซึ่งใช้คอมพิวเตอร์มากกว่า 400,000 เครื่องเพื่อให้ได้ประสิทธิภาพ 0.828 TFLOPSณ เดือนตุลาคม 2559 ในขณะที่Folding@homeซึ่งไม่ได้เป็นส่วนหนึ่งของ BOINC สามารถทำได้มากกว่า 101 เพตาฟลอปเทียบเท่า x86 บนเครื่องคอมพิวเตอร์มากกว่า 110,000 เครื่อง ณ เดือนตุลาคม 2559 [ 18 ]
สหภาพยุโรปให้ทุนสนับสนุนโครงการต่างๆ ผ่านกรอบโครงการของคณะกรรมาธิการยุโรปโครงการBEinGRID (Business Experiments in Grid) เป็นโครงการวิจัยที่ได้รับทุนจากคณะกรรมาธิการยุโรป[ 27 ]ในฐานะโครงการบูรณาการภายใต้ โครงการสนับสนุน กรอบโครงการที่หก (FP6) เริ่มต้นเมื่อวันที่ 1 มิถุนายน 2549 โครงการนี้ดำเนินไปเป็นเวลา 42 เดือน จนถึงเดือนพฤศจิกายน 2552 โครงการนี้ได้รับการประสานงานโดยAtos Originตามเอกสารข้อเท็จจริงของโครงการ ภารกิจของพวกเขาคือ “เพื่อสร้างเส้นทางที่มีประสิทธิภาพในการส่งเสริมการนำการประมวลผลแบบกริดมาใช้ทั่วสหภาพยุโรป และเพื่อกระตุ้นการวิจัยเกี่ยวกับแบบจำลองธุรกิจที่เป็นนวัตกรรมใหม่โดยใช้เทคโนโลยีกริด” เพื่อดึงเอาแนวปฏิบัติที่ดีที่สุดและหัวข้อทั่วไปจากการดำเนินการทดลอง กลุ่มที่ปรึกษาสองกลุ่มกำลังวิเคราะห์ชุดนำร่อง กลุ่มหนึ่งด้านเทคนิค อีกกลุ่มหนึ่งด้านธุรกิจ โครงการนี้มีความสำคัญไม่เพียงแต่ในด้านระยะเวลาที่ยาวนานเท่านั้น แต่ยังรวมถึงงบประมาณ ซึ่งอยู่ที่ 24.8 ล้านยูโร ซึ่งเป็นงบประมาณที่ใหญ่ที่สุดของโครงการบูรณาการ FP6 ใดๆ โดย 15.7 ล้านยูโรมาจากคณะกรรมาธิการยุโรป และส่วนที่เหลือมาจากบริษัทพันธมิตรที่ร่วมสนับสนุน 98 บริษัท นับตั้งแต่โครงการสิ้นสุดลง ผลลัพธ์ของ BEinGRID ได้ถูกนำไปต่อยอดและพัฒนาต่อโดย IT-Tude.com
โครงการ Enabling Grids for E-sciencE ซึ่งตั้งอยู่ในสหภาพยุโรปและรวมถึงไซต์ในเอเชียและสหรัฐอเมริกา เป็นโครงการต่อเนื่องจาก European DataGrid (EDG) และพัฒนาไปสู่โครงสร้างพื้นฐานกริดของยุโรปสิ่งนี้ควบคู่ไปกับWorldwide LHC Computing Grid [ 28 ] (WLCG) ได้รับการพัฒนาขึ้นเพื่อสนับสนุนการทดลองโดยใช้ เครื่องเร่งอนุภาคขนาดใหญ่ ของ CERN (CERN Large Hadron Collider ) สามารถดูรายชื่อไซต์ที่ใช้งานอยู่ซึ่งเข้าร่วมใน WLCG ได้ทางออนไลน์[ 29 ]เช่นเดียวกับการตรวจสอบโครงสร้างพื้นฐาน EGEE แบบเรียลไทม์ [ 30 ]ซอฟต์แวร์และเอกสารที่เกี่ยวข้องก็สามารถเข้าถึงได้โดยสาธารณะเช่นกัน[ 31 ]มีการคาดการณ์ว่าลิงก์ใยแก้วนำแสงเฉพาะ เช่น ลิงก์ที่ติดตั้งโดย CERN เพื่อตอบสนองความต้องการข้อมูลจำนวนมากของ WLCG อาจมีให้บริการแก่ผู้ใช้ตามบ้านในอนาคต ทำให้สามารถให้บริการอินเทอร์เน็ตด้วยความเร็วสูงสุดถึง 10,000 เท่าของความเร็วการเชื่อมต่อบรอดแบนด์แบบดั้งเดิม[ 32 ]โครงสร้างพื้นฐานโครงข่ายไฟฟ้าของยุโรปยังถูกใช้สำหรับกิจกรรมการวิจัยและการทดลองอื่นๆ เช่น การจำลองการทดลองทางคลินิกเกี่ยวกับมะเร็ง[ 33 ]
โครงการ distributed.netเริ่มต้นขึ้นในปี 1997 ศูนย์ซูเปอร์คอมพิวเตอร์ขั้นสูงของ NASA (NAS) ได้ทำการรันอัลกอริธึมทางพันธุกรรมโดยใช้ โปรแกรม Condor cycle scavengerที่ทำงานบนเวิร์กสเตชัน ของ Sun MicrosystemsและSGI ประมาณ 350 เครื่อง
ในปี พ.ศ. 2544 United Devicesได้ดำเนินโครงการวิจัยมะเร็ง United Devicesโดยใช้ ผลิตภัณฑ์ Grid MPซึ่งทำการเก็บกู้แบตเตอรี่จากพีซีของอาสาสมัครที่เชื่อมต่อกับอินเทอร์เน็ต โครงการนี้ดำเนินการบนเครื่องประมาณ 3.1 ล้านเครื่องก่อนที่จะปิดตัวลงในปี พ.ศ. 2550 [ 34 ]
นวัตกรรมล่าสุดได้สำรวจการบูรณาการเทคโนโลยีบล็อกเชนกับหลักการประมวลผลแบบกริด ตัวอย่างเช่น ระบบ VirtEngine [ 35 ]ซึ่งมีรายละเอียดอยู่ในสิทธิบัตรออสเตรเลีย AU2024203136 [ 36 ]เสนอโมเดลแบบกระจายศูนย์ที่รวมเครือข่ายการประมวลผลแบบกระจายศูนย์เข้ากับกรอบงานบล็อกเชนแบบ Proof-of-Stake สำหรับการระบุตัวตน การตรวจสอบสิทธิ์ และการจัดการทรัพยากร แนวทางนี้มีจุดมุ่งหมายเพื่อสร้างระบบอัตโนมัติสำหรับการจัดการตลาดคลาวด์แบบกระจายศูนย์และซูเปอร์คอมพิวเตอร์แบบกระจายศูนย์ โดยใช้ทรัพยากรการประมวลผลแบบผู้บริโภคและผู้ให้บริการเพื่อขับเคลื่อนเครือข่ายการประมวลผลแบบกริดที่กระจายไปทั่วโลก
คำจำกัดความ
ปัจจุบันมีคำจำกัดความของการประมวลผลแบบกริด อยู่มากมาย :
- ในบทความของเขา “ตารางคืออะไร? รายการตรวจสอบสามประเด็น” [ 3 ]เอียน ฟอสเตอร์ได้ระบุคุณลักษณะหลักเหล่านี้:
- ทรัพยากรด้านคอมพิวเตอร์ไม่ได้ถูกบริหารจัดการจากส่วนกลาง
- มีการใช้มาตรฐานแบบเปิด
- บรรลุคุณภาพการบริการที่ไม่ธรรมดา
- Plaszczak/Wellner [ 37 ]นิยามเทคโนโลยีกริดว่าเป็น "เทคโนโลยีที่ช่วยให้สามารถจำลองทรัพยากร การจัดสรรตามความต้องการ และการแบ่งปันบริการ (ทรัพยากร) ระหว่างองค์กรต่างๆ"
- IBM นิยามการประมวลผลแบบกริดว่า “ความสามารถในการเข้าถึงแอปพลิเคชันและข้อมูล กำลังประมวลผล ความจุในการจัดเก็บ และทรัพยากรการประมวลผลอื่นๆ มากมายผ่านทางอินเทอร์เน็ต โดยใช้ชุดมาตรฐานและโปรโตคอลแบบเปิด กริดเป็นระบบแบบขนานและแบบกระจายประเภทหนึ่งที่ช่วยให้สามารถแบ่งปัน เลือก และรวบรวมทรัพยากรที่กระจายอยู่ทั่วโดเมนการบริหาร 'หลายโดเมน' โดยพิจารณาจากความพร้อมใช้งาน ความจุ ประสิทธิภาพ ต้นทุน และข้อกำหนดด้านคุณภาพการบริการของผู้ใช้” [ 38 ]
- ตัวอย่างก่อนหน้านี้ของแนวคิดเรื่องการคำนวณในฐานะสาธารณูปโภคเกิดขึ้นในปี พ.ศ. 2508 โดย Fernando Corbató จาก MIT Corbató และนักออกแบบคนอื่นๆ ของระบบปฏิบัติการ Multics จินตนาการถึงศูนย์คอมพิวเตอร์ที่ดำเนินการ "เหมือนบริษัทไฟฟ้าหรือบริษัทประปา" [ 39 ]
- Buyya/Venugopal [ 40 ]นิยามกริดว่าเป็น "ระบบแบบขนานและกระจายประเภทหนึ่งที่ช่วยให้การแบ่งปัน การเลือก และการรวม ทรัพยากร อิสระ ที่กระจายตามภูมิศาสตร์ แบบไดนามิกในระหว่างการทำงานขึ้นอยู่กับความพร้อมใช้งาน ความสามารถ ประสิทธิภาพ ต้นทุน และข้อกำหนดคุณภาพการบริการของผู้ใช้"
ดูเพิ่มเติม
แนวคิดที่เกี่ยวข้อง
- การประมวลผลความเร็วสูง
- การประมวลผลแบบคลาวด์
- การเคลื่อนย้ายรหัส
- การประมวลผลแบบจังเกิล
- ตารางเซ็นเซอร์
- การประมวลผลยูทิลิตี้
พันธมิตรและองค์กรต่างๆ
ตารางการผลิต
- โครงสร้างพื้นฐานโครงข่ายไฟฟ้าของยุโรป
- การเปิดใช้งานโครงข่ายสำหรับวิทยาศาสตร์อิเล็กทรอนิกส์
- ตารางการผลิต INFN
- นอร์ดูกริด
- ออร์กริด
- ซันกริด
- เทชิล่า
- เอ็กซ์กริด
- ยูนิวา กริด เอ็นจิ้น
โครงการระหว่างประเทศ
| ชื่อ | ภูมิภาค | เริ่ม | จบ |
|---|---|---|---|
| โครงสร้างพื้นฐานโครงข่ายไฟฟ้าของยุโรป (EGI) | ยุโรป | พฤษภาคม 2553 | ธันวาคม 2557 |
| สถาบันโครงสร้างพื้นฐานมิดเดิลแวร์แบบเปิดแห่งยุโรป (OMII-Europe) | ยุโรป | พฤษภาคม 2549 | พฤษภาคม 2551 |
| การเปิดใช้งานกริดสำหรับวิทยาศาสตร์อิเล็กทรอนิกส์ (EGEE, EGEE II และ EGEE III) | ยุโรป | มีนาคม พ.ศ. 2547 | เมษายน 2553 |
| ระบบเครื่องมือวัดระยะไกลที่เชื่อมต่อกับโครงข่ายไฟฟ้า พร้อมการควบคุมและการคำนวณแบบกระจายศูนย์ (GridCC) | ยุโรป | กันยายน 2548 | กันยายน 2551 |
| โครงการริเริ่มมิดเดิลแวร์แห่งยุโรป (EMI) | ยุโรป | พฤษภาคม 2553 | คล่องแคล่ว |
| โนว์อาร์ซี | ยุโรป | มิถุนายน 2549 | พฤศจิกายน 2552 |
| ศูนย์ข้อมูลเครือข่ายนอร์ดิก | สแกนดิเนเวียและฟินแลนด์ | มิถุนายน 2549 | ธันวาคม 2555 |
| เครือข่ายชุมชนโลก | ทั่วโลก | พฤศจิกายน 2547 | คล่องแคล่ว |
| เอ็กซ์ทรีมโอเอส | ยุโรป | มิถุนายน 2549 | (พฤษภาคม 2553) ขยายเวลาถึงกันยายน 2553 |
| ออร์กริด | บราซิล | ธันวาคม พ.ศ. 2547 | คล่องแคล่ว |
โครงการระดับชาติ
- กริดพีพี (สหราชอาณาจักร)
- ซีเอ็นจีกริด (จีน)
- ดี-กริด (เยอรมนี)
- การุดา (อินเดีย)
- VECC ( กัลกัตตาประเทศอินเดีย)
- อิสรากริด (อิสราเอล)
- INFN Grid (อิตาลี)
- PL-Grid (โปแลนด์)
- บริการโครงข่ายไฟฟ้าแห่งชาติ (สหราชอาณาจักร)
- Open Science Grid (สหรัฐอเมริกา)
- เทรากริด (สหรัฐอเมริกา)
มาตรฐานและ API
- API แอปพลิเคชันการจัดการทรัพยากรแบบกระจาย (DRMAA)
- แบบจำลองข้อมูลที่ไม่ขึ้นกับเทคโนโลยีสำหรับการแสดงทรัพยากรกริดอย่างสม่ำเสมอ (GLUE)
- การเรียกใช้ฟังก์ชันระยะไกลของ Grid (GridRPC)
- โครงสร้างพื้นฐานด้านความปลอดภัยของระบบไฟฟ้า (Grid Security Infrastructure - GSI)
- สถาปัตยกรรมบริการโครงข่ายเปิด (OGSA)
- สถาปัตยกรรมตัวกลางการร้องขอวัตถุทั่วไป (CORBA)
- โครงสร้างพื้นฐานบริการโครงข่ายเปิด (OGSI)
- API ที่เรียบง่ายสำหรับแอปพลิเคชันกริด (SAGA)
- กรอบทรัพยากรบริการเว็บ (WSRF)
กรอบการติดตาม
สรุปเนื้อหา
ข้อมูลสำคัญจากบทความ
ข้อมูลสำคัญเกี่ยวกับ การประมวลผลแบบกริด
การประมวลผลแบบกริด คือการใช้ ทรัพยากร คอมพิวเตอร์ ที่กระจายอยู่เป็นวงกว้าง เพื่อให้บรรลุเป้าหมายร่วมกัน กริดคอมพิวเตอร์สามารถคิดได้ว่าเป็น ระบบกระจาย...
การเปรียบเทียบระบบกริดและซูเปอร์คอมพิวเตอร์แบบดั้งเดิม
การประมวลผลแบบ "กระจาย" หรือ "กริด" โดยทั่วไปเป็นการ ประมวลผลแบบขนาน ชนิดพิเศษที่อาศัยคอมพิวเตอร์แบบครบชุด (พร้อม CPU ในตัว หน่วยเก็บข้อมูล แหล่งจ่ายไฟ อินเทอร์เฟซเครือข่าย ฯลฯ
ข้อควรพิจารณาและรูปแบบการออกแบบ
คุณสมบัติอย่างหนึ่งของระบบโครงข่ายกระจายศูนย์คือ สามารถสร้างขึ้นจากทรัพยากรการประมวลผลที่เป็นของบุคคลหรือองค์กรเดียวหรือหลายแห่ง (เรียกว่า โดเมนการบริหารจัดการ หลายแห่ง ) ซึ่งสามารถอำนวยความสะดวกในการทำธุรกรรมเชิงพาณิชย์ เช่น การประมวลผลแบบยูทิลิตี้...
การแบ่งส่วนตลาดของตลาดการประมวลผลแบบกริด
ในการแบ่งส่วนตลาดการประมวลผลแบบกริด จำเป็นต้องพิจารณาสองมุมมอง ได้แก่ มุมมองด้านผู้ให้บริการและมุมมองด้านผู้ใช้งาน: