โมเดลออปส์

ModelOps ( การดำเนินงาน โมเดลหรือการนำโมเดลไปใช้งาน) ตามที่ Gartnerนิยามไว้"มุ่งเน้นไปที่การกำกับดูแลและการจัดการวงจรชีวิตของปัญญา ประดิษฐ์ (AI) และโมเดลการตัดสินใจ ที่หลากหลาย ซึ่งรวมถึงการเรียนรู้ของเครื่องกราฟความรู้กฎ การเพิ่มประสิทธิภาพ โมเดลทางภาษา และโมเดลแบบตัวแทน " ในระบบหลายตัวแทน^{[ 1 ]} "ModelOps เป็นหัวใจสำคัญของกลยุทธ์ AI ขององค์กร" ^{[ 2 ]}มันจัดการวงจรชีวิตของโมเดลทั้งหมดที่ใช้งานจริงทั่วทั้งองค์กร ตั้งแต่การนำโมเดลไปใช้งานจริง การประเมินและอัปเดตแอปพลิเคชันที่ได้ผลลัพธ์ตามชุดกฎการกำกับดูแล ซึ่งรวมถึงตัวชี้วัดประสิทธิภาพหลัก (KPI) ทั้งทางเทคนิคและทางธุรกิจ มันช่วยให้ผู้เชี่ยวชาญด้านธุรกิจสามารถประเมินโมเดล AI ที่ใช้งานจริงได้ โดยไม่ขึ้นอยู่กับ นัก วิทยาศาสตร์ข้อมูล^{[ 3 ]}

บทความของ Forbesส่งเสริม ModelOps: "เมื่อองค์กรต่างๆ ขยายขอบเขตโครงการ AI ของตนให้กลายเป็นองค์กร AI ระดับองค์กรอย่างแท้จริง การมีขีดความสามารถในการวิเคราะห์เชิงปฏิบัติการอย่างเต็มรูปแบบจะทำให้ ModelOps เป็นศูนย์กลาง โดยเชื่อมโยงทั้งDataOpsและDevOps เข้าด้วยกัน " ^{[ 4 ]}

จากการสำรวจของ Gartner ในปี 2018 ผู้ตอบแบบสอบถาม 37% รายงานว่าได้นำ AI มาใช้ในรูปแบบใดรูปแบบหนึ่ง อย่างไรก็ตาม Gartner ชี้ให้เห็นว่าองค์กรต่างๆ ยังห่างไกลจากการนำ AI มาใช้ โดยอ้างถึงความท้าทายในการใช้งาน^{[ 5 ]}องค์กรต่างๆ กำลังสะสมโมเดลที่ไม่ได้ใช้งาน ไม่ได้ใช้ประโยชน์ และไม่ได้อัปเดต และการใช้งานแบบแมนนวลมักทำในระดับหน่วยธุรกิจ ซึ่งเพิ่มความเสี่ยงให้กับองค์กรทั้งหมด^{[ 6 ]}บริษัทวิเคราะห์อิสระ Forrester ก็ได้กล่าวถึงหัวข้อนี้ในรายงานปี 2018 เกี่ยวกับผู้จำหน่ายการเรียนรู้ของเครื่องและการวิเคราะห์เชิงพยากรณ์ว่า “นักวิทยาศาสตร์ข้อมูลมักบ่นว่าโมเดลของพวกเขาถูกใช้งานเพียงบางครั้งหรือไม่เคยถูกใช้งานเลย ปัญหาใหญ่ส่วนหนึ่งคือความวุ่นวายในองค์กรในการทำความเข้าใจวิธีการนำโมเดลไปใช้และออกแบบในแอปพลิเคชัน แต่ปัญหาใหญ่อีกส่วนหนึ่งคือเทคโนโลยี โมเดลไม่เหมือนกับโค้ดซอฟต์แวร์เพราะจำเป็นต้องมีการจัดการโมเดล” ^{[ 7 ]}

ในเดือนธันวาคม 2018 Waldemar Hummer และ Vinod Muthusamy จากIBM Research AI ได้เสนอ ModelOps เป็น " แบบจำลองการเขียนโปรแกรมสำหรับเวิร์กโฟลว์ AI ที่นำกลับมาใช้ใหม่ได้ ไม่ขึ้นกับแพลตฟอร์ม และประกอบได้" ในงาน IBM Programming Languages ​​Day ^{[ 8 ]}ในการนำเสนอ พวกเขาได้กล่าวถึงความแตกต่างระหว่างวงจรชีวิตการพัฒนาแอปพลิเคชัน ซึ่งแสดงโดยDevOpsและวงจรชีวิตแอปพลิเคชัน AI ^{[ 9 ]}

เป้าหมายของการพัฒนา ModelOps คือการแก้ไขช่องว่างระหว่างการใช้งานโมเดลและการกำกับดูแลโมเดล เพื่อให้มั่นใจว่าโมเดลทั้งหมดทำงานในสภาพแวดล้อมการผลิตด้วยการกำกับดูแลที่เข้มแข็ง สอดคล้องกับ KPI ทางเทคนิคและธุรกิจ ในขณะเดียวกันก็บริหารจัดการความเสี่ยง ในการนำเสนอ Hummer และ Muthusamy ได้อธิบายถึงโซลูชันเชิงโปรแกรมสำหรับการใช้งานแบบแบ่งขั้นตอนที่คำนึงถึง AI และส่วนประกอบที่นำกลับมาใช้ใหม่ได้ ซึ่งจะช่วยให้เวอร์ชันของโมเดลตรงกับแอปพลิเคชันทางธุรกิจ และจะรวมถึงแนวคิดโมเดล AI เช่น การตรวจสอบโมเดล การตรวจจับการเปลี่ยนแปลง และการเรียนรู้เชิงรุก โซลูชันนี้ยังจะแก้ไขความขัดแย้งระหว่างประสิทธิภาพของโมเดลและ KPI ทางธุรกิจ บันทึกแอปพลิเคชันและโมเดล และพร็อกซีโมเดลและนโยบายที่เปลี่ยนแปลงไป แพลตฟอร์มคลาวด์ต่างๆ เป็นส่วนหนึ่งของข้อเสนอ ในเดือนมิถุนายน 2019 Hummer, Muthusamy, Thomas Rausch, Parijat Dube และ Kaoutar El Maghraoui ได้นำเสนอเอกสารในงานประชุม IEEE International Conference on Cloud Engineering (IC2E) ประจำปี 2019 ^{[ 10 ]}เอกสารฉบับนี้ได้ขยายความจากการนำเสนอในปี 2018 โดยเสนอ ModelOps เป็นกรอบงานและแพลตฟอร์มบนคลาวด์สำหรับการพัฒนาแบบครบวงจรและการจัดการวงจรชีวิตของแอปพลิเคชันปัญญาประดิษฐ์ (AI) ในบทคัดย่อ พวกเขาระบุว่ากรอบงานนี้จะแสดงให้เห็นว่าสามารถขยายหลักการของการจัดการวงจรชีวิตซอฟต์แวร์เพื่อเปิดใช้งานระบบอัตโนมัติ ความไว้วางใจ ความน่าเชื่อถือ การตรวจสอบย้อนกลับ การควบคุมคุณภาพ และความสามารถในการทำซ้ำของไปป์ไลน์โมเดล AI ได้อย่างไร^{[ 11 ]}ในเดือนมีนาคม 2020 ModelOp, Inc. ได้เผยแพร่คู่มือฉบับสมบูรณ์ฉบับแรกเกี่ยวกับระเบียบวิธี ModelOps วัตถุประสงค์ของการเผยแพร่นี้คือเพื่อให้ภาพรวมของความสามารถของ ModelOps ตลอดจนข้อกำหนดทางเทคนิคและองค์กรสำหรับการนำแนวทางปฏิบัติของ ModelOps ไปใช้^{[ 12 ]}

ตัวอย่างการใช้งานทั่วไปของ ModelOps คือในภาคบริการทางการเงิน ซึ่ง มีการใช้แบบจำลอง อนุกรมเวลา หลายร้อย แบบเพื่อมุ่งเน้นกฎเกณฑ์ที่เข้มงวดสำหรับความลำเอียงและการตรวจสอบ ในกรณีเหล่านี้ ความเป็นธรรมและความแข็งแกร่งของแบบจำลองมีความสำคัญอย่างยิ่ง หมายความว่าแบบจำลองต้องมีความเป็นธรรมและแม่นยำ และต้องทำงานได้อย่างน่าเชื่อถือ ModelOps จะทำการทำงานอัตโนมัติของวงจรชีวิตของแบบจำลองในระบบการผลิต การทำงานอัตโนมัติดังกล่าวรวมถึงการออกแบบวงจรชีวิตของแบบจำลอง ซึ่งรวมถึง KPI และเกณฑ์ทางเทคนิค ธุรกิจ และการปฏิบัติตามกฎระเบียบ เพื่อควบคุมและตรวจสอบแบบจำลองขณะทำงาน ตรวจสอบแบบจำลองเพื่อหาความลำเอียงและความผิดปกติทางเทคนิคและธุรกิจอื่นๆ และอัปเดตแบบจำลองตามความจำเป็นโดยไม่รบกวนแอปพลิเคชัน ModelOps เปรียบเสมือนผู้ควบคุมการเดินรถที่ทำให้รถไฟทุกขบวนวิ่งตรงเวลาและอยู่ในเส้นทางที่ถูกต้อง เพื่อให้มั่นใจได้ถึงการควบคุมความเสี่ยง การปฏิบัติตามกฎระเบียบ และประสิทธิภาพทางธุรกิจ

อีกกรณีการใช้งานหนึ่งคือการตรวจสอบระดับน้ำตาลในเลือดของผู้ป่วยเบาหวานโดยอิงจากข้อมูลแบบเรียลไทม์ของผู้ป่วย โมเดลที่สามารถทำนายภาวะน้ำตาลในเลือดต่ำจะต้องได้รับการปรับปรุงอย่างต่อเนื่องด้วยข้อมูลปัจจุบัน ตัวชี้วัดประสิทธิภาพทางธุรกิจ (KPI) และความผิดปกติจะต้องได้รับการตรวจสอบอย่างต่อเนื่องและต้องพร้อมใช้งานในสภาพแวดล้อมแบบกระจายศูนย์ เพื่อให้ข้อมูลพร้อมใช้งานบนอุปกรณ์เคลื่อนที่ รวมถึงการรายงานไปยังระบบขนาดใหญ่ การจัดการ การกำกับดูแล การฝึกอบรมใหม่ การตรวจสอบ และการปรับปรุงข้อมูลจะดำเนินการด้วย ModelOps

กระบวนการ ModelOps มุ่งเน้นไปที่การทำให้การกำกับดูแล การจัดการ และการตรวจสอบโมเดลในระบบการผลิตทั่วทั้งองค์กรเป็นไปโดยอัตโนมัติ ช่วยให้นักพัฒนา AI และแอปพลิเคชันสามารถเชื่อมต่อความสามารถด้านวงจรชีวิต (เช่น การตรวจจับอคติ ความแข็งแกร่งและความน่าเชื่อถือ การตรวจจับการเปลี่ยนแปลง ตัวชี้วัดประสิทธิภาพทางเทคนิค ธุรกิจ และการปฏิบัติตามกฎระเบียบ ข้อจำกัดด้านกฎระเบียบ และขั้นตอนการอนุมัติ) ได้อย่างง่ายดาย เพื่อนำโมเดล AI ไปใช้งานจริงในฐานะแอปพลิเคชันทางธุรกิจ กระบวนการเริ่มต้นด้วยการนำเสนอโมเดลที่เหมาะสมสำหรับการใช้งานจริงในรูปแบบมาตรฐาน ซึ่งรวมถึงเมตาโมเดล (ข้อกำหนดของโมเดล) ที่มีส่วนประกอบและชิ้นส่วนที่เกี่ยวข้องทั้งหมดที่ใช้ในการสร้างโมเดล เช่น ข้อมูล สภาพแวดล้อมฮาร์ดแวร์และซอฟต์แวร์ ตัวจำแนกประเภท และปลั๊กอินโค้ด และที่สำคัญที่สุดคือ ตัวชี้วัดประสิทธิภาพทางธุรกิจและการปฏิบัติตามกฎระเบียบ/ความเสี่ยง

MLOps (machine learning operations) เป็นสาขาวิชาที่ช่วยให้นักวิทยาศาสตร์ข้อมูลและผู้เชี่ยวชาญด้านไอทีสามารถทำงานร่วมกันและสื่อสารกันได้ในขณะที่ทำการสร้างอัลกอริธึมการเรียนรู้ของเครื่องโดยอัตโนมัติ โดยขยายและพัฒนาหลักการของDevOpsเพื่อสนับสนุนการสร้างระบบอัตโนมัติในการพัฒนาและปรับใช้โมเดลและแอปพลิเคชันการเรียนรู้ของเครื่อง^{[ 13 ]}ในทางปฏิบัติ MLOps เกี่ยวข้องกับโมเดลการเรียนรู้ของเครื่อง (ML) ทั่วไป อย่างไรก็ตาม ความหลากหลายและการใช้งานของโมเดลได้เปลี่ยนไป โดยรวมถึงโมเดลการเพิ่มประสิทธิภาพการตัดสินใจ โมเดล การเพิ่มประสิทธิภาพและโมเดลการเปลี่ยนแปลงที่เพิ่มเข้าไปในแอปพลิเคชัน ModelOps เป็นวิวัฒนาการของ MLOps ที่ขยายหลักการให้ครอบคลุมไม่เพียงแค่การปรับใช้โมเดลการเรียนรู้ของเครื่องตามปกติเท่านั้น แต่ยังรวมถึงการฝึกอบรมใหม่อย่างต่อเนื่อง การอัปเดตอัตโนมัติ และการพัฒนาและการปรับใช้โมเดลการเรียนรู้ของเครื่องที่ซับซ้อนมากขึ้นแบบซิง โครไนซ์ ^{[ 14 ]} ModelOps หมายถึงการนำโมเดล AI ทั้งหมดมาใช้งานจริง รวมถึงโมเดลการเรียนรู้ของเครื่องที่ MLOps เกี่ยวข้องด้วย^{[ 15 ]}