การตรวจสอบและรับรองความถูกต้องของแบบจำลองการจำลองด้วยคอมพิวเตอร์จะดำเนินการในระหว่างการพัฒนา แบบจำลอง การจำลองโดยมีเป้าหมายสูงสุดคือการสร้างแบบจำลองที่ถูกต้องและน่าเชื่อถือ^{[ 1 ] [ 2 ]} “แบบจำลองการจำลองถูกนำมาใช้มากขึ้นเรื่อยๆ เพื่อแก้ปัญหาและช่วยในการตัดสินใจ ผู้พัฒนาและผู้ใช้แบบจำลองเหล่านี้ ผู้ตัดสินใจที่ใช้ข้อมูลที่ได้รับจากผลลัพธ์ของแบบจำลองเหล่านี้ และบุคคลที่ได้รับผลกระทบจากการตัดสินใจโดยอิงจากแบบจำลองดังกล่าว ต่างก็มีความกังวลอย่างถูกต้องว่าแบบจำลองและผลลัพธ์ของแบบจำลองนั้น “ถูกต้อง” หรือไม่^{[ 3 ]}ความกังวลนี้ได้รับการแก้ไขผ่านการตรวจสอบและรับรองความถูกต้องของแบบจำลองการจำลอง

แบบจำลองการจำลองเป็นการเลียนแบบระบบในโลกแห่งความเป็นจริงโดยประมาณ และไม่สามารถเลียนแบบระบบในโลกแห่งความเป็นจริงได้อย่างแม่นยำ ดังนั้นจึงควรตรวจสอบและรับรองแบบจำลองในระดับที่จำเป็นสำหรับวัตถุประสงค์หรือการใช้งานของแบบจำลอง^{[ 3 ]}

การตรวจสอบและรับรองความถูกต้องของแบบจำลองการจำลองจะเริ่มต้นหลังจากที่ได้จัดทำเอกสารข้อกำหนดการทำงานและพัฒนาแบบจำลองเบื้องต้นเสร็จสมบูรณ์แล้ว^{[ 4 ]}การตรวจสอบและรับรองความถูกต้องเป็นกระบวนการแบบวนซ้ำที่เกิดขึ้นตลอดการพัฒนาแบบจำลอง^{[ 1 ] [ 4 ]}

ในบริบทของการจำลองด้วยคอมพิวเตอร์การตรวจสอบแบบจำลองคือกระบวนการยืนยันว่าแบบจำลองนั้นได้รับการนำไปใช้อย่างถูกต้องตามแบบจำลองเชิงแนวคิด (ตรงกับข้อกำหนดและสมมติฐานที่ถือว่ายอมรับได้สำหรับวัตถุประสงค์การใช้งานที่กำหนด) ^{[ 1 ] [ 4 ]} ในระหว่างการตรวจสอบ แบบจำลองจะถูกทดสอบเพื่อค้นหาและแก้ไขข้อผิดพลาดในการนำแบบจำลองไปใช้^{[ 4 ]} มีการใช้กระบวนการและเทคนิคต่างๆ เพื่อให้แน่ใจว่าแบบจำลองตรงกับข้อกำหนดและสมมติฐานตามแนวคิดของแบบจำลอง วัตถุประสงค์ของการตรวจสอบแบบจำลองคือเพื่อให้แน่ใจว่าการนำแบบจำลองไปใช้นั้นถูกต้อง

มีเทคนิคมากมายที่สามารถนำมาใช้ในการตรวจสอบแบบจำลอง ซึ่งรวมถึงแต่ไม่จำกัดเพียง การให้ผู้เชี่ยวชาญตรวจสอบแบบจำลอง การสร้างแผนภาพการไหลของตรรกะที่รวมถึงการกระทำที่เป็นไปได้ทางตรรกะแต่ละอย่าง การตรวจสอบผลลัพธ์ของแบบจำลองเพื่อความสมเหตุสมผลภายใต้การตั้งค่าพารามิเตอร์อินพุตที่หลากหลาย และการใช้ดีบักเกอร์แบบโต้ตอบ^{[ 1 ]} เทคนิคทางวิศวกรรมซอฟต์แวร์หลายอย่างที่ใช้ในการตรวจสอบซอฟต์แวร์ สามารถ นำไปใช้กับการตรวจสอบแบบจำลองการจำลองได้^{[ 1 ]}

การตรวจสอบความถูกต้องจะตรวจสอบความแม่นยำของการแสดงแบบจำลองของระบบจริง การตรวจสอบความถูกต้องของแบบจำลองถูกกำหนดให้หมายถึง "การพิสูจน์ว่าแบบจำลองคอมพิวเตอร์ภายในขอบเขตการใช้งานมีความแม่นยำที่น่าพอใจสอดคล้องกับการใช้งานแบบจำลองที่ตั้งใจไว้" ^{[ 3 ]}แบบจำลองควรถูกสร้างขึ้นเพื่อวัตถุประสงค์เฉพาะหรือชุดของวัตถุประสงค์ และความถูกต้องของแบบจำลองควรถูกกำหนดเพื่อวัตถุประสงค์นั้น^{[ 3 ]}

มีหลายแนวทางที่สามารถใช้ในการตรวจสอบความถูกต้องของแบบจำลองคอมพิวเตอร์ แนวทางเหล่านี้มีตั้งแต่การทบทวนเชิงอัตวิสัยไปจนถึงการทดสอบทางสถิติเชิงวัตถุประสงค์ แนวทางหนึ่งที่ใช้กันทั่วไปคือการให้ผู้สร้างแบบจำลองกำหนดความถูกต้องของแบบจำลองผ่านการทดสอบหลายชุด^{[ 3 ]}

Naylor และ Finger [1967] ได้กำหนดแนวทางสามขั้นตอนในการตรวจสอบความถูกต้องของแบบจำลองซึ่งได้รับการปฏิบัติตามอย่างกว้างขวาง: ^{[ 1 ]}

ขั้นตอนที่ 1. สร้างแบบจำลองที่มีความน่าเชื่อถือสูง (face validity )

ขั้นตอนที่ 2. ตรวจสอบความถูกต้องของสมมติฐานของแบบจำลอง

ขั้นตอนที่ 3 เปรียบเทียบการแปลงอินพุต-เอาต์พุตของแบบจำลองกับการแปลงอินพุต-เอาต์พุตที่สอดคล้องกันสำหรับระบบจริง^{[ 5 ]}

แบบจำลองที่มีความถูกต้องตามลักษณะที่ปรากฏนั้นดูเหมือนจะเป็นการจำลองระบบในโลกแห่งความเป็นจริงที่สมเหตุสมผลสำหรับผู้ที่มีความรู้เกี่ยวกับระบบในโลกแห่งความเป็นจริง^{[ 4 ]}ความถูกต้องตามลักษณะที่ปรากฏนั้นได้รับการทดสอบโดยให้ผู้ใช้และผู้ที่มีความรู้เกี่ยวกับระบบตรวจสอบผลลัพธ์ของแบบจำลองเพื่อความสมเหตุสมผล และในกระบวนการนั้นก็ระบุข้อบกพร่อง^{[ 1 ]}ข้อดีเพิ่มเติมของการให้ผู้ใช้มีส่วนร่วมในการตรวจสอบความถูกต้องคือ ความน่าเชื่อถือของแบบจำลองต่อผู้ใช้และความมั่นใจของผู้ใช้ในแบบจำลองจะเพิ่มขึ้น^{[ 1 ] [ 4 ]}ความไวต่อข้อมูลป้อนเข้าของแบบจำลองยังสามารถใช้ในการตัดสินความถูกต้องตามลักษณะที่ปรากฏได้^{[ 1 ]}ตัวอย่างเช่น หากการจำลองร้านอาหารฟาสต์ฟู้ดแบบขับรถผ่านถูกดำเนินการสองครั้งด้วยอัตราการมาถึงของลูกค้า 20 คนต่อชั่วโมงและ 40 คนต่อชั่วโมง ผลลัพธ์ของแบบจำลอง เช่น เวลาการรอเฉลี่ยหรือจำนวนลูกค้าที่รอสูงสุด คาดว่าจะเพิ่มขึ้นตามอัตราการมาถึง

โดยทั่วไปแล้ว ข้อสมมติเกี่ยวกับแบบจำลองจะแบ่งออกเป็นสองประเภท ได้แก่ ข้อสมมติเชิงโครงสร้างเกี่ยวกับวิธีการทำงานของระบบ และข้อสมมติเกี่ยวกับข้อมูล นอกจากนี้ เรายังสามารถพิจารณาข้อสมมติเพื่อลดความซับซ้อน ซึ่งเป็นข้อสมมติที่เราใช้เพื่อลดความซับซ้อนของความเป็นจริง^{[ 6 ]}

ข้อสมมติฐานเกี่ยวกับการทำงานของระบบและการจัดวางทางกายภาพถือเป็นข้อสมมติฐานเชิงโครงสร้าง ตัวอย่างเช่น จำนวนพนักงานเสิร์ฟในช่องทางขับรถผ่านของร้านอาหารฟาสต์ฟู้ด และหากมีมากกว่าหนึ่งคน พนักงานเหล่านั้นถูกใช้งานอย่างไร พนักงานเสิร์ฟทำงานแบบขนานกันหรือไม่ โดยที่ลูกค้าทำธุรกรรมเสร็จสิ้นโดยการไปที่พนักงานเสิร์ฟเพียงคนเดียว หรือพนักงานเสิร์ฟคนหนึ่งรับออเดอร์และจัดการการชำระเงินในขณะที่อีกคนหนึ่งเตรียมและเสิร์ฟอาหาร ปัญหาเชิงโครงสร้างหลายอย่างในแบบจำลองเกิดจากข้อสมมติฐานที่ไม่ดีหรือไม่ถูกต้อง^{[ 4 ]} หากเป็นไปได้ ควรสังเกตการทำงานของระบบจริงอย่างใกล้ชิดเพื่อทำความเข้าใจวิธีการทำงาน^{[ 4 ]} โครงสร้างและการทำงานของระบบควรได้รับการตรวจสอบกับผู้ใช้ระบบจริงด้วย^{[ 1 ]}

จะต้องมีข้อมูลที่เหมาะสมเพียงพอสำหรับการสร้างแบบจำลองเชิงแนวคิดและตรวจสอบความถูกต้องของแบบจำลอง การขาดข้อมูลที่เหมาะสมมักเป็นสาเหตุที่ทำให้ความพยายามในการตรวจสอบความถูกต้องของแบบจำลองล้มเหลว^{[ 3 ]} ควรตรวจสอบว่าข้อมูลมาจากแหล่งที่เชื่อถือได้ ข้อผิดพลาดทั่วไปคือการสมมติการกระจายทางสถิติที่ไม่เหมาะสมสำหรับข้อมูล^{[ 1 ]}ควรทดสอบแบบจำลองทางสถิติ ที่สมมติขึ้น โดยใช้การทดสอบ ความเหมาะสมและเทคนิคอื่นๆ^{[ 1 ] [ 3 ]}ตัวอย่างของการทดสอบความเหมาะสม ได้แก่การทดสอบ Kolmogorov–Smirnovและการทดสอบไคสแควร์ควรตรวจสอบค่าผิดปกติใดๆ ในข้อมูล^{[ 3 ]}

สมมติฐานเหล่านั้นที่เราทราบว่าไม่เป็นความจริง แต่จำเป็นต้องใช้เพื่อทำให้ปัญหาที่เราต้องการแก้ไขง่ายขึ้น^{[ 6 ]}การใช้สมมติฐานเหล่านี้จะต้องถูกจำกัดเพื่อให้แน่ใจว่าแบบจำลองถูกต้องเพียงพอที่จะใช้เป็นคำตอบสำหรับปัญหาที่เราต้องการแก้ไข

แบบจำลองนี้ถือเป็นการแปลงอินพุต-เอาต์พุตสำหรับการทดสอบเหล่านี้ การทดสอบการตรวจสอบความถูกต้องประกอบด้วยการเปรียบเทียบเอาต์พุตจากระบบที่กำลังพิจารณากับเอาต์พุตของแบบจำลองสำหรับชุดเงื่อนไขอินพุตเดียวกัน ข้อมูลที่บันทึกไว้ในขณะที่สังเกตระบบจะต้องมีอยู่เพื่อทำการทดสอบนี้^{[ 3 ]}เอาต์พุตของแบบจำลองที่น่าสนใจหลักควรใช้เป็นตัววัดประสิทธิภาพ^{[ 1 ]}ตัวอย่างเช่น หากระบบที่กำลังพิจารณาคือร้านอาหารฟาสต์ฟู้ดแบบไดรฟ์ทรู โดยที่อินพุตของแบบจำลองคือเวลาที่ลูกค้ามาถึง และตัววัดประสิทธิภาพเอาต์พุตคือเวลาเฉลี่ยที่ลูกค้ารอคิว เวลาที่มาถึงจริงและเวลาที่ใช้ในการรอคิวของลูกค้าที่ไดรฟ์ทรูจะถูกบันทึกไว้ แบบจำลองจะถูกเรียกใช้ด้วยเวลาที่มาถึงจริง และเวลาเฉลี่ยในการรอคิวของแบบจำลองจะถูกเปรียบเทียบกับเวลาเฉลี่ยที่ใช้ในการรอคิวจริงโดยใช้การทดสอบอย่างน้อยหนึ่งรายการ

การทดสอบสมมติฐานทางสถิติโดยใช้การทดสอบ tสามารถใช้เป็นพื้นฐานในการยอมรับว่าแบบจำลองนั้นถูกต้องหรือปฏิเสธว่าไม่ถูกต้องได้

สมมติฐานที่จะทดสอบคือ

H ₀การวัดประสิทธิภาพของแบบจำลอง = การวัดประสิทธิภาพของระบบ

เทียบกับ

H ₁การวัดประสิทธิภาพของแบบจำลอง ≠ การวัดประสิทธิภาพของระบบ

การทดสอบนี้ดำเนินการสำหรับขนาดตัวอย่างและระดับนัยสำคัญหรือ α ที่กำหนด ในการทำการทดสอบจะทำการจำลองแบบจำลอง จำนวน n ครั้งที่เป็นอิสระทางสถิติ และหาค่าเฉลี่ยหรือค่าที่คาดหวัง E(Y) สำหรับตัวแปรที่สนใจ จาก นั้น จึง คำนวณค่าสถิติการทดสอบ t₀ สำหรับ α, n , E(Y ₎และค่าที่สังเกตได้ของระบบ μ₀ ^{ที่ กำหนด}

${\displaystyle t_{0}={(E(Y)-u_{0})}/{(S/{\sqrt {n}})}}$และค่าวิกฤตสำหรับ α และ n-1 ซึ่งเป็นระดับความเป็นอิสระ

${\displaystyle t_{a/2,n-1}}$มีการคำนวณแล้ว

ถ้า

${\displaystyle \left\vert t_{0}\right\vert >t_{a/2,n-1}}$

ปฏิเสธ H ₀แสดงว่าแบบจำลองต้องได้รับการปรับปรุง

การทดสอบสมมติฐานอาจทำให้เกิดข้อผิดพลาดได้ 2 ประเภท คือ การปฏิเสธแบบจำลองที่ถูกต้อง เรียกว่า ข้อผิดพลาดประเภทที่ 1 หรือ "ความเสี่ยงของผู้สร้างแบบจำลอง" และการยอมรับแบบจำลองที่ไม่ถูกต้อง เรียกว่า ข้อผิดพลาดประเภทที่ 2 หรือ β หรือ "ความเสี่ยงของผู้ใช้แบบจำลอง" ^{[ 3 ]}ระดับนัยสำคัญหรือ α เท่ากับความน่าจะเป็นของข้อผิดพลาดประเภทที่ 1 ^{[ 3 ]}ถ้า α มีค่าน้อย การปฏิเสธสมมติฐานว่างถือเป็นข้อสรุปที่แข็งแกร่ง^{[ 1 ]}ตัวอย่างเช่น ถ้า α = 0.05 และสมมติฐานว่างถูกปฏิเสธ จะมีความน่าจะเป็นเพียง 0.05 ในการปฏิเสธแบบจำลองที่ถูกต้อง การลดความน่าจะเป็นของข้อผิดพลาดประเภทที่ 2 เป็นสิ่งสำคัญมาก^{[ 1 ] [ 3 ]}ความน่าจะเป็นของการตรวจพบแบบจำลองที่ไม่ถูกต้องอย่างถูกต้องคือ 1 - β ความน่าจะเป็นของข้อผิดพลาดประเภทที่ 2 ขึ้นอยู่กับขนาดของตัวอย่างและความแตกต่างที่แท้จริงระหว่างค่าตัวอย่างและค่าที่สังเกตได้ การเพิ่มขนาดของตัวอย่างจะช่วยลดความเสี่ยงของข้อผิดพลาดประเภทที่ 2

เทคนิคทางสถิติที่ระบุปริมาณความแม่นยำของแบบจำลองเป็นช่วงได้รับการพัฒนาขึ้นเมื่อเร็ว ๆ นี้ เทคนิคนี้ใช้การทดสอบสมมติฐานเพื่อยอมรับแบบจำลองหากความแตกต่างระหว่างตัวแปรที่สนใจของแบบจำลองและตัวแปรที่สนใจของระบบอยู่ในช่วงความแม่นยำที่กำหนด^{[ 7 ]}ข้อกำหนดคือทั้งข้อมูลระบบและข้อมูลแบบจำลองต้องเป็นอิสระและกระจายตัวเหมือนกันโดยประมาณ( NIID)สถิติt-testถูกใช้ในเทคนิคนี้ หากค่าเฉลี่ยของแบบจำลองคือ μm ^และค่าเฉลี่ยของระบบคือ^μsความแตกต่างระหว่างแบบจำลองและระบบคือ D = μm ^- μs ^{สมมติฐาน}ที่จะทดสอบคือ D อยู่ในช่วงความแม่นยำที่ยอมรับได้หรือไม่ ให้ L = ขีดจำกัดล่างสำหรับความแม่นยำและ U = ขีดจำกัดบนสำหรับความแม่นยำ จากนั้น

H ₀ L ≤ D ≤ U

เทียบกับ

H ₁ D < L หรือ D > U

จะต้องได้รับการทดสอบ

เส้นโค้งลักษณะการทำงาน (OC) คือความน่าจะเป็นที่สมมติฐานว่างจะได้รับการยอมรับเมื่อเป็นจริง เส้นโค้ง OC แสดงลักษณะความน่าจะเป็นของข้อผิดพลาดประเภทที่ 1 และ 2 เส้นโค้งความเสี่ยงสำหรับความเสี่ยงของผู้สร้างแบบจำลองและความเสี่ยงของผู้ใช้แบบจำลองสามารถพัฒนาได้จากเส้นโค้ง OC การเปรียบเทียบเส้นโค้งที่มีขนาดตัวอย่างคงที่ทำให้เห็นการแลกเปลี่ยนระหว่างความเสี่ยงของผู้สร้างแบบจำลองและความเสี่ยงของผู้ใช้แบบจำลองได้ง่ายในเส้นโค้งความเสี่ยง^{[ 7 ]}หากระบุความเสี่ยงของผู้สร้างแบบจำลอง ความเสี่ยงของผู้ใช้แบบจำลอง และขีดจำกัดบนและล่างสำหรับช่วงความแม่นยำแล้ว ก็สามารถคำนวณขนาดตัวอย่างที่ต้องการได้^{[ 7 ]}

ช่วงความเชื่อมั่นสามารถใช้ประเมินว่าแบบจำลอง "ใกล้เคียงพอ" ^{[ 1 ]}กับระบบสำหรับตัวแปรที่สนใจหรือไม่ ความแตกต่างระหว่างค่าแบบจำลองที่ทราบ μ ₀และค่าระบบ μ จะถูกตรวจสอบเพื่อดูว่าน้อยกว่าค่าที่เล็กพอที่แบบจำลองจะถูกต้องเมื่อเทียบกับตัวแปรที่สนใจหรือไม่ ค่านี้แสดงด้วยสัญลักษณ์ ε ในการทดสอบจะทำการจำลองแบบจำลองที่เป็นอิสระทางสถิติ จำนวน n ครั้ง และหาค่าเฉลี่ยหรือค่าที่คาดหวัง E(Y) หรือ μ สำหรับตัวแปรผลลัพธ์การจำลอง Y ที่สนใจ โดยมีค่า เบี่ยงเบนมาตรฐานSระดับความเชื่อมั่นจะถูกเลือก 100(1-α) ช่วง [a,b] จะถูกสร้างขึ้นโดย

${\displaystyle a=E(Y)-t_{a/2,n-1}S/{\sqrt {n}}\qquad and\qquad b=E(Y)+t_{a/2,n-1}S/{\sqrt {n}}}$,

ที่ไหน

${\displaystyle t_{a/2,n-1}}$

คือค่าวิกฤตจากค่า t-distribution สำหรับระดับนัยสำคัญที่กำหนดและองศาอิสระ n-1

ถ้า |a-μ ₀ | > ε และ |b-μ ₀ | > ε แสดงว่าแบบจำลองจำเป็นต้องได้รับการปรับเทียบ เนื่องจากในทั้งสองกรณี ความแตกต่างมีมากกว่าค่าที่ยอมรับได้

ถ้า |a-μ ₀ | < ε และ |b-μ ₀ | < ε แล้วแบบจำลองนั้นเป็นที่ยอมรับได้ เนื่องจากในทั้งสองกรณีค่าความคลาดเคลื่อนนั้นใกล้เคียงกันมากพอ

ถ้า |a-μ ₀ | < ε และ |b-μ ₀ | > ε หรือในทางกลับกันจะต้องทำการรันแบบจำลองเพิ่มเติมเพื่อลดช่วงความเชื่อมั่นลง

หากไม่สามารถปฏิบัติตามข้อสมมติทางสถิติได้ หรือมีข้อมูลไม่เพียงพอสำหรับระบบ สามารถใช้การเปรียบเทียบกราฟิกของผลลัพธ์ของแบบจำลองกับผลลัพธ์ของระบบเพื่อตัดสินใจตามความรู้สึกส่วนตัวได้ อย่างไรก็ตาม การทดสอบเชิงวัตถุประสงค์อื่นๆ เป็นที่พึงปรารถนามากกว่า^{[ 3 ]}

เอกสารและมาตรฐานที่เกี่ยวข้องกับการตรวจสอบและรับรองความถูกต้องของการสร้างแบบจำลองและการจำลองด้วย คอมพิวเตอร์ ได้รับการพัฒนาโดยคณะกรรมการตรวจสอบและรับรองความถูกต้อง (V&V) ของสมาคมวิศวกรเครื่องกลแห่งอเมริกา (ASME) ASME V&V 10 ให้คำแนะนำในการประเมินและเพิ่มความน่าเชื่อถือของแบบจำลอง กลศาสตร์ของแข็ง เชิง คำนวณผ่านกระบวนการตรวจสอบ รับรองความถูกต้อง และการหาปริมาณความไม่แน่นอน^{[ 8 ]} ASME V&V 10.1 ให้ตัวอย่างโดยละเอียดเพื่อแสดงให้เห็นถึงแนวคิดที่อธิบายไว้ใน ASME V&V 10 ^{[ 9 ]} ASME V&V 20 ให้วิธีการโดยละเอียดสำหรับการตรวจสอบความถูกต้องของการจำลองด้วยคอมพิวเตอร์ที่ใช้กับพลศาสตร์ของไหลและการถ่ายเทความร้อน^{[ 10 ]} ASME V&V 40 ให้กรอบการทำงานสำหรับการสร้างข้อกำหนดความน่าเชื่อถือของแบบจำลองสำหรับการสร้างแบบจำลองด้วยคอมพิวเตอร์ และนำเสนอตัวอย่างเฉพาะในอุตสาหกรรมอุปกรณ์ทางการแพทย์^{[ 11 ]}

• การตรวจสอบและการรับรอง
• การตรวจสอบและรับรองซอฟต์แวร์