ในคณิตศาสตร์สถิติและการสร้างแบบจำลองเชิงคำนวณแบบจำลองกล่องสีเทา^{[ 1 ] [ 2 ] [ 3 ] [ 4 ]} ผสมผสานโครงสร้างทางทฤษฎีบางส่วนเข้ากับข้อมูลเพื่อสร้างแบบจำลอง ให้สมบูรณ์ โครงสร้างทางทฤษฎีอาจแตกต่างกันไป ตั้งแต่ข้อมูลเกี่ยวกับความเรียบของผลลัพธ์ ไปจนถึงแบบจำลองที่ต้องการเพียงค่าพารามิเตอร์จากข้อมูลหรือเอกสารที่มีอยู่^{[ 5 ]}ดังนั้น แบบจำลองเกือบทั้งหมดจึงเป็นแบบจำลองกล่องสีเทา ตรงข้ามกับแบบจำลองกล่องสีดำที่ไม่มีการกำหนดรูปแบบแบบจำลอง หรือ แบบจำลอง กล่องสีขาวที่เป็นเพียงทฤษฎีเท่านั้น แบบจำลองบางแบบกำหนดรูปแบบพิเศษ เช่นการถดถอยเชิงเส้น^{[ 6 ] [ 7 ]}หรือโครงข่ายประสาทเทียม [ ^{8 ] [ 9 ] ซึ่ง}มีวิธีการวิเคราะห์พิเศษ โดยเฉพาะอย่างยิ่งเทคนิคการถดถอยเชิงเส้น^{[ 10 ]}มีประสิทธิภาพมากกว่าเทคนิคที่ไม่ใช่เชิงเส้นส่วนใหญ่^{[ 11 ] [ 12 ]}แบบจำลองอาจเป็นแบบกำหนดหรือแบบสุ่ม (เช่น มีส่วนประกอบแบบสุ่ม) ขึ้นอยู่กับการใช้งานที่วางแผนไว้

กรณีทั่วไปคือแบบจำลองที่ไม่เป็นเชิงเส้นที่มีโครงสร้างทางทฤษฎีบางส่วนและส่วนที่ไม่ทราบค่าบางส่วนที่ได้มาจากข้อมูล แบบจำลองที่มีโครงสร้างทางทฤษฎีที่แตกต่างกันจำเป็นต้องได้รับการประเมินทีละแบบ^{[ 1 ] [ 13 ] [ 14 ]}อาจใช้ การ จำลองการอบอ่อนหรืออัลกอริธึมทางพันธุกรรม

ภายในโครงสร้างแบบจำลองเฉพาะอาจจำเป็นต้องค้นหาพารามิเตอร์^{[ 14 ] [ 15 ]}หรือความสัมพันธ์ของพารามิเตอร์ตัวแปร^{[ 5 ] [ 16 ]} สำหรับโครงสร้างเฉพาะนั้น ถือว่าข้อมูลประกอบด้วยชุดของเวกเตอร์ป้อน fเวกเตอร์ผลิตภัณฑ์pและเวกเตอร์เงื่อนไขการทำงานc [ ^{5 ]} โดยทั่วไปcจะมีค่าที่ดึงมาจากf รวมถึงค่าอื่นๆ ด้วย ในหลายกรณี ^แบบจำลองสามารถแปลงเป็นฟังก์ชันในรูปแบบ: ^{[ 5 ] [ 17 ] [ 18 ]}

ม(ฟ, พี, คิว)

โดยที่เวกเตอร์ฟังก์ชันmแสดงค่าความคลาดเคลื่อนระหว่างข้อมูลpและค่าที่ทำนายได้จากแบบจำลอง ส่วนเวกเตอร์qแสดงค่าพารามิเตอร์ตัวแปรบางส่วนที่เป็นส่วนที่ไม่ทราบค่าของแบบจำลอง

พารามิเตอร์qเปลี่ยนแปลงไปตามเงื่อนไขการทำงานcในลักษณะที่ต้องกำหนด^{[ 5 ] [ 17 ]}ความสัมพันธ์นี้สามารถระบุได้เป็นq = Acโดยที่Aเป็นเมทริกซ์ของสัมประสิทธิ์ที่ไม่ทราบค่า และcเช่นเดียวกับการถดถอยเชิงเส้น^{[ 6 ] [ 7 ]}รวมถึงพจน์คงที่และค่าที่แปลงแล้วของเงื่อนไขการทำงานดั้งเดิมเพื่อให้ได้ความสัมพันธ์ที่ไม่เป็นเชิงเส้น^{[ 19 ] [ 20 ]}ระหว่างเงื่อนไขการทำงานดั้งเดิมและqจากนั้นจึงเป็นเรื่องของการเลือกพจน์ใดในAที่ไม่เป็นศูนย์และกำหนดค่าให้กับพจน์เหล่านั้น การทำให้แบบจำลองสมบูรณ์กลายเป็น ปัญหาการหาค่า ที่เหมาะสมที่สุดในการกำหนดค่าที่ไม่เป็นศูนย์ในAที่ลดพจน์ข้อผิดพลาดm(f,p,Ac) ให้เหลือน้อยที่สุด เหนือข้อมูล^{[ 1 ] [ 16 ] [ 21 ] [ 22 ] [ 23 ]}

เมื่อเลือกค่าที่ไม่เป็นศูนย์แล้ว สัมประสิทธิ์ที่เหลือในAสามารถกำหนดได้โดยการลดค่า m ( f , p , Ac ) ให้เหลือ น้อยที่สุดเหนือข้อมูลโดยสัมพันธ์กับค่าที่ไม่เป็นศูนย์ในAโดยทั่วไปแล้วจะใช้กำลังสองน้อยที่สุดแบบไม่เชิงเส้นการเลือกเทอมที่ไม่เป็นศูนย์สามารถทำได้โดยวิธีการเพิ่มประสิทธิภาพ เช่นการจำลองการอบอ่อนและอัลกอริธึมวิวัฒนาการนอกจากนี้กำลังสองน้อยที่สุดแบบไม่เชิงเส้นยังสามารถให้ค่าประมาณความแม่นยำ^{[ 11 ] [ 15 ]}สำหรับองค์ประกอบของA ที่สามารถใช้เพื่อพิจารณาว่าแตกต่างจากศูนย์อย่างมีนัยสำคัญหรือ ไม่ซึ่งจึงเป็นวิธีการเลือกเทอม^{[ 24 ] [ 25 ]}

บางครั้งสามารถคำนวณค่าqสำหรับแต่ละชุดข้อมูลได้โดยตรงหรือโดยวิธีกำลังสองน้อยที่สุดแบบไม่เชิงเส้นจากนั้นสามารถใช้การถดถอยเชิงเส้น ที่มีประสิทธิภาพมากขึ้นเพื่อทำนาย qโดยใช้c เพื่อเลือกค่าที่ไม่เป็นศูนย์ในAและประมาณค่าของค่าเหล่านั้น เมื่อพบค่าที่ไม่เป็นศูนย์แล้วสามารถใช้วิธีกำลังสองน้อยที่สุดแบบไม่เชิงเส้น กับแบบจำลองดั้งเดิม m(f,p,Ac)เพื่อปรับปรุงค่าเหล่านี้^{[ 16 ] [ 21 ] [ 22 ]}

วิธีที่สามคือการผกผันแบบจำลอง^{[ 5 ] [ 17 ] [ 18 ]}ซึ่งแปลงm ( f , p , Ac ) ที่ไม่เชิงเส้นให้เป็นรูปแบบเชิงเส้นโดยประมาณในองค์ประกอบของAซึ่งสามารถตรวจสอบได้โดยใช้การเลือกเทอมที่มีประสิทธิภาพ^{[ 24 ] [ 25 ]}และการประเมินการถดถอยเชิงเส้น^{[ 10 ]} สำหรับกรณีง่ายๆ ของ ค่า q ค่าเดียว ( q = a ^T c ) และค่าประมาณq*ของqการกำหนด d q  =  a ^T c  −  q*จะได้

m(f,p,a ^T c) = m(f,p,q* + d q) ≈ ​​m(f,pq*) + d q m'(f,p,q*) = m(f,pq*) + (a ^T c − q*) m'(f,p,q*)

ดังนั้นT จึงอยู่ในตำแหน่งเชิงเส้นโดย ^ที่ทราบเงื่อนไขอื่นๆ ทั้งหมด และสามารถวิเคราะห์ได้ด้วย เทคนิค การถดถอยเชิงเส้นสำหรับพารามิเตอร์มากกว่าหนึ่งตัว วิธีการนี้จะขยายออกไปโดยตรง^{[ 5 ] [ 18 ] [ 17 ]}หลังจากตรวจสอบแล้วว่าแบบจำลองได้รับการปรับปรุงแล้ว กระบวนการนี้สามารถทำซ้ำได้จนกว่าจะบรรจบกัน วิธีการนี้มีข้อดีคือไม่จำเป็นต้องกำหนด พารามิเตอร์ q จากชุดข้อมูลแต่ละชุด และการถดถอยเชิงเส้นจะอยู่บนเงื่อนไขข้อผิดพลาดดั้งเดิม ^{[ 5 ]}

ในกรณีที่มีข้อมูลเพียงพอ แนะนำให้แบ่งข้อมูลออกเป็นชุดสำหรับสร้างแบบจำลองและชุดสำหรับประเมิน ผลหนึ่งหรือสองชุด สามารถทำซ้ำขั้นตอนนี้ได้โดยการเลือกชุดแบบจำลองหลายชุด และนำแบบจำลองที่ได้มาหาค่าเฉลี่ยหรือใช้เพื่อประเมินความแตกต่างของการทำนาย

การทดสอบทางสถิติ เช่นไคสแควร์บนค่าตกค้างนั้นไม่มีประโยชน์มากนัก^{[ 26 ]}การทดสอบไคสแควร์ต้องใช้ค่าเบี่ยงเบนมาตรฐานที่ทราบ ซึ่งหาได้ยาก และการทดสอบที่ล้มเหลวไม่ได้บ่งชี้ถึงวิธีการปรับปรุงแบบจำลอง^{[ 11 ]} มีวิธีการมากมายในการเปรียบเทียบแบบจำลองทั้งแบบซ้อนกันและไม่ซ้อนกัน ซึ่งรวมถึงการเปรียบเทียบการทำนายของแบบจำลองกับข้อมูลซ้ำ

การพยายามทำนายค่าตกค้างm(, )ด้วยเงื่อนไขการทำงานcโดยใช้การถดถอยเชิงเส้นจะแสดงให้เห็นว่าสามารถทำนายค่าตกค้างได้หรือไม่^{[ 21 ] [ 22 ]}ค่าตกค้างที่ไม่สามารถทำนายได้นั้นมีโอกาสน้อยที่จะปรับปรุงแบบจำลองโดยใช้เงื่อนไขการทำงานปัจจุบัน^{[ 5 ]}เงื่อนไขที่สามารถทำนายค่าตกค้างได้นั้นเป็นเงื่อนไขที่มีศักยภาพที่จะรวมเข้าในแบบจำลองเพื่อปรับปรุงประสิทธิภาพ^{[ 21 ]}

เทคนิคการผกผันแบบจำลองข้างต้นสามารถใช้เป็นวิธีการตรวจสอบว่าแบบจำลองสามารถปรับปรุงได้หรือไม่ ในกรณีนี้ การเลือกเทอมที่ไม่เป็นศูนย์ไม่สำคัญนัก และสามารถทำนายเชิงเส้น ได้โดยใช้ เวกเตอร์ลักษณะ เฉพาะที่มีนัยสำคัญ ของเมทริกซ์การถดถอยค่าในAที่กำหนดในลักษณะนี้จำเป็นต้องแทนที่ลงในแบบจำลองที่ไม่เป็นเชิงเส้นเพื่อประเมินการปรับปรุงข้อผิดพลาดของแบบจำลอง การไม่มีการปรับปรุงที่มีนัยสำคัญบ่งชี้ว่าข้อมูลที่มีอยู่ไม่สามารถปรับปรุงรูปแบบแบบจำลองปัจจุบันโดยใช้พารามิเตอร์ที่กำหนดได้^{[ 5 ]}สามารถแทรกพารามิเตอร์เพิ่มเติมลงในแบบจำลองเพื่อให้การทดสอบนี้ครอบคลุมมากขึ้น