ค่าเบี่ยงเบนสัมบูรณ์น้อยที่สุด ( LAD ) หรือที่รู้จักกันในชื่อค่าคลาดเคลื่อน สัมบูรณ์น้อยที่สุด ( LAE ) ค่า ตกค้าง สัมบูรณ์น้อยที่สุด ( LAR ) หรือค่าสัมบูรณ์น้อยที่สุด ( LAV ) เป็นเกณฑ์ความเหมาะสม ทางสถิติ และ เทคนิค การเพิ่มประสิทธิภาพ ทางสถิติ โดยอาศัยการลดผลรวมของค่าเบี่ยงเบนสัมบูรณ์ (หรือผลรวมของค่าตกค้างสัมบูรณ์หรือ ผล _รวม ของค่า คลาดเคลื่อนสัมบูรณ์ ) หรือ ค่า L1นอร์มของค่าดังกล่าวให้เหลือน้อยที่สุด มันคล้ายคลึงกับ เทคนิค กำลังสองน้อยที่สุดยกเว้นว่ามันอาศัยค่าสัมบูรณ์แทนที่จะเป็นค่ากำลังสองมันพยายามหาฟังก์ชันที่ประมาณชุดข้อมูลได้อย่างใกล้เคียงโดยการลดค่าตกค้างระหว่างจุดที่สร้างขึ้นโดยฟังก์ชันและจุดข้อมูลที่สอดคล้องกันให้เหลือน้อยที่สุด ค่าประมาณ LAD ยังเกิดขึ้นเป็น ค่าประมาณ ความน่าจะเป็นสูงสุดหากค่าคลาดเคลื่อนมีการกระจายแบบลาปลาสมันถูกนำเสนอในปี 1757 โดยRoger Joseph Boscovich ^{[ 1 ]}

สมมติว่าชุดข้อมูลประกอบด้วยจุด ( x _i , y _i ) โดยที่i = 1, 2, ..., nเราต้องการหาฟังก์ชันfที่ทำให้${\displaystyle f(x_{i})\approx y_{i}.}$

เพื่อให้บรรลุเป้าหมายนี้ เราสมมติว่าฟังก์ชันfมีรูปแบบเฉพาะที่มีพารามิเตอร์บางตัวที่ต้องกำหนด ตัวอย่างเช่น รูปแบบที่ง่ายที่สุดคือเชิงเส้น: f ( x ) = bx + cโดยที่bและcเป็นพารามิเตอร์ที่ไม่ทราบค่า แต่เราต้องการประมาณค่า หรือในรูปแบบที่ซับซ้อนกว่านั้น สมมติว่าf ( x ) เป็นฟังก์ชันกำลังสองหมายความว่าf ( x ) = ax² + bx + cโดยที่a , bและcยังไม่ทราบค่า (โดยทั่วไปแล้ว อาจมีตัวแปรอธิบายx ไม่ใช่แค่ตัวเดียว แต่ ^มีตัวแปรอธิบายหลายตัว ซึ่งทั้งหมดปรากฏเป็นอาร์กิวเมนต์ของฟังก์ชันf )

ต่อไปเราจะหาค่าประมาณของพารามิเตอร์ที่ไม่ทราบค่าซึ่งทำให้ผลรวมของค่าสัมบูรณ์ของค่าความคลาดเคลื่อนมีค่าน้อยที่สุด:

${\displaystyle S=\sum _{i=1}^{n}|y_{i}-f(x_{i})|.}$

แม้ว่าแนวคิดของการถดถอยแบบค่าเบี่ยงเบนสัมบูรณ์น้อยที่สุดจะตรงไปตรงมาเหมือนกับการถดถอยแบบกำลังสองน้อยที่สุด แต่การคำนวณเส้นค่าเบี่ยงเบนสัมบูรณ์น้อยที่สุดนั้นไม่ง่ายและมีประสิทธิภาพเท่ากับการถดถอยแบบกำลังสองน้อยที่สุด ต่างจากการถดถอยแบบกำลังสองน้อยที่สุด การถดถอยแบบค่าเบี่ยงเบนสัมบูรณ์น้อยที่สุดไม่มีวิธีการแก้ปัญหาเชิงวิเคราะห์ ดังนั้นจึงต้องใช้วิธีการแบบวนซ้ำ ต่อไปนี้เป็นรายการวิธีการแก้ปัญหาค่าเบี่ยงเบนสัมบูรณ์น้อยที่สุดบางวิธี

• วิธีการที่ใช้ซิมเพล็กซ์ (เช่น อัลกอริทึม Barrodale-Roberts ^{[ 2 ]} )
  • เนื่องจากปัญหาดังกล่าวเป็นโปรแกรมเชิงเส้นจึงสามารถนำเทคนิคการเขียนโปรแกรมเชิงเส้นต่างๆ มาใช้ได้ทุกเทคนิค (รวมถึงวิธีซิมเพล็กซ์และวิธีอื่นๆ)
• กำลังสองน้อยที่สุดที่ถ่วงน้ำหนักซ้ำๆ^{[ 3 ]}
• วิธีการสืบเชื้อสายโดยตรงของ Wesolowsky ^{[ 4 ]}
• วิธีการหาค่าความน่าจะเป็นสูงสุดของ Li-Arce ^{[ 5 ]}
• แนวทางการลดมิติแบบเรียกซ้ำ^{[ 6 ]}
• ตรวจสอบการเชื่อมต่อแบบจุดต่อจุดทุกรูปแบบเพื่อหาค่าผลรวมของข้อผิดพลาดที่น้อยที่สุด

วิธีการแบบซิมเพล็กซ์เป็นวิธีที่ “นิยม” ในการแก้ปัญหาค่าเบี่ยงเบนสัมบูรณ์น้อยที่สุด^{[ 7 ]}วิธีซิมเพล็กซ์เป็นวิธีการแก้ปัญหาในการเขียนโปรแกรมเชิงเส้น อัลกอริทึมที่ได้รับความนิยมมากที่สุดคืออัลกอริทึมซิมเพล็กซ์ที่ปรับปรุงโดย Barrodale-Roberts อัลกอริทึมสำหรับ IRLS วิธีของ Wesolowsky และวิธีของ Li สามารถพบได้ในภาคผนวก A ของ^{[ 7 ]} รวมถึงวิธีการอื่นๆ การตรวจสอบการรวมกันทั้งหมดของเส้นที่ผ่านจุดข้อมูล (x,y) สองจุดใดๆ เป็นอีกวิธีหนึ่งในการหาเส้นที่มีค่าเบี่ยงเบนสัมบูรณ์น้อยที่สุด เนื่องจากเป็นที่ทราบกันว่าอย่างน้อยหนึ่งเส้นที่มีค่าเบี่ยงเบนสัมบูรณ์น้อยที่สุดจะผ่านจุดข้อมูลอย่างน้อยสองจุด วิธีนี้จะหาเส้นโดยการเปรียบเทียบ SAE (ค่าเบี่ยงเบนสัมบูรณ์น้อยที่สุดเหนือจุดข้อมูล) ของแต่ละเส้น และเลือกเส้นที่มี SAE น้อยที่สุด นอกจากนี้ หากมีหลายเส้นที่มี SAE น้อยที่สุดเท่ากัน เส้นเหล่านั้นจะกำหนดขอบเขตของพื้นที่ของหลายคำตอบ แม้จะเรียบง่าย แต่วิธีสุดท้ายนี้ไม่มีประสิทธิภาพสำหรับชุดข้อมูลขนาดใหญ่

ปัญหาดังกล่าวสามารถแก้ไขได้โดยใช้เทคนิคการเขียนโปรแกรมเชิงเส้นใดๆ ก็ได้กับข้อกำหนดของปัญหาต่อไปนี้ เราต้องการ

${\displaystyle {\text{Minimize}}\sum _{i=1}^{n}|y_{i}-a_{0}-a_{1}x_{i1}-a_{2}x_{i2}-\cdots -a_{k}x_{ik}|}$

โดยคำนึงถึงการเลือกค่าของพารามิเตอร์โดยที่y _iคือค่าของ การสังเกต ^{ครั้งที่}iของตัวแปรตาม และx _ijคือค่าของ การสังเกต ^{ครั้งที่}iของตัวแปรอิสระ^{ครั้งที่}j ( j = 1,..., k ) เราเขียนปัญหานี้ใหม่ในรูปของตัวแปรเทียมu _iดังนี้ ${\displaystyle a_{0},\ldots ,a_{k}}$

${\displaystyle {\text{Minimize}}\sum _{i=1}^{n}u_{i}}$

โดยคำนึงถึงและ${\displaystyle a_{0},\ldots ,a_{k}}$${\displaystyle u_{1},\ldots ,u_{n}}$

ขึ้นอยู่กับ

${\displaystyle u_{i}\geq y_{i}-a_{0}-a_{1}x_{i1}-a_{2}x_{i2}-\cdots -a_{k}x_{ik}\,\ \,\ \,\ \,\ \,\ {\text{สำหรับ }}i=1,\ldots ,n}$

${\displaystyle u_{i}\geq -[y_{i}-a_{0}-a_{1}x_{i1}-a_{2}x_{i2}-\cdots -a_{k}x_{ik}]\,\ \,\ {\text{ สำหรับ }}i=1,\ldots ,n.}$

ข้อจำกัดเหล่านี้มีผลทำให้แต่ละค่าเท่ากันเมื่อถูกทำให้มีค่าน้อยที่สุด ดังนั้นฟังก์ชันเป้าหมายจึงเทียบเท่ากับฟังก์ชันเป้าหมายเดิม เนื่องจากโจทย์ปัญหานี้ไม่มีตัวดำเนินการค่าสัมบูรณ์ จึงอยู่ในรูปแบบที่สามารถแก้ไขได้ด้วยโปรแกรมการเขียนโปรแกรมเชิงเส้นใดๆ ก็ได้ ${\displaystyle u_{i}}$${\displaystyle |y_{i}-a_{0}-a_{1}x_{i1}-a_{2}x_{i2}-\cdots -a_{k}x_{ik}|}$

เส้นเบี่ยงเบนสัมบูรณ์น้อยที่สุดยังมีคุณสมบัติเฉพาะอื่นๆ อีก ในกรณีของชุดข้อมูล ( x , y ) เส้นเบี่ยงเบนสัมบูรณ์น้อยที่สุดจะผ่านจุดข้อมูลอย่างน้อยสองจุดเสมอ เว้นแต่จะมีคำตอบหลายคำตอบ หากมีคำตอบหลายคำตอบ พื้นที่ของคำตอบเบี่ยงเบนสัมบูรณ์น้อยที่สุดที่ถูกต้องจะถูกจำกัดด้วยเส้นอย่างน้อยสองเส้น ซึ่งแต่ละเส้นจะผ่านจุดข้อมูลอย่างน้อยสองจุด โดยทั่วไป หากมีตัวแปรอิสระk ตัว (รวมถึงค่าคงที่) พื้นผิวการถดถอยที่เหมาะสมที่สุดอย่างน้อยหนึ่งพื้นผิวจะผ่านจุดข้อมูลk จุด ^{[ 8 ] : หน้า 936}

การ "ยึดติด" ของเส้นกับจุดข้อมูลนี้ช่วยให้เข้าใจคุณสมบัติ "ความไม่เสถียร" ได้ดีขึ้น: หากเส้นยึดติดกับจุดอย่างน้อยสองจุดเสมอ เส้นก็จะกระโดดไปมาระหว่างชุดจุดต่างๆ เมื่อจุดข้อมูลเปลี่ยนแปลงไป การ "ยึดติด" นี้ยังช่วยให้เข้าใจคุณสมบัติ "ความทนทาน" ได้ดีขึ้น: หากมีค่าผิดปกติอยู่ และเส้นเบี่ยงเบนสัมบูรณ์น้อยที่สุดต้องยึดติดกับจุดข้อมูลสองจุด ค่าผิดปกตินั้นมักจะไม่ใช่หนึ่งในสองจุดนั้น เพราะในกรณีส่วนใหญ่จะไม่ทำให้ผลรวมของค่าเบี่ยงเบนสัมบูรณ์มีค่าน้อยที่สุด

กรณีหนึ่งที่ทราบกันดีว่ามีคำตอบหลายคำตอบคือ เซตของจุดที่สมมาตรเกี่ยวกับเส้นแนวนอน ดังแสดงในรูป A ด้านล่าง

เพื่อให้เข้าใจว่าทำไมจึงมีคำตอบหลายคำตอบในกรณีที่แสดงในรูป A ให้พิจารณาเส้นสีชมพูในบริเวณสีเขียว ผลรวมของค่าความคลาดเคลื่อนสัมบูรณ์ของเส้นนี้คือค่า S หากเราเอียงเส้นขึ้นเล็กน้อย โดยยังคงอยู่ในบริเวณสีเขียว ผลรวมของค่าความคลาดเคลื่อนก็จะยังคงเป็น S ค่านี้จะไม่เปลี่ยนแปลง เพราะระยะห่างจากแต่ละจุดไปยังเส้นจะเพิ่มขึ้นทางด้านหนึ่งของเส้น ในขณะที่ระยะห่างไปยังแต่ละจุดทางด้านตรงข้ามของเส้นจะลดลงในปริมาณที่เท่ากัน ดังนั้นผลรวมของค่าความคลาดเคลื่อนสัมบูรณ์จึงยังคงเท่าเดิม นอกจากนี้ เนื่องจากเราสามารถเอียงเส้นได้ทีละน้อยมากจนแทบไม่มีขีดจำกัด นี่จึงแสดงให้เห็นว่าหากมีคำตอบมากกว่าหนึ่งคำตอบ ก็จะมีคำตอบมากมายนับไม่ถ้วน

ต่อไปนี้เป็นตารางเปรียบเทียบคุณสมบัติบางประการของวิธีการเบี่ยงเบนสัมบูรณ์น้อยที่สุดกับวิธีการกำลังสองน้อยที่สุด (สำหรับปัญหาที่ไม่เอกฐาน) ^{[ 9 ] [ 10 ]}

*โดยมีเงื่อนไขว่าจำนวนจุดข้อมูลต้องมากกว่าหรือเท่ากับจำนวนคุณลักษณะ

วิธีการหาค่าเบี่ยงเบนสัมบูรณ์น้อยที่สุด (Least Absolute Deviation: LAD) มีการประยุกต์ใช้ในหลายสาขา เนื่องจากมีความแข็งแกร่งกว่าวิธีการกำลังสองน้อยที่สุด (Least Squares: OLS) LAD มีความแข็งแกร่งในแง่ที่ว่าสามารถต้านทานค่าผิดปกติในข้อมูลได้ LAD ให้ความสำคัญเท่ากันกับทุกข้อมูล ในขณะที่ OLS นั้นจะให้น้ำหนักกับค่าเบี่ยงเบนมาก ๆ มากกว่า นั่นคือค่าผิดปกติที่ค่าที่คาดการณ์ไว้ห่างไกลจากค่าที่สังเกตได้จริง โดยการยกกำลังสองค่าเบี่ยงเบน วิธีนี้อาจมีประโยชน์ในงานวิจัยที่ค่าผิดปกติไม่จำเป็นต้องได้รับน้ำหนักมากกว่าข้อมูลอื่น ๆ แต่ถ้าจำเป็นต้องให้น้ำหนักกับค่าผิดปกติมากกว่า วิธีการกำลังสองน้อยที่สุดจะเป็นตัวเลือกที่ดีกว่า

หากเราขยายฟังก์ชันค่าสัมบูรณ์ของผลรวมของค่าสัมบูรณ์ของส่วนเหลือไปเป็นฟังก์ชันค่าสัมบูรณ์แบบเอียง ซึ่งบนครึ่งเส้นด้านซ้ายมีค่าความชันและบนครึ่งเส้นด้านขวามีค่าความชันโดยที่จะได้การถดถอยควอนไทล์กรณีที่ จะ ได้ การถดถอยมาตรฐานโดยใช้ค่าเบี่ยงเบนสัมบูรณ์น้อยที่สุด และเรียกอีกอย่างว่าการ ถดถอยมัธยฐาน${\displaystyle \tau -1}$${\displaystyle \tau }$${\displaystyle 0<\tau <1}$${\displaystyle \tau =1/2}$

ปัญหาการเบี่ยงเบนสัมบูรณ์น้อยที่สุดอาจขยายให้ครอบคลุมตัวอธิบายหลายตัว ข้อจำกัด และการทำให้เป็นระเบียบเช่น แบบจำลองเชิงเส้นที่มีข้อจำกัดเชิงเส้น: ^{[ 11 ]}

ลดให้น้อยที่สุด${\displaystyle S(\mathbf {\beta } ,b)=\sum _{i}|\mathbf {x} '_{i}\mathbf {\beta } +b-y_{i}|}$

ขึ้นอยู่กับเงื่อนไข เช่น${\displaystyle \mathbf {x} '_{1}\mathbf {\beta } +b-y_{1}\leq k}$

โดยที่เป็นเวกเตอร์คอลัมน์ของสัมประสิทธิ์ที่จะประมาณค่า, bเป็นค่าคงที่ที่จะประมาณค่า, x _iเป็นเวกเตอร์คอลัมน์ของ การสังเกต ^{ครั้งที่}iของตัวแปรอธิบายต่างๆ, y _iเป็นการ สังเกต ^{ครั้งที่}iของตัวแปรตาม และkเป็นค่าคงที่ที่ทราบแล้ว ${\displaystyle \mathbf {\beta } }$

การปรับค่าด้วยLASSO (ตัวดำเนินการลดขนาดและเลือกค่าสัมบูรณ์น้อยที่สุด) อาจใช้ร่วมกับ LAD ได้เช่นกัน^{[ 12 ]}

• ค่ามัธยฐานทางเรขาคณิต
• การถดถอยควอนไทล์
• การวิเคราะห์การถดถอย
• แบบจำลองการถดถอยเชิงเส้น
• ค่าเบี่ยงเบนสัมบูรณ์
• ค่าเบี่ยงเบนสัมบูรณ์เฉลี่ย
• ค่าเบี่ยงเบนสัมบูรณ์มัธยฐาน
• กำลังสองน้อยที่สุดแบบธรรมดา
• การถดถอยที่แข็งแกร่ง

• Peter Bloomfield ; William Steiger (1980). "การปรับเส้นโค้งด้วยค่าเบี่ยงเบนสัมบูรณ์น้อยที่สุด" . SIAM Journal on Scientific Computing . 1 (2): 290– 301. doi : 10.1137/0901019 .
• Subhash C. Narula และ John F. Wellington (1982). "การถดถอยผลรวมขั้นต่ำของข้อผิดพลาดสัมบูรณ์: การสำรวจสถานะปัจจุบัน". International Statistical Review . 50 (3): 317– 326. doi : 10.2307/1402501 . JSTOR  1402501 .
• Robert F. Phillips (กรกฎาคม 2545). "การประมาณค่าเบี่ยงเบนสัมบูรณ์น้อยที่สุดโดยใช้อัลกอริทึม EM" สถิติและการคำนวณ 12 ( 3): 281– 285. doi : 10.1023/A:1020759012226 .
• Enno Siemsen & Kenneth A. Bollen (2007). " การประมาณค่าเบี่ยงเบนสัมบูรณ์น้อยที่สุดในการสร้างแบบจำลองสมการโครงสร้าง" วิธีการทางสังคมวิทยาและการวิจัย 36 ( 2): 227– 265. doi : 10.1177/0049124107301946