เส้นโค้งลักษณะการทำงานของผู้รับ ( Receiver Operating Characteristic Curve หรือROC curve ) คือกราฟที่แสดงให้เห็นถึงประสิทธิภาพของ แบบจำลอง การจำแนกแบบไบนารี (แม้ว่าจะสามารถขยายไปสู่หลายคลาสได้) ที่ค่าเกณฑ์ต่างๆ การวิเคราะห์ ROC มักใช้ในการประเมินประสิทธิภาพของการทดสอบวินิจฉัยในระบาดวิทยาทางคลินิก

เส้นโค้ง ROC คือกราฟแสดงความสัมพันธ์ระหว่างอัตราการตรวจพบที่ถูกต้อง (TPR) กับอัตราการตรวจพบที่ผิดพลาด (FPR) ที่แต่ละค่าเกณฑ์

ROC ยังสามารถคิดได้ว่าเป็นกราฟของกำลังทางสถิติเป็นฟังก์ชันของข้อผิดพลาดประเภทที่ 1ของกฎการตัดสินใจ (เมื่อคำนวณประสิทธิภาพจากเพียงตัวอย่างของประชากร สามารถคิดได้ว่าเป็นตัวประมาณค่าของปริมาณเหล่านี้) ดังนั้นเส้นโค้ง ROC จึงเป็นความไวเป็นฟังก์ชันของอัตราการเกิดผลบวกเท็จ^{[ 1 ]}

เนื่องจากทราบการแจกแจงความน่าจะเป็นสำหรับทั้งผลบวกจริงและผลบวกเท็จแล้ว เส้นโค้ง ROC จึงได้มาจากฟังก์ชันการแจกแจงสะสม (CDF, ​​พื้นที่ใต้กราฟการแจกแจงความน่าจะเป็น)${\displaystyle -\infty }$กราฟแสดงความสัมพันธ์ระหว่างความน่าจะเป็นในการตรวจจับกับค่าเกณฑ์การแยกแยะ (บน แกน y ) และฟังก์ชันการ กระจายสะสม (CDF) ของความน่าจะเป็นของผลบวกเท็จ (บน แกน x )

การวิเคราะห์ ROC ให้เครื่องมือในการเลือกแบบจำลองที่เหมาะสมที่สุดและตัดแบบจำลองที่ไม่เหมาะสมออกไป โดยไม่ขึ้นอยู่กับ (และก่อนที่จะระบุ) บริบทด้านต้นทุนหรือการกระจายของกลุ่ม การวิเคราะห์ ROC มีความสัมพันธ์โดยตรงและเป็นธรรมชาติกับการวิเคราะห์ต้นทุน/ผลประโยชน์ของการตัดสินใจ ในการวินิจฉัย โรค

อัตราผลบวกจริงเรียกอีกอย่างว่าความไวหรือความน่าจะเป็นของการตรวจจับ^{[ 2 ]}อัตราผลบวกเท็จเรียกอีกอย่างว่าความน่าจะเป็นของการแจ้งเตือนผิดพลาด^{[ 2 ]}และเท่ากับ (1 − ความจำเพาะ ) ROC เรียกอีกอย่างว่าเส้นโค้งลักษณะการทำงานเชิงสัมพัทธ์ เนื่องจากเป็นการเปรียบเทียบลักษณะการทำงานสองอย่าง (TPR และ FPR) เมื่อเกณฑ์เปลี่ยนแปลง^{[ 3 ]}

เส้นโค้ง ROC ได้รับการพัฒนาครั้งแรกโดยวิศวกรไฟฟ้าและวิศวกรเรดาร์ในช่วงสงครามโลกครั้งที่สองเพื่อตรวจจับวัตถุของศัตรูในสนามรบ เริ่มต้นในปี พ.ศ. 2484 ซึ่งนำไปสู่ชื่อ ("receiver operating characteristic") ^{[ 4 ]}

^{ในไม่ช้า ก็}มีการนำมาใช้ในจิตวิทยาเพื่ออธิบายการตรวจจับการรับรู้ของสิ่งเร้า การวิเคราะห์ ROC ถูกนำมาใช้ในทางการแพทย์รังสีวิทยาไบโอเมตริกส์การพยากรณ์ภัยธรรมชาติ^{[ 5 ]}อุตุนิยมวิทยา [ ^{6 ]}การประเมินประสิทธิภาพของแบบจำลอง^{[ 7 ]}และสาขาอื่นๆ มานานหลายทศวรรษ และมีการใช้เพิ่มมากขึ้นในการวิจัยการเรียนรู้ของเครื่องและการขุดข้อมูล

แบบจำลองการจำแนกประเภท ( ตัวจำแนกหรือการวินิจฉัย^{[ 8 ]} ) คือการแมปอินสแตนซ์ระหว่างคลาส/กลุ่มบางกลุ่ม เนื่องจากผลลัพธ์ของตัวจำแนกหรือการวินิจฉัยอาจเป็นค่าจริง ใดๆ ก็ได้ (เอาต์พุตต่อเนื่อง) ขอบเขตของตัวจำแนกระหว่างคลาสจึงต้องถูกกำหนดโดยค่าเกณฑ์ (ตัวอย่างเช่น เพื่อพิจารณาว่าบุคคลนั้นมีความดันโลหิตสูง หรือไม่ โดยพิจารณาจาก การวัด ความดันโลหิต ) หรืออาจเป็น ป้ายกำกับคลาสแบบ ไม่ต่อเนื่องซึ่งระบุคลาสใดคลาสหนึ่ง

พิจารณาปัญหาการทำนายแบบสองคลาส ( การจำแนกแบบไบนารี ) ซึ่งผลลัพธ์จะถูกกำหนดเป็นบวก ( p ) หรือลบ ( n ) มีผลลัพธ์ที่เป็นไปได้สี่อย่างจากตัวจำแนกแบบไบนารี หากผลลัพธ์จากการทำนายคือpและค่าจริงก็คือpด้วย จะเรียกว่าผลบวกจริง (TP) แต่ถ้าค่าจริงคือnจะเรียกว่าผลบวกเท็จ (FP) ในทางกลับกันผลลบจริง (TN) เกิดขึ้นเมื่อทั้งผลลัพธ์การทำนายและค่าจริงเป็นnและผลลบเท็จ (FN) เกิดขึ้นเมื่อผลลัพธ์การทำนายเป็นn ในขณะ ที่ค่าจริงเป็นp

เพื่อให้ได้ตัวอย่างที่เหมาะสมในปัญหาในโลกแห่งความเป็นจริง ลองพิจารณาการทดสอบวินิจฉัยโรคที่พยายามตรวจสอบว่าบุคคลนั้นเป็นโรคใดโรคหนึ่งหรือไม่ ในกรณีนี้ ผลบวกเท็จเกิดขึ้นเมื่อบุคคลนั้นมีผลตรวจเป็นบวก แต่จริงๆ แล้วไม่ได้เป็นโรค ในทางกลับกัน ผลลบเท็จเกิดขึ้นเมื่อบุคคลนั้นมีผลตรวจเป็นลบ ซึ่งบ่งชี้ว่าพวกเขามีสุขภาพดี ทั้งที่จริงแล้วพวกเขาเป็นโรคอยู่

พิจารณาการทดลองที่ มีกรณีบวก Pกรณี และ กรณีลบ Nกรณี สำหรับเงื่อนไขหนึ่งๆ ผลลัพธ์ทั้งสี่สามารถแสดงในตารางความสัมพันธ์ 2×2 หรือเมทริกซ์ความสับสนได้ดังนี้:

ตารางความสัมพันธ์สามารถนำไปสู่ตัวชี้วัดการประเมินหลายอย่างได้ (ดูในกล่องข้อมูล) ในการสร้างกราฟ ROC นั้น จำเป็นต้องใช้เพียงอัตราการตรวจพบที่ถูกต้อง (TPR) และอัตราการตรวจพบที่ผิดพลาด (FPR) เท่านั้น (ซึ่งเป็นฟังก์ชันของพารามิเตอร์ตัวจำแนกบางตัว) TPR กำหนดจำนวนผลบวกที่ถูกต้องที่เกิดขึ้นในบรรดาตัวอย่างบวกทั้งหมดที่มีอยู่ในการทดสอบ ในขณะที่ FPR กำหนดจำนวนผลบวกที่ไม่ถูกต้องที่เกิดขึ้นในบรรดาตัวอย่างลบทั้งหมดที่มีอยู่ในการทดสอบ

พื้นที่ ROC ถูกกำหนดโดย FPR และ TPR เป็น แกน xและyตามลำดับ ซึ่งแสดงถึงความสมดุลระหว่างผลบวกจริง (ประโยชน์) และผลบวกเท็จ (ต้นทุน) เนื่องจาก TPR เทียบเท่ากับความไว และ FPR เท่ากับ 1 − ความจำเพาะดังนั้นกราฟ ROC จึงบางครั้งเรียกว่ากราฟความไวเทียบกับ (1 − ความจำเพาะ) ผลการทำนายแต่ละครั้งหรือแต่ละอินสแตนซ์ของเมทริกซ์ความสับสนแสดงถึงจุดหนึ่งในพื้นที่ ROC

วิธีการทำนายที่ดีที่สุดจะให้จุดที่มุมบนซ้ายหรือพิกัด (0,1) ของพื้นที่ ROC ซึ่งแสดงถึงความไว 100% (ไม่มีผลลบเท็จ) และความจำเพาะ 100% (ไม่มีผลบวกเท็จ) จุด (0,1) ยังเรียกว่าการจำแนกประเภทที่สมบูรณ์แบบการเดาสุ่มจะให้จุดตามแนวเส้นทแยงมุม (ที่เรียกว่าเส้นที่ไม่จำแนก ) จากมุมล่างซ้ายไปยังมุมบนขวา (โดยไม่คำนึงถึงอัตราพื้นฐาน ที่เป็นบวกและลบ ) ^{[ 17 ]}ตัวอย่างที่เข้าใจง่ายของการเดาสุ่มคือการตัดสินใจโดยการโยนเหรียญ เมื่อขนาดของตัวอย่างเพิ่มขึ้น จุด ROC ของตัวจำแนกแบบสุ่มจะโน้มเอียงไปทางเส้นทแยงมุม ในกรณีของเหรียญที่สมดุล มันจะโน้มเอียงไปที่จุด (0.5, 0.5)

เส้นทแยงมุมแบ่งพื้นที่ ROC ออกเป็นส่วนๆ จุดที่อยู่เหนือเส้นทแยงมุมแสดงถึงผลการจำแนกที่ดี (ดีกว่าการสุ่ม) จุดที่อยู่ใต้เส้นแสดงถึงผลลัพธ์ที่ไม่ดี (แย่กว่าการสุ่ม) โปรดทราบว่าผลลัพธ์ของตัวทำนายที่ไม่ดีอย่างต่อเนื่องสามารถกลับด้านเพื่อให้ได้ตัวทำนายที่ดีได้

พิจารณาผลการทำนายสี่ชุดจากกรณีตัวอย่างเชิงบวก 100 ชุด และเชิงลบ 100 ชุด:

ภาพแสดงผลลัพธ์ทั้งสี่ข้างต้นในพื้นที่ ROC ผลลัพธ์ของวิธีAแสดงให้เห็นอย่างชัดเจนว่ามีพลังในการทำนายที่ดีที่สุดในบรรดาA , BและCผลลัพธ์ของBอยู่บนเส้นเดาสุ่ม (เส้นทแยงมุม) และสามารถเห็นได้ในตารางว่าความแม่นยำของBคือ 50% อย่างไรก็ตาม เมื่อ สะท้อน Cผ่านจุดกึ่งกลาง (0.5,0.5) วิธีC′ ที่ได้นั้น ดีกว่าA เสียอีก วิธีการสะท้อนนี้เป็นการกลับการทำนายของวิธีการหรือการทดสอบใดๆ ที่สร้าง ตารางความสัมพันธ์ Cแม้ว่า วิธีการ C ดั้งเดิม จะมีพลังในการทำนายเป็นลบ แต่การกลับการตัดสินใจของมันนำไปสู่วิธีการทำนายใหม่C′ซึ่งมีพลังในการทำนายเป็นบวก เมื่อ วิธีการ Cทำนายpหรือnวิธี การ C′จะทำนายnหรือpตามลำดับ ด้วยวิธีนี้ การทดสอบ C′จะมีประสิทธิภาพดีที่สุด ยิ่งผลลัพธ์จากตารางความน่าจะเป็นอยู่ใกล้กับมุมบนซ้ายมากเท่าไหร่ ก็ยิ่งทำนายได้ดีขึ้นเท่านั้น แต่ระยะห่างจากเส้นการเดาสุ่มในทิศทางใดทิศทางหนึ่งเป็นตัวบ่งชี้ที่ดีที่สุดว่าวิธีการนั้นมีพลังในการทำนายมากน้อยเพียงใด หากผลลัพธ์อยู่ต่ำกว่าเส้น (กล่าวคือ วิธีการนั้นแย่กว่าการเดาสุ่ม) จะต้องกลับการทำนายทั้งหมดของวิธีการนั้นเพื่อใช้ประโยชน์จากพลังของมัน ซึ่งจะทำให้ผลลัพธ์เลื่อนขึ้นไปอยู่เหนือเส้นการเดาสุ่ม

ในการจำแนกแบบไบนารี การทำนายคลาสสำหรับแต่ละอินสแตนซ์มักทำโดยอาศัยตัวแปรสุ่มต่อเนื่อง${\displaystyle X}$ซึ่งเป็น "คะแนน" ที่คำนวณสำหรับอินสแตนซ์ (เช่น ความน่าจะเป็นโดยประมาณในการถดถอยโลจิสติก) โดยกำหนดพารามิเตอร์เกณฑ์${\displaystyle T}$กรณีดังกล่าวจะถูกจัดว่าเป็น "บวก" หาก${\displaystyle X>T}$และ "เชิงลบ" ในกรณีอื่นๆ${\displaystyle X}$เป็นไปตามความหนาแน่นของความน่าจะเป็น${\displaystyle f_{1}(x)}$หากอินสแตนซ์นั้นเป็นของคลาส "positive" จริงๆ และ${\displaystyle f_{0}(x)}$ถ้าเป็นอย่างอื่น ดังนั้น อัตราผลบวกที่แท้จริงจึงกำหนดโดย${\displaystyle {\mbox{TPR}}(T)=\int _{T}^{\infty }f_{1}(x)\,dx}$และอัตราการเกิดผลบวกเท็จคำนวณได้จากสูตร${\displaystyle {\mbox{FPR}}(T)=\int _{T}^{\infty }f_{0}(x)\,dx}$เส้นโค้ง ROC ถูกสร้างขึ้นโดยใช้พารามิเตอร์${\displaystyle {\mbox{TPR}}(T)}$เทียบกับ${\displaystyle {\mbox{FPR}}(T)}$กับ${\displaystyle T}$เป็นพารามิเตอร์ที่เปลี่ยนแปลงได้

For example, imagine that the blood protein levels in diseased people and healthy people are normally distributed with means of 2 g/dL and 1 g/dL respectively. A medical test might measure the level of a certain protein in a blood sample and classify any number above a certain threshold as indicating disease. The experimenter can adjust the threshold (green vertical line in the figure), which will in turn change the false positive rate. Increasing the threshold would result in fewer false positives (and more false negatives), corresponding to a leftward movement on the curve. The actual shape of the curve is determined by how much overlap the two distributions have.

Several studies criticize certain applications of the ROC curve and its area under the curve as measurements for assessing binary classifications when they do not capture the information relevant to the application.^{[19][18][20][21][22]}

The main criticism to the ROC curve described in these studies regards the incorporation of areas with low sensitivity and low specificity (both lower than 0.5) for the calculation of the total area under the curve (AUC).,^[20] as described in the plot on the right.

According to the authors of these studies, that portion of area under the curve (with low sensitivity and low specificity) regards confusion matrices where binary predictions obtain bad results, and therefore should not be included for the assessment of the overall performance. Moreover, that portion of AUC indicates a space with high or low confusion matrix threshold which is rarely of interest for scientists performing a binary classification in any field.^[20]

Another criticism to the ROC and its area under the curve is that they say nothing about precision and negative predictive value.^[18]

A high ROC AUC, such as 0.9 for example, might correspond to low values of precision and negative predictive value, such as 0.2 and 0.1 in the [0, 1] range. If one performed a binary classification, obtained an ROC AUC of 0.9 and decided to focus only on this metric, they might overoptimistically believe their binary test was excellent. However, if this person took a look at the values of precision and negative predictive value, they might discover their values are low.

ค่า ROC AUC สรุปความไวและความจำเพาะ แต่ไม่ได้ให้ข้อมูลเกี่ยวกับความแม่นยำและค่าทำนายเชิงลบ^{[ 18 ]}

บางครั้ง ROC ถูกใช้เพื่อสร้างสถิติสรุป รูปแบบที่ใช้กันทั่วไป ได้แก่:

• จุดตัดของเส้นโค้ง ROC กับเส้นตรงที่ทำมุม 45 องศาตั้งฉากกับเส้นที่ไม่แสดงการแยกแยะ คือจุดสมดุลที่ความไว (Sensitivity ) เท่ากับความจำเพาะ ( Specificity)
• จุดตัดของเส้นโค้ง ROC กับเส้นสัมผัสที่ทำมุม 45 องศา ขนานกับเส้นไม่เลือกปฏิบัติ ซึ่งอยู่ใกล้กับจุดปลอดข้อผิดพลาด (0,1) มากที่สุด – เรียกอีกอย่างว่าสถิติ J ของ Youdenและเรียกโดยทั่วไปว่า ความรู้ความเข้าใจ (Informedness)
• พื้นที่ระหว่างเส้นโค้ง ROC และเส้นที่ไม่เลือกปฏิบัติคูณด้วยสองเรียกว่าสัมประสิทธิ์ Giniโดยเฉพาะในบริบทของ การให้ คะแนนเครดิต^{[ 23 ]} ไม่ควรสับสนกับการวัดการกระจายทางสถิติที่เรียกว่าสัมประสิทธิ์ Gini เช่นกัน
• พื้นที่ระหว่างเส้นโค้ง ROC แบบเต็มและเส้นโค้ง ROC รูปสามเหลี่ยมซึ่งรวมเฉพาะจุด (0,0), (1,1) และจุดปฏิบัติการที่เลือกไว้หนึ่งจุด${\displaystyle (tpr,fpr)}$– ความสม่ำเสมอ^{[ 24 ]}
• พื้นที่ใต้เส้นโค้ง ROC หรือ "AUC" ("พื้นที่ใต้เส้นโค้ง") หรือ A' (ออกเสียงว่า "เอ-ไพรม์") ^{[ 25 ]}หรือ "สถิติซี" ("สถิติความสอดคล้อง") ^{[ 26 ]}
• ดัชนีความไวd′ (อ่านว่า "ดี-ไพรม์") คือระยะห่างระหว่างค่าเฉลี่ยของการกระจายตัวของกิจกรรมในระบบภายใต้สภาวะที่มีแต่เสียงรบกวนและการกระจายตัวภายใต้สภาวะที่มีแต่สัญญาณ หารด้วยค่าเบี่ยงเบนมาตรฐานโดยอยู่บนสมมติฐานว่าการกระจายตัวทั้งสองเป็นแบบปกติและมีค่าเบี่ยงเบนมาตรฐานเท่ากัน ภายใต้สมมติฐานเหล่านี้ รูปทรงของ ROC จะถูกกำหนดโดยd′อย่าง สมบูรณ์

อย่างไรก็ตาม การพยายามสรุปเส้นโค้ง ROC ให้เหลือเพียงตัวเลขเดียว จะทำให้สูญเสียข้อมูลเกี่ยวกับรูปแบบของการแลกเปลี่ยนผลประโยชน์ของอัลกอริทึมตัวแยกแยะเฉพาะนั้นไป

มาตรการอื่นๆ

กราฟลักษณะการทำงานโดยรวม (Total Operating Characteristicหรือ TOC) ยังแสดงลักษณะความสามารถในการวินิจฉัยโรคได้เช่นกัน พร้อมทั้งให้ข้อมูลมากกว่ากราฟ ROC สำหรับแต่ละค่าเกณฑ์ กราฟ ROC จะแสดงอัตราส่วนสองค่า คือ TP/(TP + FN) และ FP/(FP + TN) กล่าวอีกนัยหนึ่ง กราฟ ROC จะแสดง...${\displaystyle {\frac {\text{จำนวนครั้งที่ตีได้}}{{\text{จำนวนครั้งที่ตีได้}}+{\text{จำนวนครั้งที่พลาด}}}}}$และ${\displaystyle {\frac {\text{สัญญาณเตือนที่ผิดพลาด}}{{\text{สัญญาณเตือนที่ผิดพลาด}}+{\text{การปฏิเสธที่ถูกต้อง}}}}}$ในทางกลับกัน TOC แสดงข้อมูลทั้งหมดในตารางความสัมพันธ์สำหรับแต่ละเกณฑ์^{[ 47 ]}วิธี TOC เปิดเผยข้อมูลทั้งหมดที่วิธี ROC ให้มา รวมทั้งข้อมูลสำคัญเพิ่มเติมที่ ROC ไม่เปิดเผย นั่นคือขนาดของแต่ละรายการในตารางความสัมพันธ์สำหรับแต่ละเกณฑ์ TOC ยังให้ค่า AUC ที่เป็นที่นิยมของ ROC อีกด้วย^{[ 48 ]}

ตัวเลขเหล่านี้คือเส้นโค้ง TOC และ ROC โดยใช้ข้อมูลและค่าเกณฑ์เดียวกัน พิจารณาจุดที่สอดคล้องกับค่าเกณฑ์ 74 เส้นโค้ง TOC แสดงจำนวนการตรวจพบที่ถูกต้อง ซึ่งคือ 3 และดังนั้นจำนวนการตรวจพบที่ไม่ถูกต้อง ซึ่งคือ 7 นอกจากนี้ เส้นโค้ง TOC ยังแสดงให้เห็นว่าจำนวนสัญญาณเตือนที่ผิดพลาดคือ 4 และจำนวนการปฏิเสธที่ถูกต้องคือ 16 ณ จุดใด ๆ บนเส้นโค้ง ROC เราสามารถหาค่าอัตราส่วนของ${\displaystyle {\frac {\text{สัญญาณเตือนที่ผิดพลาด}}{{\text{สัญญาณเตือนที่ผิดพลาด}}+{\text{การปฏิเสธที่ถูกต้อง}}}}}$และ${\displaystyle {\frac {\text{จำนวนครั้งที่ตีได้}}{{\text{จำนวนครั้งที่ตีได้}}+{\text{จำนวนครั้งที่พลาด}}}}}$ตัวอย่างเช่น ที่ค่าเกณฑ์ 74 จะเห็นได้ชัดว่าพิกัด x คือ 0.2 และพิกัด y คือ 0.3 อย่างไรก็ตาม ค่าทั้งสองนี้ไม่เพียงพอที่จะสร้างรายการทั้งหมดในตารางความสัมพันธ์แบบสองคูณสองที่อยู่เบื้องหลังได้

ทางเลือกอื่นนอกเหนือจากเส้นโค้ง ROC คือ กราฟ การแลกเปลี่ยนข้อผิดพลาดในการตรวจจับ (DET) ซึ่งพล็อตอัตราการตรวจจับผิดพลาดเชิงลบ (การตรวจจับที่พลาดไป) เทียบกับอัตราการตรวจจับผิดพลาดเชิงบวก (สัญญาณเตือนที่ผิดพลาด) บนแกน x และ y ที่แปลงแบบไม่เชิงเส้น ฟังก์ชันการแปลงคือฟังก์ชันควอนไทล์ของการแจกแจงปกติ กล่าวคือ ส่วนกลับของการแจกแจงปกติสะสม ในความเป็นจริงแล้ว มันคือการแปลงแบบเดียวกันกับ zROC ด้านล่าง ยกเว้นว่าใช้ค่าผกผันของอัตราการตรวจจับที่ถูกต้อง นั่นคืออัตราการตรวจจับที่พลาดไปหรืออัตราการตรวจจับผิดพลาดเชิงลบ ทางเลือกนี้ใช้พื้นที่กราฟมากขึ้นในบริเวณที่สนใจ พื้นที่ส่วนใหญ่ของ ROC ไม่ค่อยน่าสนใจนัก สิ่งที่เราสนใจหลักๆ คือบริเวณที่อยู่ติดกับ แกน yและมุมบนซ้าย ซึ่งเนื่องจากการใช้อัตราการตรวจจับที่พลาดไปแทนค่าผกผันของมัน นั่นคืออัตราการตรวจจับที่ถูกต้อง จึงเป็นมุมล่างซ้ายในกราฟ DET นอกจากนี้ กราฟ DET ยังมีคุณสมบัติที่เป็นประโยชน์คือความเป็นเส้นตรงและพฤติกรรมเกณฑ์เชิงเส้นสำหรับการแจกแจงปกติ^{[ 49 ]}แผนภูมิ DET ถูกนำมาใช้อย่างกว้างขวางใน ชุมชน การจดจำเสียงพูดอัตโนมัติซึ่งเป็นที่มาของชื่อ DET เป็นครั้งแรก การวิเคราะห์ประสิทธิภาพ ROC ในกราฟที่มีการบิดเบี้ยวของแกนนี้ถูกนำมาใช้โดยนักจิตวิทยาในการศึกษาการรับรู้ในช่วงกลางศตวรรษที่ 20 ซึ่งถูกเรียกว่า "กระดาษความน่าจะเป็นสองเท่า" ^{[ 50 ]}

หาก นำ คะแนนมาตรฐานมาใช้กับเส้นโค้ง ROC เส้นโค้งจะถูกแปลงเป็นเส้นตรง^{[ 51 ]} คะแนน z นี้ขึ้นอยู่กับการแจกแจงแบบปกติที่มีค่าเฉลี่ยเป็นศูนย์และส่วนเบี่ยงเบนมาตรฐานเป็นหนึ่ง ในทฤษฎีความแข็งแกร่ง ของความจำ เราต้องสมมติว่า zROC ไม่เพียงแต่เป็นเส้นตรงเท่านั้น แต่ยังมีค่าความชันเท่ากับ 1.0 การแจกแจงแบบปกติของเป้าหมาย (วัตถุที่ศึกษาที่ผู้ถูกทดสอบต้องจดจำ) และสิ่งล่อใจ (วัตถุที่ไม่ได้ศึกษาที่ผู้ถูกทดสอบพยายามจดจำ) เป็นปัจจัยที่ทำให้ zROC เป็นเส้นตรง

ความเป็นเส้นตรงของเส้นโค้ง zROC ขึ้นอยู่กับค่าเบี่ยงเบนมาตรฐานของการกระจายความแรงของเป้าหมายและเหยื่อล่อ หากค่าเบี่ยงเบนมาตรฐานเท่ากัน ความชันจะเป็น 1.0 หากค่าเบี่ยงเบนมาตรฐานของการกระจายความแรงของเป้าหมายมากกว่าค่าเบี่ยงเบนมาตรฐานของการกระจายความแรงของเหยื่อล่อ ความชันจะน้อยกว่า 1.0 ในการศึกษาส่วนใหญ่ พบว่าความชันของเส้นโค้ง zROC มักจะต่ำกว่า 1 เสมอ โดยปกติจะอยู่ระหว่าง 0.5 ถึง 0.9 ^{[ 52 ]}การทดลองหลายครั้งให้ค่าความชันของ zROC เท่ากับ 0.8 ความชัน 0.8 หมายความว่าความแปรปรวนของการกระจายความแรงของเป้าหมายมากกว่าความแปรปรวนของการกระจายความแรงของเหยื่อล่อ 25% ^{[ 53 ]}

ตัวแปรอีกตัวที่ใช้คือd ' (d ไพรม์) (กล่าวถึงข้างต้นในหัวข้อ "มาตรการอื่นๆ") ซึ่งสามารถแสดงได้ง่ายในรูปของค่า z แม้ว่าd 'จะเป็นพารามิเตอร์ที่ใช้กันทั่วไป แต่ก็ต้องยอมรับว่ามีความเกี่ยวข้องเฉพาะเมื่อปฏิบัติตามสมมติฐานที่เข้มงวดมากของทฤษฎีความแข็งแกร่งที่กล่าวไว้ข้างต้นเท่านั้น^{[ 54 ]}  

ค่า z-score ของเส้นโค้ง ROC จะเป็นเส้นตรงเสมอ ตามที่สมมติไว้ ยกเว้นในสถานการณ์พิเศษ แบบจำลองความคุ้นเคย-การระลึกถึงของ Yonelinas เป็นคำอธิบายสองมิติของความจำในการจดจำ แทนที่ผู้ถูกทดสอบจะตอบเพียงว่าใช่หรือไม่ใช่กับข้อมูลป้อนเข้าเฉพาะ ผู้ถูกทดสอบจะให้ความรู้สึกคุ้นเคยกับข้อมูลป้อนเข้า ซึ่งทำงานเหมือนกับเส้นโค้ง ROC ดั้งเดิม อย่างไรก็ตาม สิ่งที่เปลี่ยนแปลงคือพารามิเตอร์สำหรับการระลึกถึง (R) การระลึกถึงนั้นถือว่าเป็นแบบทั้งหมดหรือไม่มีเลย และมีความสำคัญเหนือกว่าความคุ้นเคย หากไม่มีองค์ประกอบการระลึกถึง ค่า zROC ที่คาดการณ์ไว้จะเป็น 1 อย่างไรก็ตาม เมื่อเพิ่มองค์ประกอบการระลึกถึง เส้นโค้ง zROC จะเว้าขึ้น โดยมีความชันลดลง ความแตกต่างในรูปร่างและความชันนี้เป็นผลมาจากองค์ประกอบความแปรปรวนที่เพิ่มเข้ามาเนื่องจากบางรายการถูกระลึกถึง ผู้ป่วยที่มีภาวะความจำเสื่อมแบบย้อนหลังไม่สามารถระลึกถึงได้ ดังนั้นเส้นโค้ง zROC ของ Yonelinas ของพวกเขาจึงมีความชันใกล้เคียงกับ 1.0 ^{[ 55 ]}

เส้นโค้ง ROC ถูกนำมาใช้ครั้งแรกในช่วงสงครามโลกครั้งที่สองสำหรับการวิเคราะห์สัญญาณเรดาร์ก่อนที่จะถูกนำไปใช้ในทฤษฎีการตรวจจับสัญญาณ^{[ 56 ]}หลังจากการโจมตีเพิร์ลฮาร์เบอร์ในปี 1941 กองทัพสหรัฐฯ ได้เริ่มทำการวิจัยใหม่เพื่อเพิ่มการคาดการณ์เครื่องบินญี่ปุ่นที่ตรวจพบได้อย่างถูกต้องจากสัญญาณเรดาร์ เพื่อจุดประสงค์นี้ พวกเขาได้วัดความสามารถของผู้ควบคุมเครื่องรับเรดาร์ในการแยกแยะความแตกต่างที่สำคัญเหล่านี้ ซึ่งเรียกว่าลักษณะการทำงานของเครื่องรับ (Receiver Operating Characteristic) ^{[ 57 ]}

ในช่วงทศวรรษ 1950 เส้นโค้ง ROC ถูกนำมาใช้ในจิตวิทยาการรับรู้เพื่อประเมินการตรวจจับสัญญาณอ่อนของมนุษย์ (และบางครั้งสัตว์ที่ไม่ใช่มนุษย์) ^{[ 56 ]}ในทางการแพทย์การวิเคราะห์ ROC ถูกนำมาใช้อย่างกว้างขวางในการประเมินการทดสอบวินิจฉัย^{[ 58 ] [ 59 ]}เส้นโค้ง ROC ยังถูกนำมาใช้อย่างกว้างขวางในระบาดวิทยาและการวิจัยทางการแพทย์และมักถูกกล่าวถึงควบคู่ไปกับการแพทย์ตามหลักฐานในรังสีวิทยาการวิเคราะห์ ROC เป็นเทคนิคทั่วไปในการประเมินเทคนิครังสีวิทยาใหม่^{[ 60 ]}ในสังคมศาสตร์ การวิเคราะห์ ROC มักเรียกว่าอัตราส่วนความแม่นยำ ROC ซึ่งเป็นเทคนิคทั่วไปในการตัดสินความแม่นยำของแบบจำลองความน่าจะเป็นเริ่มต้น เส้นโค้ง ROC ถูกนำมาใช้อย่างกว้างขวางในเวชศาสตร์ห้องปฏิบัติการเพื่อประเมินความแม่นยำในการวินิจฉัยของการทดสอบ เพื่อเลือกค่าตัดที่เหมาะสมที่สุดของการทดสอบ และเพื่อเปรียบเทียบความแม่นยำในการวินิจฉัยของการทดสอบหลายรายการ

เส้นโค้ง ROC ยังพิสูจน์แล้วว่ามีประโยชน์สำหรับการประเมิน เทคนิค การเรียนรู้ของเครื่อง การประยุกต์ ใช้ ROC ครั้งแรกในการเรียนรู้ของเครื่องนั้นกระทำโดย Spackman ซึ่งได้แสดงให้เห็นถึงคุณค่าของเส้นโค้ง ROC ในการเปรียบเทียบและประเมินอัลกอริธึ มการจำแนกประเภทต่างๆ^{[ 61 ]}

เส้นโค้ง ROC ยังใช้ในการตรวจสอบการพยากรณ์ในอุตุนิยมวิทยาอีกด้วย^{[ 62 ]}

การขยายเส้นโค้ง ROC สำหรับปัญหาการจำแนกประเภทที่มีมากกว่าสองคลาสเป็นเรื่องยุ่งยาก วิธีการทั่วไปสองวิธีสำหรับกรณีที่มีหลายคลาสคือ (1) การหาค่าเฉลี่ยของค่า AUC แบบคู่ทั้งหมด^{[ 64 ]}และ (2) การคำนวณปริมาตรใต้พื้นผิว (VUS) ^{[ 65 ] [ 66 ]}ในการหาค่าเฉลี่ยของคลาสแบบคู่ทั้งหมด จะคำนวณค่า AUC สำหรับแต่ละคู่ของคลาส โดยใช้เฉพาะตัวอย่างจากสองคลาสนั้นราวกับว่าไม่มีคลาสอื่น ๆ จากนั้นจึงหาค่าเฉลี่ยของค่า AUC เหล่านี้สำหรับคู่ที่เป็นไปได้ทั้งหมด เมื่อมีcคลาส จะมีc ( c − 1) / 2คู่ของคลาสที่เป็นไปได้

วิธีการหาปริมาตรใต้พื้นผิว (Volume Under Surface: VUS) คือการพล็อตพื้นผิวหลายมิติแทนที่จะเป็นเส้นโค้ง แล้ววัดปริมาตรใต้พื้นผิวหลายมิตินั้น กฎการตัดสินใจที่เป็นไปได้ทั้งหมดที่อาจใช้สำหรับตัวจำแนกประเภทสำหรับcคลาส สามารถอธิบายได้ในแง่ของอัตราการตรวจพบที่ถูกต้อง(TPR ,  .  .  .  ,  TPR )ชุดของอัตราเหล่านี้เป็นตัวกำหนดจุด และชุดของกฎการตัดสินใจที่เป็นไปได้ทั้งหมดจะสร้างกลุ่มจุดที่กำหนดพื้นผิวหลายมิติ ด้วยคำจำกัดความนี้ VUS คือความน่าจะเป็นที่ตัวจำแนกประเภทจะสามารถติดป้ายกำกับ ตัวอย่าง c ทั้งหมดได้อย่างถูกต้อง เมื่อได้รับชุดข้อมูลที่มีตัวอย่างที่เลือกแบบสุ่มหนึ่งตัวอย่างจากแต่ละคลาส การใช้งานตัวจำแนกประเภทที่ทราบว่าชุดข้อมูลอินพุตประกอบด้วยตัวอย่างหนึ่งตัวอย่างจากแต่ละคลาส อาจคำนวณคะแนนความเหมาะสม (goodness-of-fit score) สำหรับแต่ละ คู่ที่เป็นไปได้ c ²คู่ของตัวอย่างกับคลาสก่อน จากนั้นใช้ขั้นตอนวิธีฮังการี (Hungarian algorithm)เพื่อเพิ่มผลรวมของ คะแนนที่เลือก c คะแนนให้สูงสุด เหนือวิธีการที่เป็นไปได้ทั้งหมดc !วิธีในการกำหนดตัวอย่างหนึ่งตัวอย่างให้กับแต่ละคลาส

เนื่องจากความสำเร็จของเส้นโค้ง ROC ในการประเมินแบบจำลองการจำแนกประเภท การขยายเส้นโค้ง ROC สำหรับงานที่มีการกำกับดูแลอื่นๆ จึงได้รับการศึกษาเช่นกัน ข้อเสนอที่น่าสนใจสำหรับปัญหาการถดถอยคือเส้นโค้งลักษณะข้อผิดพลาดการถดถอย (REC) ^{[ 67 ]}และเส้นโค้ง ROC การถดถอย (RROC) ^{[ 68 ]}ในกรณีหลัง เส้นโค้ง RROC จะมีความคล้ายคลึงกับเส้นโค้ง ROC สำหรับการจำแนกประเภทอย่างมาก โดยมีแนวคิดเรื่องความไม่สมมาตร การครอบงำ และส่วนนูน นอกจากนี้ พื้นที่ใต้เส้นโค้ง RROC ยังเป็นสัดส่วนกับความแปรปรวนของข้อผิดพลาดของแบบจำลองการถดถอย

• เครื่องคำนวณ ROC ที่ใช้งานง่าย
• การสาธิต ROC แบบแอนิเมชั่น
• การสาธิต ROC
• อีกหนึ่งการสาธิต ROC
• คำอธิบายวิดีโอ ROC
• บทนำสู่ลักษณะการดำเนินงานโดยรวม: การประเมินแบบจำลองยูทิลิตี้ในการเปลี่ยนแปลงที่ดิน
• วิธีเรียกใช้แพ็กเกจ TOC ใน R
• แพ็คเกจ TOC R บน Github
• ไฟล์ Excel สำหรับสร้างกราฟ TOC

• บาลากฤษณัน, นารายานาสวามี (1991); คู่มือการกระจายสินค้าเชิงโลจิสติกส์ , มาร์เซล เดกเกอร์ อิงค์, ISBN 978-0-8247-8587-1
• Brown, Christopher D.; Davis, Herbert T. (2006). "เส้นโค้งลักษณะการทำงานของตัวรับและมาตรวัดการตัดสินใจที่เกี่ยวข้อง: บทช่วยสอน" Chemometrics and Intelligent Laboratory Systems . 80 : 24– 38. doi : 10.1016/j.chemolab.2005.05.004 .
• Rotello, Caren M.; Heit, Evan; Dubé, Chad (2014). "เมื่อข้อมูลมากขึ้นกลับทำให้เราเข้าใจผิด: การทำซ้ำด้วยตัวแปรตามที่ไม่ถูกต้องทำให้ข้อสรุปที่ผิดพลาดคงอยู่ต่อไป" (PDF) . Psychonomic Bulletin & Review . 22 (4): 944– 954. doi : 10.3758/s13423-014-0759-2 . PMID 25384892 . S2CID 6046065 .  
• Fawcett, Tom (2004). "กราฟ ROC: หมายเหตุและข้อควรพิจารณาเชิงปฏิบัติสำหรับนักวิจัย" (PDF) . Pattern Recognition Letters . 27 (8): 882– 891. CiteSeerX 10.1.1.145.4649 . doi : 10.1016/j.patrec.2005.10.012 . 
• Gonen, Mithat (2007); การวิเคราะห์เส้นโค้งลักษณะการทำงานของผู้รับโดยใช้ SAS , SAS Press, ISBN 978-1-59994-298-8
• กรีน, วิลเลียม เอช. (2003) การวิเคราะห์เชิงเศรษฐศาสตร์ฉบับที่ห้า สำนักพิมพ์เพรนติส ฮอลล์ISBN 0-13-066189-9
• Heagerty, Patrick J.; Lumley, Thomas; Pepe, Margaret S. (2000). "เส้นโค้ง ROC ที่ขึ้นอยู่กับเวลาสำหรับข้อมูลการรอดชีวิตที่ถูกตัดตอนและเครื่องหมายการวินิจฉัย" Biometrics . 56 (2): 337– 344. Bibcode : 2000Biome..56..337H . doi : 10.1111/j.0006-341x.2000.00337.x . PMID 10877287 . S2CID 8822160 .  
• Hosmer, David W.; และ Lemeshow, Stanley (2000); Applied Logistic Regression , ฉบับที่ 2, นิวยอร์ก, NY: Wiley , ISBN 0-471-35632-8
• Lasko, Thomas A.; Bhagwat, Jui G.; Zou, Kelly H.; Ohno-Machado, Lucila (2005). "การใช้เส้นโค้งลักษณะการทำงานของผู้รับในสารสนเทศชีวการแพทย์" วารสารสารสนเทศชีวการแพทย์ 38 ( 5): 404– 415. CiteSeerX 10.1.1.97.9674 . doi : 10.1016/j.jbi.2005.02.008 . PMID 16198999 .  
• มาส, ฌอง-ฟรองซัวส์; ฟิลโญ่, บริตัลโด้ โซอาเรส; ปอนติอุส จูเนียร์ โรเบิร์ต กิลมอร์; กูเทียเรซ, มิเชล ฟาร์ฟาน; โรดริเกซ, แฮร์มันน์ (2013) “ชุดเครื่องมือสำหรับการวิเคราะห์ ROC ของแบบจำลองเชิงพื้นที่ ” ISPRS วารสารภูมิสารสนเทศนานาชาติ . 2 (3): 869– 887. Bibcode : 2013IJGI....2..869M . ดอย : 10.3390/ijgi2030869 .{{cite journal}}: CS1 maint: multiple names: authors list ( link )
• Pontius, Jr, Robert Gilmore; Parmentier, Benoit (2014). "คำแนะนำสำหรับการใช้ลักษณะการทำงานเชิงสัมพัทธ์ (ROC)" . Landscape Ecology . 29 (3): 367– 382. Bibcode : 2014LaEco..29..367P . doi : 10.1007/s10980-013-9984-8 . S2CID 15924380 . {{cite journal}}: CS1 maint: multiple names: authors list ( link )
• Pontius, Jr, Robert Gilmore; Pacheco, Pablo (2004). "การสอบเทียบและการตรวจสอบความถูกต้องของแบบจำลองการรบกวนป่าในเทือกเขาเวสเทิร์นกัตส์ ประเทศอินเดีย 1920–1990" . GeoJournal . 61 (4): 325– 334. Bibcode : 2004GeoJo..61..325G . doi : 10.1007/s10708-004-5049-5 . S2CID 155073463 . {{cite journal}}: CS1 maint: multiple names: authors list ( link )
• Pontius, Jr, Robert Gilmore; Batchu, Kiran (2003). "การใช้ลักษณะการทำงานเชิงสัมพัทธ์เพื่อวัดความแน่นอนในการทำนายตำแหน่งของการเปลี่ยนแปลงการปกคลุมของที่ดินในอินเดีย" Transactions in GIS . 7 (4): 467– 484. Bibcode : 2003TrGIS...7..467P . doi : 10.1111/1467-9671.00159 . S2CID 14452746 . {{cite journal}}: CS1 maint: multiple names: authors list ( link )
• Pontius, Jr, Robert Gilmore; Schneider, Laura (2001). "การตรวจสอบความถูกต้องของแบบจำลองการเปลี่ยนแปลงการใช้ที่ดินโดยวิธี ROC สำหรับลุ่มน้ำอิปสวิช รัฐแมสซาชูเซตส์ สหรัฐอเมริกา" . เกษตรกรรม ระบบนิเวศ และสิ่งแวดล้อม . 85 ( 1– 3): 239– 248. doi : 10.1016/S0167-8809(01)00187-6 .{{cite journal}}: CS1 maint: multiple names: authors list ( link )
• Stephan, Carsten; Wesseling, Sebastian; Schink, Tania; Jung, Klaus (2003). "การเปรียบเทียบโปรแกรมคอมพิวเตอร์แปดโปรแกรมสำหรับการวิเคราะห์ลักษณะการทำงานของผู้รับ"เคมีคลินิก49 ( 3): 433– 439. doi : 10.1373/49.3.433 . PMID 12600955 . 
• Swets, John A.; Dawes, Robyn M.; และ Monahan, John (2000); การตัดสินใจที่ดีขึ้นผ่านวิทยาศาสตร์ , Scientific American , ตุลาคม, หน้า 82–87
• Zou, Kelly H.; O'Malley, A. James; Mauri, Laura (2007). "การวิเคราะห์ลักษณะการทำงานของผู้รับเพื่อประเมินการทดสอบวินิจฉัยและแบบจำลองการทำนาย" . Circulation . 115 (5): 654– 7. doi : 10.1161/circulationaha.105.594929 . PMID 17283280 . 
• Zhou, Xiao-Hua; Obuchowski, Nancy A. ; McClish, Donna K. (2002). วิธีการทางสถิติในการวินิจฉัยทางการแพทย์ . นิวยอร์ก, นิวยอร์ก: Wiley & Sons. ISBN 978-0-471-34772-9.