กลับไปหน้าบทความ

อ่าน 3 นาที

วิธีของวอร์ด

ในทางสถิติวิธีของวอร์ดเป็นเกณฑ์ที่ใช้ในการวิเคราะห์คลัสเตอร์แบบลำดับชั้นวิธีความแปรปรวนต่ำสุดของวอร์ดเป็นกรณีพิเศษของ วิธีการ ฟังก์ชันเป้าหมายที่โจ เอช.

วิธีของวอร์ด

ในทางสถิติวิธีของวอร์ดเป็นเกณฑ์ที่ใช้ในการวิเคราะห์คลัสเตอร์แบบลำดับชั้นวิธีความแปรปรวนต่ำสุดของวอร์ดเป็นกรณีพิเศษของ วิธีการ ฟังก์ชันเป้าหมายที่โจ เอช. วอร์ด จูเนียร์ นำเสนอเป็นครั้งแรก[ 1 ] วอร์ดแนะนำขั้นตอนการจัด คลัสเตอร์แบบลำดับชั้นแบบรวมกลุ่มทั่วไปโดยเกณฑ์ในการเลือกคู่คลัสเตอร์ที่จะรวมเข้าด้วยกันในแต่ละขั้นตอนจะขึ้นอยู่กับค่าที่เหมาะสมที่สุดของฟังก์ชันเป้าหมาย ฟังก์ชันเป้าหมายนี้อาจเป็น "ฟังก์ชันใดๆ ที่สะท้อนถึงจุดประสงค์ของผู้ตรวจสอบ" ขั้นตอนการจัดคลัสเตอร์มาตรฐานจำนวนมากอยู่ในกลุ่มทั่วไปนี้ เพื่อแสดงให้เห็นถึงขั้นตอน วอร์ดใช้ตัวอย่างที่ฟังก์ชันเป้าหมายคือผลรวมกำลังสองของข้อผิดพลาดและตัวอย่างนี้เรียกว่าวิธีของวอร์ดหรือเรียกให้แม่นยำยิ่งขึ้นว่าวิธีความแปรปรวนต่ำสุดของวอร์ด

อัลกอริทึมการเชื่อมโยงเพื่อนบ้านที่ใกล้ที่สุดสามารถใช้ค้นหาการจัดกลุ่มแบบเดียวกันกับที่กำหนดโดยวิธีของวอร์ดได้ โดยใช้เวลาแปรผันตามขนาดของเมทริกซ์ระยะทาง ที่ป้อนเข้า และใช้พื้นที่เชิงเส้นตามจำนวนจุดที่กำลังจัดกลุ่ม

เกณฑ์ความแปรปรวนขั้นต่ำ

เกณฑ์ความแปรปรวนต่ำสุดของวอร์ด (Ward's minimum variance criterion) จะลดความแปรปรวนรวมภายในคลัสเตอร์ให้เหลือน้อยที่สุด ในการนำวิธีนี้ไปใช้ ในแต่ละขั้นตอน ให้หาคู่ของคลัสเตอร์ที่ทำให้ความแปรปรวนรวมภายในคลัสเตอร์เพิ่มขึ้นน้อยที่สุดหลังจากการรวมคลัสเตอร์ การเพิ่มขึ้นนี้คือระยะทางกำลังสองแบบถ่วงน้ำหนักระหว่างจุดศูนย์กลางของคลัสเตอร์ ในขั้นตอนเริ่มต้น คลัสเตอร์ทั้งหมดจะเป็นคลัสเตอร์เดี่ยว (คลัสเตอร์ที่มีจุดเพียงจุดเดียว) ในการใช้อัลกอริธึมแบบเรียกซ้ำ ภายใต้ ฟังก์ชันเป้าหมายนี้ระยะทางเริ่มต้นระหว่างวัตถุแต่ละชิ้นจะต้องเป็นสัดส่วนกับระยะทางยูคลิด กำลังสอง

ดังนั้น ระยะห่างเริ่มต้นของกลุ่มในวิธีการความแปรปรวนต่ำสุดของวอร์ด จึงถูกกำหนดให้เป็นระยะทางแบบยูคลิดกำลังสองระหว่างจุดต่างๆ:

ฉันเจ=({Xฉัน},{Xเจ})=XฉันXเจ2.{\displaystyle d_{ij}=d(\{X_{i}\},\{X_{j}\})={\|X_{i}-X_{j}\|^{2}}.}

หมายเหตุ: ในซอฟต์แวร์ที่ใช้ระเบียบวิธีของวอร์ด จำเป็นต้องตรวจสอบว่าพารามิเตอร์ของฟังก์ชันควรระบุระยะทางแบบยุคลิดหรือระยะทางแบบยุคลิดยกกำลังสอง

อัลกอริทึมแลนซ์-วิลเลียมส์

วิธีการลดความแปรปรวนต่ำสุดของ Ward สามารถกำหนดและนำไปใช้แบบเรียกซ้ำได้โดยใช้อัลกอริทึม Lance–Williams อัลกอริทึม Lance–Williams เป็นตระกูลอนันต์ของอัลกอริทึมการจัดกลุ่มแบบลำดับชั้นแบบรวมกลุ่ม ซึ่งแสดงด้วยสูตรเรียกซ้ำสำหรับการปรับปรุงระยะห่างของกลุ่มในแต่ละขั้นตอน (ทุกครั้งที่มีการรวมกลุ่มสองกลุ่มเข้าด้วยกัน) ในแต่ละขั้นตอน จำเป็นต้องปรับฟังก์ชันเป้าหมายให้เหมาะสมที่สุด (หาคู่กลุ่มที่เหมาะสมที่สุดที่จะรวมเข้าด้วยกัน) สูตรเรียกซ้ำช่วยลดความซับซ้อนในการหาคู่ที่เหมาะสมที่สุด

สมมติว่าคลัสเตอร์ซีฉัน{\displaystyle C_{i}}และซีเจ{\displaystyle C_{j}}กลุ่มถัดไปที่จะถูกรวมเข้าด้วยกัน ในขั้นตอนนี้ เรารู้ระยะห่างระหว่างกลุ่มแต่ละคู่ในปัจจุบันทั้งหมดแล้ว สูตรแบบเรียกซ้ำจะให้ระยะห่างระหว่างกลุ่มที่อัปเดตแล้วหลังจากการรวมกลุ่มที่กำลังจะเกิดขึ้นซีฉัน{\displaystyle C_{i}}และซีเจ{\displaystyle C_{j}}. อนุญาต

  • ฉันเจ{\displaystyle d_{ij}},ฉันเค{\displaystyle d_{ik}}, และเจเค{\displaystyle d_{jk}}คือระยะห่างระหว่างกลุ่มแต่ละคู่ซีฉัน{\displaystyle C_{i}},ซีเจ{\displaystyle C_{j}}, และซีเค{\displaystyle C_{k}}ตามลำดับ
  • (ฉันเจ)เค{\displaystyle d_{(ij)k}}จะเป็นระยะห่างระหว่างกลุ่มใหม่ซีฉันซีเจ{\displaystyle C_{i}\cup C_{j}}และซีเค{\displaystyle C_{k}}.

อัลกอริทึมจัดอยู่ในตระกูล Lance-Williams หากระยะห่างของคลัสเตอร์ที่ได้รับการปรับปรุง(ฉันเจ)เค{\displaystyle d_{(ij)k}}สามารถคำนวณแบบเรียกซ้ำได้โดย

(ฉันเจ)เค=αฉันฉันเค+αเจเจเค+เบต้าฉันเจ+γ|ฉันเคเจเค|,{\displaystyle d_{(ij)k}=\alpha _{i}d_{ik}+\alpha _{j}d_{jk}+\beta d_{ij}+\gamma |d_{ik}-d_{jk}|,}

ที่ไหนαฉัน,αเจ,เบต้า,{\displaystyle \alpha _{i},\alpha _{j},\beta ,}และγ{\displaystyle \gamma }เป็นพารามิเตอร์ ซึ่งอาจขึ้นอยู่กับขนาดของกลุ่มข้อมูล เมื่อรวมกับฟังก์ชันระยะห่างระหว่างกลุ่มข้อมูลแล้วฉันเจ{\displaystyle d_{ij}}กำหนดอัลกอริทึมการจัดกลุ่ม อัลกอริทึมการจัดกลุ่มมาตรฐานหลายอย่าง เช่นการเชื่อมโยงเดี่ยวการเชื่อมโยงสมบูรณ์และวิธีการเฉลี่ยกลุ่ม มีสูตรเวียนเกิดประเภทข้างต้น ตารางพารามิเตอร์สำหรับวิธีการมาตรฐานมีให้โดยผู้เขียนหลายคน[ 2 ] [ 3 ] [ 4 ]

วิธีการหาค่าความแปรปรวนต่ำสุดของ Ward สามารถนำไปใช้ได้โดยใช้สูตรของ Lance–Williams สำหรับคลัสเตอร์ที่ไม่ทับซ้อนกันซีฉัน,ซีเจ,{\displaystyle C_{i},C_{j},}และซีเค{\displaystyle C_{k}}พร้อมขนาดnฉัน,nเจ,{\displaystyle n_{i},n_{j},}และnเค{\displaystyle n_{k}}ตามลำดับ:

(ซีฉันซีเจ,ซีเค)=nฉัน+nเคnฉัน+nเจ+nเค(ซีฉัน,ซีเค)+nเจ+nเคnฉัน+nเจ+nเค(ซีเจ,ซีเค)nเคnฉัน+nเจ+nเค(ซีฉัน,ซีเจ).{\displaystyle d(C_{i}\cup C_{j},C_{k})={\frac {n_{i}+n_{k}}{n_{i}+n_{j}+n_{k}}}\;d(C_{i},C_{k})+{\frac {n_{j}+n_{k}}{n_{i}+n_{j}+n_{k}}}\;d(C_{j},C_{k})-{\frac {n_{k}}{n_{i}+n_{j}+n_{k}}}\;d(C_{i},C_{j}).}

ดังนั้น วิธีของวอร์ดจึงสามารถนำไปใช้เป็นอัลกอริทึมแลนซ์-วิลเลียมส์ได้

αฉัน=nฉัน+nเคnฉัน+nเจ+nเค,αเจ=nเจ+nเคnฉัน+nเจ+nเค,เบต้า=nเคnฉัน+nเจ+nเค,γ=0.{\displaystyle \alpha _{i}={\frac {n_{i}+n_{k}}{n_{i}+n_{j}+n_{k}}},\qquad \alpha _{j}={\frac {n_{j}+n_{k}}{n_{i}+n_{j}+n_{k}}},\qquad \beta ={\frac {-n_{k}}{n_{i}+n_{j}+n_{k}}},\qquad \gamma =0.}

การเปลี่ยนแปลง

ความนิยมของวิธีการของ Ward ทำให้เกิดรูปแบบต่างๆ ของวิธีการนี้ ตัวอย่างเช่น Ward นำเสนอการใช้ค่าน้ำหนักคุณลักษณะเฉพาะคลัสเตอร์ โดยยึดตามแนวคิดเชิงสัญชาตญาณที่ว่าคุณลักษณะต่างๆ อาจมีระดับความเกี่ยวข้องที่แตกต่างกันในคลัสเตอร์ต่างๆ[ 5 ]

อ่านเพิ่มเติม

  • Everitt, BS, Landau, S. และ Leese, M. (2001), การวิเคราะห์คลัสเตอร์, ฉบับที่ 4 , สำนักพิมพ์ Oxford University Press, Inc., นิวยอร์ก; Arnold, ลอนดอน. ISBN 0340761199
  • Hartigan, JA (1975), อัลกอริทึมการจัดกลุ่ม , นิวยอร์ก: Wiley.
  • Jain, AKและ Dubes, RC (1988), อัลกอริทึมสำหรับการจัดกลุ่มข้อมูล , นิวเจอร์ซีย์: Prentice–Hall.
  • Kaufman, L. และ Rousseeuw, PJ (1990), การค้นหากลุ่มในข้อมูล: บทนำสู่การวิเคราะห์คลัสเตอร์ , นิวยอร์ก: Wiley.

สรุปเนื้อหา

ข้อมูลสำคัญจากบทความ

ข้อมูลสำคัญเกี่ยวกับ วิธีของวอร์ด

ในทางสถิติวิธีของวอร์ดเป็นเกณฑ์ที่ใช้ในการวิเคราะห์คลัสเตอร์แบบลำดับชั้นวิธีความแปรปรวนต่ำสุดของวอร์ดเป็นกรณีพิเศษของ วิธีการ ฟังก์ชันเป้าหมายที่โจ เอช.

เกณฑ์ความแปรปรวนขั้นต่ำ

เกณฑ์ความแปรปรวนต่ำสุดของวอร์ด (Ward's minimum variance criterion) จะลดความแปรปรวนรวมภายในคลัสเตอร์ให้เหลือน้อยที่สุด ในการนำวิธีนี้ไปใช้ ในแต่ละขั้นตอน ให้หาคู่ของคลัสเตอร์ที่ทำให้ความแปรปรวนรวมภายในคลัสเตอร์เพิ่มขึ้นน้อยที่สุดหลังจากการรวมคลัสเตอร์...

อัลกอริทึมแลนซ์-วิลเลียมส์

วิธีการลดความแปรปรวนต่ำสุดของ Ward สามารถกำหนดและนำไปใช้แบบเรียกซ้ำได้โดยใช้อัลกอริทึม Lance–Williams อัลกอริทึม Lance–Williams เป็นตระกูลอนันต์ของอัลกอริทึมการจัดกลุ่มแบบลำดับชั้นแบบรวมกลุ่ม...

การเปลี่ยนแปลง

ความนิยมของวิธีการของ Ward ทำให้เกิดรูปแบบต่างๆ ของวิธีการนี้ ตัวอย่างเช่น Ward นำเสนอการใช้ค่าน้ำหนักคุณลักษณะเฉพาะคลัสเตอร์ โดยยึดตามแนวคิดเชิงสัญชาตญาณที่ว่าคุณลักษณะต่างๆ อาจมีระดับความเกี่ยวข้องที่แตกต่างกันในคลัสเตอร์ต่างๆ [ 5 ]