กลับไปหน้าบทความ

อ่าน 5 นาที

การแยกเชิงเส้น

ในเรขาคณิตแบบยุคลิดความสามารถในการแยกได้ด้วยเส้นตรงเป็นคุณสมบัติของเซตของจุด สองเซต ซึ่งสามารถมองเห็นภาพได้ง่ายที่สุดในสองมิติ ( ระนาบยุคลิด )...

การแยกเชิงเส้น

การมีเส้นแบ่งระหว่างจุดทั้งสองประเภทหมายความว่าข้อมูลนั้นสามารถแยกได้ด้วยเส้นตรง

ในเรขาคณิตแบบยุคลิดความสามารถในการแยกได้ด้วยเส้นตรงเป็นคุณสมบัติของเซตของจุด สองเซต ซึ่งสามารถมองเห็นภาพได้ง่ายที่สุดในสองมิติ ( ระนาบยุคลิด ) โดยคิดว่าเซตของจุดหนึ่งมีสีน้ำเงินและอีกเซตหนึ่งมีสีแดง เซตทั้งสองนี้สามารถแยกได้ด้วยเส้นตรงหากมีเส้นตรง อย่างน้อยหนึ่งเส้น ในระนาบที่มีจุดสีน้ำเงินทั้งหมดอยู่ด้านหนึ่งของเส้นตรงและจุดสีแดงทั้งหมดอยู่ด้านตรงข้าม แนวคิดนี้สามารถขยายไปสู่ปริภูมิยุคลิดที่มีมิติสูงกว่าได้ทันทีหากแทนที่เส้นตรงด้วยระนาบไฮเปอร์เพล

ปัญหาของการพิจารณาว่าเซตสองเซตสามารถแยกออกจากกันด้วยเส้นตรงได้หรือไม่ และการหาเส้นแบ่งแยกหากสามารถแยกออกจากกันได้นั้น เกิดขึ้นในหลายสาขา ในทางสถิติและการเรียนรู้ของเครื่องการจำแนกประเภทข้อมูลบางประเภทเป็นปัญหาที่มีอัลกอริทึมที่ดีอยู่แล้วซึ่งอิงตามแนวคิดนี้

นิยามทางคณิตศาสตร์

ให้เป็นเซตของจุด และเป็นเซตของจุดในปริภูมิยุคลิดมิติและสามารถแยกได้ด้วยเส้นตรงถ้าสามารถ "แยก" ออกจากกันได้ด้วยระนาบมิติ โดยที่ทุกจุดในอยู่ด้านหนึ่งของระนาบ และทุกจุดในอยู่ด้านตรงข้ามของ ระนาบ

ระนาบแบ่งแยกประกอบด้วยจุดโดยที่คือเวกเตอร์ตั้งฉากกับระนาบ และคือค่าชดเชยแบบสเกลาร์และสามารถแยกออกจากกันได้ด้วยเส้นตรง ถ้ามีเวกเตอร์ตั้งฉากและค่าชดเชยแบบสเกลาร์ที่ทำให้ทุกจุดเป็นไปตามเงื่อนไขและทุกจุดเป็นไป ตามเงื่อนไข หรือทุกจุดเป็นไปตามเงื่อนไขและทุกจุด เป็นไป ตาม เงื่อนไข

ในทำนองเดียวกัน เซตสองเซตสามารถแยกออกจากกันได้เชิงเส้นก็ต่อเมื่อขอบเขตนูน ของเซตทั้งสอง ไม่ทับซ้อนกัน (โดยทั่วไปคือไม่ทับซ้อนกัน) [ 1 ]

ตัวอย่าง

จุด สามจุดที่ไม่เรียงตัวกันบนเส้นตรงเดียวกันในสองกลุ่ม ('+' และ '-') จะสามารถแยกออกจากกันได้ด้วยเส้นตรงในสองมิติเสมอ ดังแสดงในตัวอย่างสามตัวอย่างในรูปต่อไปนี้ (กรณีที่มีเฉพาะ '+' ไม่ได้แสดงไว้ แต่มีลักษณะคล้ายกับกรณีที่มีเฉพาะ '-'):

อย่างไรก็ตาม ไม่ใช่ว่าทุกชุดของจุดสี่จุด (โดยเฉพาะจุดสามจุดที่อยู่บนเส้นตรงเดียวกัน) จะสามารถแยกออกจากกันได้ด้วยเส้นตรงในสองมิติ ตัวอย่างต่อไปนี้จะต้องใช้ เส้นตรง สองเส้น จึงไม่สามารถแยกออกจากกันได้ด้วยเส้นตรง:

โปรดสังเกตว่าจุดสามจุดที่อยู่บนเส้นตรงเดียวกันและมีรูปแบบ "+ ⋅⋅⋅ — ⋅⋅⋅ +" ก็ไม่สามารถแยกออกจากกันได้ด้วยเส้นตรงเช่นกัน

จำนวนการแยกเชิงเส้น

ให้เป็นจำนวนวิธีในการแยก จุด Nจุด (ในตำแหน่งทั่วไป) ในมิติK ออกจากกันเชิงเส้น จากนั้น [ 2 ]เมื่อKมีขนาดใหญ่จะมีค่าใกล้เคียงกับหนึ่งมากเมื่อแต่จะมีค่าใกล้เคียงกับศูนย์มากเมื่อกล่าวคือ หน่วย เพอร์เซปตรอน หนึ่ง หน่วยสามารถจดจำการกำหนดป้ายกำกับไบนารีแบบสุ่มบนจุด N จุดได้เกือบแน่นอนเมื่อแต่แทบจะเป็นไปไม่ได้เลยเมื่อ

การแยกเชิงเส้นของฟังก์ชันบูลีนในตัวแปรn ตัว

ฟังก์ชันบูลีนใน ตัวแปร nตัวสามารถคิดได้ว่าเป็นการกำหนดค่า0หรือ1ให้กับจุดยอดแต่ละจุดของไฮเปอร์คิวบ์ บูลีน ใน มิติ nซึ่งทำให้เกิดการแบ่งจุดยอดออกเป็นสองชุดอย่างเป็นธรรมชาติ ฟังก์ชันบูลีนจะเรียกว่าสามารถแยกได้ด้วยเส้นตรงก็ต่อเมื่อจุดสองชุดนี้แยกได้ด้วยเส้นตรง จำนวนฟังก์ชันบูลีนที่แตกต่างกันคือโดยที่nคือจำนวนตัวแปรที่ส่งผ่านเข้าไปในฟังก์ชัน[ 3 ]

ฟังก์ชันดังกล่าวเรียกอีกอย่างว่าตรรกะเกณฑ์เชิงเส้นหรือเพอร์เซปตรอนทฤษฎีคลาสสิกได้รับการสรุปไว้ใน[ 4 ]ตามที่ Knuth อ้าง[ 5 ]

จำนวนฟังก์ชันบูลีนที่แยกเชิงเส้นได้นั้นทราบแน่ชัดเฉพาะกรณีหนึ่งเท่านั้นแต่ลำดับขนาดเป็นที่ทราบค่อนข้างแน่นอน: มีขอบเขตบนและขอบเขตล่าง[ 6 ]

การตัดสินใจว่าฟังก์ชันบูลีนที่กำหนดในรูปแบบปกติแบบแยกหรือ แบบเชื่อมโยง สามารถแยกเชิงเส้นได้หรือไม่นั้น ถือ เป็นปัญหา co-NP-complete [ 6 ]

จำนวนฟังก์ชันบูลีนที่แยกเชิงเส้นได้ในแต่ละมิติ[ 7 ] (ลำดับA000609ในOEIS )
จำนวนตัวแปร ฟังก์ชันบูลีน ฟังก์ชันบูลีนที่แยกเชิงเส้นได้
2 1614
3 256104
4 655361882
5 429496729694572
6 1844674407370955200015028134
7 3.402823669 ×10^38 8378070864
8 1.157920892 ×10^7717561539552946
9 1.340780792 ×10^154144130531453121108

ตรรกะเกณฑ์

เกตตรรกะแบบเกณฑ์เชิงเส้น (Linear Threshold Logic Gate) คือฟังก์ชันบูลีนที่กำหนดโดยน้ำหนักและเกณฑ์โดยรับอินพุตแบบไบนารีและส่งออก 1 ถ้า เงื่อนไขเป็นจริง และส่งออก 0 ในกรณีอื่น ๆ

สำหรับค่าคงที่ใดๆเนื่องจากมีฟังก์ชันบูลีนจำนวนจำกัดเท่านั้นที่สามารถคำนวณได้โดยหน่วยตรรกะเกณฑ์ จึงเป็นไปได้ที่จะกำหนดให้ทั้งหมดเป็นจำนวนเต็ม ให้ เป็นจำนวนที่เล็กที่สุดที่ฟังก์ชันเกณฑ์จริงที่เป็นไปได้ทั้งหมดของตัวแปรสามารถรับรู้ได้โดยใช้น้ำหนักจำนวนเต็มที่มีค่าสัมบูรณ์เป็นที่ทราบกันว่า[ 8 ]ดู[ 9 ] : ส่วนที่ 11.10 สำหรับการทบทวนวรรณกรรม

เครื่องสนับสนุนเวกเตอร์

H 1ไม่สามารถแยกกลุ่มได้ H 2สามารถแยกได้ แต่เพียงเล็กน้อย H 3สามารถแยกกลุ่มได้ด้วยระยะห่างสูงสุด

การจำแนกข้อมูลเป็นงานทั่วไปในด้านการเรียนรู้ของเครื่องสมมติว่ามีจุดข้อมูลจำนวนหนึ่ง ซึ่งแต่ละจุดอยู่ในชุดข้อมูลใดชุดหนึ่งจากสองชุด และเราต้องการสร้างแบบจำลองที่จะตัดสินว่า จุดข้อมูล ใหม่จะอยู่ในชุดข้อมูลใด ในกรณีของเครื่องสนับสนุนเวกเตอร์ (Support Vector Machines ) จุดข้อมูลจะถูกมองว่าเป็น เวกเตอร์ pมิติ (รายการของ ตัวเลข pตัว) และเราต้องการทราบว่าเราสามารถแยกจุดข้อมูลเหล่านั้นด้วยระนาบไฮเปอร์ (hyperplane ) มิติ ( p  − 1) ได้หรือไม่ ซึ่งเรียกว่าตัวจำแนกเชิงเส้น (linear classifier ) ​​มีระนาบไฮเปอร์หลายระนาบที่อาจจำแนก (แยก) ข้อมูลได้ ตัวเลือกที่เหมาะสมที่สุดสำหรับระนาบไฮเปอร์ที่ดีที่สุดคือระนาบที่แสดงถึงการแยกหรือระยะห่างที่มากที่สุดระหว่างสองชุดข้อมูล ดังนั้นเราจึงเลือกระนาบไฮเปอร์เพื่อให้ระยะห่างจากระนาบนั้นไปยังจุดข้อมูลที่ใกล้ที่สุดในแต่ละด้านมีค่าสูงสุด หากมีระนาบไฮเปอร์ดังกล่าวอยู่ ระนาบนั้นจะเรียกว่าระนาบไฮเปอร์ที่มีระยะห่างสูงสุด (maximum-margin hyperplane)และตัวจำแนกเชิงเส้นที่กำหนดโดยระนาบนั้นจะเรียกว่าตัว จำแนกที่มีระยะห่าง สูงสุด (maximum margin classifier )

กล่าวอย่างเป็นทางการมากขึ้น เมื่อมีข้อมูลฝึกฝนชุดหนึ่งซึ่งประกอบด้วย จุด nจุดในรูปแบบ

โดยที่y iมีค่าเป็น 1 หรือ −1 ซึ่งบ่งบอกถึงเซตที่จุดนั้นเป็นสมาชิกอยู่ แต่ละเป็น เวกเตอร์ จริงpมิติเราต้องการหาไฮเปอร์เพลนที่มีระยะขอบสูงสุดที่แบ่งจุดที่มี ออกจากจุดที่มีไฮเปอร์เพลนใดๆ ก็สามารถเขียนได้เป็นเซตของจุดที่สอดคล้องกับ

โดยที่หมายถึงผลคูณดอทและเวกเตอร์ตั้งฉาก (ไม่จำเป็นต้องเป็นเวกเตอร์หน่วย) กับระนาบไฮเปอร์เพลน พารามิเตอร์กำหนดระยะห่างของระนาบไฮเปอร์เพลนจากจุดกำเนิดตามแนวเวกเตอร์ตั้งฉาก

หากข้อมูลฝึกฝนสามารถแยกได้ด้วยเส้นตรง เราสามารถเลือกไฮเปอร์เพลนสองเส้นในลักษณะที่แยกข้อมูลออกจากกันโดยไม่มีจุดอยู่ระหว่างกัน จากนั้นพยายามเพิ่มระยะห่างระหว่างไฮเปอร์เพลนทั้งสองให้มากที่สุด

ดูเพิ่มเติม

ดึงข้อมูลมาจาก " https://en.wikipedia.org/w/index.php?title=Linear_separability&oldid=1351698769 "

สรุปเนื้อหา

ข้อมูลสำคัญจากบทความ

ข้อมูลสำคัญเกี่ยวกับ การแยกเชิงเส้น

ในเรขาคณิตแบบยุคลิดความสามารถในการแยกได้ด้วยเส้นตรงเป็นคุณสมบัติของเซตของจุด สองเซต ซึ่งสามารถมองเห็นภาพได้ง่ายที่สุดในสองมิติ ( ระนาบยุคลิด )...

นิยามทางคณิตศาสตร์

ให้เป็นเซตของจุด และเป็นเซตของจุดใน ปริภูมิยุคลิด มิติและสามารถแยก ได้ด้วยเส้นตรง ถ้าสามารถ "แยก" ออกจากกันได้ด้วยระนาบมิติ โดยที่ทุกจุดในอยู่ด้านหนึ่งของระนาบ และทุกจุดในอยู่ด้านตรงข้ามของ ระนาบ X ⊂ อาร์ ง {\displaystyle X\subset \mathbb {R} ^{d}} ม...

ตัวอย่าง

จุด สามจุดที่ไม่ เรียงตัวกันบนเส้นตรงเดียวกัน ในสองกลุ่ม ('+' และ '-') จะสามารถแยกออกจากกันได้ด้วยเส้นตรงในสองมิติเสมอ ดังแสดงในตัวอย่างสามตัวอย่างในรูปต่อไปนี้ (กรณีที่มีเฉพาะ '+' ไม่ได้แสดงไว้ แต่มีลักษณะคล้ายกับกรณีที่มีเฉพาะ '-'):

จำนวนการแยกเชิงเส้น

ให้เป็นจำนวนวิธีในการแยก จุด N จุด (ในตำแหน่งทั่วไป) ในมิติ K ออกจากกันเชิงเส้น จากนั้น [ 2 ] เมื่อ K มีขนาดใหญ่จะมีค่าใกล้เคียงกับหนึ่งมากเมื่อแต่จะมีค่าใกล้เคียงกับศูนย์มากเมื่อกล่าวคือ หน่วย เพอร์เซปตรอน หนึ่ง...