รายการคำศัพท์

รายการคำศัพท์คือรายการคำในพจนานุกรมโดยทั่วไปจะเรียงลำดับตามความถี่ของการปรากฏ (ไม่ว่าจะตามระดับหรือเป็นรายการจัดอันดับ) รายการคำศัพท์ถูกรวบรวมโดยการวิเคราะห์ความถี่ของคำศัพท์ภายในคลังข้อความ ที่กำหนด และใช้ในภาษาศาสตร์คลังข้อมูลเพื่อตรวจสอบลำดับวงศ์และวิวัฒนาการของภาษาและข้อความ คำที่ปรากฏเพียงครั้งเดียวในคลังข้อมูลเรียกว่าhapax legomenaในด้านการสอน รายการคำศัพท์ถูกใช้ในการออกแบบหลักสูตรสำหรับ การเรียน รู้คำศัพท์พจนานุกรมที่เรียงลำดับตามความถี่ "ให้พื้นฐานที่สมเหตุสมผลเพื่อให้แน่ใจว่าผู้เรียนได้รับผลตอบแทนที่ดีที่สุดจากความพยายามในการเรียนรู้คำศัพท์" ( Nation 1997 ) แต่ส่วนใหญ่มีไว้สำหรับผู้เขียนหลักสูตรไม่ใช่สำหรับผู้เรียนโดยตรง รายการความถี่ยังจัดทำขึ้นเพื่อวัตถุประสงค์ทางด้านพจนานุกรม โดยทำหน้าที่เป็นเหมือนรายการตรวจสอบเพื่อให้แน่ใจว่าคำที่ใช้บ่อยจะไม่ถูกละเลย ข้อผิดพลาดที่สำคัญบางประการ ได้แก่ เนื้อหาของคลังข้อมูล ระดับภาษาของคลังข้อมูลและความหมายของ " คำ " แม้ว่าการนับคำจะมีมานานนับพันปีแล้ว และการวิเคราะห์ขนาดใหญ่ยังคงทำด้วยมือในช่วงกลางศตวรรษที่ 20 แต่การประมวลผลภาษาธรรมชาติด้วยระบบอิเล็กทรอนิกส์จากคลังข้อมูลขนาดใหญ่ เช่น คำบรรยายภาพยนตร์ (การศึกษาขนาดใหญ่ SUBTLEX) ได้เร่งให้การวิจัยในสาขานี้ก้าวหน้าไปอย่างรวดเร็ว

ในภาษาศาสตร์เชิงคำนวณรายการความถี่คือรายการคำ (ประเภทคำ) ที่เรียงลำดับแล้ว พร้อมด้วยความถี่ ของคำเหล่านั้น โดยความถี่ในที่นี้มักหมายถึงจำนวนครั้งที่ปรากฏในคลังข้อมูล ที่กำหนด ซึ่งสามารถใช้กำหนดลำดับได้จากตำแหน่งในรายการ

Nation ( Nation 1997 ) ตั้งข้อสังเกตถึงความช่วยเหลืออันน่าทึ่งที่ได้รับจากความสามารถในการคำนวณ ซึ่งทำให้การวิเคราะห์คลังข้อมูลทำได้ง่ายขึ้นมาก เขาได้ยกตัวอย่างประเด็นสำคัญหลายประการที่มีอิทธิพลต่อการสร้างรายการความถี่:

• การเป็นตัวแทนของคลังข้อมูล
• ความถี่และช่วงของคำ
• การจัดการกลุ่มคำ
• การวิเคราะห์สำนวนและวลีคงที่
• ช่วงของข้อมูล
• เกณฑ์อื่นๆ อีกหลายประการ

งานวิจัยส่วนใหญ่ที่มีอยู่ในปัจจุบันนั้นอิงตามคลังข้อความ ที่เป็นลายลักษณ์อักษร ซึ่งหาได้ง่ายกว่าและประมวลผลได้ง่ายกว่า

อย่างไรก็ตามNew et al. 2007เสนอให้ใช้ประโยชน์จากคำบรรยายจำนวนมากที่มีอยู่ทางออนไลน์เพื่อวิเคราะห์คำพูดจำนวนมากBrysbaert & New 2009ได้ทำการประเมินเชิงวิพากษ์อย่างละเอียดเกี่ยวกับแนวทางการวิเคราะห์ข้อความแบบดั้งเดิม และสนับสนุนการเปลี่ยนไปใช้การวิเคราะห์คำพูดและการวิเคราะห์คำบรรยายภาพยนตร์ที่มีอยู่ทางออนไลน์ การวิจัยเบื้องต้นมีงานวิจัยติดตามผลจำนวนหนึ่ง^{[ 1 ]}ซึ่งให้การวิเคราะห์การนับความถี่ที่มีคุณค่าสำหรับภาษาต่างๆ การวิจัยเชิงลึกของ SUBTLEX ^{[ 2 ]}เกี่ยวกับคำบรรยายแบบเปิดที่สะอาดหมดจดถูกสร้างขึ้นสำหรับภาษาฝรั่งเศส ( New et al. 2007 ), ภาษาอังกฤษแบบอเมริกัน ( Brysbaert & New 2009 ; Brysbaert, New & Keuleers 2012 ), ภาษาดัตช์ ( Keuleers & New 2010 ), จีน ( Cai & Brysbaert 2010 ), สเปน ( Cuetos et al. 2011 ), กรีก ( Dimitropoulou et al. 2010 ), เวียดนาม ( Pham, Bolger & Baayen 2011 ), เยอรมัน ( Brysbaert et al. 2011 ), โปรตุเกสบราซิล ( Tang 2012 ) และโปรตุเกสโปรตุเกส ( Soares et al. 2015 ), แอลเบเนีย ( Avdyli & Cuetos 2013 ), โปแลนด์ ( Mandera และคณะ 2557 ) และคาตาลัน (2019 ^{[ 3 ]} ), เวลส์ (Van Veuhen et al. 2024 ^{[ 4 ]} ), เกาหลี^{[ 5 ]} SUBTLEX-IT (2015) ให้ข้อมูลดิบเท่านั้น^{[ 6 ]}harvnb error: no target: CITEREFBrysbaertBuchmeierConradJacobs,_Bölte_&_Böhl2011 ( help )

ไม่ว่าในกรณีใด หน่วยพื้นฐานของ "คำ" ควรได้รับการกำหนด สำหรับอักษรละติน คำมักประกอบด้วยตัวอักษรหนึ่งตัวหรือหลายตัวคั่นด้วยช่องว่างหรือเครื่องหมายวรรคตอน แต่ก็อาจมีข้อยกเว้น เช่น คำว่า "can't" ในภาษาอังกฤษและ " aujourd'hui " ในภาษาฝรั่งเศสมีเครื่องหมายวรรคตอน ในขณะที่ "chateau d'eau" ในภาษาฝรั่งเศสแสดงถึงแนวคิดที่แตกต่างจากการบวกส่วนประกอบอย่างง่ายโดยมีช่องว่างคั่นอยู่ด้วย นอกจากนี้ อาจเป็นการดีกว่าที่จะจัดกลุ่มคำในตระกูล เดียวกัน ภายใต้การแสดงคำหลัก ของมัน ดังนั้นpossible, impossible, possibilityจึงเป็นคำในตระกูลเดียวกัน ซึ่งแทนด้วยคำหลัก*possib*เพื่อวัตถุประสงค์ทางสถิติ คำเหล่านี้ทั้งหมดจะถูกรวมเข้าด้วยกันภายใต้คำหลัก *possib* ทำให้สามารถจัดอันดับแนวคิดและการเกิดขึ้นของรูปแบบได้ ยิ่งไปกว่านั้น ภาษาอื่นๆ อาจมีปัญหาเฉพาะ เช่น ภาษาจีน ซึ่งไม่ใช้ช่องว่างระหว่างคำ และที่ซึ่งลำดับของตัวอักษรหลายตัวที่กำหนดสามารถตีความได้ว่าเป็นวลีของคำที่มีตัวอักษรเดียว หรือเป็นคำที่มีหลายตัวอักษร

ดูเหมือนว่ากฎของ Zipfจะใช้ได้กับรายการความถี่ที่ได้จากข้อความยาวๆ ของภาษาธรรมชาติใดๆ ก็ตาม รายการความถี่เป็นเครื่องมือที่มีประโยชน์ในการสร้างพจนานุกรมอิเล็กทรอนิกส์ ซึ่งเป็นสิ่งจำเป็นสำหรับแอปพลิเคชันหลากหลายในด้านภาษาศาสตร์เชิงคำนวณ

นักภาษาศาสตร์ชาวเยอรมันกำหนดHäufigkeitsklasse (ชั้นความถี่) ของรายการโดยใช้ลอการิทึมฐาน 2ของอัตราส่วนระหว่างความถี่ของรายการนั้นกับความถี่ของรายการที่พบบ่อยที่สุด รายการที่พบบ่อยที่สุดอยู่ในชั้นความถี่ 0 (ศูนย์) และรายการใด ๆ ที่มีความถี่ประมาณครึ่งหนึ่งของรายการที่พบบ่อยที่สุดจะอยู่ในชั้นที่ 1 ในตัวอย่างรายการข้างต้น คำที่สะกดผิดว่าoutragiousมีอัตราส่วน 76/3789654 และอยู่ในชั้นที่ 16 ${\displaystyle N}$

${\displaystyle N=\left\lfloor 0.5-\log _{2}\left({\frac {\text{ความถี่ของรายการนี้}}{\text{ความถี่ของรายการที่พบบ่อยที่สุด}}}\right)\right\rfloor }$

ฟังก์ชัน floor อยู่ที่ไหน${\displaystyle \lfloor \ldots \rfloor }$

รายการความถี่ ร่วมกับเครือข่ายความหมายถูกนำมาใช้เพื่อระบุคำศัพท์เฉพาะทางที่พบได้น้อยที่สุด ซึ่งจะถูกแทนที่ด้วยคำที่มีความหมายกว้างกว่าในกระบวนการบีบอัดความหมาย

รายการเหล่านั้นไม่ได้มีจุดประสงค์เพื่อมอบให้แก่นักเรียนโดยตรง แต่มีไว้เพื่อเป็นแนวทางสำหรับครูและผู้เขียนตำราเรียน ( Nation 1997 ) บทสรุปการสอนภาษาสมัยใหม่ของ Paul Nationสนับสนุนให้ "เริ่มจากคำศัพท์ที่ใช้บ่อยและคำศัพท์เฉพาะเรื่อง ไปสู่คำศัพท์ที่ใช้น้อย จากนั้นจึงสอนกลยุทธ์ให้ผู้เรียนสามารถขยายคำศัพท์ได้อย่างอิสระ" ( Nation 2006 )

ความถี่ของคำเป็นที่ทราบกันดีว่ามีผลกระทบหลายประการ ( Brysbaert et al. 2011 ; Rudell 1993 ) การท่องจำได้รับผลดีจากความถี่ของคำที่สูงขึ้น ซึ่งอาจเป็นเพราะผู้เรียนได้รับโอกาสในการสัมผัสคำนั้นมากขึ้น ( Laufer 1997 ) การเข้าถึงคำศัพท์ได้รับอิทธิพลในเชิงบวกจากความถี่ของคำที่สูง ซึ่งเป็นปรากฏการณ์ที่เรียกว่าผลกระทบของความถี่ของคำ ( Segui et al. ) ผลกระทบของ ความถี่ของคำนั้นเกี่ยวข้องกับผลกระทบของอายุที่เรียนรู้คำนั้น harvnb error: no target: CITEREFBrysbaertBuchmeierConradJacobs,_Bölte_&_Böhl2011 ( help )

ด้านล่างนี้คือบทสรุปของแหล่งข้อมูลที่มีอยู่

การนับคำเป็นสาขาที่มีมาแต่โบราณ^{[ 7 ]}โดยมีการอภิปรายกันมาตั้งแต่สมัยเฮลเลนิสติก ในปี 1944 เอ็ดเวิร์ด ธอร์นไดค์ เออ ร์วิน ลอร์จและเพื่อนร่วมงาน^{[ 8 ]}ได้นับคำด้วยมือจำนวน 18,000,000 คำ เพื่อจัดทำรายการความถี่ของภาษาอังกฤษขนาดใหญ่เป็นครั้งแรก ก่อนที่คอมพิวเตอร์สมัยใหม่จะทำให้โครงการดังกล่าวทำได้ง่ายขึ้นมาก ( Nation 1997 ) ผลงานในศตวรรษที่ 20 ล้วนประสบปัญหาจากความล้าสมัย โดยเฉพาะอย่างยิ่งคำที่เกี่ยวข้องกับเทคโนโลยี เช่น "blog" ซึ่งในปี 2014 มีความถี่เป็นอันดับที่ 7665 ^{[ 9 ]}ใน Corpus of Contemporary American English ^{[ 10 ]}ได้รับการบันทึกไว้ครั้งแรกในปี 1999 ^{[ 11 ] [ 12 ] [ 13 ]}และไม่ปรากฏในรายการทั้งสามรายการนี้

หนังสือรวมคำศัพท์สำหรับครู จำนวน 30,000 คำ (ธอร์นไดค์และลอร์จ, 1944)

หนังสือ Teacher Word Book ประกอบด้วยคำหลัก 30,000 คำ หรือกลุ่มคำประมาณ 13,000 กลุ่ม (Goulden, Nation และ Read, 1990) มีการวิเคราะห์คำเขียนจำนวน 18 ล้านคำด้วยมือ ขนาดของแหล่งข้อมูลทำให้หนังสือเล่มนี้มีประโยชน์มากขึ้น แต่เนื่องจากอายุของหนังสือและการเปลี่ยนแปลงทางภาษา ทำให้ความสามารถในการใช้งานลดลง ( Nation 1997 )

รายชื่อบริการทั่วไป (ภาคตะวันตก, 1953)

รายชื่อคำศัพท์ทั่วไป (General Service List) ประกอบด้วยคำหลัก 2,000 คำ แบ่งออกเป็นสองชุด ชุดละ 1,000 คำ มีการวิเคราะห์คลังข้อมูลคำเขียน 5 ล้านคำในช่วงทศวรรษ 1940 โดยระบุอัตราการเกิด (%) สำหรับความหมายต่างๆ และชนิดของคำ มีการใช้เกณฑ์ต่างๆ อย่างรอบคอบนอกเหนือจากความถี่และขอบเขตในการวิเคราะห์คลังข้อมูล ดังนั้น แม้จะมีอายุมาก มีข้อผิดพลาดบ้าง และคลังข้อมูลเป็นข้อความเขียนทั้งหมด แต่ก็ยังคงเป็นฐานข้อมูลที่ยอดเยี่ยมสำหรับการวัดความถี่ของคำ ความถี่ของความหมาย และการลดสัญญาณรบกวน ( Nation 1997 ) รายชื่อนี้ได้รับการปรับปรุงในปี 2013 โดย ดร. ชาร์ลส์ บราวน์ ดร. เบรนท์ คัลลิแกน และโจเซฟ ฟิลลิปส์ ในชื่อ รายชื่อ คำศัพท์ทั่วไปฉบับ ใหม่ (New General Service List )

หนังสือความถี่ในการใช้คำศัพท์มรดกอเมริกัน (แครอล, เดวีส์ และริชแมน, 1971)

คลังข้อมูลประกอบด้วยคำต่อเนื่อง 5 ล้านคำ จากข้อความที่เขียนขึ้นที่ใช้ในโรงเรียนของสหรัฐอเมริกา (ระดับชั้นต่างๆ วิชาต่างๆ) คุณค่าของคลังข้อมูลนี้อยู่ที่การมุ่งเน้นไปที่สื่อการสอนในโรงเรียน และการติดแท็กคำตามความถี่ของการปรากฏของแต่ละคำ ในแต่ละระดับชั้น และในแต่ละวิชา ( Nation 1997 )

คลังข้อมูล LOB ของบราวน์ (ฟรานซิสและคูเซรา, 1982) และคลังข้อมูลที่เกี่ยวข้อง

ปัจจุบันแหล่งข้อมูลเหล่านี้มีคำศัพท์ 1 ล้านคำจากคลังข้อมูลที่เขียนขึ้นซึ่งแสดงถึงสำเนียงภาษาอังกฤษที่แตกต่างกัน แหล่งข้อมูลเหล่านี้ใช้ในการสร้างรายการความถี่ ( Nation 1997 )

New & Pallierได้ทำการตรวจสอบแล้วความพยายามในช่วงทศวรรษ 1950-1960 ได้เริ่มต้นขึ้นด้วยFrançais fondamentalซึ่งประกอบด้วยรายการ FF1 ที่มีคำศัพท์ความถี่สูง 1,500 คำ และเพิ่มเติมด้วยรายการ FF2 ในภายหลังที่มีคำศัพท์ความถี่ปานกลาง 1,700 คำ รวมถึงกฎไวยากรณ์ที่ใช้บ่อยที่สุด^{[ 14 ]}มีการอ้างว่าคำศัพท์ทางไวยากรณ์ 70 คำคิดเป็น 50% ของประโยคการสื่อสาร^{[ 15 ] [ 16 ]}ในขณะที่คำศัพท์ 3,680 คำครอบคลุมประมาณ 95-98% ^{[ 17 ]}มีรายการคำศัพท์ความถี่ 3,000 คำ^{[ 18 ]}

กระทรวงศึกษาธิการของฝรั่งเศสยังได้จัดทำรายการจัดอันดับกลุ่มคำที่ใช้บ่อยที่สุด 1,500 กลุ่มซึ่งจัดทำโดยนักพจนานุกรมÉtienne Brunet [ ^{19 ] Jean} Baudot ได้ทำการศึกษาตามแบบจำลองของการศึกษา Brown ของอเมริกา โดยมีชื่อว่า "Fréquences d'utilisation des mots en français écrit contemporain" ^{[ 20 ]}

เมื่อไม่นานมานี้ โครงการLexique3ได้จัดเตรียมคำศัพท์ภาษาฝรั่งเศสจำนวน 142,000 คำ พร้อมด้วยการสะกดการออกเสียงการแบ่งพยางค์ส่วนของคำพูดเพศจำนวนครั้งที่ปรากฏในคลังข้อมูลต้นฉบับ อันดับความถี่คำศัพท์ ที่เกี่ยวข้อง ฯลฯ ซึ่งสามารถเข้าถึงได้ภายใต้ใบอนุญาตแบบเปิดCC-by-sa- 4.0 ^{[ 21 ]}

Lexique3 นี้เป็นการศึกษาต่อเนื่องซึ่งเป็นที่มาของการเคลื่อนไหว Subtlexที่กล่าวถึงข้างต้นNew และคณะ (2007)ได้สร้างวิธีการนับแบบใหม่ทั้งหมดโดยอิงจากคำบรรยายภาพยนตร์ออนไลน์

มีการศึกษาวิจัยหลายชิ้นเกี่ยวกับความถี่ของคำศัพท์ภาษาสเปน ( Cuetos et al. 2011 ) ^{[ 22 ]}

คลังข้อมูลภาษาจีนได้รับการศึกษามานานแล้วจากมุมมองของรายการความถี่ วิธีการเรียนรู้คำศัพท์ภาษาจีนในอดีตนั้นอิงตามความถี่ของตัวอักษร ( Allanic 2003 ) จอห์น เดอฟราน ซิส นักจีนวิทยาชาวอเมริกัน ได้กล่าวถึงความสำคัญของความถี่ในการเรียนรู้และการสอนภาษาจีนในฐานะภาษาต่างประเทศในหนังสือWhy Johnny Can't Read Chinese ( DeFrancis 1966 ) ในฐานะเครื่องมือความถี่ Da ( Da 1998 ) และกระทรวงศึกษาธิการของไต้หวัน ( TME 1997 ) ได้จัดทำฐานข้อมูลขนาดใหญ่ที่มีการจัดอันดับความถี่ของตัวอักษรและคำศัพท์ รายการคำศัพท์ HSKจำนวน 8,848 คำที่มีความถี่สูงและปานกลางในสาธารณรัฐประชาชนจีนและ รายการ TOPของสาธารณรัฐจีน (ไต้หวัน)ซึ่งมีคำศัพท์ภาษาจีนดั้งเดิมทั่วไปประมาณ 8,600 คำ เป็นอีกสองรายการที่แสดงคำศัพท์และตัวอักษรภาษาจีนทั่วไป ตามกระแส SUBTLEX Cai & Brysbaert 2010ได้ทำการศึกษาอย่างละเอียดเกี่ยวกับความถี่ของคำศัพท์และตัวอักษรภาษาจีนเมื่อเร็วๆ นี้

Wiktionaryมีรายการความถี่ในหลายภาษา^{[ 23 ]}

คำที่ใช้บ่อยที่สุดในภาษาต่างๆ โดยอิงจากวิกิพีเดียหรือคลังข้อมูลรวม^{[ 24 ]}

• ภาษาศาสตร์คลังข้อมูล
• ความถี่ของตัวอักษร
• คำศัพท์ที่ใช้บ่อยที่สุดในภาษาอังกฤษ
• หางยาว
• Google Ngram Viewer – แสดงการเปลี่ยนแปลงความถี่ของคำ/วลี (และความถี่สัมพัทธ์) เมื่อเวลาผ่านไป