แบบจำลองภาษาเป็นแบบ จำลองการ คำนวณที่ทำนายลำดับในภาษาธรรมชาติ [ ^{1 ] [ 2 ] แบบ}จำลองภาษามีประโยชน์สำหรับงานต่างๆ มากมาย รวมถึงการรู้จำเสียงพูด [ ^{3 ] การ} แปลด้วยเครื่อง^{[ 4 ]}การสร้างภาษาธรรมชาติ (การสร้างข้อความที่เหมือนมนุษย์มากขึ้น) การรู้จำอักขระด้วยแสงการเพิ่มประสิทธิภาพเส้นทาง^{[ 5 ]}การรู้จำลายมือ [ ^{6 ] การ} เหนี่ยวนำไวยากรณ์^{[ 7 ]}การดึงข้อมูล^{[ 8 ] [ 9 ]}และการตอบสนองต่อภัยพิบัติ^{[ 10 ]}

แบบจำลองภาษาขนาดใหญ่ (LLMs) ซึ่งเป็นรูปแบบที่ก้าวหน้าที่สุดในปัจจุบัน ณ ปี 2026 นั้น ส่วนใหญ่ใช้โมเดล Transformerที่ได้รับการฝึกฝนจากชุดข้อมูล ขนาดใหญ่ (โดยมักใช้ข้อความที่รวบรวม จาก อินเทอร์เน็ตสาธารณะ) แบบจำลองเหล่านี้ได้เข้ามาแทนที่ แบบจำลองที่ใช้ โครงข่ายประสาทเทียมแบบวนซ้ำ ซึ่งก่อนหน้านี้เคยเข้ามาแทนที่ แบบจำลองทางสถิติล้วนๆเช่นแบบจำลองภาษาn -gram ของ คำ

โนอัม ชอมสกีได้ทำการวิจัยบุกเบิกเกี่ยวกับแบบจำลองภาษาในช่วงทศวรรษ 1950 โดยพัฒนาทฤษฎี ไวยากรณ์ เชิงรูปธรรม^{[ 11 ]}

ในปี 1980 มีการสำรวจวิธีการทางสถิติและพบว่ามีประโยชน์มากกว่าไวยากรณ์ที่เป็นทางการแบบใช้กฎเกณฑ์สำหรับหลายๆ วัตถุประสงค์ การแสดงผลแบบไม่ต่อเนื่อง เช่นแบบจำลองภาษา แบบ n -gram ของ คำซึ่งใช้ความน่าจะเป็นสำหรับชุดคำที่ไม่ต่อเนื่อง ทำให้เกิดความก้าวหน้าอย่างมาก

ในช่วงทศวรรษ 2000 การแสดงคำแบบต่อเนื่อง เช่นการฝังคำเริ่มเข้ามาแทนที่การแสดงคำแบบไม่ต่อเนื่อง^{[ 12 ]}โดยทั่วไป การแสดงคำจะเป็นเวกเตอร์ค่าจริงที่เข้ารหัสความหมายของคำ โดยที่คำที่อยู่ใกล้กันในพื้นที่เวกเตอร์จะมีความหมายคล้ายกัน และความสัมพันธ์ทั่วไประหว่างคำ เช่น พหูพจน์หรือเพศ จะได้รับการรักษาไว้

ในปี พ.ศ. 2523 ได้มีการเสนอแบบจำลองภาษาเชิงสถิติที่สำคัญเป็นครั้งแรก และในช่วงทศวรรษนั้นIBMได้ทำการทดลองแบบ ' สไตล์ แชนนอน ' ซึ่งระบุแหล่งที่มาที่เป็นไปได้สำหรับการปรับปรุงแบบจำลองภาษาโดยการสังเกตและวิเคราะห์ประสิทธิภาพของบุคคลในการทำนายหรือแก้ไขข้อความ^{[ 13 ]}

แบบจำลองภาษา ที่มีเอนโทรปีสูงสุดจะเข้ารหัสความสัมพันธ์ระหว่างคำและ ประวัติ n -gram โดยใช้ฟังก์ชันคุณลักษณะสมการคือ

$${\displaystyle P(w_{m}\mid w_{1},\ldots ,w_{m-1})={\frac {1}{Z(w_{1},\ldots ,w_{m-1})}}\exp(a^{T}f(w_{1},\ldots ,w_{m}))}$$

โดยที่คือฟังก์ชันการแบ่งส่วนคือเวกเตอร์พารามิเตอร์ และคือฟังก์ชันคุณลักษณะ ในกรณีที่ง่ายที่สุด ฟังก์ชันคุณลักษณะเป็นเพียงตัวบ่งชี้การมีอยู่ของn -gram บางอย่าง การใช้ค่าความน่าจะเป็นล่วงหน้า (prior ) หรือการปรับค่า (regularization ) ในรูปแบบใดรูปแบบหนึ่ง จะเป็นประโยชน์${\displaystyle Z(w_{1},\ldots ,w_{m-1})}$${\displaystyle a}$${\displaystyle f(w_{1},\ldots ,w_{m})}$${\displaystyle a}$

แบบจำลองลอการิทึมเชิงเส้น (log-bilinear model) เป็นอีกตัวอย่างหนึ่งของแบบจำลองภาษาแบบเลขชี้กำลัง

แบบจำลองภาษา Skip-gram เป็นความพยายามที่จะเอาชนะปัญหาความเบาบางของข้อมูลที่แบบจำลองก่อนหน้า (เช่น แบบจำลองภาษา n -gram ของคำ) เผชิญ คำที่แสดงในเวกเตอร์ฝังตัวไม่จำเป็นต้องต่อเนื่องกันอีกต่อไป แต่สามารถเว้นช่องว่างที่ถูกข้ามไปได้ (จึงเป็นที่มาของชื่อ "skip-gram") ^{[ 16 ]}

ตามหลักการแล้วk -skip- n -gram คือลำดับย่อยที่มีความยาวnโดยที่ส่วนประกอบต่างๆ อยู่ห่างกัน ไม่เกิน k

ตัวอย่างเช่น ในข้อความที่ป้อน:

ฝนในสเปนส่วนใหญ่ตกบนที่ราบ

เซตของ 1-skip-2-grams ประกอบด้วย bigrams (2-grams) ทั้งหมด และนอกจากนี้ยังมีลำดับย่อยอีกด้วย

ฝนตกในสเปนโดยส่วนใหญ่จะตกบนที่ราบ​​​

ในแบบจำลอง skip-gram ความสัมพันธ์ทางความหมายระหว่างคำต่างๆ จะถูกแทนด้วยการรวมเชิงเส้นซึ่งเป็นการจับรูปแบบหนึ่งของการประกอบกันตัวอย่างเช่น ในแบบจำลองบางแบบ ถ้าvคือฟังก์ชันที่แปลงคำwไปเป็น เวกเตอร์ nมิติที่แทนคำนั้นแล้ว

$${\displaystyle v(\mathrm {king} )-v(\mathrm {male} )+v(\mathrm {หญิง} )\ประมาณ v(\mathrm {queen} )}$$

โดยที่ ≈ จะถูกทำให้แม่นยำยิ่งขึ้นโดยกำหนดว่าด้านขวามือจะต้องเป็นเพื่อนบ้านที่ใกล้ที่สุดของค่าด้านซ้ายมือ^{[ 17 ] [ 18 ]}

การแสดงผลแบบต่อเนื่องหรือการฝังคำจะถูกสร้างขึ้นในแบบจำลองภาษาที่ใช้โครงข่ายประสาทแบบวนซ้ำ (เรียกอีกอย่างว่า แบบจำลองภาษาพื้นที่ต่อเนื่อง ) ^{[ 19 ]}การฝังคำในพื้นที่ต่อเนื่องดังกล่าวช่วยบรรเทาปัญหาของมิติที่สูงเกินไปซึ่งเป็นผลมาจากจำนวนลำดับคำที่เป็นไปได้ที่เพิ่มขึ้นแบบทวีคูณตามขนาดของคำศัพท์ ส่งผลให้เกิดปัญหาข้อมูลกระจัดกระจาย โครงข่ายประสาทหลีกเลี่ยงปัญหานี้โดยการแสดงคำเป็นการรวมกันของน้ำหนักที่ไม่เป็นเชิงเส้นในโครงข่ายประสาท^{[ 20 ]}

แม้ว่าบางครั้งจะตรงกับประสิทธิภาพของมนุษย์ แต่ก็ยังไม่ชัดเจนว่าเป็นแบบจำลองทางปัญญา ที่น่าเชื่อถือ หรือไม่ อย่างน้อยสำหรับเครือข่ายประสาทแบบวนซ้ำ ได้มีการแสดงให้เห็นแล้วว่าบางครั้งเครือข่ายเหล่านี้เรียนรู้รูปแบบที่มนุษย์ไม่เรียนรู้ แต่ล้มเหลวในการเรียนรู้รูปแบบที่มนุษย์เรียนรู้เป็นประจำ^{[ 27 ]}

การประเมินคุณภาพของแบบจำลองภาษาส่วนใหญ่ทำโดยการเปรียบเทียบกับเกณฑ์มาตรฐาน ตัวอย่างที่สร้างโดยมนุษย์ ซึ่งสร้างขึ้นจากงานที่มุ่งเน้นภาษาโดยทั่วไป การทดสอบคุณภาพอื่นๆ ที่ยังไม่เป็นที่ยอมรับมากนัก จะตรวจสอบลักษณะที่แท้จริงของแบบจำลองภาษาหรือเปรียบเทียบแบบจำลองดังกล่าวสองแบบ เนื่องจากแบบจำลองภาษามักมีจุดประสงค์เพื่อให้เป็นแบบไดนามิกและเรียนรู้จากข้อมูลที่เห็น แบบจำลองที่เสนอบางแบบจึงตรวจสอบอัตราการเรียนรู้ เช่น ผ่านการตรวจสอบเส้นโค้งการเรียนรู้^{[ 28 ]}

มีการพัฒนาชุดข้อมูลต่างๆ เพื่อใช้ในการประเมินระบบประมวลผลภาษา^{[ 29 ]}ซึ่งรวมถึง:

• การเข้าใจภาษาแบบมัลติทาสก์ขนาดใหญ่ (MMLU) ^{[ 30 ]}
• คลังข้อมูลการยอมรับทางภาษาศาสตร์^{[ 31 ]}
• เกณฑ์มาตรฐาน GLUE ^{[ 32 ]}
• คลังข้อมูลการถอดความของ Microsoft Research ^{[ 33 ]}
• การอนุมานภาษาธรรมชาติหลายประเภท^{[ 34 ]}
• คำถามเกี่ยวกับการอนุมานภาษาธรรมชาติ
• คู่คำถาม Quora ^{[ 35 ]}
• การรับรู้ถึงการอนุมานเชิงข้อความ^{[ 36 ]}
• เกณฑ์มาตรฐานความคล้ายคลึงทางความหมายของข้อความ
• การทดสอบการตอบคำถาม SQuAD ^{[ 37 ]}
• Stanford Sentiment Treebank ^{[ 38 ]}
• วินโนกราด เอ็นแอลไอ
• BoolQ, PIQA, SIQA, HellaSwag, WinoGrande, ARC, OpenBookQA, NaturalQuestions, TriviaQA, RACE, BIG-bench hard, GSM8k, RealToxicityPrompts, WinoGender, CrowS-Pairs ^{[ 39 ]}