การสร้างภาษาธรรมชาติ ( NLG ) เป็นกระบวนการซอฟต์แวร์ที่สร้าง เอาต์พุต ภาษาธรรมชาติการสำรวจวิธีการ NLG ที่มีการอ้างอิงอย่างกว้างขวางอธิบาย NLG ว่าเป็น "สาขาย่อยของปัญญาประดิษฐ์และภาษาศาสตร์เชิงคำนวณที่เกี่ยวข้องกับการสร้างระบบคอมพิวเตอร์ที่สามารถสร้างข้อความที่เข้าใจได้ในภาษาอังกฤษหรือภาษามนุษย์อื่น ๆ จากการแสดงข้อมูลที่ไม่ใช่ภาษาพื้นฐาน" ^{[ 1 ]}

แม้ว่าโดยทั่วไปแล้วจะเห็นพ้องกันว่าผลลัพธ์ของกระบวนการ NLG ใดๆ ก็ตามคือข้อความ แต่ก็ยังมีความเห็นที่แตกต่างกันอยู่บ้างว่าอินพุตของระบบ NLG จำเป็นต้องไม่ใช่ภาษาหรือไม่^{[ 2 ]}การประยุกต์ใช้ทั่วไปของวิธีการ NLG ได้แก่ การสร้างรายงานต่างๆ เช่น รายงานสภาพอากาศ^{[ 3 ]}และรายงานผู้ป่วย^{[ 4 ​​]}คำบรรยายภาพ^{[ 5 ]}และแชทบอท เช่นChatGPT

ระบบสร้างภาษาธรรมชาติ อัตโนมัติ (Automated NLG) สามารถเปรียบเทียบได้กับกระบวนการที่มนุษย์ใช้ในการเปลี่ยนความคิดให้เป็นลายลักษณ์อักษรหรือคำพูดนักจิตวิทยาภาษาศาสตร์นิยมใช้คำว่า " การผลิต ภาษา " สำหรับกระบวนการนี้ ซึ่งสามารถอธิบายได้ในเชิงคณิตศาสตร์ หรือจำลองในคอมพิวเตอร์เพื่อการวิจัยทางจิตวิทยา ระบบ NLG ยังสามารถเปรียบเทียบได้กับโปรแกรมแปลภาษาคอมพิวเตอร์เทียม เช่นโปรแกรมถอดรหัส (decompiler)หรือโปรแกรมแปลงรหัส (transpiler ) ซึ่งสร้างรหัสที่มนุษย์อ่านได้จากตัวแทนระดับกลางภาษาของมนุษย์มักมีความซับซ้อนมากกว่าและอนุญาตให้มีความคลุมเครือและความหลากหลายในการแสดงออกมากกว่าภาษาโปรแกรม ซึ่งทำให้การสร้างภาษาธรรมชาติมีความท้าทายมากขึ้น

NLG อาจถูกมองว่าเป็นส่วนเสริมของการทำความเข้าใจภาษาธรรมชาติ (NLU): ในขณะที่ในการทำความเข้าใจภาษาธรรมชาติ ระบบจำเป็นต้องแยกความกำกวมของประโยคอินพุตเพื่อสร้างภาษาตัวแทนของเครื่องจักร ใน NLG ระบบจำเป็นต้องตัดสินใจว่าจะนำตัวแทนนั้นมาใส่เป็นคำพูดอย่างไร ข้อควรพิจารณาในทางปฏิบัติในการสร้างระบบ NLU เทียบกับ NLG นั้นไม่สมมาตร NLU จำเป็นต้องจัดการกับอินพุตของผู้ใช้ที่กำกวมหรือผิดพลาด ในขณะที่แนวคิดที่ระบบต้องการแสดงออกผ่าน NLG นั้นโดยทั่วไปแล้วเป็นที่ทราบอย่างแม่นยำ NLG จำเป็นต้องเลือกการแสดงข้อความที่เฉพาะเจาะจงและสอดคล้องกันจากตัวแทนที่เป็นไปได้หลายแบบ ในขณะที่ NLU โดยทั่วไปแล้วพยายามสร้างตัวแทนที่เป็นมาตรฐานเดียวของแนวคิดที่แสดงออกมา^{[ 6 ]}

NLG มีมาตั้งแต่ELIZAได้รับการพัฒนาในช่วงกลางทศวรรษ 1960 แต่มีการใช้วิธีการเหล่านี้ในเชิงพาณิชย์เป็นครั้งแรกในทศวรรษ 1990 ^{[ 7 ]}เทคนิค NLG มีตั้งแต่ระบบแบบง่ายๆ ที่ใช้แม่แบบ เช่นการรวมจดหมายที่สร้างจดหมายแบบฟอร์มไปจนถึงระบบที่มีความเข้าใจไวยากรณ์ของมนุษย์ที่ซับซ้อน NLG ยังสามารถทำได้โดยการฝึกโมเดลทางสถิติโดยใช้การเรียนรู้ของเครื่อง โดยทั่วไป จะใช้กับ คลังข้อความที่เขียนโดยมนุษย์จำนวนมาก^{[ 8 ]}

ระบบพยากรณ์ละอองเรณูสำหรับสกอตแลนด์^{[ 9 ]}เป็นตัวอย่างง่ายๆ ของระบบ NLG ง่ายๆ ที่สามารถสร้างขึ้นจากแม่แบบได้ ระบบนี้รับตัวเลขหกตัวเป็นอินพุต ซึ่งให้ระดับละอองเรณูที่คาดการณ์ไว้ในส่วนต่างๆ ของสกอตแลนด์ จากตัวเลขเหล่านี้ ระบบจะสร้างบทสรุปข้อความสั้นๆ เกี่ยวกับระดับละอองเรณูเป็นเอาต์พุต

ตัวอย่างเช่น เมื่อใช้ข้อมูลในอดีตสำหรับวันที่ 1 กรกฎาคม 2548 ซอฟต์แวร์จะสร้างผลลัพธ์ดังนี้:

ระดับละอองเกสรหญ้าในวันศุกร์เพิ่มขึ้นจากระดับปานกลางถึงสูงเมื่อวานนี้ โดยมีค่าประมาณ 6 ถึง 7 ในพื้นที่ส่วนใหญ่ของประเทศ อย่างไรก็ตาม ในพื้นที่ทางภาคเหนือ ระดับละอองเกสรจะอยู่ในระดับปานกลาง โดยมีค่าประมาณ 4

ในทางตรงกันข้าม การพยากรณ์อากาศจริง (ที่เขียนโดยนักอุตุนิยมวิทยา) จากข้อมูลนี้คือ:

คาดว่าปริมาณละอองเกสรจะยังคงอยู่ในระดับสูงที่ระดับ 6 ในพื้นที่ส่วนใหญ่ของสกอตแลนด์ และอาจสูงถึงระดับ 7 ในทางตะวันออกเฉียงใต้ มีเพียงหมู่เกาะทางเหนือและทางตะวันออกเฉียงเหนือสุดของแผ่นดินใหญ่สกอตแลนด์เท่านั้นที่มีปริมาณละอองเกสรอยู่ในระดับปานกลาง

การเปรียบเทียบทั้งสองนี้แสดงให้เห็นถึงทางเลือกบางประการที่ระบบ NLG ต้องตัดสินใจ ซึ่งจะกล่าวถึงรายละเอียดเพิ่มเติมในหัวข้อถัดไป

กระบวนการสร้างข้อความอาจง่ายเพียงแค่เก็บรายการข้อความสำเร็จรูปที่คัดลอกและวาง โดยอาจเชื่อมโยงด้วยข้อความเชื่อมต่อบางส่วน ผลลัพธ์อาจเป็นที่น่าพอใจในโดเมนที่เรียบง่าย เช่น เครื่องทำนายดวงชะตาหรือเครื่องสร้างจดหมายธุรกิจส่วนบุคคล อย่างไรก็ตาม ระบบ NLG ที่ซับซ้อนจำเป็นต้องมีขั้นตอนการวางแผนและการรวมข้อมูลเพื่อให้สามารถสร้างข้อความที่ดูเป็นธรรมชาติและไม่ซ้ำซาก ขั้นตอนทั่วไปของการสร้างภาษาธรรมชาติ ตามที่เสนอโดย Dale และ Reiter ^{[ 6 ]}มีดังนี้:

การกำหนดเนื้อหา

การตัดสินใจว่าจะกล่าวถึงข้อมูลใดบ้างในเนื้อหา ตัวอย่างเช่น ในตัวอย่างเรื่องละอองเกสรข้างต้น การตัดสินใจว่าจะระบุอย่างชัดเจนหรือไม่ว่าระดับละอองเกสรในภาคตะวันออกเฉียงใต้มีค่าเท่ากับ 7

การจัดโครงสร้างเอกสาร

การจัดระเบียบข้อมูลโดยรวมเพื่อสื่อสาร ตัวอย่างเช่น การตัดสินใจที่จะอธิบายพื้นที่ที่มีระดับละอองเกสรสูงก่อน แทนที่จะเป็นพื้นที่ที่มีระดับละอองเกสรต่ำ

การรวมกลุ่ม

การรวมประโยคที่คล้ายกันเพื่อปรับปรุงความอ่านง่ายและความเป็นธรรมชาติ ตัวอย่างเช่น การรวมประโยค"ระดับละอองเกสรหญ้าในวันศุกร์เพิ่มขึ้นจากระดับปานกลางเป็นระดับสูงเมื่อวานนี้"และ"ระดับละอองเกสรหญ้าจะอยู่ที่ประมาณ 6 ถึง 7 ในพื้นที่ส่วนใหญ่ของประเทศ" เข้าเป็นประโยคเดียวว่า"ระดับละอองเกสรหญ้าในวันศุกร์เพิ่มขึ้นจากระดับปานกลางเป็นระดับสูงเมื่อวานนี้ โดยมีค่าประมาณ 6 ถึง 7 ในพื้นที่ส่วนใหญ่ของประเทศ"

การเลือกใช้คำศัพท์

การถ่ายทอดความคิดออกมาเป็นคำพูด ตัวอย่างเช่น การตัดสินใจว่าจะใช้คำ ว่า "ปานกลาง"หรือ"พอประมาณ" เมื่ออธิบายระดับละอองเกสรที่ 4

การสร้างนิพจน์อ้างอิง

การสร้างคำอ้างอิงที่ระบุวัตถุและภูมิภาค ตัวอย่างเช่น การตัดสินใจใช้คำว่า " ในหมู่เกาะทางเหนือ" และ "ทางตะวันออกเฉียงเหนือสุดของแผ่นดินใหญ่สกอตแลนด์"เพื่ออ้างถึงภูมิภาคหนึ่งในสกอตแลนด์ งานนี้ยังรวมถึงการตัดสินใจเกี่ยวกับคำสรรพนาม และ คำอ้างอิงประเภทอื่นๆด้วย

การตระหนักรู้

การสร้างข้อความจริง ซึ่งควรถูกต้องตามกฎไวยากรณ์รูปแบบคำและการสะกดคำตัวอย่างเช่น การใช้will beสำหรับกาลอนาคตของto be

แนวทางอื่นสำหรับ NLG คือการใช้การเรียนรู้ของเครื่องแบบ "ครบวงจร" เพื่อสร้างระบบโดยไม่ต้องมีขั้นตอนแยกต่างหากดังที่กล่าวมาข้างต้น^{[ 10 ]} กล่าวอีกนัยหนึ่งคือ เราสร้างระบบ NLG โดยการฝึกอัลกอริธึมการเรียนรู้ของเครื่อง (มักจะเป็นLSTM ) บนชุดข้อมูลขนาดใหญ่ของข้อมูลอินพุตและข้อความเอาต์พุตที่สอดคล้องกัน (ที่เขียนโดยมนุษย์) แนวทางแบบครบวงจรนี้ประสบความสำเร็จมากที่สุดในการ สร้าง คำบรรยายภาพ^{[ 11 ]}ซึ่งก็คือการสร้างคำบรรยายข้อความสำหรับภาพโดยอัตโนมัติ

จากมุมมองเชิงพาณิชย์ แอปพลิเคชัน NLG ที่ประสบความสำเร็จมากที่สุดคือ ระบบแปลง ข้อมูลเป็นข้อความซึ่งสร้างบทสรุปข้อความของฐานข้อมูลและชุดข้อมูล ระบบเหล่านี้มักจะทำการวิเคราะห์ข้อมูลรวมถึงการสร้างข้อความด้วย งานวิจัยแสดงให้เห็นว่าบทสรุปข้อความมีประสิทธิภาพมากกว่ากราฟและภาพอื่นๆ สำหรับการสนับสนุนการตัดสินใจ^{[ 12 ] [ 13 ] [ 14 ]}และข้อความที่สร้างโดยคอมพิวเตอร์อาจเหนือกว่า (จากมุมมองของผู้อ่าน) ข้อความที่เขียนโดยมนุษย์^{[ 15 ]}

ระบบแปลงข้อมูลเป็นข้อความเชิงพาณิชย์ระบบแรกสร้างพยากรณ์อากาศจากข้อมูลสภาพอากาศ ระบบแรกสุดที่นำมาใช้งานคือ FoG ^{[ 3 ]}ซึ่ง Environment Canada ใช้ในการสร้างพยากรณ์อากาศเป็นภาษาฝรั่งเศสและภาษาอังกฤษในช่วงต้นทศวรรษ 1990 ความสำเร็จของ FoG กระตุ้นให้เกิดงานอื่นๆ ทั้งด้านการวิจัยและเชิงพาณิชย์ แอปพลิเคชันล่าสุด ได้แก่พยากรณ์อากาศที่ปรับปรุงด้วยข้อความของ UK Met Office ^{[ 16 ]}

ระบบแปลงข้อมูลเป็นข้อความได้ถูกนำไปประยุกต์ใช้ในหลากหลายบริบท หลังจากเกิดแผ่นดินไหวเล็กน้อยใกล้เมืองเบเวอร์ลีฮิลส์ รัฐแคลิฟอร์เนีย เมื่อวันที่ 17 มีนาคม 2557 หนังสือพิมพ์ The Los Angeles Times ได้รายงานรายละเอียดเกี่ยวกับเวลา สถานที่ และความรุนแรงของแผ่นดินไหวภายใน 3 นาทีหลังเกิดเหตุ รายงานนี้ถูกสร้างขึ้นโดยอัตโนมัติโดย 'นักข่าวหุ่นยนต์' ซึ่งแปลงข้อมูลที่เข้ามาเป็นข้อความผ่านเทมเพลตที่กำหนดไว้ล่วงหน้า^{[ 17 ] [ 18 ]}ปัจจุบันมีความสนใจในเชิงพาณิชย์อย่างมากในการใช้ NLG เพื่อสรุปข้อมูลทางการเงินและธุรกิจ ที่จริงแล้วGartnerกล่าวว่า NLG จะกลายเป็นคุณสมบัติมาตรฐานของแพลตฟอร์ม BI และการวิเคราะห์สมัยใหม่ถึง 90% ^{[ 19 ]} นอกจากนี้ NLG ยังถูกนำไปใช้ในเชิงพาณิชย์ในด้าน การรายงาน ข่าวอัตโนมัติแชทบอทการสร้างคำอธิบายผลิตภัณฑ์สำหรับเว็บไซต์อีคอมเมิร์ซ การสรุปบันทึกทางการแพทย์^{[ 20 ] [ 4 ]}และการเพิ่มการเข้าถึง (ตัวอย่างเช่น การอธิบายกราฟและชุดข้อมูลให้กับคนตาบอด^{[ 21 ]} )

ตัวอย่างหนึ่งของการใช้งาน NLG แบบโต้ตอบคือ เฟรมเวิร์ก WYSIWYMซึ่งย่อมาจากWhat you see is what you meant (สิ่งที่คุณเห็นคือสิ่งที่คุณตั้งใจ ) และช่วยให้ผู้ใช้สามารถดูและแก้ไขมุมมองที่แสดงผลอย่างต่อเนื่อง (ผลลัพธ์ NLG) ของเอกสารภาษาทางการพื้นฐาน (ข้อมูลป้อนเข้า NLG) จึงสามารถแก้ไขภาษาทางการได้โดยไม่ต้องเรียนรู้ภาษานั้น

เมื่อมองไปข้างหน้า ความก้าวหน้าในปัจจุบันในการสร้างข้อมูลเป็นข้อความจะปูทางไปสู่การปรับแต่งข้อความให้เหมาะกับกลุ่มเป้าหมายเฉพาะ ตัวอย่างเช่น ข้อมูลจากทารกในแผนกดูแลทารกแรกเกิดสามารถแปลงเป็นข้อความได้แตกต่างกันในบริบททางคลินิก โดยมีระดับรายละเอียดทางเทคนิคและภาษาอธิบายที่แตกต่างกัน ขึ้นอยู่กับผู้รับข้อความที่ตั้งใจไว้ (แพทย์ พยาบาล ผู้ป่วย) แนวคิดเดียวกันนี้สามารถนำไปใช้ในบริบทกีฬาได้ โดยมีการสร้างรายงานที่แตกต่างกันสำหรับแฟน ๆ ของทีมเฉพาะ^{[ 22 ]}

ในช่วงไม่กี่ปีที่ผ่านมา ความสนใจในการสร้างคำบรรยายภาพโดยอัตโนมัติ เพิ่มมากขึ้น ซึ่งเป็นส่วนหนึ่งของความพยายามที่กว้างขึ้นในการสำรวจความเชื่อมโยงระหว่างการมองเห็นและภาษา อัลกอริทึมการสร้างคำบรรยายภาพ (หรือคำอธิบายภาพอัตโนมัติ) เป็นกรณีหนึ่งของการสร้างข้อความจากข้อมูล โดยเกี่ยวข้องกับการนำภาพมาวิเคราะห์เนื้อหาภาพ และสร้างคำอธิบายที่เป็นข้อความ (โดยทั่วไปคือประโยค) ที่อธิบายลักษณะเด่นที่สุดของภาพ

ระบบสร้างคำบรรยายภาพประกอบด้วยงานย่อยสองอย่าง ในการวิเคราะห์ภาพ จะมีการตรวจจับและติดป้ายกำกับคุณลักษณะและคุณสมบัติของภาพ ก่อนที่จะแมปเอาต์พุตเหล่านี้ไปยังโครงสร้างทางภาษา งานวิจัยล่าสุดใช้แนวทางการเรียนรู้เชิงลึกผ่านคุณลักษณะจากเครือข่ายประสาทเทียมแบบ Convolutional ที่ได้รับการฝึกฝนล่วงหน้า เช่น AlexNet, VGG หรือ Caffe โดยที่ตัวสร้างคำบรรยายจะใช้เลเยอร์การเปิดใช้งานจากเครือข่ายที่ได้รับการฝึกฝนล่วงหน้าเป็นคุณลักษณะอินพุต การสร้างข้อความ ซึ่งเป็นงานที่สอง จะดำเนินการโดยใช้เทคนิคที่หลากหลาย ตัวอย่างเช่น ในระบบ Midge ภาพอินพุตจะถูกแสดงเป็นสามส่วนที่ประกอบด้วยการตรวจจับวัตถุ/สิ่งของ การตรวจจับการกระทำ/ ท่าทางและความสัมพันธ์เชิงพื้นที่ จากนั้นสิ่งเหล่านี้จะถูกแมปไปยังสามส่วน <คำนาม คำกริยา คำบุพบท> และสร้างขึ้นโดยใช้ไวยากรณ์การแทนที่ต้นไม้^{[ 22 ]}

วิธีการทั่วไปในการสร้างคำบรรยายภาพคือการใช้โมเดลการมองเห็น (เช่นResNet ) เพื่อเข้ารหัสภาพเป็นเวกเตอร์ จากนั้นใช้โมเดลภาษา (เช่นRNN ) เพื่อถอดรหัสเวกเตอร์เป็นคำบรรยาย^{[ 23 ] [ 24 ]}

แม้จะมีความก้าวหน้า แต่ก็ยังคงมีความท้าทายและโอกาสในการวิจัยการจับภาพ ถึงแม้ว่าการเปิดตัว Flickr30K, MS COCO และชุดข้อมูลขนาดใหญ่อื่นๆ ในปัจจุบันจะช่วยให้สามารถฝึกฝนโมเดลที่ซับซ้อนมากขึ้น เช่น เครือข่ายประสาทเทียมได้ แต่ก็มีการโต้แย้งว่าการวิจัยด้านการสร้างคำบรรยายภาพจะได้รับประโยชน์จากชุดข้อมูลขนาดใหญ่และหลากหลายมากขึ้น การออกแบบมาตรการอัตโนมัติที่สามารถเลียนแบบการตัดสินของมนุษย์ในการประเมินความเหมาะสมของคำอธิบายภาพเป็นอีกหนึ่งความต้องการในด้านนี้ ความท้าทายอื่นๆ ที่ยังเปิดอยู่ ได้แก่ การตอบคำถามด้วยภาพ(VQA) ^{[ 25 ]}รวมถึงการสร้างและการประเมินคลังข้อมูลหลายภาษาสำหรับคำอธิบายภาพ^{[ 22 ]}

อีกด้านหนึ่งที่ NLG ถูกนำไปประยุกต์ใช้อย่างกว้างขวางคือ ระบบ สนทนา อัตโนมัติ ซึ่งมักอยู่ในรูปแบบของแชทบอทแชทบอทหรือแชทเตอร์บอทคือ แอปพลิ เคชันซอฟต์แวร์ ที่ใช้ในการ สนทนาออนไลน์ผ่านข้อความหรือการแปลงข้อความเป็นเสียงแทนการติดต่อโดยตรงกับเจ้าหน้าที่ที่เป็นมนุษย์ ในขณะที่ เทคนิค การประมวลผลภาษาธรรมชาติ (NLP) ถูกนำมาใช้ในการถอดรหัสข้อมูลที่มนุษย์ป้อนเข้ามา NLG จะให้ข้อมูลแก่ส่วนเอาต์พุตของอัลกอริทึมแชทบอทเพื่ออำนวยความสะดวกในการสนทนาแบบเรียลไทม์

ระบบแชทบอทในยุคแรกๆ รวมถึงCleverbotที่สร้างโดย Rollo Carpenter ในปี 1988 และเผยแพร่ในปี 1997 ตอบคำถามโดยการระบุว่ามนุษย์ตอบคำถามเดียวกันในฐานข้อมูลการสนทนาอย่างไรโดยใช้ เทคนิค การดึงข้อมูล (IR) ระบบแชทบอทสมัยใหม่ส่วนใหญ่อาศัยโมเดลการเรียนรู้ของเครื่อง (ML) เช่น การเรียนรู้แบบลำดับต่อลำดับและการเรียนรู้แบบเสริมแรงเพื่อสร้างเอาต์พุตภาษาธรรมชาติ นอกจากนี้ยังมีการสำรวจโมเดลแบบไฮบริด ตัวอย่างเช่น ผู้ช่วยช้อปปิ้งของ Alibaba ใช้แนวทาง IR ก่อนเพื่อดึงตัวเลือกที่ดีที่สุดจากฐานความรู้ จากนั้นใช้โมเดล seq2seq ที่ขับเคลื่อนด้วย ML เพื่อจัดอันดับคำตอบของตัวเลือกใหม่และสร้างคำตอบ^{[ 26 ]}

การสร้างภาษาอย่างสร้างสรรค์โดย NLG ได้รับการตั้งสมมติฐานมาตั้งแต่เริ่มแรกของสาขานี้ ผู้บุกเบิกคนล่าสุดในด้านนี้คือ ฟิลิปป์ พาร์คเกอร์ ซึ่งได้พัฒนาชุดอัลกอริธึมที่สามารถสร้างตำราเรียน ปริศนาอักษรไขว้ บทกวี และหนังสือในหัวข้อต่างๆ ตั้งแต่การเข้าเล่มหนังสือไปจนถึงต้อกระจกได้โดยอัตโนมัติ^{[ 27 ]}การเกิดขึ้นของโมเดลภาษาแบบ Transformer ขนาดใหญ่ที่ได้รับการฝึกฝนล่วงหน้า เช่น GPT-3 ยังช่วยให้เกิดความก้าวหน้า โดยโมเดลดังกล่าวแสดงให้เห็นถึงความสามารถที่เห็นได้ชัดในการสร้างงานเขียน^{[ 28 ]}

พื้นที่ที่เกี่ยวข้องกับการประยุกต์ใช้ NLG คือการผลิตอารมณ์ขันเชิงคำนวณ JAPE (Joke Analysis and Production Engine) เป็นหนึ่งในระบบการผลิตอารมณ์ขันอัตโนมัติขนาดใหญ่รุ่นแรกๆ ที่ใช้แนวทางตามแม่แบบที่เขียนโค้ดด้วยมือเพื่อสร้างปริศนาคำพ้องเสียงสำหรับเด็ก HAHAcronym สร้างการตีความใหม่ที่ตลกขบขันของคำย่อใดๆ ก็ตาม รวมถึงเสนอคำย่อใหม่ที่เหมาะสมโดยพิจารณาจากคำหลักบางคำ^{[ 29 ]}

แม้จะมีความก้าวหน้า แต่ก็ยังคงมีความท้าทายมากมายในการสร้างเนื้อหาที่สร้างสรรค์และตลกขบขันโดยอัตโนมัติที่เทียบเท่ากับผลงานของมนุษย์ ในการทดลองสร้างพาดหัวข่าวเสียดสี ผลลัพธ์ของโมเดล BERT ที่ดีที่สุดถูกมองว่าตลก 9.4% ของเวลา (ในขณะที่พาดหัวข่าวจริงจากThe Onionมี 38.4%) และโมเดล GPT-2 ที่ปรับแต่งอย่างละเอียดสำหรับพาดหัวข่าวเสียดสีทำได้ 6.9% ^{[ 30 ]}   มีการชี้ให้เห็นว่าปัญหาหลักสองประการของระบบสร้างอารมณ์ขันคือการขาดชุดข้อมูลที่มีคำอธิบายประกอบและการขาดวิธีการประเมินอย่างเป็นทางการ^{[ 29 ]}ซึ่งอาจนำไปใช้กับการสร้างเนื้อหาสร้างสรรค์อื่นๆ ได้ บางคนโต้แย้งว่าเมื่อเทียบกับแอปพลิเคชันอื่นๆ แล้ว มีการขาดความสนใจในด้านความคิดสร้างสรรค์ของการผลิตภาษาภายใน NLG นักวิจัย NLG จะได้รับประโยชน์จากข้อมูลเชิงลึกเกี่ยวกับสิ่งที่ประกอบขึ้นเป็นการผลิตภาษาที่สร้างสรรค์ ตลอดจนคุณลักษณะเชิงโครงสร้างของการเล่าเรื่องที่มีศักยภาพในการปรับปรุงผลลัพธ์ของ NLG แม้ในระบบข้อมูลเป็นข้อความ^{[ 22 ]}

เช่นเดียวกับสาขาวิทยาศาสตร์อื่นๆ นักวิจัยด้าน NLG จำเป็นต้องทดสอบว่าระบบ โมดูล และอัลกอริธึมของตนทำงานได้ดีเพียงใด ซึ่งเรียกว่าการประเมินผล โดยมีเทคนิคพื้นฐานสามประการสำหรับการประเมินระบบ NLG:

• การประเมินตามภารกิจ (ภายนอก) : มอบข้อความที่สร้างขึ้นให้กับบุคคล และประเมินว่าข้อความนั้นช่วยให้พวกเขาทำงาน (หรือบรรลุเป้าหมายการสื่อสาร) ได้ดีเพียงใด ตัวอย่างเช่น ระบบที่สร้างบทสรุปข้อมูลทางการแพทย์สามารถประเมินได้โดยการมอบบทสรุปเหล่านี้ให้กับแพทย์ และประเมินว่าบทสรุปเหล่านั้นช่วยให้แพทย์ตัดสินใจได้ดีขึ้นหรือไม่^{[ 4 ]}
• การประเมินโดยมนุษย์ : นำข้อความที่สร้างขึ้นไปให้บุคคลอื่น และขอให้พวกเขาระบุคุณภาพและประโยชน์ของข้อความนั้น
• ตัวชี้วัด : เปรียบเทียบข้อความที่สร้างขึ้นกับข้อความ ที่เขียนโดยมนุษย์จากข้อมูลป้อนเข้าชุดกัน โดยใช้ตัวชี้วัดอัตโนมัติ เช่นBLEU , METEOR , ROUGEและLEPOR

เป้าหมายสูงสุดคือประโยชน์ของระบบ NLG ในการช่วยเหลือผู้คน ซึ่งเป็นเทคนิคแรกที่กล่าวมาข้างต้น อย่างไรก็ตาม การประเมินตามภารกิจนั้นใช้เวลานานและมีค่าใช้จ่ายสูง และอาจดำเนินการได้ยาก (โดยเฉพาะอย่างยิ่งหากต้องใช้ผู้ที่มีความเชี่ยวชาญเฉพาะด้าน เช่น แพทย์) ดังนั้น (เช่นเดียวกับในด้านอื่นๆ ของ NLP) การประเมินตามภารกิจจึงเป็นข้อยกเว้น ไม่ใช่เรื่องปกติ

นักวิจัยกำลังประเมินว่าการให้คะแนนของมนุษย์และเมตริกมีความสัมพันธ์กับ (ทำนาย) การประเมินตามภารกิจได้ดีเพียงใด งานวิจัยนี้ดำเนินการในบริบทของกิจกรรมภารกิจร่วมกันของ Generation Challenges ^{[ 31 ]}ผลลัพธ์เบื้องต้นชี้ให้เห็นว่าการให้คะแนนของมนุษย์ดีกว่าเมตริกมากในเรื่องนี้ กล่าวอีกนัยหนึ่ง การให้คะแนนของมนุษย์มักจะทำนายประสิทธิภาพของภารกิจได้อย่างน้อยในระดับหนึ่ง (แม้ว่าจะมีข้อยกเว้น) ในขณะที่การให้คะแนนที่สร้างขึ้นโดยเมตริกมักจะไม่สามารถทำนายประสิทธิภาพของภารกิจได้ดี ผลลัพธ์เหล่านี้เป็นเพียงเบื้องต้น อย่างไรก็ตาม การให้คะแนนของมนุษย์เป็นเทคนิคการประเมินที่ได้รับความนิยมมากที่สุดใน NLG ซึ่งแตกต่างจากการแปลด้วยเครื่องจักรที่ใช้เมตริกอย่างแพร่หลาย

AI สามารถได้รับการประเมินจากความถูกต้องแม่นยำของข้อมูลการฝึกอบรม หรือจากข้อเท็จจริงการตอบสนองที่สะท้อนข้อมูลการฝึกอบรมแต่ไม่ใช่ความเป็นจริงนั้นถือว่าถูกต้องแม่นยำแต่ไม่ใช่ข้อเท็จจริง การตอบสนองที่มั่นใจแต่ไม่ถูกต้องแม่นยำถือเป็นภาพลวงตาในการประมวลผลภาษาธรรมชาติ ภาพลวงตามักถูกนิยามว่า "เนื้อหาที่สร้างขึ้นซึ่งไม่สมเหตุสมผลหรือไม่ตรงกับเนื้อหาต้นฉบับที่ให้มา" ^{[ 32 ]}

• การเติมคำอัตโนมัติ
• วารสารศาสตร์อัตโนมัติ
• การเรียบเรียงใหม่โดยอัตโนมัติ
• เครื่องกำเนิดข้อความมาร์คอฟ
• ทฤษฎีความหมาย-ข้อความ
• ศิลปะเชิงสร้างสรรค์ § วรรณกรรม

• เดล, โรเบิร์ต; ไรเตอร์, เอฮุด (2000). การสร้างระบบสร้างภาษาธรรมชาติ . เคมบริดจ์ สหราชอาณาจักร: สำนักพิมพ์มหาวิทยาลัยเคมบริดจ์. ISBN 978-0-521-02451-8.
• อีแวนส์, โรเจอร์; พีเวก, พอล; เคฮิลล์, ลินน์ (2002). NLG คืออะไร? . INLG2002. นิวยอร์ก, สหรัฐอเมริกา.กระดาษ
• Gatt, Albert; Krahmer, Emiel (2018). "การสำรวจสถานะของศิลปะในการสร้างภาษาธรรมชาติ: งานหลัก การประยุกต์ใช้ และการประเมิน"วารสารวิจัยปัญญาประดิษฐ์ 61 : 65– 170. arXiv : 1703.09902 . doi : 10.1613 /jair.5477 . S2CID  16946362 .
• ไรเตอร์, เอฮุด (16 มกราคม 2018). "ฉันจะเรียนรู้เกี่ยวกับ NLG ได้อย่างไร? "