ปาล์ม
PaLM ( Pathways Language Model ) เป็นโมเดลภาษาขนาดใหญ่ (LLM) ที่ใช้Transformer ซึ่งมีตัวถอดรหัสแบบหนาแน่นเพียง 540 พันล้านพารามิเตอร์ พัฒนาโดย Google AI [ 1 ] นักวิจัยยังได้ฝึกฝน PaLM เวอร์ชันที่เล็กกว่า (ที่มีพารามิเตอร์ 8 และ 62 พันล้าน) เพื่อทดสอบผลกระทบของขนาดโมเดล[ 2 ]
แบบอย่าง
PaLM สามารถทำงานได้หลากหลาย รวมถึง การใช้ เหตุผลสามัญสำนึกการใช้เหตุผลทางคณิตศาสตร์การอธิบายเรื่องตลก การสร้าง โค้ดและการแปล [ 2 ] [ 3 ] [ 4 ] [ 5 ] เมื่อรวมกับการกระตุ้นความคิดแบบต่อเนื่อง PaLM มีประสิทธิภาพดีขึ้นอย่างมากในชุดข้อมูลที่ต้องการการใช้เหตุผลหลายขั้นตอน เช่นโจทย์ปัญหาและคำถามเชิงตรรกะ[ 1 ] [ 2 ]
โมเดลนี้ได้รับการประกาศครั้งแรกในเดือนเมษายน 2022 และยังคงเป็นส่วนตัวจนถึงเดือนมีนาคม 2023 เมื่อ Google เปิดตัวAPIสำหรับ PaLM และเทคโนโลยีอื่นๆ อีกหลายอย่าง[ 6 ] API นี้เปิดให้ใช้งานเฉพาะนักพัฒนาจำนวนจำกัดที่ลงทะเบียนรอคิวก่อนที่จะเปิดให้สาธารณะชนใช้งาน[ 7 ]
Google และDeepMindได้พัฒนาเวอร์ชันของ PaLM 540B (ที่มีพารามิเตอร์ 540 พันล้านตัว) ที่เรียกว่าMed-PaLMซึ่งได้รับการปรับแต่งอย่างละเอียดบนข้อมูลทางการแพทย์และมีประสิทธิภาพเหนือกว่าโมเดลก่อนหน้าในเกณฑ์มาตรฐานการตอบคำถาม ทางการแพทย์ [ 8 ] [ 9 ] Med-PaLM เป็นโมเดลแรกที่ได้คะแนนผ่านเกณฑ์ใน คำถาม การขอใบอนุญาตประกอบวิชาชีพทางการแพทย์ของสหรัฐฯและนอกเหนือจากการตอบคำถามแบบเลือกตอบและคำถามปลายเปิดได้อย่างแม่นยำแล้ว ยังให้เหตุผลและสามารถประเมินคำตอบของตนเองได้อีกด้วย[ 10 ]
นอกจากนี้ Google ยังขยาย PaLM โดยใช้ตัวแปลงภาพเพื่อสร้างPaLM-Eซึ่งเป็นแบบจำลองภาษาภาพที่สามารถใช้สำหรับการจัดการหุ่นยนต์โดยไม่จำเป็นต้องฝึกฝนใหม่หรือปรับแต่งเพิ่มเติม[ 11 ] [ 12 ] [ 13 ]
ในเดือนพฤษภาคม 2023 Google ประกาศเปิดตัว PaLM 2 ในงานGoogle I/O ประจำปี [ 14 ]มีรายงานว่า PaLM 2 เป็นโมเดลที่มีพารามิเตอร์ 340 พันล้านตัว ซึ่งได้รับการฝึกฝนด้วยโทเค็น 3.6 ล้านล้านตัว[ 15 ]
ในเดือนมิถุนายน พ.ศ. 2566 Google ได้ประกาศเปิดตัว AudioPaLM สำหรับการแปลเสียงพูดเป็นเสียงพูด ซึ่งใช้สถาปัตยกรรมและการเริ่มต้นใช้งาน PaLM-2 [ 16 ]
การฝึกอบรม
PaLM ได้รับการฝึกฝนล่วงหน้าบน คอร์ปัสคุณภาพสูงที่มีโทเค็น 780 พันล้านโทเค็น ซึ่งประกอบด้วย งาน ภาษาธรรมชาติและกรณีการใช้งานต่างๆ ชุดข้อมูลนี้ประกอบด้วยเว็บเพจที่ผ่านการกรอง หนังสือ บทความ วิกิพีเดียบทความข่าว ซอร์สโค้ดที่ได้จากแหล่งเก็บข้อมูลโอเพนซอร์สบนGitHubและบทสนทนาในโซเชียลมีเดีย[ 1 ] [ 2 ]โดยอิงจากชุดข้อมูลที่ใช้ในการฝึกโมเดลLaMDAของGoogle [ 2 ]ส่วนของบทสนทนาในโซเชียลมีเดียในชุดข้อมูลคิดเป็น 50% ของคอร์ปัส ซึ่งช่วยให้โมเดลมีความสามารถในการสนทนา[ 2 ]
PaLM 540B ได้รับการฝึกฝนบนTPU v4 Pods สองตัว โดยแต่ละ Pod มีชิป TPU v4 จำนวน 3,072 ตัว เชื่อมต่อกับโฮสต์ 768 เครื่อง ซึ่งเชื่อมต่อโดยใช้การผสมผสานระหว่างการขนานโมเดลและการขนานข้อมูลซึ่งถือเป็นการกำหนดค่า TPU ที่ใหญ่ที่สุด[ 2 ] [ 17 ]วิธีนี้ช่วยให้การฝึกฝนมีประสิทธิภาพในระดับใหญ่ โดยใช้ชิปจำนวน 6,144 ตัว และสร้างสถิติประสิทธิภาพการฝึกฝนสูงสุดสำหรับ LLM ในระดับนี้: การใช้ฮาร์ดแวร์FLOPsอยู่ที่ 57.8% [ 3 ]