บริษัท xAI ก่อตั้งโดย Elon Musk และได้รับเงินประมาณพันล้านดอลลาร์สำหรับการพัฒนาเทคโนโลยีที่เกี่ยวข้องกับปัญญาประดิษฐ์ ได้ประกาศการค้นพบโมเดลภาษา Grok ขนาดใหญ่ที่ใช้ในแชทบอทที่รวมอยู่ในเครือข่ายโซเชียล X (Twitter) ชุดค่าสัมประสิทธิ์การถ่วงน้ำหนัก สถาปัตยกรรมโครงข่ายประสาทเทียม และกรณีการใช้งานได้รับการเผยแพร่ภายใต้ใบอนุญาต Apache 2.0 ไฟล์เก็บถาวรที่พร้อมใช้งานในรุ่นขนาด 296 GB (แม่เหล็ก) พร้อมให้ดาวน์โหลดแล้ว
โมเดล Grok ได้รับการฝึกอบรมล่วงหน้าเกี่ยวกับชุดข้อมูลข้อความขนาดใหญ่โดยใช้สแต็กการเรียนรู้ที่เป็นกรรมสิทธิ์ของ xAI และครอบคลุมพารามิเตอร์ประมาณ 314 พันล้านพารามิเตอร์ ทำให้เป็นโมเดลภาษาเปิดขนาดใหญ่ที่ใหญ่ที่สุดที่มีอยู่ สำหรับการเปรียบเทียบ โมเดล Gemma ที่เพิ่งเปิดโดย Google มีพารามิเตอร์ 7 พันล้าน Sber GigaChat - 29 พันล้านพารามิเตอร์ Meta LLaMA - 65 พันล้าน Yandex YaLM - 100 พันล้าน OpenAI GPT-3.5 - 175 พันล้าน และผู้นำตลาด GPT- รุ่นที่ 4 ซึ่งคาดว่าจะมีพารามิเตอร์ 1.76 ล้านล้านพารามิเตอร์
รุ่นเปิดของรุ่น Grok-1 ได้รับการเผยแพร่ในรูปแบบพื้นฐาน และไม่รวมการปรับให้เหมาะสมสำหรับการใช้งานบางด้าน เช่น การจัดระเบียบระบบกล่องโต้ตอบ สำหรับการทดสอบ ต้องใช้ GPU ที่มีหน่วยความจำจำนวนมาก (ไม่ได้ระบุหน่วยความจำประเภทใด) โมเดลแบบคงที่นั้นเปิดเผยต่อสาธารณะ ในขณะที่หนึ่งในฟีเจอร์ของแชทบอท Grok ที่ได้รับการพัฒนาสำหรับ Twitter คือการปรับแบบไดนามิกให้เข้ากับเนื้อหาใหม่ที่เกิดขึ้น (การบูรณาการกับแพลตฟอร์ม X/Twitter ใช้เพื่อเข้าถึงความรู้ใหม่)
แชทบอตที่สร้างขึ้นบน Grok มีประสิทธิภาพเหนือกว่า GPT-3.5 ในการทดสอบเพื่อแก้ปัญหาคณิตศาสตร์ระดับมัธยมปลาย (GSM8k) สร้างคำตอบสำหรับคำถามแบบสหวิทยาการ (MMLU) กรอกโค้ด Python ให้สมบูรณ์ (HumanEval) และแก้ปัญหาคณิตศาสตร์ของมหาวิทยาลัยที่อธิบายไว้ในรูปแบบ LaTeX (MATH) .
ที่มา: opennet.ru