Google ได้ประกาศการเผยแพร่ Gemma ซึ่งเป็นโมเดลภาษาแมชชีนเลิร์นนิงขนาดใหญ่ที่สร้างขึ้นโดยใช้เทคโนโลยีที่ใช้ในการสร้างโมเดลแชทบอท Gemini ซึ่งพยายามแข่งขันกับ ChatGPT โมเดลนี้มีให้เลือก 2 รุ่น ครอบคลุมพารามิเตอร์ 7 ถึง 2 พันล้านพารามิเตอร์ ในมุมมองพื้นฐานและมุมมองที่ปรับให้เหมาะสมกับกล่องโต้ตอบ ตัวเลือกที่มีพารามิเตอร์ 7 พันล้านพารามิเตอร์เหมาะสำหรับใช้ในแอปพลิเคชันสำหรับผู้บริโภคและมี CPU เพียงพอที่จะประมวลผล ตัวเลือกที่มีพารามิเตอร์ XNUMX พันล้านตัวต้องใช้ฮาร์ดแวร์และ GPU หรือ TPU ที่มีประสิทธิภาพมากกว่า
ขอบเขตการใช้งานโมเดล Gemma ได้แก่ การสร้างระบบบทสนทนาและผู้ช่วยเสมือน การสร้างข้อความ การสร้างคำตอบสำหรับคำถามที่ถามในภาษาธรรมชาติ การสรุปและการทำให้เนื้อหาเป็นภาพรวม การอธิบายสาระสำคัญของแนวคิดและคำศัพท์ การแก้ไขข้อผิดพลาด ในข้อความความช่วยเหลือในการเรียนรู้ภาษา รองรับการสร้างข้อมูลข้อความประเภทต่างๆ รวมถึงบทกวี โค้ดในภาษาการเขียนโปรแกรม งานเขียนใหม่ หรืออีกนัยหนึ่ง และสร้างตัวอักษรโดยใช้เทมเพลต ในขณะเดียวกัน โมเดลนี้มีขนาดค่อนข้างเล็ก ทำให้สามารถนำไปใช้กับอุปกรณ์ของคุณเองที่มีทรัพยากรจำกัด เช่น บนแล็ปท็อปและพีซีทั่วไป
ใบอนุญาตรุ่นอนุญาตให้ใช้และแจกจ่ายได้ฟรีไม่เพียงแต่ในการวิจัยและโครงการส่วนตัวเท่านั้น แต่ยังรวมถึงผลิตภัณฑ์เชิงพาณิชย์ด้วย อนุญาตให้สร้างและเผยแพร่โมเดลเวอร์ชันแก้ไขแล้วได้ ในขณะเดียวกัน ข้อกำหนดการใช้งานห้ามมิให้ใช้แบบจำลองเพื่อดำเนินการที่เป็นอันตราย และกำหนดให้ใช้ Gemma เวอร์ชันล่าสุดในผลิตภัณฑ์ของคุณทุกครั้งที่เป็นไปได้
เพิ่มการสนับสนุนสำหรับการทำงานกับโมเดล Gemma ลงในชุดเครื่องมือ Transformers และชุดเครื่องมือ AI ที่รับผิดชอบแล้ว หากต้องการปรับโมเดลให้เหมาะสม คุณสามารถใช้เฟรมเวิร์ก Keras และแบ็กเอนด์สำหรับ TensorFlow, JAX และ PyTorch นอกจากนี้ยังสามารถใช้ Gemma กับเฟรมเวิร์ก MaxText, NVIDIA NeMo และ TensorRT-LLM ได้อีกด้วย
ขนาดของบริบทที่โมเดล Gemma นำมาพิจารณาคือ 8 โทเค็น (จำนวนโทเค็นที่โมเดลสามารถประมวลผลและจดจำได้เมื่อสร้างข้อความ) สำหรับการเปรียบเทียบ ขนาดบริบทสำหรับรุ่น Gemini และ GPT-4 คือ 32 โทเค็น และสำหรับรุ่น GPT-4 Turbo คือ 128 โทเค็น โมเดลรองรับเฉพาะภาษาอังกฤษเท่านั้น ในแง่ของประสิทธิภาพรุ่น Gemma-7B นั้นด้อยกว่ารุ่น Chat LLama 2 70B เล็กน้อยและเหนือกว่ารุ่น DeciLM-7B, PHI-2 (2.7B) และ Mistral-7B-v0.1 เล็กน้อย ในการเปรียบเทียบของ Google โมเดล Gemma-7B นั้นเหนือกว่า LLama 2 7B/13B และ Mistral-7B เล็กน้อย
ที่มา: opennet.ru