Google ti kede ikede Gemma, awoṣe ede ẹkọ ẹrọ nla ti a ṣe ni lilo awọn imọ-ẹrọ ti a lo lati kọ awoṣe chatbot Gemini, eyiti o gbiyanju lati dije pẹlu ChatGPT. Awoṣe naa wa ni awọn iyatọ mẹrin, ti o bo 2 ati 7 bilionu awọn ayeraye, ni ipilẹ ati awọn iwo iṣapeye ibaraẹnisọrọ. Awọn aṣayan pẹlu awọn iwọn 2 bilionu jẹ o dara fun lilo ninu awọn ohun elo olumulo ati ni Sipiyu to lati ṣe ilana wọn. Awọn aṣayan pẹlu awọn iwọn 7 bilionu nilo ohun elo ti o lagbara diẹ sii ati GPU tabi TPU kan.
Lara awọn agbegbe ti ohun elo ti awoṣe Gemma ni ṣiṣẹda awọn ọna ṣiṣe ijiroro ati awọn oluranlọwọ foju, iran ọrọ, iran ti awọn idahun si awọn ibeere ti a beere ni ede adayeba, akopọ ati akopọ akoonu, alaye pataki ti awọn imọran ati awọn ofin, atunṣe awọn aṣiṣe ninu ọrọ, iranlọwọ ni kikọ awọn ede. O ṣe atilẹyin ẹda ti awọn oriṣi data ọrọ, pẹlu ewi, koodu ni awọn ede siseto, awọn iṣẹ atunko ni awọn ọrọ miiran, ati ṣiṣẹda awọn lẹta nipa lilo awoṣe. Ni akoko kanna, awoṣe naa ni iwọn kekere kan ti o jẹ ki o ṣee lo lori ohun elo tirẹ pẹlu awọn orisun to lopin, fun apẹẹrẹ, lori kọǹpútà alágbèéká lasan ati awọn PC.
Iwe-aṣẹ awoṣe ngbanilaaye lilo ọfẹ ati pinpin kii ṣe ni awọn iwadii ati awọn iṣẹ akanṣe ti ara ẹni, ṣugbọn tun ni awọn ọja iṣowo. Ṣiṣẹda ati ikede ti awọn ẹya ti a tunṣe ti awoṣe tun gba laaye. Ni akoko kanna, awọn ofin lilo ni idinamọ lilo awoṣe lati ṣe awọn iṣe irira ati beere, nigbakugba ti o ṣee ṣe, lati lo ẹya tuntun ti Gemma ninu awọn ọja rẹ.
Atilẹyin fun ṣiṣẹ pẹlu awọn awoṣe Gemma ti tẹlẹ ti ṣafikun si ohun elo irinṣẹ Transformers ati Ohun elo Ohun elo AI Generative Responsible. Lati mu awoṣe dara, o le lo ilana Keras ati awọn ẹhin fun TensorFlow, JAX ati PyTorch. O tun ṣee ṣe lati lo Gemma pẹlu MaxText, NVIDIA NeMo ati awọn ilana TensorRT-LLM.
Iwọn ti ọrọ-ọrọ ti a gba sinu iroyin nipasẹ awoṣe Gemma jẹ awọn ami-ami 8 ẹgbẹrun (nọmba awọn ami-ami ti awoṣe le ṣe ilana ati ranti nigbati o ba ṣẹda ọrọ). Fun lafiwe, iwọn ipo fun Gemini ati awọn awoṣe GPT-4 jẹ 32 ẹgbẹrun aami, ati fun awoṣe Turbo GPT-4 o jẹ 128 ẹgbẹrun. Awoṣe naa ṣe atilẹyin Gẹẹsi nikan. Ni awọn ofin ti iṣẹ, awoṣe Gemma-7B jẹ ẹni ti o kere si awoṣe LLama 2 70B Chat ati diẹ siwaju si DeciLM-7B, PHI-2 (2.7B) ati awọn awoṣe Mistral-7B-v0.1. Ninu lafiwe Google, awoṣe Gemma-7B jẹ die-die siwaju Llama 2 7B/13B ati Mistral-7B.
orisun: opennet.ru