Compania Google a anunțat lansarea unui model mare de limbaj pentru învățare automată, Gemma, construit cu tehnologiile utilizate pentru dezvoltarea modelului de chatbot Gemini, care caută să concureze cu ChatGPT. Modelul este disponibil în patru variante, acoperind 2 și 7 miliarde de parametri, în versiuni de bază și optimizate pentru sisteme de dialog. Variantele cu 2 miliarde de parametri sunt potrivite pentru utilizare în aplicații de consum și procesarea lor necesită suficient CPU. Variantele cu 7 miliarde de parametri necesită echipamente mai puternice și GPU sau TPU disponibile.
Printre domeniile de aplicare ale modelului Gemma se numără crearea de sisteme de dialog și asistenți virtuali, generarea de text, formularea de răspunsuri la întrebările formulate în limbaj natural, rezumarea și generalizarea conținutului, explicarea esenței conceptelor și termenilor, corectarea erorilor din text, ajutor în învățarea limbilor. Este susținută crearea diverselor tipuri de date textuale, inclusiv poezii, cod în diverse limbaje de programare, rescrierea operelor cu alte cuvinte, formarea de scrisori conform unui șablon. În acest sens, modelul are o dimensiune relativ mică, permițând utilizarea sa pe echipamente cu resurse limitate, cum ar fi laptopuri și PC-uri obișnuite.
Licența pentru model permite utilizarea și distribuirea gratuită nu doar în proiecte de cercetare și personale, ci și în produse comerciale. De asemenea, este permisă crearea și publicarea variantelor modificate ale modelului. Totuși, condițiile de utilizare interzic aplicarea modelului pentru a desfășura acțiuni dăunătoare și stipulează utilizarea, pe cât posibil, a celei mai recente versiuni Gemma în produsele proprii.
Suportul pentru lucrul cu modelele Gemma a fost deja adăugat în instrumentele Transformers și în Responsible Generative AI Toolkit. Pentru optimizarea modelului, se poate folosi cadrul Keras și backend-uri pentru TensorFlow, JAX și PyTorch. De asemenea, este asigurată posibilitatea de utilizare a Gemma cu cadrele MaxText, NVIDIA NeMo și TensorRT-LLM.
Dimensiunea contextului pe care modelul Gemma îl consideră este de 8.000 de tokeni (numărul de tokeni pe care modelul îi poate procesa și reține în timpul generării de text). Spre comparație, dimensiunea contextului pentru modelele Gemini și GPT-4 este de 32.000 de tokeni, iar pentru modelul GPT-4 Turbo — 128.000. Modelul suportă doar limba engleză. În ceea ce privește performanța, modelul Gemma-7B este ușor sub modelul LLama 2 70B Chat și ușor superior modelelor DeciLM-7B, PHI-2 (2.7B) și Mistral-7B-v0.1. Comparativ cu Google, modelul Gemma-7B are un avantaj ușor față de LLama 2 7B/13B și Mistral-7B.
Sursa: opennet.ro
