Google je napovedal objavo Gemme, velikega modela jezikov za strojno učenje, zgrajenega s tehnologijami, uporabljenimi za izdelavo modela klepetalnega robota Gemini, ki poskuša konkurirati ChatGPT. Model je na voljo v štirih različicah, ki zajemajo 2 in 7 milijard parametrov, v osnovnem in pogovorno optimiziranem pogledu. Možnosti z 2 milijardama parametrov so primerne za uporabo v potrošniških aplikacijah in imajo dovolj procesorja za njihovo obdelavo. Možnosti s 7 milijardami parametrov zahtevajo zmogljivejšo strojno opremo in GPU ali TPE.
Med področji uporabe modela Gemma so ustvarjanje dialoških sistemov in virtualnih pomočnikov, generiranje besedil, generiranje odgovorov na vprašanja, zastavljena v naravnem jeziku, povzetek in posploševanje vsebine, razlaga bistva pojmov in izrazov, popravljanje napak. v besedilu pomoč pri učenju jezikov. Podpira ustvarjanje različnih vrst besedilnih podatkov, vključno s poezijo, kodo v programskih jezikih, prepisovanjem del z drugimi besedami in generiranje črk z uporabo predloge. Hkrati ima model razmeroma majhno velikost, ki omogoča uporabo na lastni opremi z omejenimi sredstvi, na primer na običajnih prenosnih računalnikih in osebnih računalnikih.
Vzorčna licenca omogoča brezplačno uporabo in distribucijo ne samo v raziskovalnih in osebnih projektih, ampak tudi v komercialnih izdelkih. Dovoljena je tudi izdelava in objava spremenjenih različic modela. Obenem pogoji uporabe prepovedujejo uporabo modela za izvajanje zlonamernih dejanj in zahtevajo, kadar koli je to mogoče, uporabo najnovejše različice Gemme v vaših izdelkih.
Podpora za delo z modeli Gemma je že dodana kompletu orodij Transformers in Responsible Generative AI Toolkit. Za optimizacijo modela lahko uporabite ogrodje Keras in ozadja za TensorFlow, JAX in PyTorch. Gemmo je možno uporabljati tudi z ogrodji MaxText, NVIDIA NeMo in TensorRT-LLM.
Velikost konteksta, ki ga upošteva model Gemma, je 8 tisoč žetonov (število žetonov, ki jih lahko model obdela in si zapomni pri generiranju besedila). Za primerjavo, velikost konteksta za modela Gemini in GPT-4 je 32 tisoč žetonov, za model GPT-4 Turbo pa 128 tisoč. Model podpira samo angleščino. Glede zmogljivosti je model Gemma-7B nekoliko slabši od modela LLama 2 70B Chat in nekoliko pred modeli DeciLM-7B, PHI-2 (2.7B) in Mistral-7B-v0.1. V Googlovi primerjavi je model Gemma-7B nekoliko pred LLama 2 7B/13B in Mistral-7B.
Vir: opennet.ru