Google teatas, et on välja andnud suure keelemudeli Gemma, mis on loodud kasutades tehnoloogiaid, mis on rakendatud vestlusroboti Gemini mudeli loomisel, püüdes konkureerida ChatGPT-ga. Mudel on saadaval neljas variandis, katab 2 ja 7 miljardit parameetrit, nii baas- kui ka dialooge optimeeritud esitusvormis. 2 miljardi parameetriga variandid sobivad kasutamiseks tarbijarakendustes ja nende töötlemiseks piisab CPU-st. 7 miljardi parameetriga variandid nõuavad võimsamat riistvara ning GPU või TPU olemasolu.
Gemma mudeli rakendusaladeks on dialoogisüsteemide ja virtuaalsete assistentide loomine, teksti genereerimine, loomulikul keelel esitatud küsimustele vastamine, sisu kokkuvõtmine ja üldistamine, kontseptide ja terminite selgitamine, teksti vigade parandamine, keelte õppimise abistamine. Toetatakse erinevat tüüpi tekstiliste andmete loomist, sealhulgas luuletusi, programmeerimiskeeltes kirjutatud koodi, teoste ümberkirjutamist teiste sõnadega, kirjade loomist mallide abil. Samal ajal on mudel suhteliselt väike, võimaldades seda kasutada oma piiritletud ressurssidega seadmetes, näiteks tavalisetel sülearvutitel ja lauaarvutitel.
Mudeli litsents lubab tasuta kasutamist ja levitamist mitte ainult teaduslikes ja isiklikes projektides, vaid ka kaubanduslikes toodetes. Samuti on lubatud muudetud versioonide loomine ja avaldamine. Kasutustingimused keelavad mudeli kasutamise pahatahtlikeks tegevusteks ja nõuavad, et oma toodetes kasutataks võimalusel kõige uuemat versiooni Gemma.
Gemma mudelite toimetamine on nüüd saadaval Transformers tööriistade komplektis ning Responsible Generative AI Toolkitis. Mudeli optimeerimiseks on võimalik kasutada Keras raamistikku ja backende TensorFlow, JAX ja PyTorch jaoks. Samuti on tagatud Gemma kasutamise võimalus koos MaxText, NVIDIA NeMo ja TensorRT-LLM raamistikuga.
Gemma mudeli konteksti suurus on 8000 tokenit (tokenite arv, mida mudel suudab tekstigeneratsiooni käigus töödelda ja mäletada). Võrdluseks: Gemini ja GPT-4 mudelite konteksti suurus on 32000 tokenit, samas kui GPT-4 Turbo mudeli puhul on see 128000. Mudel toetab ainult inglise keelt. Tootlikkuses jääb Gemma-7B mudel veidi maha LLama 2 70B Chat mudelist ja ületab veidi DeciLM-7B, PHI-2 (2.7B) ja Mistral-7B mudeleid. Google'i mudeli võrdluses jääb Gemma-7B veidi ette LLama 2 7B/13B ja Mistral-7B mudelitest.
Allikas: opennet.ru
