A Google bejelentette a Gemma nevű nagy nyelvi modell kiadását, amelyet a Gemini chatbot modellje körüli technológiák felhasználásával fejlesztettek ki, versenyezve a ChatGPT-vel. A modell négy változatban érhető el, amelyek 2 és 7 milliárd paramétert ölelnek fel, alap- és párbeszédrendszerekhez optimalizált verziókban. A 2 milliárd paraméteres változatok alkalmasak a fogyasztói alkalmazásokhoz, és ezekhez elegendő a CPU teljesítménye. A 7 milliárd paraméteres változatokhoz erősebb hardver és GPU vagy TPU megléte szükséges.
A Gemma modell alkalmazási területei között szerepel a párbeszédrendszerek és virtuális asszisztensek létrehozása, szöveggenerálás, a természetes nyelven feltett kérdésekre adott válaszok megfogalmazása, a tartalom összefoglalása és általánosítása, a fogalmak és kifejezések lényegének magyarázata, szöveges hibák javítása, valamint a nyelvtanulás támogatása. Támogatja különböző típusú szöveges adatok létrehozását, beleértve a verseket, programozási nyelveken írt kódokat, művek átkonvertálását más szavakkal, valamint sablon alapján történő levelek megfogalmazását. A modell viszonylag kis mérete lehetővé teszi, hogy korlátozott erőforrásokkal rendelkező eszközökön, például átlagos laptopokon és asztali gépeken is használható legyen.
A modell licencje lehetővé teszi a szabad felhasználást és terjesztést nemcsak kutatási és személyes projektekben, hanem kereskedelmi termékekben is. Szintén engedélyezett a modell módosított változatainak létrehozása és közzététele. A felhasználási feltételek megtiltják a modell rosszindulatú cselekvésekre való felhasználását, és megkövetelik, hogy a termékekben a lehető legfrissebb Gemma verziót használják.
A Gemma modellek támogatása már hozzá lett adva a Transformers eszközkészletéhez és a Responsible Generative AI Toolkithez. A modell optimalizálásához használható a Keras keretrendszer, valamint backendek a TensorFlow, JAX és PyTorch számára. A Gemma használata biztosítva van a MaxText, NVIDIA NeMo és TensorRT-LLM keretrendszerekkel is.
A Gemma modell által figyelembe vett kontextus mérete 8000 token (a tokenek száma, amelyet a modell képes feldolgozni és megjegyezni a szöveg generálása során). Összehasonlításképpen a Gemini és a GPT-4 modellek kontextus mérete 32 ezer token, míg a GPT-4 Turbo modellé 128 ezer. A modellt csak angol nyelven támogatják. Teljesítmény szempontjából a Gemma-7B modell kissé elmarad a LLama 2 70B Chat modelltől, és kissé megelőzi a DeciLM-7B, PHI-2 (2.7B) és Mistral-7B modelleket. A Google összehasonlítása szerint a Gemma-7B modell kissé megelőzi a LLama 2 7B/13B és a Mistral-7B modelleket.
Forrás: opennet.ru
