Kompania Google shpalli publikimin e një modeli të madh gjuhësor të mësimit të makinerisë, Gemma, e ndërtuar duke përdorur teknologjitë që përdoren për ndërtimin e modelit të chatbot-it Gemini, i cili përpiqet të konkurrojë me ChatGPT. Modeli është i disponueshëm në katër variante, që përfshijnë 2 dhe 7 miliard parametrash, në përfitimet bazike dhe ato të optimizuara për sistemet e dialogut. Variantet me 2 miliardë parametra janë të përshtatshme për përdorim në aplikacionet për konsumatorët dhe për përpunimin e tyre, është e mjaftueshme CPU. Variantet me 7 miliardë parametra kërkojnë pajisje më të fuqishme, si GPU ose TPU.
Mes fushave të aplikimit të modelit Gemma përmendet krijimi i sistemeve të dialogut dhe ndihmësve virtualë, gjenerimi i tekstit, formimi i përgjigjeve ndaj pyetjeve të bëra në gjuhën natyrore, përmbledhja dhe përmbledhja e përmbajtjes, shpjegimi i esencës së koncepteve dhe termave, korrigjimi i gabimeve në tekst, ndihma në mësimin e gjuhëve. Mbështetet krijimi i llojeve të ndryshme të të dhënave tekstuale, duke përfshirë poezi, kod në gjuhët e programimit, riprodhimin e veprave me fjalë të tjera, dhe formimin e letrave sipas shablloneve. Në të njëjtën kohë, modeli ka një madhësi relativisht të vogël, e cila e lejon atë të përdoret në pajisje me burime të kufizuara, për shembull, në laptopë dhe PC të zakonshëm.
Licenca për modelin lejon përdorimin dhe shpërndarjen falas jo vetëm në projekte kërkimore dhe personale, por edhe në produkte komerciale. Gjithashtu, lejohet krijimi dhe publikimi i varianteve të modifikuara të modelit. Në të njëjtën kohë, kushtet e përdorimit ndalojnë përdorimin e modelit për veprime të dëmshme dhe parashikojnë që të përdoret, sa më shumë të jetë e mundur, versioni më i fundit i Gemma në produktet e tyre.
Mbështetje për punën me modelet Gemma është shtuar tashmë në mjete të ndryshme si Transformers dhe Responsible Generative AI Toolkit. Për optimizimin e modelit mund të përdoret korniza Keras dhe backend për TensorFlow, JAX dhe PyTorch. Gjithashtu, është ofruar mundësia e përdorimit të Gemma me kornizat MaxText, NVIDIA NeMo dhe TensorRT-LLM.
MadhĂ«sia e kontekstit tĂ« marrĂ« parasysh nga modeli Gemma Ă«shtĂ« 8,000 token (numri i tokenĂ«ve qĂ« modeli mund tĂ« pĂ«rpunojĂ« dhe mbajĂ« mend gjatĂ« gjenerimit tĂ« tekstit). PĂ«r krahasim, madhĂ«sia e kontekstit te modelet Gemini dhe GPT-4 Ă«shtĂ« 32,000 token, ndĂ«rsa te modeli GPT-4 Turbo â 128,000. Modeli mbĂ«shtet vetĂ«m gjuhĂ«n angleze. NĂ« pĂ«rformancĂ«, modeli Gemma-7B paksa i kalon modelin LLama 2 70B Chat dhe paksa e parakon modelet DeciLM-7B, PHI-2 (2.7B) dhe Mistral-7B-v0.1. NĂ« krahasim, modeli Gemma-7B i Google paksa e kalon LLama 2 7B/13B dhe Mistral-7B.
Burimi: opennet.ru
