Google har annonceret offentliggørelsen af Gemma, en stor maskinlæringssprogmodel bygget ved hjælp af teknologier, der bruges til at bygge Gemini chatbot-modellen, som forsøger at konkurrere med ChatGPT. Modellen fås i fire varianter, der dækker 2 og 7 milliarder parametre, i grundlæggende og dialogoptimerede visninger. Indstillinger med 2 milliarder parametre er velegnede til brug i forbrugerapplikationer og har nok CPU til at behandle dem. Valgmuligheder med 7 milliarder parametre kræver mere kraftfuld hardware og en GPU eller TPU.
Blandt anvendelsesområderne for Gemma-modellen er skabelsen af dialogsystemer og virtuelle assistenter, tekstgenerering, generering af svar på spørgsmål stillet i naturligt sprog, resumé og generalisering af indhold, forklaring af essensen af begreber og termer, rettelse af fejl i teksten, hjælp til sprogindlæring. Det understøtter oprettelsen af forskellige typer tekstdata, herunder poesi, kode på programmeringssprog, omskrivning af værker med andre ord og generering af bogstaver ved hjælp af en skabelon. Samtidig har modellen en relativt lille størrelse, så den kan bruges på eget udstyr med begrænsede ressourcer, for eksempel på almindelige bærbare computere og pc'er.
Modellicensen tillader gratis brug og distribution ikke kun i forskning og personlige projekter, men også i kommercielle produkter. Oprettelse og offentliggørelse af modificerede versioner af modellen er også tilladt. Samtidig forbyder brugsbetingelserne brugen af modellen til at udføre ondsindede handlinger og kræver, når det er muligt, at bruge den seneste version af Gemma i dine produkter.
Support til at arbejde med Gemma-modeller er allerede blevet tilføjet til Transformers-værktøjssættet og Responsible Generative AI Toolkit. For at optimere modellen kan du bruge Keras framework og backends til TensorFlow, JAX og PyTorch. Det er også muligt at bruge Gemma med MaxText, NVIDIA NeMo og TensorRT-LLM rammerne.
Størrelsen af konteksten, der tages i betragtning af Gemma-modellen, er 8 tusinde tokens (antallet af tokens, som modellen kan behandle og huske, når tekst genereres). Til sammenligning er kontekststørrelsen for Gemini- og GPT-4-modellerne 32 tusinde tokens, og for GPT-4 Turbo-modellen er den 128 tusinde. Modellen understøtter kun engelsk. Med hensyn til ydeevne er Gemma-7B-modellen lidt ringere end LLama 2 70B Chat-modellen og lidt foran modellerne DeciLM-7B, PHI-2 (2.7B) og Mistral-7B-v0.1. I Google-sammenligningen er Gemma-7B-modellen lidt foran LLama 2 7B/13B og Mistral-7B.
Kilde: opennet.ru