Google Gemma 2 2B — en kompakt, men kraftfuld sprogmodel for kunstig intelligens (LLM), der kan konkurrere med branchens tophunde, på trods af sin betydeligt mindre størrelse. Den nye sprogmodel, der indeholder blot 2,6 milliarder parametre, viser en ydeevne, der er i samme række som de meget større alternativer, herunder OpenAI GPT-3.5 og Mistral AI Mixtral 8x7B.
I LMSYS Chatbot Arena-testen, en populær onlineplatform til sammenligning og vurdering af kvaliteten af sprogmodeller for kunstig intelligens, opnåede Gemma 2 2B 1130 point. Dette resultat ligger let over resultaterne fra GPT-3.5-Turbo-0613 (1117 point) og Mixtral-8x7B (1114 point) — modeller, der har ti gange så mange parametre.
Google rapporterer, at Gemma 2 2B også opnåede 56,1 point i MMLU-testen (Massive Multitask Language Understanding) og 36,6 point i MBPP-testen (Mostly Basic Python Programming), hvilket er en betydelig forbedring i forhold til den tidligere version.
Gemma 2 2B udfordrer den gængse opfattelse af, at større sprogmodeller altid fungerer bedre end kompakte. Ydeevnen af Gemma 2 2B viser, at komplekse træningsmetoder, effektiv arkitektur og højkvalitets datasæt kan opveje manglen på parametre. Udviklingen af Gemma 2 2B understreger også den stigende betydning af metoder til komprimering og destillation af AI-modeller. Muligheden for effektivt at kompilere information fra større modeller til mindre åbner muligheder for at skabe mere tilgængelige AI-værktøjer, uden at gå på kompromis med deres ydeevne.
Google har trænet Gemma 2 2B på et enormt datasæt bestående af 2 billioner tokens ved hjælp af systemer baseret på deres proprietære AI-acceleratorer TPU v5e. Støtten til flere sprog udvider dens potentiale for anvendelse i globale applikationer. Modellen Gemma 2 2B er open source. Forskere og udviklere kan få adgang til modellen via platformen . Den understøtter også forskellige rammer, herunder og .
Kilde:
Kilde: 3dnews.ru
