Google Gemma 2 2B är en kompakt men kraftfull språkmodell inom artificiell intelligens (LLM), som kan konkurrera med branschledarna trots sin betydligt mindre storlek. Den nya språkmodellen, som innehåller endast 2,6 miljarder parametrar, presterar lika bra som mycket större motsvarigheter, inklusive OpenAI GPT-3.5 och Mistral AI Mixtral 8x7B.
I testet LMSYS Chatbot Arena, en populär online-plattform för jämförande testning och kvalitetsbedömning av artificiell intelligens-modeller, fick Gemma 2 2B 1130 poäng. Detta resultat överträffar något resultaten för GPT-3.5-Turbo-0613 (1117 poäng) och Mixtral-8x7B (1114 poäng) – modeller med tio gånger fler parametrar.
Google rapporterar att Gemma 2 2B också fick 56,1 poäng i MMLU-testet (Massive Multitask Language Understanding) och 36,6 poäng i MBPP-testet (Mostly Basic Python Programming), vilket är en betydande förbättring jämfört med den föregående versionen.
Gemma 2 2B ifrågasätter den allmänt vedertagna uppfattningen att större språkmodeller initialt presterar bättre än kompaktare. Prestandan hos Gemma 2 2B visar att avancerade inlärningstekniker, arkitekturens effektivitet och högkvalitativa datamängder kan kompensera för bristen på antal parametrar. Utvecklingen av Gemma 2 2B betonar också den växande betydelsen av metoder för komprimering och distillering av AI-modeller. Möjligheten att effektivt sammanställa information från större modeller till mindre öppnar möjligheter för att skapa mer tillgängliga AI-verktyg utan att offra prestanda.
Google har tränat Gemma 2 2B på en enorm datamängd som består av 2 triljoner tokens, med hjälp av system baserade på sina egna AI-acceleratorer TPU v5e. Stöd för flera språk utökar dess potential för användning i globala tillämpningar. Modellen Gemma 2 2B har öppen källkod. Forskare och utvecklare kan få tillgång till modellen via plattformen . Den stöder också olika ramverk, inklusive och .
Källa:
Källa: 3dnews.ru
