Google Gemma 2 2B ā een compacte maar krachtige taalmodel voor kunstmatige intelligentie (LLM) dat kan concurreren met de industryleiders, ondanks zijn aanzienlijk kleinere omvang. Dit nieuwe taalmodel, dat slechts 2,6 miljard parameters bevat, toont prestaties die niet onderdoen voor veel grotere vergelijkbare modellen, waaronder OpenAI GPT-3.5 en Mistral AI Mixtral 8x7B.
In de LMSYS Chatbot Arena-test, een populaire online platform voor vergelijkende testen en kwaliteitsbeoordeling van AI-modellen, behaalde Gemma 2 2B 1130 punten. Deze score ligt net boven die van GPT-3.5-Turbo-0613 (1117 punten) en Mixtral-8x7B (1114 punten) ā modellen met tien keer zoveel parameters.
Google meldt dat Gemma 2 2B ook 56,1 punten behaalde in de MMLU (Massive Multitask Language Understanding) test en 36,6 punten in de MBPP (Mostly Basic Python Programming) test, wat een significante verbetering is ten opzichte van de vorige versie.
Gemma 2 2B daagt de gangbare opvatting uit dat grotere taalmodellen in de basis beter presteren dan compacte. De prestaties van Gemma 2 2B tonen aan dat complexe leermethodes, architecturale efficiƫntie en hoogwaardige datasets het gebrek aan aantal parameters kunnen compenseren. De ontwikkeling van Gemma 2 2B benadrukt ook het groeiende belang van compressie- en distillatiemethoden voor AI-modellen. De mogelijkheid om effectief informatie uit grotere modellen in kleinere te compenseren opent de deur naar de creatie van meer toegankelijke AI-tools zonder in te boeten op prestaties.
Google heeft Gemma 2 2B getraind op een enorme dataset van 2 biljoen tokens, gebruikmakend van systemen op basis van hun eigen AI-versnellers TPU v5e. Meertalige ondersteuning vergroot het potentieel voor toepassing in wereldwijde applicaties. Het model Gemma 2 2B is open source. Onderzoekers en ontwikkelaars kunnen toegang krijgen tot het model via het platform . Het ondersteunt ook verschillende frameworks, waaronder en .
Bron:
Bron: 3dnews.ru
