Tvrtka Google Gemma 2 2B — kompaktan, ali moćan jezikovni model umjetne inteligencije (LLM) koji može konkurirati liderima industrije, unatoč svom znatno manjem veličini. Novi jezikovni model, s samo 2,6 milijardi parametara, pokazuje performanse koje nisu lošije od mnogo većih ekvivalenata, uključujući OpenAI GPT-3.5 i Mistral AI Mixtral 8x7B.
Na testu LMSYS Chatbot Arena, popularnoj online platformi za usporedno testiranje i procjenu kvalitete modela umjetne inteligencije, Gemma 2 2B osvojila je 1130 bodova. Ova rezultatska ocjena malo nadmašuje rezultate GPT-3.5-Turbo-0613 (1117 bodova) i Mixtral-8x7B (1114 bodova) — modela koji imaju deset puta više parametara.
Google izvještava da je Gemma 2 2B također osvojila 56,1 bod u MMLU (Massive Multitask Language Understanding) testu i 36,6 bodova u MBPP (Mostly Basic Python Programming) testu, što predstavlja značajno poboljšanje u odnosu na prethodnu verziju.
Gemma 2 2B dovodi u pitanje općeprihvaćeno vjerovanje da veći jezikovni modeli izvorno rade bolje od kompaktnih. Performanse Gemma 2 2B pokazuju da složene metode učenja, učinkovitost arhitekture i visokokvalitetni skupovi podataka mogu nadoknaditi manjak u broju parametara. Razvoj Gemma 2 2B također ističe rastući značaj metoda kompresije i destilacije AI modela. Mogućnost učinkovite kompilacije informacija iz većih modela u manje otvara mogućnosti za stvaranje pristupačnijih AI alata, pri čemu se ne žrtvuje njihova učinkovitost.
Google je obučio Gemma 2 2B na ogromnom skupu podataka od 2 trilijuna tokena, koristeći sustave temeljen na svojim vlastitim AI akceleratorima TPU v5e. Podrška za više jezika proširuje njezin potencijal za primjenu u globalnim aplikacijama. Model Gemma 2 2B je open source. Istraživači i dizajneri mogu pristupiti modelu putem platforme . Također podržava različite okvire, uključujući i .
Izvor:
Izvor: 3dnews.ru
