Spoločnosť Google Gemma 2 2B – kompaktný, ale výkonný jazykový model umelej inteligencie (LLM), ktorý môže konkurovať lídrom v odvetví, napriek svojmu oveľa menšiemu rozmeru. Nový jazykový model s obsahom len 2,6 miliardy parametrov vykazuje výkon, ktorý sa vyrovnáva oveľa väčším náprotivkom, vrátane OpenAI GPT-3.5 a Mistral AI Mixtral 8x7B.
V teste LMSYS Chatbot Arena, populárnej online platforme na porovnávacie testovanie a hodnotenie kvality modelov umelej inteligencie, Gemma 2 2B získala 1130 bodov. Tento výsledok mierne predbehne výsledky GPT-3.5-Turbo-0613 (1117 bodov) a Mixtral-8x7B (1114 bodov) – modelov, ktoré majú desaťkrát viac parametrov.
Google uvádza, že Gemma 2 2B získala tiež 56,1 bodu v teste MMLU (Massive Multitask Language Understanding) a 36,6 bodu v teste MBPP (Mostly Basic Python Programming), čo je významné zlepšenie oproti predchádzajúcej verzii.
Gemma 2 2B vyzýva na všeobecne akceptovaný názor, že väčšie jazykové modely z principiálneho hľadiska fungujú lepšie ako kompaktné. Výkon Gemma 2 2B ukazuje, že zložité metódy učenia, efektívnosť architektúry a kvalitné datasety môžu kompenzovať nedostatok parametrov. Vývoj Gemma 2 2B tiež zdôrazňuje rastúcu dôležitosť metód kompresie a destilácie modelov AI. Možnosť efektívne skompilovať informácie z väčších modelov do menších otvára možnosti na vytvorenie prístupnejších nástrojov AI, pričom sa neznižuje ich výkon.
Google vytrénoval Gemma 2 2B na obrovskom datasete pozostávajúcom z 2 biliónov tokenov, pomocou systémov založených na svojich vlastných AI akcelerátoroch TPU v5e. Podpora viacerých jazykov rozširuje jej potenciál pre aplikácie na globálnej úrovni. Model Gemma 2 2B má otvorený zdrojový kód. Výskumníci a vývojári môžu získať prístup k modelu cez platformu . Rovnako podporuje rôzne frameworky, vrátane a .
Zdroj:
Zdroj: 3dnews.ru
