Společnost Google Gemma 2 2B je kompaktní, ale výkonný jazykový model umělé inteligence (LLM), který může konkurovat lídrům v oboru, přestože má výrazně menší rozměr. Nový jazykový model, který obsahuje pouze 2,6 miliardy parametrů, vykazuje výkon srovnatelný s mnohem většími analogy, včetně OpenAI GPT-3.5 a Mistral AI Mixtral 8x7B.
V testu LMSYS Chatbot Arena, populární online platformě pro srovnávací testování a hodnocení kvality modelů umělé inteligence, Gemma 2 2B získala 1130 bodů. Tento výsledek mírně převyšuje výsledky GPT-3.5-Turbo-0613 (1117 bodů) a Mixtral-8x7B (1114 bodů) – modelů, které mají desetkrát více parametrů.
Google uvádí, že Gemma 2 2B také dosáhla 56,1 bodu v testu MMLU (Massive Multitask Language Understanding) a 36,6 bodu v testu MBPP (Mostly Basic Python Programming), což je významné zlepšení ve srovnání s předchozí verzí.
Gemma 2 2B zpochybňuje obecně uznávaný názor, že větší jazykové modely od začátku fungují lépe než kompaktní. Výkon Gemma 2 2B ukazuje, že sofistikované metody učení, efektivita architektury a vysoce kvalitní datové sady mohou kompenzovat nedostatek v počtu parametrů. Vývoj Gemma 2 2B také zdůrazňuje rostoucí význam metod komprese a destilace modelů AI. Schopnost efektivně kompilovat informace z větších modelů do menších otevírá možnosti pro vytváření přístupnějších nástrojů AI, aniž by se obětoval jejich výkon.
Google vytrénoval Gemma 2 2B na obrovském datovém souboru o 2 trilionech tokenů, využívající systémy postavené na jejich vlastních AI akcelerátorech TPU v5e. Podpora více jazyků rozšiřuje její potenciál pro využití v globálních aplikacích. Model Gemma 2 2B je open-source. Výzkumníci a vývojáři mohou mít přístup k modelu prostřednictvím platformy . Také podporuje různé rámce, včetně a .
Zdroj:
Zdroj: 3dnews.ru
