Společnost Google oznámila uvolnění velkého jazykového modelu strojového učení Gemma, který byl postaven pomocí technologií použitých pro model chatbota Gemini, snažícího se konkurovat ChatGPT. Model je dostupný ve čtyřech variantách, pokrývajících 2 a 7 miliard parametrů, v základním a optimalizovaném pro dialogové systémy zobrazení. Varianty se 2 miliardami parametrů jsou vhodné pro použití v spotřebitelských aplikacích a pro jejich zpracování stačí CPU. Varianty se 7 miliardami parametrů vyžadují výkonnější zařízení a přítomnost GPU nebo TPU.
Mezi oblasti použití modelu Gemma patří vytváření dialogových systémů a virtuálních asistentů, generování textu, formulace odpovědí na otázky položené v přirozeném jazyce, shrnutí a generalizace obsahu, vysvětlení podstaty konceptů a termínů, oprava chyb v textu, pomoc při učení jazyků. Podporováno je vytváření různých druhů textových dat, včetně veršů, kódu v programovacích jazycích, přeformulování děl jinými slovy, vytváření dopisů na základě šablony. Model má přitom relativně malou velikost, což umožňuje jeho používání na zařízeních s omezenými zdroji, například na běžných noteboocích a PC.
Licence na model povoluje bezplatné použití a distribuci nejen v výzkumných a osobních projektech, ale také v komerčních produktech. Rovněž je povoleno vytváření a publikace upravených variant modelu. Podmínky použití však zakazují použití modelu k provádění škodlivých činností a ukládají povinnost využívat v produktech co nejnovější verzi Gemma.
Podpora práce s modely Gemma byla již přidána do nástrojového vybavení Transformers a Responsible Generative AI Toolkit. Pro optimalizaci modelu lze použít rámec Keras a backendy pro TensorFlow, JAX a PyTorch. Také je zajištěna možnost použití Gemma s rámci MaxText, NVIDIA NeMo a TensorRT-LLM.
Velikost kontextu, který model Gemma zohledňuje, činí 8 tisíc tokenů (počet tokenů, které model může zpracovat a zapamatovat si při generování textu). Pro srovnání, velikost kontextu modelů Gemini a GPT-4 činí 32 tisíc tokenů, zatímco model GPT-4 Turbo podporuje 128 tisíc. Model podporuje pouze anglický jazyk. Po stránce výkonu model Gemma-7B mírně zaostává za modelem LLama 2 70B Chat a mírně předstihuje modely DeciLM-7B, PHI-2 (2.7B) a Mistral-7B-v0.1. Ve srovnání s Google modelem je Gemma-7B mírně před LLama 2 7B/13B a Mistral-7B.
Zdroj: opennet.ru
