Firma Google ogłosiła publikację dużego modelu językowego uczenia maszynowego Gemma, stworzonego z wykorzystaniem technologii używanych do budowy modelu chatbota Gemini, próbującego konkurować z ChatGPT. Model jest dostępny w czterech wariantach, obejmujących 2 i 7 miliardów parametrów, w podstawowych i zoptymalizowanych dla systemów dialogowych formach. Warianty z 2 miliardami parametrów nadają się do zastosowania w aplikacjach konsumenckich i do ich przetwarzania wystarcza CPU. Warianty z 7 miliardami parametrów wymagają mocniejszego sprzętu oraz obecności GPU lub TPU.
Wśród obszarów zastosowania modelu Gemma wymienia się tworzenie systemów dialogowych i wirtualnych asystentów, generowanie tekstu, formułowanie odpowiedzi na pytania zadawane w języku naturalnym, streszczanie i uogólnianie treści, wyjaśnianie istoty koncepcji i terminów, poprawianie błędów w tekstach, pomoc w nauce języków. Wspierane jest generowanie różnych rodzajów danych tekstowych, w tym wierszy, kodu w językach programowania, przeredagowywanie dzieł innymi słowami, tworzenie listów według szablonu. Model ma przy tym stosunkowo mały rozmiar, co pozwala na użycie go na własnym sprzęcie o ograniczonych zasobach, na przykład na zwykłych laptopach i komputerach stacjonarnych.
Licencja na model pozwala na darmowe użycie i rozpowszechnianie nie tylko w projektach badawczych i osobistych, ale także w produktach komercyjnych. Dozwolone jest również tworzenie i publikacja zmodyfikowanych wersji modelu. Warunki użytkowania zabraniają wykorzystywania modelu w szkodliwych działaniach i zalecają stosowanie w swoich produktach najnowszej wersji Gemma, jeśli to możliwe.
Wsparcie dla pracy z modelami Gemma zostało już dodane do narzędzi Transformers oraz Responsible Generative AI Toolkit. Do optymalizacji modelu można używać frameworka Keras oraz backendów dla TensorFlow, JAX i PyTorch. Zapewniono także możliwość korzystania z Gemma z frameworkami MaxText, NVIDIA NeMo i TensorRT-LLM.
Rozmiar kontekstu uwzględnianego przez model Gemma wynosi 8000 tokenów (liczba tokenów, które model może przetworzyć i zapamiętać podczas generowania tekstu). Dla porównania, rozmiar kontekstu modeli Gemini i GPT-4 wynosi 32000 tokenów, a modelu GPT-4 Turbo – 128000. Model obsługuje tylko język angielski. Pod względem wydajności model Gemma-7B jest nieco gorszy od modelu LLama 2 70B Chat i nieznacznie przewyższa modele DeciLM-7B, PHI-2 (2.7B) i Mistral-7B-v0.1. W porównaniu do modelu Google, model Gemma-7B jest nieco lepszy od LLama 2 7B/13B i Mistral-7B.
Źródło: opennet.ru
