Компанія Google оголосила про публікацію великої мовної моделі машинного навчання Gemma, побудованої з використанням технологій, які застосовуються для побудови моделі чат-бота Gemini, який намагається конкурувати з ChatGPT. Модель доступна в чотирьох варіантах, що охоплюють 2 та 7 мільярдів параметрів, у базовому та оптимізованому для діалогових систем уявленнях. Варіанти з 2 млрд параметрів підходять для використання у споживчих додатках та для їх обробки достатньо CPU. Варіанти з 7 млрд параметрів вимагають потужнішого обладнання та наявності GPU або TPU.
Серед областей застосування моделі Gemma називається створення діалогових систем та віртуальних асистентів, генерація тексту, формування відповідей на запитання, задані природною мовою, короткий виклад та узагальнення вмісту, пояснення суті концепцій та термінів, виправлення помилок у тексті, допомога у вивченні мов. Підтримується створення різних видів текстових даних, включаючи вірші, код мовами програмування, рерайтинг творів іншими словами, формування листів за шаблоном. При цьому модель має відносно невеликий розмір, що дозволяє використовувати її на своєму обладнанні з обмеженими ресурсами, наприклад, звичайних ноутбуках і ПК.
Ліцензія на модель дозволяє безкоштовне використання та розповсюдження не тільки в дослідницьких та персональних проектах, а й у комерційних продуктах. Також дозволено створення та публікація змінених варіантів моделі. При цьому умови використання забороняють застосування моделі для здійснення шкідливих дій і наказують по можливості використовувати у своїх продуктах найсвіжішу версію Gemma.
Підтримка роботи з моделями Gemma вже додана в інструментарій Transformers та Responsible Generative AI Toolkit. Для оптимізації моделі можна використовувати фреймворк Keras та бекенди для TensorFlow, JAX та PyTorch. Також забезпечено можливість використання Gemma з фреймворками MaxText, NVIDIA NeMo та TensorRT-LLM.
Розмір облікового моделлю Gemma контексту становить 8 тисяч токенів (кількість токенів, які модель може обробити і запам'ятати при генерації тексту). Для порівняння розмір контексту у моделей Gemini та GPT-4 становить 32 тисячі токенів, а у моделі GPT-4 Turbo – 128 тисяч. Модель підтримує лише англійську мову. За продуктивністю модель Gemma-7B трохи поступається LLama 2 70B Chat і трохи випереджає моделі DeciLM-7B, PHI-2 (2.7B) і Mistral-7B-v0.1. У порівнянні Google модель Gemma-7B трохи випереджає LLama 2 7B/13B та Mistral-7B.
Джерело: opennet.ru