Google представи компактна езикова модел Gemma 2 2B, който надвишава GPT 3.5 Turbo

Компания Google представи Gemma 2 2B — компактен, но мощен езиков модел на изкуствен интелект (LLM), който може да съперничи на лидерите в индустрията, въпреки значително по-малкия си размер. Новият езиков модел, съдържащ само 2,6 милиарда параметри, демонстрира производителност, каквато не отстъпва на значително по-големите аналози, включително OpenAI GPT-3.5 и Mistral AI Mixtral 8x7B.

В теста LMSYS Chatbot Arena, популярна онлайн платформа за сравнително тестване и оценка на качеството на модели на изкуствен интелект, Gemma 2 2B е получила 1130 точки. Този резултат е малко по-висок от резултатите на GPT-3.5-Turbo-0613 (1117 точки) и Mixtral-8x7B (1114 точки) — модели, които разполагат с десет пъти повече параметри.

Google съобщава, че Gemma 2 2B също е получила 56,1 точки в теста MMLU (Massive Multitask Language Understanding) и 36,6 точки в теста MBPP (Mostly Basic Python Programming), което представлява значително подобрение в сравнение с предишната версия.

Gemma 2 2B оспорва общоприетото мнение, че по-големите езикови модели по подразбиране работят по-добре от компактните. Производителността на Gemma 2 2B показва, че сложните методи на обучение, ефективността на архитектурата и висококачествените набори данни могат да компенсират недостатъка в броя на параметрите. Разработването на Gemma 2 2B също подчертава нарастващата важност на методите за компресия и дистилация на модели на ИИ. Възможността ефективно да се компилира информация от по-големи модели в по-малки открива възможности за създаване на по-достъпни инструменти за ИИ, без да се жертва производителността.

Google е обучила Gemma 2 2B на огромен набор от данни от 2 трилиона токена, използвайки системи базирани на собствените си ИИ ускорители TPU v5e. Подкрепата за множество езици разширява потенциала й за приложение в глобални приложения. Моделът Gemma 2 2B има отворен код. Изследователи и разработчици могат да получат достъп до модела чрез платформата Hugging Face. Тя също така поддържа различни рамки, включително PyTorch и TensorFlow.

Източник:

• Venture Beat

Източник: 3dnews.ru