Google-ը հայտարարել է Gemma-ի՝ մեքենայական ուսուցման լեզվի մեծ մոդելի հրապարակման մասին, որը կառուցված է Gemini չաթբոտի մոդելի ստեղծման համար օգտագործվող տեխնոլոգիաների միջոցով, որը փորձում է մրցակցել ChatGPT-ի հետ: Մոդելը հասանելի է չորս տարբերակով՝ ընդգրկելով 2 և 7 միլիարդ պարամետր, հիմնական և երկխոսության օպտիմալացված դիտումներով: 2 միլիարդ պարամետր ունեցող տարբերակները հարմար են սպառողական ծրագրերում օգտագործելու համար և ունեն բավարար պրոցեսոր՝ դրանք մշակելու համար: 7 միլիարդ պարամետր ունեցող տարբերակները պահանջում են ավելի հզոր սարքավորում և GPU կամ TPU:
Gemma մոդելի կիրառման ոլորտներից են երկխոսության համակարգերի և վիրտուալ օգնականների ստեղծումը, տեքստի ստեղծումը, բնական լեզվով տրված հարցերի պատասխանների ստեղծումը, բովանդակության ամփոփումն ու ընդհանրացումը, հասկացությունների և տերմինների էության բացատրությունը, սխալների ուղղումը: տեքստում, օգնություն լեզուների ուսուցման հարցում. Այն աջակցում է տարբեր տեսակի տեքստային տվյալների ստեղծմանը, այդ թվում՝ պոեզիայի, ծրագրավորման լեզուներով կոդերի, այլ բառերով ստեղծագործությունների վերագրման և կաղապարի միջոցով տառերի ստեղծմանը: Միևնույն ժամանակ, մոդելն ունի համեմատաբար փոքր չափսեր, ինչը թույլ է տալիս այն օգտագործել սահմանափակ ռեսուրսներով սեփական սարքավորումների վրա, օրինակ՝ սովորական նոթբուքերի և ԱՀ-ների վրա:
Մոդելային լիցենզիան թույլ է տալիս անվճար օգտագործել և տարածել ոչ միայն հետազոտական և անձնական նախագծերում, այլև կոմերցիոն արտադրանքներում: Թույլատրվում է նաև մոդելի փոփոխված տարբերակների ստեղծումն ու հրապարակումը։ Միևնույն ժամանակ, օգտագործման պայմաններն արգելում են մոդելի օգտագործումը վնասակար գործողություններ կատարելու համար և պահանջում են, հնարավորության դեպքում, օգտագործել Gemma-ի վերջին տարբերակը ձեր արտադրանքներում:
Gemma մոդելների հետ աշխատելու աջակցությունն արդեն ավելացվել է Transformers գործիքակազմին և Responsible Generative AI Toolkit-ին: Մոդելը օպտիմիզացնելու համար կարող եք օգտագործել Keras-ի շրջանակը և հետնամասերը TensorFlow-ի, JAX-ի և PyTorch-ի համար: Հնարավոր է նաև Gemma-ն օգտագործել MaxText, NVIDIA NeMo և TensorRT-LLM շրջանակներով:
Gemma մոդելի կողմից հաշվի առած կոնտեքստի չափը 8 հազար նշան է (նշանների քանակը, որոնք մոդելը կարող է մշակել և հիշել տեքստ ստեղծելիս): Համեմատության համար նշենք, որ Gemini և GPT-4 մոդելների համատեքստի չափը կազմում է 32 հազար նշան, իսկ GPT-4 Turbo մոդելի համար՝ 128 հազար: Մոդելը աջակցում է միայն անգլերենին: Կատարման առումով Gemma-7B մոդելը փոքր-ինչ զիջում է LLama 2 70B Chat մոդելին և մի փոքր առաջ է DeciLM-7B, PHI-2 (2.7B) և Mistral-7B-v0.1 մոդելներից: Google-ի համեմատության մեջ Gemma-7B մոդելը մի փոքր առաջ է անցել LLama 2 7B/13B-ից և Mistral-7B-ից:
Source: opennet.ru