గూగుల్, జెమిని 3 మోడల్ ఆధారంగా జెమ్మా 4 అనే కొత్త బృహత్-స్థాయి భాషా నమూనాల శ్రేణిని ప్రచురించింది. జెమ్మా 4, అపాచీ లైసెన్స్ క్రింద 2.3, 4.5, 25.2, మరియు 30.7 బిలియన్ పారామీటర్ల (E2B, E4B, 31B, మరియు 26B A4B) వేరియంట్లలో పంపిణీ చేయబడింది. E2B మరియు E4B వేరియంట్లు మొబైల్ పరికరాలు, ఇంటర్నెట్ ఆఫ్ థింగ్స్ (IoT) సిస్టమ్లు, మరియు రాస్ప్బెర్రీ పై వంటి బోర్డులపై ఉపయోగించడానికి అనుకూలంగా ఉంటాయి, అయితే ఇతర వేరియంట్లు వర్క్స్టేషన్లు మరియు కన్స్యూమర్ GPUలు ఉన్న సిస్టమ్లపై ఉపయోగించడానికి అనుకూలంగా ఉంటాయి. ఈ మోడల్ పరిగణనలోకి తీసుకునే కాంటెక్స్ట్ పరిమాణం E2B మరియు E4B మోడల్లకు 128 టోకెన్లు, మరియు 31B మరియు 26B A4B మోడల్లకు 256 టోకెన్లు.
ఈ మోడల్లు బహుభాషా మరియు బహుళరీతి సామర్థ్యం కలిగి ఉంటాయి: వీటిలో 35 భాషలకు అంతర్నిర్మిత మద్దతు ఉంది (శిక్షణ సమయంలో 140కి పైగా భాషలను ఉపయోగించారు), మరియు టెక్స్ట్, చిత్రాలను ఇన్పుట్గా ప్రాసెస్ చేయవచ్చు (E2B మరియు E4B మోడల్లు అదనంగా ఆడియో ప్రాసెసింగ్కు కూడా మద్దతు ఇస్తాయి). 26B A4B మోడల్ మిక్చర్-ఆఫ్-ఎక్స్పర్ట్స్ (MoE) ఆర్కిటెక్చర్పై ఆధారపడి ఉంటుంది, దీనిలో మోడల్ అనేక నిపుణుల నెట్వర్క్లుగా విభజించబడి ఉంటుంది (ప్రతిస్పందన ఉత్పత్తి 3.8 బిలియన్ పారామీటర్లను మాత్రమే ఉపయోగించగలదు, కానీ దీని వేగం సాంప్రదాయ పెద్ద మోడల్ల కంటే గణనీయంగా ఎక్కువగా ఉంటుంది), అయితే ఇతర వేరియంట్లు సాంప్రదాయ మోనోలిథిక్ ఆర్కిటెక్చర్ను ఉపయోగిస్తాయి.
ఈ నమూనాలు తార్కిక మరియు అనుకూలీకరించదగిన చర్చా రీతులకు మద్దతు ఇస్తాయి, మరియు డేటా నుండి వేరుగా సూచనలను (నియమాలు, పరిమితులు) ప్రాసెస్ చేయడానికి ఒక సిస్టమ్ రోల్కు కూడా మద్దతు ఇస్తాయి. ఈ నమూనాలను కోడ్ రాయడానికి, చిత్రాలలో వస్తువులను గుర్తించడానికి, ఫ్రేమ్-బై-ఫ్రేమ్ వీడియో విశ్లేషణకు, డాక్యుమెంట్లు మరియు PDFలను పార్స్ చేయడానికి, ముద్రిత మరియు చేతివ్రాత పాఠ్యం యొక్క ఆప్టికల్ క్యారెక్టర్ రికగ్నిషన్ (OCR) కోసం, స్పీచ్ రికగ్నిషన్ కోసం, మరియు భాషల మధ్య అనువాదం కోసం ఉపయోగించవచ్చు. వీటిని వివిధ టూల్స్ మరియు APIలతో సంకర్షణ చెందే స్వయంప్రతిపత్తి గల ఏజెంట్లుగా కూడా ఉపయోగించవచ్చు.
చాలా పరీక్షలలో, జెమ్మా 4 నమూనాలు 27 బిలియన్ పారామీటర్లు గల జెమ్మా 3 నమూనా కంటే గణనీయంగా మెరుగైన పనితీరును కనబరిచాయి. జెమ్మా 4, లైట్ఆర్టి-ఎల్ఎమ్, విఎల్ఎల్ఎమ్, లామా.సిపిపి, ఎంఎల్ఎక్స్, ఒల్లామా, ఎన్విడియా నిమ్ మరియు నెమో, ఎల్ఎమ్ స్టూడియో, అన్స్లాత్, ఎస్జిలాంగ్, కాక్టస్, బేసెటాన్, మాక్స్టెక్స్ట్, ట్యూనిక్స్ మరియు కెరాస్లకు మద్దతు ఇస్తుంది.
మూలం: opennet.ru
