స్టాన్‌ఫోర్డ్ విశ్వవిద్యాలయం, బర్కిలీలోని కాలిఫోర్నియా విశ్వవిద్యాలయం, ETH జ్యూరిచ్, గ్రాడ్యుయేట్ స్కూల్ ఆఫ్ ఎకనామిక్స్, కార్నెగీ మెల్లన్ విశ్వవిద్యాలయం, అలాగే Yandex మరియు Meta నుండి పరిశోధకుల బృందం, వనరులపై పెద్ద భాషా నమూనాలను అమలు చేయడానికి ఇంజిన్ యొక్క సోర్స్ కోడ్‌ను ప్రచురించింది. - నిర్బంధ వ్యవస్థలు. ఉదాహరణకు, 175GB వీడియో మెమరీని కలిగి ఉన్న NVIDIA RTX175 గేమింగ్ గ్రాఫిక్స్ కార్డ్‌తో కూడిన సాధారణ కంప్యూటర్‌లో 3090 బిలియన్ పారామీటర్‌లను కవర్ చేస్తూ, ముందుగా శిక్షణ పొందిన OPT-24B మోడల్‌ను అమలు చేయడం ద్వారా ChatGPT మరియు Copilot లను గుర్తుకు తెచ్చే కార్యాచరణను రూపొందించే సామర్థ్యాన్ని ఇంజిన్ అందిస్తుంది. కోడ్ పైథాన్‌లో వ్రాయబడింది, PyTorch ఫ్రేమ్‌వర్క్‌ను ఉపయోగిస్తుంది మరియు Apache 2.0 లైసెన్స్ క్రింద పంపిణీ చేయబడుతుంది.
పబ్లిక్‌గా అందుబాటులో ఉన్న భాషా నమూనాలలో ఒకదానిని డౌన్‌లోడ్ చేయడానికి మరియు వెంటనే కమ్యూనికేట్ చేయడానికి మిమ్మల్ని అనుమతించే బాట్‌లను రూపొందించడానికి ఇది ఒక ఉదాహరణ స్క్రిప్ట్‌ను కలిగి ఉంటుంది (ఉదాహరణకు, “python apps/chatbot.py —model facebook/opt-30b — -percent 0 ఆదేశాన్ని అమలు చేయడం ద్వారా 100 100 0 100 0” ). బుక్‌కార్పస్ (10 వేల పుస్తకాలు), CC-స్టోరీస్, పైల్ (ఓపెన్‌సబ్‌టైటిల్స్, వికీపీడియా, DM మ్యాథమెటిక్స్, హ్యాకర్‌న్యూస్, మొదలైనవి), పుష్‌షిఫ్ట్ సేకరణలపై శిక్షణ పొందిన ఫేస్‌బుక్ ప్రచురించిన పెద్ద భాషా నమూనాను బేస్‌గా ఉపయోగించాలని ప్రతిపాదించబడింది. io (Reddit డేటా ఆధారంగా) మరియు CCNewsV2 (న్యూస్ ఆర్కైవ్). మోడల్ సుమారు 180 బిలియన్ టోకెన్‌లను (800 GB డేటా) కవర్ చేస్తుంది. 33 NVIDIA A992 100GB GPUలతో 80 రోజుల క్లస్టర్ ఆపరేషన్ మోడల్‌కు శిక్షణ ఇవ్వడానికి వెచ్చించబడింది.
ఒకే NVIDIA T175 GPU (4GB) ఉన్న సిస్టమ్‌లో OPT-16B మోడల్‌ను అమలు చేస్తున్నప్పుడు, FlexGen ఇంజిన్ గతంలో అందించిన సొల్యూషన్‌ల కంటే 100 రెట్లు వేగంగా పనితీరును ప్రదర్శించింది, పెద్ద భాషా నమూనాల వినియోగాన్ని మరింత సరసమైనదిగా చేస్తుంది మరియు వాటిని అమలు చేయడానికి అనుమతిస్తుంది. ప్రత్యేక యాక్సిలరేటర్లు లేని వ్యవస్థలు. అదే సమయంలో, FlexGen బహుళ GPUలతో గణనలను సమాంతరంగా చేయడానికి స్కేల్ చేయగలదు. మోడల్ పరిమాణాన్ని తగ్గించడానికి, యాజమాన్య పారామితి కంప్రెషన్ స్కీమ్ మరియు మోడల్ కాషింగ్ మెకానిజం అదనంగా ఉపయోగించబడతాయి.
ప్రస్తుతం, FlexGen OPT భాషా నమూనాలకు మాత్రమే మద్దతు ఇస్తుంది, అయితే భవిష్యత్తులో డెవలపర్లు BLOOM (176 బిలియన్ పారామితులు, 46 భాషలు మరియు 13 ప్రోగ్రామింగ్ భాషలకు మద్దతు ఇస్తుంది), CodeGen (22 ప్రోగ్రామింగ్ భాషలలో కోడ్‌ను రూపొందించవచ్చు) మరియు GLM నమూనాలు. FlexGen మరియు OPT-30B మోడల్ ఆధారంగా బాట్‌తో సంభాషణకు ఉదాహరణ:
మానవుడు: ప్రపంచంలోనే అత్యంత ఎత్తైన పర్వతం పేరు ఏమిటి?
అసిస్టెంట్: ఎవరెస్ట్.
మానవుడు: నేను మా వార్షికోత్సవం కోసం ఒక యాత్రను ప్లాన్ చేస్తున్నాను. మనం ఏ పనులు చేయవచ్చు?
అసిస్టెంట్: సరే, మీ వార్షికోత్సవం కోసం మీరు అనేక పనులు చేయవచ్చు. మొదట, మీరు కార్డులు ఆడవచ్చు. రెండవది, మీరు పాదయాత్రకు వెళ్ళవచ్చు. మూడవది, మీరు మ్యూజియంకు వెళ్లవచ్చు.
మూలం: opennet.ru