He roopu kairangahau mai i te Whare Wananga o Stanford, Te Whare Wananga o California i Berkeley, ETH Zurich, Te Kura Paetahi o te Ohaoha, Te Whare Wananga o Carnegie Mellon, tae atu ki a Yandex me Meta, kua whakaputa i te waehere puna o te miihini mo te whakahaere tauira reo nui i runga rauemi. - nga punaha herea. Hei tauira, ka whakawhiwhia e te miihini te kaha ki te hanga mahi e maumahara ana ki te ChatGPT me te Copilot ma te whakahaere i tetahi tauira OPT-175B kua whakangungua i mua, e kapi ana i te 175 piriona tawhā, i runga i te rorohiko auau me te kaari whakairoiro petipeti NVIDIA RTX3090 me te 24GB o te mahara ataata. Ka tuhia te waehere ki te Python, ka whakamahi i te anga PyTorch ka tohatohahia i raro i te raihana Apache 2.0.
Kei roto he tauira tauira mo te hanga bots ka taea e koe te tango i tetahi o nga tauira reo e waatea ana ki te iwi whanui ka timata tonu te korero (hei tauira, ma te whakahaere i te whakahau “python apps/chatbot.py —model facebook/opt-30b — -percent 0 100 100 0 100 0” ). Hei turanga, e whakaarohia ana kia whakamahia he tauira reo nui i whakaputaina e Facebook, i whakangungua ki nga kohinga o BookCorpus (10 mano pukapuka), CC-Stories, Pile (OpenSubtitles, Wikipedia, DM Mathematics, HackerNews, etc.), Pushshift. io (i runga i nga raraunga Reddit ) me CCNewsV2 (puranga korero). Ko te tauira e hipoki ana i te 180 piriona tohu (800 GB o nga raraunga). 33 ra o te mahi tautau me te 992 NVIDIA A100 80GB GPU i whakapaua ki te whakangungu i te tauira.
I te wa e whakahaerehia ana te tauira OPT-175B i runga i te punaha me te NVIDIA T4 GPU kotahi (16GB), i whakaatu te miihini FlexGen i nga mahi ki runga ki te 100 nga wa tere atu i nga otinga kua tukuna i mua, ka nui ake te utu o te whakamahi i nga tauira reo nui me te tuku kia rere i runga. nga punaha kaore he kaiwhakatere i whakatapua. I te wa ano, ka taea e FlexGen te tauine ki te whakarara i nga tatauranga me nga GPU maha. Hei whakaiti i te rahi o te tauira, ka whakamahia ano he kaupapa taapiri tawhā motuhake me tetahi momo keteroki tauira.
I tenei wa, ka tautokohia e FlexGen nga tauira reo OPT anake, engari i nga wa kei te heke mai ka oati ano nga kaiwhakawhanake ki te taapiri i te tautoko mo te BLOOM (176 piriona tawhā, tautoko 46 reo me te 13 reo whakamaoritanga), CodeGen (ka taea te whakaputa waehere i roto i te 22 reo whakamaori) me Nga tauira GLM. He tauira o te korero me te karetao i runga i te FlexGen me te tauira OPT-30B:
Tangata: He aha te ingoa o te maunga teitei rawa atu o te ao?
Kaiāwhina: Everest.
Tangata: Kei te whakarite haere au mo to tatou huritau. He aha nga mea ka taea e tatou?
Kaiwhina: Ae, he maha nga mea ka taea e koe mo to huritau. Tuatahi, ka taea e koe te takaro kaari. Tuarua, ka taea e koe te haere ki te hikoi. Tuatoru, ka taea e koe te haere ki te whare taonga.
Source: opennet.ru