{"id":106888,"date":"2023-02-21T12:48:20","date_gmt":"2023-02-21T10:48:20","guid":{"rendered":"https:\/\/prohoster.info\/?p=106888"},"modified":"2023-02-21T12:49:17","modified_gmt":"2023-02-21T10:49:17","slug":"flexgen-dvizhok-dlya-zapuska-ai-botov-pohozhih-na-chatgpt-na-sistemah-s-odnim-gpu","status":"publish","type":"post","link":"https:\/\/prohoster.info\/et\/blog\/novosti-interneta\/flexgen-dvizhok-dlya-zapuska-ai-botov-pohozhih-na-chatgpt-na-sistemah-s-odnim-gpu","title":{"rendered":"FlexGen \u2014 AI-bot'ide k\u00e4ivitamiseks m\u00f5eldud mootor, mis sarnaneb ChatGPT-ga ja t\u00f6\u00f6tab \u00fche GPU s\u00fcsteemides.","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"
Stanfordi \u00fclikooli, Berkeley Kalifornia \u00fclikooli, Zurichi \u00dclikooli \u0160veitsi Tehnika\u00fclikooli, HSE, Carnegie Melloni \u00fclikooli ja ettev\u00f5tete Yandex ja Meta teadlaste grupp avaldas suurtel keelemudelite k\u00e4ivitamiseks m\u00f5eldud mootori l\u00e4htekoodid piiratud ressurssidega s\u00fcsteemides. N\u00e4iteks pakub see mootor v\u00f5imalust luua funktsioone, mis meenutavad ChatGPT-d ja Copilot-i, k\u00e4ivitades valmis treenitud mudeli OPT-175B, mis h\u00f5lmab 175 miljardit parameetrit, tavalisel arvutil, millel on NVIDIA RTX3090 m\u00e4ngudiagramm, millel on 24 GB videom\u00e4lu. Kood on kirjutatud Pythonis, kasutab PyTorchi raamistiku ja levitatakse Apache 2.0 litsentsi alusel. <\/p>\n
Komplekti kuulub n\u00e4idisskript, mis v\u00f5imaldab luua roboteid, laadides alla \u00fche avalikult saadaval oleva keelemudeli ja alustades vestlust (n\u00e4iteks k\u00e4ivitades k\u00e4su «python apps\/chatbot.py --model facebook\/opt-30b --percent 0 100 100 0 100 0»). Tootena soovitatakse kasutada avaldatud Facebooki suurt keelemudelit, mis on koolitatud BookCorpus kogude (10 000 raamatut), CC-Stories, Pile (OpenSubtitles, Wikipedia, DM Mathematics, HackerNews jne), Pushshift.io (Redditi andmete p\u00f5hjal) ja CCNewsV2 (uudiste arhiiv) p\u00f5hjal. Mudel katab umbes 180 miljardit tokenit (800 GB andmeid). Mudeli koolitamiseks kulus 33 p\u00e4eva klastrit\u00f6\u00f6d 992 NVIDIA A100 80GB GPU-ga. <\/p>\n
OPT-175B mudeli k\u00e4itamisel \u00fche NVIDIA T4 (16 GB) GPU s\u00fcsteemis n\u00e4itas FlexGen j\u00f5udlust, mis on kuni 100 korda parem kui varem pakutud lahendused, muutes suurte keelemudelite kasutamise kergemaks ja v\u00f5imaldades nende k\u00e4itamise s\u00fcsteemides ilma spetsialiseeritud kiirendajateta. Samuti suudab FlexGen skaleeruda paralleelselt arvutuste tegemiseks mitme GPU olemasolul. Mudeli suuruse v\u00e4hendamiseks kasutatakse ka enda v\u00e4lja t\u00f6\u00f6tatud parameetrite tihendamise skeemi ja mudelite vahem\u00e4lu mehhanismi. <\/p>\n
Praegu toetab FlexGen ainult OPT keelemudeleid, kuid tulevikus lubavad arendajad lisada toetuse ka BLOOM mudelitele (176 miljardit parameetrit, toetab 46 keelt ja 13 programmeerimiskeelt), CodeGen (suudab genereerida koodi 22 programmeerimiskeeles) ja GLM. N\u00e4ide vestlusest FlexGen ja mudeli OPT-30B baasil: <\/p>\n
\n
Inimene: Mis on maailma k\u00f5rgeima m\u00e4e nimi? <\/p>\n
Assistendid: Everest. <\/p>\n
Inimene: Plaanin reisida meie aastap\u00e4eva jaoks. Milliseid asju me saame teha? <\/p>\n
Assistendid: Noh, teie aastap\u00e4eva jaoks on palju asju, mida teha. Esiteks, saate m\u00e4ngida kaarte. Teiseks, saate minna matka. Kolmandaks, saate minna muuseumisse. <\/p><\/blockquote>\n