Amûra çavkaniya vekirî OpenChatKit tê pêşkêş kirin, ku armanc ew e ku çêkirina chatbotan ji bo karanîna pispor û gelemperî hêsan bike. Pergal ji bo pêkanîna peywirên wekî bersivdana pirsan, meşandina diyalogên pir-qonaxê, kurtkirin, derxistina agahdarî, û dabeşkirina nivîsê tête adaptekirin. Kod di Python de hatî nivîsandin û di bin lîsansa Apache 2.0 de tê belav kirin. Proje modelek amade, kodek ji bo perwerdekirina modela we, karûbarên ji bo ceribandina encamên modelê, amûrên ji bo lêzêdekirina modelê bi çarçoveyek ji navnîşek derveyî û adaptasyona modela bingehîn ji bo çareserkirina pirsgirêkên xwe vedihewîne.
Bot li ser bingeha modela fêrbûna makîneya bingehîn (GPT-NeoXT-Chat-Base-20B), ku bi karanîna modelek zimanî ya ku bi qasî 20 mîlyar parametre vedihewîne hatî çêkirin û ji bo danûstendina danûstendinê xweşbîn e. Ji bo perwerdekirina modelê, daneyên ku ji berhevokên projeya LAION, Together û Ontocord.ai hatine girtin hatine bikar anîn.
Ji bo berfirehkirina bingeha zanîna heyî, pergalek tê pêşniyar kirin ku dikare agahdariya zêde ji depoyên derveyî, API û çavkaniyên din bistîne. Mînakî, bi karanîna daneyên Wikipedia û nûçeyên nûçeyan ve gengaz e ku agahdariya nûve bike. Modelek moderatoriya vebijarkî heye, ku li ser 6 mîlyar parametreyan hatî perwerde kirin û li ser bingeha modela GPT-JT-ê ye, da ku pirsên negunca fîltre bike an nîqaşan bi mijarên taybetî re sînordar bike.
Ji hev veqetandî, em dikarin projeya ChatLLaMA, ku pirtûkxaneyek ji bo afirandina arîkarên jîr ên mîna ChatGPT pêşkêşî dike, bikin. Proje bi çavê îhtîmala xebitandina li ser alavên xwe û afirandina çareseriyên kesane yên ku ji bo vegirtina qadên teng ên zanînê hatine çêkirin (mînak, derman, qanûn, lîstik, lêkolîna zanistî, hwd.) tê pêşve xistin. Koda ChatLLaMA di bin GPLv3 de destûrdar e.
Proje bi karanîna modelên li ser bingeha mîmariya LLaMA (Modela Zimanê Mezin Meta AI) ku ji hêla Meta ve hatî pêşniyar kirin piştgirî dike. Modela tam LLaMA 65 mîlyar parametre vedigire, lê ji bo ChatLLaMA tê pêşniyar kirin ku vebijarkên bi 7 û 13 mîlyar parametre an jî GPTJ (6 mîlyar), GPTNeoX (1.3 mîlyar), 20BOPT (13 mîlyar), BLOOM (7.1 mîlyar) û Modelên Galactica (6.7 mîlyar)). Di destpêkê de, modelên LLaMA tenê li ser daxwazek taybetî ji lêkolîneran re hatin peyda kirin, lê ji ber ku torrent ji bo radestkirina daneyan dihatin bikar anîn, dilxwazan skrîptek amade kirin ku destûrê dide her kesê ku modelê dakêşîne.
Source: opennet.ru
