Toolkit open source OpenChatKit ditampilake, ngarahake nyederhanakake nggawe chatbots kanggo panggunaan khusus lan umum. Sistem kasebut diadaptasi kanggo nindakake tugas kayata mangsuli pitakon, nindakake dialog multi-tahap, ngringkes, ngekstrak informasi, lan ngklasifikasi teks. Kode kasebut ditulis nganggo Python lan disebarake miturut lisensi Apache 2.0. Proyèk kasebut kalebu model sing wis siap, kode kanggo latihan model sampeyan, utilitas kanggo nguji asil model, alat kanggo nambah model kanthi konteks saka indeks eksternal lan adaptasi model dhasar kanggo ngatasi masalah sampeyan dhewe.
Bot kasebut adhedhasar model pembelajaran mesin dhasar (GPT-NeoXT-Chat-Base-20B), dibangun nggunakake model basa sing nyakup udakara 20 milyar parameter lan dioptimalake kanggo komunikasi obrolan. Kanggo nglatih model kasebut, data sing dipikolehi saka koleksi proyek LAION, Together lan Ontocord.ai digunakake.
Kanggo nggedhekake basis kawruh sing ana, sistem diusulake sing bisa njupuk informasi tambahan saka repositori eksternal, API lan sumber liyane. Contone, bisa nganyari informasi nggunakake data saka Wikipedia lan feed warta. Model moderasi opsional kasedhiya, dilatih ing 6 milyar paramèter lan adhedhasar model GPT-JT, kanggo nyaring pitakonan sing ora cocog utawa mbatesi diskusi kanggo topik tartamtu.
Kanthi kapisah, kita bisa nyebutake proyek ChatLLaMA, sing nawakake perpustakaan kanggo nggawe asisten cerdas sing padha karo ChatGPT. Proyèk iki lagi dikembangaké karo mripat kanggo kamungkinan saka mlaku ing peralatan dhewe lan nggawe solusi pribadi dirancang kanggo nutupi wilayah sempit kawruh (contone, medicine, hukum, game, riset ilmiah, etc.). Kode ChatLLaMA dilisensi ing GPLv3.
Proyek kasebut ndhukung panggunaan model adhedhasar arsitektur LLaMA (Large Language Model Meta AI) sing diusulake dening Meta. Model LLaMA lengkap kalebu 65 milyar paramèter, nanging kanggo ChatLLaMA dianjurake kanggo nggunakake opsi karo 7 lan 13 milyar paramèter utawa GPTJ (6 milyar), GPTNeoX (1.3 milyar), 20BOPT (13 milyar), BLOOM (7.1 milyar) lan Model Galactica (6.7 milyar). Kaping pisanan, model LLaMA diwenehake mung kanggo peneliti kanthi panyuwunan khusus, nanging amarga torrent digunakake kanggo ngirim data, para penggemar nyiapake skrip sing ngidini sapa wae ngundhuh model kasebut.
Source: opennet.ru