OpenChatKit open source toolkit dibere, aimed dina nyederhanakeun kreasi chatbots pikeun pamakéan husus sarta umum. Sistem ieu diadaptasi pikeun ngalaksanakeun tugas sapertos ngawalon patarosan, ngalaksanakeun dialog multi-tahap, nyimpulkeun, ékstrak inpormasi, sareng ngaklasifikasikeun téks. Kodeu ditulis dina Python sareng disebarkeun dina lisénsi Apache 2.0. Proyék ieu kalebet modél anu siap, kode pikeun ngalatih modél anjeun, utilitas pikeun nguji hasil modél, alat pikeun nambihan modél sareng kontéks tina indéks éksternal sareng adaptasi modél dasar pikeun ngabéréskeun masalah anjeun sorangan.
Bot ieu dumasar kana modél pembelajaran mesin dasar (GPT-NeoXT-Chat-Base-20B), diwangun ngagunakeun modél basa anu ngawengku ngeunaan 20 milyar parameter sareng dioptimalkeun pikeun komunikasi paguneman. Pikeun ngalatih modél, data anu dicandak tina kumpulan proyék LAION, Together sareng Ontocord.ai dianggo.
Pikeun ngalegaan dasar pangaweruh anu aya, sistem diusulkeun anu tiasa nyandak inpormasi tambahan tina repositori éksternal, API sareng sumber anu sanés. Contona, kasebut nyaéta dimungkinkeun pikeun ngamutahirkeun informasi ngagunakeun data ti Wikipedia jeung warta feed. Modél moderasi pilihan sayogi, dilatih dina 6 milyar parameter sareng dumasar kana modél GPT-JT, pikeun nyaring patarosan anu teu pantes atanapi ngawatesan diskusi pikeun topik anu khusus.
Kapisah, urang tiasa nyebatkeun proyék ChatLLaMA, anu nawiskeun perpustakaan pikeun nyiptakeun asistén calakan anu sami sareng ChatGPT. Proyék ieu dikembangkeun kalayan ningali kamungkinan ngajalankeun alat anjeun nyalira sareng nyiptakeun solusi pribadi anu dirancang pikeun nutupan daérah pangaweruh anu sempit (contona, ubar, hukum, kaulinan, panalungtikan ilmiah, jsb.). Kode ChatLLaMA dilisensikeun dina GPLv3.
Proyék éta ngadukung panggunaan modél dumasar kana arsitéktur LLaMA (Large Language Model Meta AI) anu diusulkeun ku Meta. Model LLaMA pinuh nyertakeun 65 milyar parameter, tapi pikeun ChatLLaMA disarankeun pikeun ngagunakeun pilihan sareng 7 sareng 13 milyar parameter atanapi GPTJ (6 milyar), GPTNeoX (1.3 milyar), 20BOPT (13 milyar), BLOOM (7.1 milyar) sareng Galactica (6.7 milyar) model ). Mimitina, modél LLaMA ngan ukur disayogikeun ka panalungtik upami dipénta khusus, tapi kumargi torrents dianggo pikeun nganteurkeun data, para peminat nyiapkeun naskah anu ngamungkinkeun saha waé pikeun ngaunduh modél éta.
sumber: opennet.ru