Kit alat sumber terbuka OpenChatKit dibentangkan, bertujuan untuk memudahkan penciptaan chatbots untuk kegunaan khusus dan umum. Sistem ini disesuaikan untuk melaksanakan tugas seperti menjawab soalan, menjalankan dialog pelbagai peringkat, meringkaskan, mengekstrak maklumat, dan mengklasifikasikan teks. Kod ini ditulis dalam Python dan diedarkan di bawah lesen Apache 2.0. Projek ini termasuk model siap pakai, kod untuk melatih model anda, utiliti untuk menguji hasil model, alat untuk menambah model dengan konteks daripada indeks luaran dan menyesuaikan model asas untuk menyelesaikan masalah anda sendiri.
Bot ini berdasarkan model pembelajaran mesin asas (GPT-NeoXT-Chat-Base-20B), dibina menggunakan model bahasa yang meliputi kira-kira 20 bilion parameter dan dioptimumkan untuk komunikasi perbualan. Untuk melatih model, data yang diperoleh daripada koleksi projek LAION, Together dan Ontocord.ai telah digunakan.
Untuk mengembangkan pangkalan pengetahuan sedia ada, sistem dicadangkan yang boleh mendapatkan maklumat tambahan daripada repositori luaran, API dan sumber lain. Sebagai contoh, adalah mungkin untuk mengemas kini maklumat menggunakan data daripada Wikipedia dan suapan berita. Model penyederhanaan pilihan tersedia, dilatih pada 6 bilion parameter dan berdasarkan model GPT-JT, untuk menapis soalan yang tidak sesuai atau mengehadkan perbincangan kepada topik tertentu.
Secara berasingan, kita boleh menyebut projek ChatLLaMA, yang menawarkan perpustakaan untuk mencipta pembantu pintar yang serupa dengan ChatGPT. Projek ini sedang dibangunkan dengan melihat kemungkinan berjalan pada peralatan anda sendiri dan mencipta penyelesaian diperibadikan yang direka untuk merangkumi bidang pengetahuan yang sempit (contohnya, perubatan, undang-undang, permainan, penyelidikan saintifik, dll.). Kod ChatLLaMA dilesenkan di bawah GPLv3.
Projek ini menyokong penggunaan model berdasarkan seni bina LLaMA (Large Language Model Meta AI) yang dicadangkan oleh Meta. Model LLaMA penuh meliputi 65 bilion parameter, tetapi untuk ChatLLaMA disyorkan untuk menggunakan pilihan dengan 7 dan 13 bilion parameter atau GPTJ (6 bilion), GPTNeoX (1.3 bilion), 20BOPT (13 bilion), BLOOM (7.1 bilion) dan Galactica (6.7 bilion) model ). Pada mulanya, model LLaMA hanya dibekalkan kepada penyelidik atas permintaan khas, tetapi memandangkan torrents digunakan untuk menghantar data, peminat menyediakan skrip yang membenarkan sesiapa sahaja memuat turun model tersebut.
Sumber: opennet.ru