เปิดตัวชุดเครื่องมือแบบเปิด OpenChatKit โดยมีจุดประสงค์เพื่อลดความซับซ้อนของการสร้างแชทบอทสำหรับแอปพลิเคชันพิเศษและแอปพลิเคชันทั่วไป ระบบได้รับการปรับให้ทำงาน เช่น การตอบคำถาม การสนทนาหลายขั้นตอน การสรุป ดึงข้อมูล จำแนกข้อความ รหัสนี้เขียนด้วย Python และเผยแพร่ภายใต้ลิขสิทธิ์ Apache 2.0 โครงการประกอบด้วยโมเดลสำเร็จรูป โค้ดสำหรับฝึกโมเดลของคุณ ยูทิลิตี้สำหรับทดสอบผลลัพธ์ของโมเดล เครื่องมือสำหรับเสริมโมเดลด้วยบริบทจากดัชนีภายนอก และการปรับโมเดลพื้นฐานเพื่อแก้ปัญหาของคุณเอง
บอทนี้ใช้โมเดลแมชชีนเลิร์นนิงพื้นฐาน (GPT-NeoXT-Chat-Base-20B) ซึ่งสร้างขึ้นโดยใช้โมเดลภาษาที่ครอบคลุมพารามิเตอร์ประมาณ 20 หมื่นล้านพารามิเตอร์และปรับให้เหมาะสมสำหรับการสื่อสารแบบสนทนา แบบจำลองได้รับการฝึกอบรมโดยใช้ข้อมูลที่ได้รับจากการรวบรวมโครงการ LAION, Together และ Ontocord.ai
เพื่อขยายฐานความรู้ที่มีอยู่ ระบบเสนอระบบที่สามารถดึงข้อมูลเพิ่มเติมจากที่เก็บข้อมูลภายนอก, API และแหล่งข้อมูลอื่นๆ ตัวอย่างเช่น เป็นไปได้ที่จะอัปเดตข้อมูลโดยใช้ข้อมูลจากวิกิพีเดียและฟีดข่าว นอกจากนี้ ยังมีโมเดลการกลั่นกรองซึ่งได้รับการฝึกฝนด้วยพารามิเตอร์ 6 พันล้านตัวตามโมเดล GPT-JT และออกแบบมาเพื่อกรองคำถามที่ไม่เหมาะสมหรือจำกัดการสนทนาเฉพาะบางหัวข้อ
เราสามารถสังเกตโครงการ ChatLLaMA ซึ่งมีห้องสมุดสำหรับสร้างผู้ช่วยอัจฉริยะที่คล้ายกับ ChatGPT โครงการกำลังพัฒนาโดยคำนึงถึงความเป็นไปได้ในการใช้งานอุปกรณ์ของตัวเองและสร้างโซลูชันส่วนบุคคลที่ออกแบบมาเพื่อครอบคลุมความรู้ในวงแคบ (เช่น การแพทย์ กฎหมาย เกม การวิจัยทางวิทยาศาสตร์ ฯลฯ) รหัส ChatLLaMA ได้รับอนุญาตภายใต้ GPLv3
โครงการสนับสนุนการใช้แบบจำลองตามสถาปัตยกรรม LLaMA (Large Language Model Meta AI) ที่เสนอโดย Meta โมเดล LLaMA เต็มรูปแบบครอบคลุม 65 พันล้านพารามิเตอร์ แต่สำหรับ ChatLLaMA ขอแนะนำให้ใช้ตัวแปรที่มี 7 และ 13 พันล้านพารามิเตอร์ หรือ GPTJ (6 พันล้าน), GPTNeoX (1.3 พันล้าน), 20BOPT (13 พันล้าน), BLOOM (7.1 พันล้าน) และ Galactica (6.7 พันล้าน) รุ่น ). ในขั้นต้น โมเดล LLaMA จะมอบให้กับนักวิจัยเมื่อมีการร้องขอพิเศษเท่านั้น แต่เนื่องจากมีการใช้ทอร์เรนต์ในการส่งข้อมูล ผู้ที่ชื่นชอบจึงได้เตรียมสคริปต์ที่ให้ทุกคนสามารถดาวน์โหลดโมเดลได้
ที่มา: opennet.ru