Bộ công cụ mở OpenChatKit được giới thiệu nhằm mục đích đơn giản hóa việc tạo chatbot cho các ứng dụng chuyên biệt và tổng quát. Hệ thống được điều chỉnh để thực hiện các nhiệm vụ như trả lời câu hỏi, thực hiện đối thoại nhiều giai đoạn, tóm tắt, trích xuất thông tin, phân loại văn bản. Mã này được viết bằng Python và được phân phối theo giấy phép Apache 2.0. Dự án bao gồm một mô hình làm sẵn, mã để đào tạo mô hình của bạn, các tiện ích để kiểm tra kết quả của mô hình, các công cụ để bổ sung cho mô hình bối cảnh từ một chỉ mục bên ngoài và điều chỉnh mô hình cơ sở để giải quyết các vấn đề của riêng bạn.
Bot dựa trên mô hình máy học cơ bản (GPT-NeoXT-Chat-Base-20B), được xây dựng bằng mô hình ngôn ngữ bao gồm khoảng 20 tỷ tham số và được tối ưu hóa cho giao tiếp đàm thoại. Mô hình được đào tạo bằng cách sử dụng dữ liệu thu được từ các bộ sưu tập của các dự án LAION, Together và Ontocord.ai.
Để mở rộng cơ sở tri thức hiện có, một hệ thống được đề xuất có khả năng trích xuất thông tin bổ sung từ các kho lưu trữ bên ngoài, API và các nguồn khác. Ví dụ: có thể cập nhật thông tin bằng cách sử dụng dữ liệu từ Wikipedia và nguồn cấp tin tức. Ngoài ra, có sẵn một mô hình kiểm duyệt, được đào tạo với 6 tỷ thông số, dựa trên mô hình GPT-JT và được thiết kế để lọc các câu hỏi không phù hợp hoặc giới hạn các cuộc thảo luận ở một số chủ đề nhất định.
Một cách riêng biệt, chúng ta có thể lưu ý dự án ChatLLaMA, dự án này cung cấp một thư viện để tạo các trợ lý thông minh tương tự như ChatGPT. Dự án đang phát triển với khả năng chạy trên thiết bị của riêng mình và tạo ra các giải pháp cá nhân hóa được thiết kế để bao quát các lĩnh vực kiến thức hẹp (ví dụ: y học, luật, trò chơi, nghiên cứu khoa học, v.v.). Mã ChatLLaMA được cấp phép theo GPLv3.
Dự án hỗ trợ sử dụng các mô hình dựa trên kiến trúc LLaMA (Mô hình ngôn ngữ lớn Meta AI) do Meta đề xuất. Mô hình LLaMA đầy đủ bao gồm 65 tỷ tham số, nhưng đối với ChatLLaMA, bạn nên sử dụng các biến thể có 7 và 13 tỷ tham số hoặc GPTJ (6 tỷ), GPTNeoX (1.3 tỷ), 20BOPT (13 tỷ), BLOOM (7.1 tỷ) và Galactica (6.7 tỷ) mẫu ). Ban đầu, các mô hình LLaMA chỉ được cung cấp cho các nhà nghiên cứu theo yêu cầu đặc biệt, nhưng vì torrent được sử dụng để cung cấp dữ liệu, những người đam mê đã chuẩn bị một tập lệnh cho phép mọi người tải xuống mô hình.
Nguồn: opennet.ru