OpenChatKit 開放工具包旨在簡化專用和通用聊天機器人的創建。此系統可執行諸如回答問題、進行多階段對話、泛化、資訊擷取和文字分類等任務。程式碼以 Python 編寫，並遵循 Apache 2.0 許可證發布。該專案包含一個現成的模型、用於訓練模型的程式碼、用於測試模型結果的實用程式、用於從外部索引中補充上下文的工具，以及用於調整基本模型以解決自身問題的工具。
該機器人基於一個基礎機器學習模型 (GPT-NeoXT-Chat-Base-20B)，該模型使用一個涵蓋約 20 億個參數的語言模型構建，並針對對話通訊進行了最佳化。該模型使用來自 LAION、Together 和 Ontocord.ai 專案的資料集合進行訓練。
為了擴展現有的知識庫，我們提出了一個系統，可以從外部儲存庫、API 和其他來源提取更多資訊。例如，可以使用維基百科和新聞源的數據來更新資訊。此外，我們還提供了一個審核模型，該模型基於 GPT-JT 模型，使用 6 億個參數進行訓練，旨在過濾不合適的問題或將討論限制在某些主題上。
另外，我們可以提到 ChatLLaMA 項目，它提供了一個用於創建類似於 ChatGPT 的智慧助理的庫。 該專案的開發著眼於在您自己的設備上運行的可能性，並創建旨在涵蓋狹窄知識領域（例如醫學、法律、遊戲、科學研究等）的個人化解決方案。 ChatLLaMA 代碼根據 GPLv3 獲得許可。
該專案支援使用基於 Meta 提出的 LLaMA（大型語言模型 Meta AI）架構的模型。完整的 LLaMA 模型涵蓋 65 億個參數，但對於 ChatLLaMA，建議使用參數量為 7 億至 13 億的變體，或使用 GPTJ（6 億）、GPTNeoX（1.3 億）、20BOPT（13 億）、BLOOM（7.1 億）和 Galactica（6.7 億）模型。最初，LLaMA 模型僅應特殊要求提供給研究人員，但由於使用種子檔案傳輸數據，愛好者們編寫了一個腳本，允許任何人下載模型。
來源： opennet.ru
