OpenChatKit 開源工具包的推出，旨在簡化專業和通用聊天機器人的創建。 此系統適用於執行回答問題、進行多階段對話、總結、提取資訊和文字分類等任務。 該程式碼是用 Python 編寫的，並根據 Apache 2.0 許可證分發。 該項目包括現成的模型、用於訓練模型的程式碼、用於測試模型結果的實用程式、用於使用外部索引的上下文補充模型以及調整基本模型以解決您自己的問題的工具。
該機器人基於基本機器學習模型 (GPT-NeoXT-Chat-Base-20B)，使用涵蓋約 20 億個參數的語言模型構建，並針對對話通訊進行了最佳化。 為了訓練模型，使用了從 LAION、Together 和 Ontocord.ai 項目集合中獲得的資料。
為了擴展現有的知識庫，提出了一個可以從外部儲存庫、API 和其他來源檢索附加資訊的系統。 例如，可以使用維基百科和動態消息中的資料來更新資訊。 提供可選的審核模型，該模型經過 6 億個參數的訓練並基於 GPT-JT 模型，可以過濾掉不適當的問題或將討論限制在特定主題。
另外，我們可以提到 ChatLLaMA 項目，它提供了一個用於創建類似於 ChatGPT 的智慧助理的庫。 該專案的開發著眼於在您自己的設備上運行的可能性，並創建旨在涵蓋狹窄知識領域（例如醫學、法律、遊戲、科學研究等）的個人化解決方案。 ChatLLaMA 代碼根據 GPLv3 獲得許可。
此專案支援使用基於Meta提出的LLaMA（Large Language Model Meta AI）架構的模型。 完整的 LLaMA 模型涵蓋 65 億個參數，但對於 ChatLLaMA，建議使用具有 7 和 13 億個參數的選項或 GPTJ（6 億）、GPTNeoX（1.3 億）、20BOPT（13 億）、BLOOM（7.1 億）和《卡拉狄加》（6.7 億）模型）。 最初，LLaMA 模型僅根據特殊要求提供給研究人員，但由於使用 torrent 來傳遞數據，愛好者們準備了一個腳本，允許任何人下載模型。
來源： opennet.ru