OpenChatKit オープン ツールキットが導入され、特殊なアプリケーションおよび一般的なアプリケーション用のチャットボットの作成を簡素化することを目的としています。 このシステムは、質問への回答、多段階の対話の実施、要約、情報の抽出、テキストの分類などのタスクを実行するように適合されています。 コードは Python で書かれており、Apache 2.0 ライセンスに基づいて配布されます。 プロジェクトには、既製のモデル、モデルをトレーニングするためのコード、モデルの結果をテストするためのユーティリティ、外部インデックスからのコンテキストでモデルを補足し、独自の問題を解決するために基本モデルを適応させるためのツールが含まれています。
このボットは、基本的な機械学習モデル (GPT-NeoXT-Chat-Base-20B) に基づいており、約 20 億のパラメータをカバーする言語モデルを使用して構築され、会話型コミュニケーション用に最適化されています。 このモデルは、LAION、Togetter、および Ontocord.ai プロジェクトのコレクションから取得したデータを使用してトレーニングされました。
既存の知識ベースを拡張するために、外部リポジトリ、API、その他のソースから追加情報を抽出できるシステムが提案されています。 たとえば、Wikipedia やニュース フィードのデータを使用して情報を更新することができます。 さらに、GPT-JT モデルに基づいて 6 億のパラメータでトレーニングされたモデレーション モデルが利用可能で、不適切な質問をフィルタリングしたり、ディスカッションを特定のトピックに制限したりするように設計されています。
これとは別に、ChatGPT に似たインテリジェント アシスタントを作成するためのライブラリを提供する ChatLLaMA プロジェクトに注目してください。 このプロジェクトは、独自の機器で実行し、狭い知識領域 (医学、法律、ゲーム、科学研究など) をカバーするように設計されたパーソナライズされたソリューションを作成する可能性を念頭に置いて開発されています。 ChatLLaMA コードは GPLv3 に基づいてライセンスされています。
このプロジェクトは、Meta が提案する LLaMA (Large Language Model Meta AI) アーキテクチャに基づくモデルの使用をサポートします。 完全な LLaMA モデルは 65 億のパラメータをカバーしますが、ChatLLaMA の場合は、7 億および 13 億のパラメータを持つバリアント、または GPTJ (6 億)、GPTNeoX (1.3 億)、20BOPT (13 億)、BLOOM (7.1 億) を使用することをお勧めします。およびギャラクティカ (6.7 億) モデル)。 当初、LLaMA モデルは特別なリクエストに応じて研究者にのみ提供されていましたが、データの配信に torrent が使用されていたため、愛好家は誰でもモデルをダウンロードできるスクリプトを用意しました。
出所： オープンネット.ru