Google は、ChatGPT と競合しようとする Gemini チャットボット モデルの構築に使用されるテクノロジーを使用して構築された大規模な機械学習言語モデルである Gemma の公開を発表しました。このモデルは、基本ビューとダイアログ最適化ビューで 2 億から 7 億のパラメーターをカバーする 2 つのバリアントで利用できます。 7 億のパラメータを持つオプションはコンシューマ アプリケーションでの使用に適しており、それらを処理するのに十分な CPU を備えています。 XNUMX 億のパラメータを持つオプションには、より強力なハードウェアと GPU または TPU が必要です。
Gemma モデルの応用分野には、対話システムと仮想アシスタントの作成、テキスト生成、自然言語での質問に対する回答の生成、内容の要約と一般化、概念と用語の本質の説明、誤りの修正などがあります。テキストの中で言語学習を支援します。詩やプログラミング言語のコード、作品のリライト、テンプレートを利用した手紙の生成など、さまざまなテキストデータの作成をサポートします。同時に、このモデルのサイズは比較的小さいため、通常のラップトップや PC など、リソースが限られた独自の機器で使用することができます。
モデルライセンスでは、研究や個人プロジェクトだけでなく、商用製品でも自由に使用および配布できます。モデルの修正バージョンの作成と公開も許可されます。同時に、利用規約では、悪意のあるアクションを実行するためにモデルを使用することを禁止し、可能な限り製品で最新バージョンの Gemma を使用することを要求しています。
Gemma モデルの操作のサポートは、Transformers ツールキットと Responsible Generative AI ツールキットにすでに追加されています。モデルを最適化するには、Keras フレームワークと TensorFlow、JAX、および PyTorch のバックエンドを使用できます。 Gemma を MaxText、NVIDIA NeMo、TensorRT-LLM フレームワークとともに使用することもできます。
Gemma モデルで考慮されるコンテキストのサイズは 8 トークン (テキスト生成時にモデルが処理および記憶できるトークンの数) です。比較のために、Gemini モデルと GPT-4 モデルのコンテキスト サイズは 32 トークンで、GPT-4 Turbo モデルのコンテキスト サイズは 128 トークンです。このモデルは英語のみをサポートします。パフォーマンスの点では、Gemma-7B モデルは LLama 2 70B Chat モデルよりわずかに劣りますが、DeciLM-7B、PHI-2 (2.7B)、および Mistral-7B-v0.1 モデルよりはわずかに優れています。 Google の比較では、Gemma-7B モデルは LLama 2 7B/13B および Mistral-7B よりわずかに優れています。
出所： オープンネット.ru