Google은 Gemini 챗봇에 공통된 기술을 기반으로 Gemma AI 모델을 발견했습니다.

Google은 ChatGPT와 경쟁하려는 Gemini 챗봇 모델을 구축하는 데 사용되는 기술을 사용하여 구축된 대규모 기계 학습 언어 모델인 Gemma의 출시를 발표했습니다. 이 모델은 기본 및 대화 상자 최적화 보기에서 2억 및 7억 개의 매개변수를 포함하는 2가지 변형으로 제공됩니다. 7억 개의 매개변수가 있는 옵션은 소비자 애플리케이션에 사용하기에 적합하며 이를 처리하기에 충분한 CPU를 가지고 있습니다. XNUMX억 개의 매개변수가 포함된 옵션에는 더욱 강력한 하드웨어와 GPU 또는 TPU가 필요합니다.

Gemma 모델의 적용 분야에는 대화 시스템 및 가상 비서 생성, 텍스트 생성, 자연어로 묻는 질문에 대한 답변 생성, 콘텐츠 요약 및 일반화, 개념 및 용어의 본질에 대한 설명, 오류 수정 등이 있습니다. 본문에서 언어 학습에 대한 지원. 시, 프로그래밍 언어의 코드, 즉 작품 다시 쓰기, 템플릿을 사용한 문자 생성 등 다양한 유형의 텍스트 데이터 생성을 지원합니다. 동시에 이 모델은 크기가 상대적으로 작기 때문에 일반 노트북이나 PC와 같이 리소스가 제한된 자체 장비에서 사용할 수 있습니다.

모델 라이센스는 연구 및 개인 프로젝트뿐만 아니라 상업용 제품에서도 무료 사용 및 배포를 허용합니다. 모델의 수정된 버전을 생성하고 게시하는 것도 허용됩니다. 동시에, 이용 약관에서는 악의적인 작업을 수행하기 위해 모델을 사용하는 것을 금지하고 가능하면 제품에 최신 버전의 Gemma를 사용해야 합니다.

Gemma 모델 작업에 대한 지원은 Transformers 툴킷 및 Responsible Generative AI Toolkit에 이미 추가되었습니다. 모델을 최적화하려면 Keras 프레임워크와 TensorFlow, JAX 및 PyTorch용 백엔드를 사용할 수 있습니다. MaxText, NVIDIA NeMo 및 TensorRT-LLM 프레임워크와 함께 Gemma를 사용할 수도 있습니다.

Gemma 모델이 고려하는 컨텍스트의 크기는 8개 토큰(텍스트 생성 시 모델이 처리하고 기억할 수 있는 토큰 수)입니다. 비교를 위해 Gemini 및 GPT-4 모델의 컨텍스트 크기는 32개 토큰이고, GPT-4 Turbo 모델의 경우 128개입니다. 해당 모델은 영어만 지원합니다. 성능면에서는 Gemma-7B 모델이 LLama 2 70B Chat 모델보다 약간 열등하고 DeciLM-7B, PHI-2(2.7B), Mistral-7B-v0.1 모델보다는 약간 앞서는 것으로 나타났다. Google 비교에서 Gemma-7B 모델은 LLama 2 7B/13B 및 Mistral-7B보다 약간 앞서 있습니다.

출처 : opennet.ru