구글은 제미니 3 기술을 기반으로 구축된 오픈 소스 AI 모델인 젬마 4를 공개했습니다.

구글은 Gemini 3 모델을 기반으로 하는 새로운 대규모 언어 모델 제품군인 Gemma 4를 발표했습니다. Gemma 4는 Apache 라이선스 하에 배포되며, 2.3억, 4.5억, 25.2억, 30.7억 개의 파라미터(E2B, E4B, 31억, 26억 A4B)를 가진 다양한 버전으로 제공됩니다. E2B 및 E4B 버전은 모바일 기기, 사물 인터넷(IoT) 시스템, 라즈베리 파이와 같은 보드에 적합하며, 다른 버전은 워크스테이션 및 일반 소비자용 GPU가 탑재된 시스템에 적합합니다. 모델에서 고려하는 컨텍스트 크기는 E2B 및 E4B 모델의 경우 128 토큰이고, 256억 및 31억 A4B 모델의 경우 26 토큰입니다.

이 모델들은 다국어 및 멀티모달 기능을 제공합니다. 기본적으로 35개 언어를 지원하며(학습 과정에서 140개 이상의 언어가 사용됨), 텍스트와 이미지를 입력으로 처리할 수 있습니다(E2B 및 E4B 모델은 오디오 처리도 추가로 지원합니다). 26B A4B 모델은 전문가 네트워크 혼합(MoE) 아키텍처를 기반으로 하며, 모델이 여러 전문가 네트워크로 분할되어 구성됩니다(응답 생성에는 3.8억 개의 매개변수만 사용 가능하지만, 속도는 기존의 대형 모델보다 훨씬 빠릅니다). 다른 변형 모델들은 기존의 단일체 아키텍처를 사용합니다.

이 모델들은 추론 및 사용자 정의 가능한 숙의 모드를 지원하며, 데이터와 별도로 지침(규칙, 제약 조건)을 처리하는 시스템 역할을 지원합니다. 이 모델들은 코드 작성, 이미지 내 객체 인식, 프레임별 비디오 분석, 문서 및 PDF 구문 분석, 인쇄 및 필기 텍스트의 광학 문자 인식(OCR), 음성 인식, 언어 번역 등에 활용될 수 있습니다. 또한 다양한 도구 및 API와 상호 작용하는 자율 에이전트로도 사용할 수 있습니다.

대부분의 테스트에서 Gemma 4 모델은 27억 개의 매개변수를 가진 Gemma 3 모델보다 훨씬 뛰어난 성능을 보였습니다. Gemma 4는 LiteRT-LM, vLLM, llama.cpp, MLX, Ollama, NVIDIA NIM 및 NeMo, LM Studio, Unsloth, SGLang, Cactus, Basetan, MaxText, Tunix 및 Keras를 지원합니다.

출처 : opennet.ru