Databricks는 대규모 DBRX 언어 모델을 공개하여 GPT-3.5 벤치마크를 능가합니다.

Databricks는 자연어 질문에 답하고, 수학 문제를 풀고, 주어진 주제에 대한 콘텐츠를 생성하고, 다양한 프로그래밍 언어로 코드를 작성할 수 있는 챗봇을 만드는 데 사용할 수 있는 대규모 언어 모델인 DBRX를 발견했다고 발표했습니다. 이 모델은 Mosaic ML에서 개발했으며, Databricks가 1.3억 달러에 인수했습니다. 3072개의 NVIDIA H100 Tensor Core GPU 클러스터가 학습에 사용되었습니다. 완성된 모델을 실행하려면 320GB 메모리가 권장됩니다.

모델을 학습할 때, 더욱 정확한 전문가 평가가 가능한 MoE(전문가 혼합) 아키텍처와 12TB 크기의 텍스트와 코드 컬렉션을 사용했습니다. DBRX 모델이 고려하는 컨텍스트의 크기는 32개 토큰입니다(모델이 텍스트를 생성할 때 처리하고 기억할 수 있는 토큰 수). 비교를 위해, Google Gemini와 OpenAI GPT-4 모델의 컨텍스트 크기는 32개, Google Gemma는 8개, GPT-4 Turbo 모델은 128개입니다.

이 모델은 132억 개의 매개변수를 포괄하며 16개의 전문가 네트워크로 나뉩니다. 요청을 처리할 때 최대 4개만 사용할 수 있습니다(각 토큰에 대해 최대 36억 개의 매개변수를 포괄). 비교를 위해, GPT-4 모델은 1.76조 314억 개의 매개변수를 포함하는 것으로 추정되며, 최근 발견된 X/Twitter Grok 모델(X/Twitter)은 3.5억 개, GPT-175는 100억 개, YaLM(Yandex)은 65억 개, LLaMA(Meta)는 29억 개, GigaChat(Sber)은 7억 개, Gemma(Google)는 XNUMX억 개입니다.

이 모델과 관련 구성 요소는 Databricks Open Model License에 따라 라이선스가 부여되어 있으며, 이에 따라 사용, 복제, 복사, 수정 및 파생 작품 생성이 허용되지만 몇 가지 제한이 있습니다. 예를 들어, 라이선스는 DBRX, 그 파생 모델 및 이를 기반으로 한 출력을 사용하여 DBRX 이외의 언어 모델을 향상시키는 것을 금지합니다. 또한 라이선스에서는 법률과 규정을 위반하는 영역에서 해당 모델을 사용하는 것을 금지합니다. 파생 모델은 동일한 라이선스에 따라 배포되어야 합니다. 월 700억 명 이상의 사용자가 사용하는 제품 및 서비스에 사용하는 경우 별도의 허가가 필요합니다.

모델 개발자에 따르면, DBRX는 특성과 기능 면에서 OpenAI의 GPT-3.5 모델과 Twitter의 Grok-1을 능가하며, 언어 이해 수준, 프로그래밍 언어로 코드를 작성하는 능력, 수학 문제를 해결하는 능력 등을 테스트할 때 Gemini 1.0 Pro 모델과 경쟁할 수 있습니다. SQL 쿼리 생성과 같은 일부 애플리케이션에서 DBRX는 시장을 선도하는 GPT-4 Turbo 모델의 성능에 근접합니다. 또한 이 모델은 매우 빠르게 작동하고 거의 즉각적으로 응답을 생성할 수 있다는 점에서 경쟁 서비스와 다릅니다. 특히 DBRX는 사용자당 초당 최대 150개의 토큰 속도로 텍스트를 생성할 수 있는데, 이는 LLaMA2-70B 모델보다 약 XNUMX배 빠릅니다.

또한 Apache 2 라이선스에 따라 배포되고 2.0억, 20억, 7억 개의 매개변수가 있는 버전으로 제공되는 개방형 대규모 언어 모델 InternLM1.8에 대한 기술 설명서가 게시되었다는 점도 주목할 만합니다. 이 모델은 몇몇 중국 대학의 참여로 상하이 인공지능 연구소에서 개발하고 있으며, 최대 200만 개의 컨텍스트 토큰을 고려하고 영어뿐만 아니라 중국어도 지원한다는 점이 주목할 만합니다. 많은 테스트에서 이 모델은 GPT-4와 유사합니다.

또한, Mozilla가 개발한 llamafile 툴킷을 위해 84개의 새로운 행렬 곱셈 커널이 개발되었습니다. 이 툴킷은 대규모 머신 러닝 언어 모델(LLM)을 실행하기 위한 범용 실행 파일을 생성합니다. 이러한 변경으로 인해 CPU에서 llamafile의 모델 작업을 실행할 때 작업 속도가 상당히 빨라졌습니다. 예를 들어, llamafile을 사용하여 모델을 실행하는 것은 이제 환경에 따라 llama.cpp를 사용하는 것보다 30%~500% 더 빠르며, MKL 라이브러리와 비교했을 때 L2 캐시에 맞는 행렬 연산은 새 구현에서 두 배 더 빠르게 실행됩니다.

출처 : opennet.ru