FlexGen은 단일 GPU 시스템에서 ChatGPT와 유사한 AI 봇을 실행하기 위한 엔진입니다.

Stanford University, University of California at Berkeley, ETH Zurich, Carnegie Mellon University 경제 대학원, Yandex 및 Meta의 연구원 팀이 리소스에서 대규모 언어 모델을 실행하기 위한 엔진의 소스 코드를 공개했습니다. -제약된 시스템. 예를 들어, 엔진은 175GB 비디오 메모리가 장착된 NVIDIA RTX175 게이밍 그래픽 카드가 장착된 일반 컴퓨터에서 3090억 개의 매개변수를 다루는 사전 훈련된 OPT-24B 모델을 실행하여 ChatGPT 및 Copilot을 연상시키는 기능을 생성하는 기능을 제공합니다. 코드는 Python으로 작성되었으며 PyTorch 프레임워크를 사용하고 Apache 2.0 라이선스에 따라 배포됩니다.

여기에는 공개적으로 사용 가능한 언어 모델 중 하나를 다운로드하고 즉시 통신을 시작할 수 있는 봇 생성을 위한 예제 스크립트가 포함되어 있습니다(예: "python apps/chatbot.py —model facebook/opt-30b — -percent 0 명령 실행). 100 100 0 100 0”). 기본적으로 BookCorpus(10권의 책), CC-Stories, Pile(OpenSubtitles, Wikipedia, DM Mathematics, HackerNews 등), Pushshift 컬렉션에 대해 훈련된 Facebook에서 게시한 대규모 언어 모델을 사용하는 것이 제안되었습니다. io(Reddit 데이터 기반) 및 CCNewsV2(뉴스 아카이브). 이 모델은 약 180억 개의 토큰(800GB 데이터)을 다룹니다. 33개의 NVIDIA A992 100GB GPU를 사용한 80일간의 클러스터 작업이 모델 교육에 소요되었습니다.

단일 NVIDIA T175 GPU(4GB)가 장착된 시스템에서 OPT-16B 모델을 실행할 때 FlexGen 엔진은 이전에 제공된 솔루션보다 최대 100배 빠른 성능을 보여주어 대규모 언어 모델을 보다 저렴하게 사용하고 여러 환경에서 실행할 수 있도록 했습니다. 전용 가속기가 없는 시스템. 동시에 FlexGen은 여러 GPU를 사용하여 계산을 병렬화하도록 확장할 수 있습니다. 모델의 크기를 줄이기 위해 독자적인 매개변수 압축 방식과 모델 캐싱 메커니즘이 추가로 사용됩니다.

현재 FlexGen은 OPT 언어 모델만 지원하지만 앞으로 개발자는 BLOOM(176억 매개변수, 46개 언어 및 13개 프로그래밍 언어 지원), CodeGen(22개 프로그래밍 언어로 코드 생성 가능) 및 GLM 모델. FlexGen 및 OPT-30B 모델을 기반으로 한 봇과의 대화 예:

인간: 세상에서 가장 높은 산의 이름은 무엇입니까?

어시스턴트: 에베레스트.

인간: 기념일에 여행을 계획하고 있어요. 우리는 어떤 일을 할 수 있나요?

보조자: 음, 기념일에 할 수 있는 일이 많이 있어요. 첫째, 카드놀이를 할 수 있습니다. 둘째, 하이킹을 갈 수 있습니다. 셋째, 박물관에 갈 수 있습니다.

출처 : opennet.ru