Databricks обяви голям езиков модел DBRX, който изпреварва в тестовете GPT-3.5

Компанията Databricks announced the launch of a large language model DBRX, which can be used to create chatbots that answer questions in natural language, solve proposed math problems, generate content on a given topic, and create code in various programming languages. The model was developed by Mosaic ML, which was bought by Databricks for $1.3 billion. A cluster of 3072 NVIDIA H100 Tensor Core GPUs was used for training. It is recommended to have 320GB of memory to run the final model.

При обучението на модела беше използвана архитектурата MoE (Mixture of experts), позволяваща по-точна експертна оценка, и колекция от текстове и код с размер 12 ТB. Размерът на контекста, който моделът DBRX може да вземе предвид, е 32 000 токена (броят на токените, които моделът може да обработи и запомни при генериране на текст). За сравнение, размерът на контекста при моделите Google Gemini и OpenAI GPT-4 е 32 000 токена, Google Gemma - 8 000, а при модела GPT-4 Turbo - 128 000.

Моделът обхваща 132 милиарда параметри и е разделен на 16 експертни мрежи, от които при обработка на заявка могат да се използват не повече от 4 (обхват не повече от 36 милиарда параметри за всеки токен). За сравнение моделът GPT-4 вероятно включва 1.76 трилиона параметри, наскоро откритата X/Twitter модел Grok (X/Twitter) - 314 милиарда, GPT-3.5 - 175 милиарда, YaLM (Yandex) - 100 милиарда, LLaMA (Meta) - 65 милиарда, GigaChat (Sber) - 29 милиарда, Gemma (Google) - 7 милиарда.

Моделът и свързаните с него компоненти се разпространяват под лиценза Databricks Open Model License, който позволява използване, възпроизвеждане, копиране, модифициране и създаване на производни продукти, но с известни ограничения. Например, лицензът забранява използването на DBRX, производните модели и всякакви изводи на тяхна основа за подобряване на други езикови модели, различни от DBRX. Лицензът също така забранява използването на модела в области, нарушаващи закони и нормативни актове. Производните модели трябва да се разпространяват под същия лиценз. При използване в продукти и услуги, ползвани от над 700 милиона потребители месечно, е необходимо получаване на отделно разрешение.

Според създателите на модела, DBRX превъзхожда характеристиките и възможностите на GPT-3.5 от OpenAI и Grok-1 от Twitter, и може да конкурира с модела Gemini 1.0 Pro, когато става въпрос за разбирането на езика, възможностите за писане на код на програмиращи езици и решаването на математически задачи. В някои приложения, например, при генериране на SQL заявки, DBRX се приближава по ефективност до модела GPT-4 Turbo, който води на пазара. Освен това, моделът се отличава с много бърза работа и позволява формулиране на отговор почти мигновено. По-специално, DBRX може да генерира текст със скорост до 150 токена в секунда на потребител, което е приблизително два пъти по-бързо от модела LLaMA2-70B.

Допълнително можем да отбележим публикуването на техническото описание на откритата голяма езикова модел InternLM2, който се разпространява под лиценз Apache 2.0, наличен в варианти с 20, 7 и 1.8 милиарда параметри. Моделът се развива от шанхайска лаборатория по изкуствен интелект с участието на няколко китайски университета и е забележителен с оглед на до 200K токена контекст и поддръжка не само на английски, но и на китайски език. В много тестове моделът е близък до GPT-4.

Освен това, съобщава се за разработка на 84 нови ядра за умножение на матрици за инструмента llamafile, развит от Mozilla, който позволява създаването на универсални изпълними файлове за стартиране на големи езикови модели на машинно обучение (LLM). Промените значително ускориха работата на моделите в llamafile при изпълнение на CPU. Например, изпълнението на моделите с използване на llamafile вече е по-бързо с между 30% и 500% в зависимост от средата в сравнение с llama.cpp, а матричните операции, които се побират в кеша L2, в новата реализация се изпълняват два пъти по-бързо в сравнение с библиотеката MKL.

Източник: opennet.ru