Databricks пусна голям езиков модел DBRX, който изпреварва в тестовете GPT-3.5

Компания Databricks обяви, че е създала голям езиков модел DBRX, който може да се използва за създаване на чатботове, отговарящи на въпроси на естествен език, решаващи поставени математически задачи, способни да генерират съдържание по зададена тема и да създават код на различни програмни езици. Моделът е разработен от компанията Mosaic ML, която беше придобита от Databricks за 1.3 милиарда долара. За обучение е използван клъстер от 3072 GPU NVIDIA H100 Tensor Core. За стартиране на готовия модел се препоръчват 320GB памет.

При обучаването на модела беше използвана архитектурата MoE (Смес от експерти), което позволява получаването на по-точна експертна оценка, и колекция от текстове и код с размер 12 ТБ. Размерът на контекста, който моделът DBRX взема предвид, е 32 хиляди токена (брой токени, които моделът може да обработи и запомни при генериране на текст). За сравнение, размерът на контекста при моделите Google Gemini и OpenAI GPT-4 е 32 хиляди токена, Google Gemma — 8 хиляди, а при модела GPT-4 Turbo — 128 хиляди.

Моделът обхваща 132 милиарда параметри и е разделен на 16 експертни мрежи, от които при обработката на заявките могат да се използват не повече от 4 (обхват не повече от 36 млрд параметри за всеки токен). За сравнение, моделът GPT-4 предполагам включва 1.76 трилиона параметри, наскоро откритият модел Grok (X/Twitter) — 314 млрд, GPT-3.5 — 175 млрд, YaLM (Yandex) — 100 млрд, LLaMA (Meta) — 65 млрд, GigaChat (Sber) — 29 млрд, Gemma (Google) — 7 млрд.

Моделът и свързаните с него компоненти се разпространяват под лицензията Databricks Open Model License, която позволява използване, възпроизвеждане, копиране, изменение и създаване на производни продукти, но с определени ограничения. Например, лицензията забранява използването на DBRX, производните модели и всякакви резултати на тяхна основа за подобряване на други езикови модели, различни от DBRX. Лицензията също така забранява използването на модела в области, нарушаващи закони и разпоредби. Производните модели трябва да се разпространяват под същата лицензия. При използване в продукти и услуги, от които се възползват повече от 700 милиона потребители на месец, е необходимо да се получи отделно разрешение.

Според заявлението на създателите на модела, DBRX превишава характеристиките и възможностите на моделите GPT-3.5 от компанията OpenAI и Grok-1 от Twitter и може да конкурира с модела Gemini 1.0 Pro в тестовете за разбиране на езика, възможностите за писане на код на програмни езици и решаването на математически задачи. В някои приложения, например, при генериране на SQL запитвания, DBRX достига по ефективност до модела GPT-4 Turbo, който води на пазара. Освен това моделът се отличава с много бърза работа и позволява формулиране на отговор почти мигновено. Конкретно, DBRX може да генерира текст със скорост до 150 токена в секунда на един потребител, което е почти два пъти по-бързо от модела LLaMA2-70B.

Допълнително, може да бъде отбелязано публикуването на техническото описание на откритата голяма езикова модел InternLM2, който се разпространява под лицензия Apache 2.0 и е наличен в варианти с 20, 7 и 1.8 милиарда параметри. Моделът се развива от шанхайската лаборатория по изкуствен интелект с участието на няколко китайски университета и е забележителен с това, че предвижда до 200K токена контекст и поддържа не само английски, но и китайски език. В много тестове моделът е близък до GPT-4.

Освен това, съобщава се за разработване на 84 нови ядра за умножение на матрици за инструмента llamafile, разработван от Mozilla, който позволява създаването на универсални изпълними файлове за стартиране на големи езикови модели на машинно обучение (LLM). Промените значително ускориха работата на моделите в llamafile при изпълнение на CPU. Например, изпълнението на моделите при използване на llamafile сега е по-бързо от 30% до 500% в зависимост от средата, сравнено с библиотеката MKL, матричните операции, които се побират в кеш L2, в новата реализация се изпълняват два пъти по-бързо.

Източник: opennet.ru