{"id":114737,"date":"2024-04-03T00:25:44","date_gmt":"2024-04-02T22:25:47","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/databricks-otkryl-bolshuyu-yazykovuyu-model-dbrx-operezhayushhuyu-v-testah-gpt-3-5"},"modified":"2024-04-03T00:25:44","modified_gmt":"2024-04-02T22:25:47","slug":"databricks-otkryl-bolshuyu-yazykovuyu-model-dbrx-operezhayushhuyu-v-testah-gpt-3-5","status":"publish","type":"post","link":"https:\/\/prohoster.info\/hu\/blog\/news\/databricks-otkryl-bolshuyu-yazykovuyu-model-dbrx-operezhayushhuyu-v-testah-gpt-3-5","title":{"rendered":"A Databricks bemutatta a DBRX nev\u0171 nagym\u00e9ret\u0171 nyelvi modellt, amely a GPT-3.5-\u00f6t megel\u0151zi a tesztekben.","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"
A Databricks bejelentette, hogy el\u00e9rhet\u0151v\u00e9 tette a DBRX nev\u0171 nagym\u00e9ret\u0171 nyelvi modellt, amely alkalmazhat\u00f3 cseveg\u0151robotok l\u00e9trehoz\u00e1s\u00e1ra, amelyek term\u00e9szetes nyelven v\u00e1laszolnak a k\u00e9rd\u00e9sekre, megoldj\u00e1k a felvetett matematikai feladatokat, k\u00e9pesek tartalmat gener\u00e1lni egy adott t\u00e9m\u00e1ban \u00e9s k\u00f3dot \u00edrni k\u00fcl\u00f6nb\u00f6z\u0151 programoz\u00e1si nyelveken. A modellt a Mosaic ML k\u00e9sz\u00edtette, amelyet a Databricks 1,3 milli\u00e1rd doll\u00e1r\u00e9rt v\u00e1s\u00e1rolt meg. Az oktat\u00e1s sor\u00e1n egy 3072 GPU NVIDIA H100 Tensor Core klasztert haszn\u00e1ltak. A k\u00e9sz modell futtat\u00e1s\u00e1hoz aj\u00e1nlott 320 GB mem\u00f3ria. <\/p>\n
A modell k\u00e9pz\u00e9s\u00e9n\u00e9l az MoE (Mixture of Experts) architekt\u00far\u00e1t alkalmazt\u00e1k, amely pontosabb szak\u00e9rt\u0151i \u00e9rt\u00e9kel\u00e9st tesz lehet\u0151v\u00e9, \u00e9s a sz\u00f6vegek \u00e9s k\u00f3dok 12 TB-os gy\u0171jtem\u00e9ny\u00e9t. A modell \u00e1ltal figyelembe vett DBRX kontextus m\u00e9rete 32 ezer token (a tokenek sz\u00e1ma, amelyet a modell k\u00e9pes feldolgozni \u00e9s megjegyezni a sz\u00f6veg gener\u00e1l\u00e1sa sor\u00e1n). \u00d6sszehasonl\u00edt\u00e1sk\u00e9ppen a Google Gemini \u00e9s az OpenAI GPT-4 modellek kontextus\u00e1nak m\u00e9rete szint\u00e9n 32 ezer token, m\u00edg a Google Gemma 8 ezer, a GPT-4 Turbo modell pedig 128 ezer token. <\/p>\n
A modell 132 milli\u00e1rd param\u00e9tert \u00f6lel fel, \u00e9s 16 szak\u00e9rt\u0151i h\u00e1l\u00f3zatra van osztva, amelyek k\u00f6z\u00fcl a k\u00e9rd\u00e9s feldolgoz\u00e1sa sor\u00e1n legfeljebb 4 haszn\u00e1lhat\u00f3 (maximum 36 milli\u00e1rd param\u00e9ter vonatkozik minden tokenre). \u00d6sszehasonl\u00edt\u00e1sul a GPT-4 modell val\u00f3sz\u00edn\u0171leg 1,76 trilli\u00f3 param\u00e9tert tartalmaz, a nemr\u00e9giben bemutatott X\/Twitter Grok modell 314 milli\u00e1rd, a GPT-3.5 175 milli\u00e1rd, a YaLM (Yandex) 100 milli\u00e1rd, a LLaMA (Meta) 65 milli\u00e1rd, a GigaChat (Sber) 29 milli\u00e1rd, a Gemma (Google) pedig 7 milli\u00e1rd param\u00e9terrel b\u00edr. <\/p>\n
A modell \u00e9s a hozz\u00e1 kapcsol\u00f3d\u00f3 komponensek a Databricks Open Model License alatt terjeszthet\u0151k, amely lehet\u0151v\u00e9 teszi a haszn\u00e1latot, reproduk\u00e1l\u00e1st, m\u00e1sol\u00e1st, m\u00f3dos\u00edt\u00e1st \u00e9s sz\u00e1rmaz\u00e9kos term\u00e9kek l\u00e9trehoz\u00e1s\u00e1t, de bizonyos korl\u00e1toz\u00e1sokkal. P\u00e9ld\u00e1ul a licenc megtiltja a DBRX, a sz\u00e1rmaz\u00e9kos modellek \u00e9s ezek alapj\u00e1n k\u00e9sz\u00fclt b\u00e1rmely kimenet m\u00e1s nyelvi modellek, p\u00e9ld\u00e1ul a DBRX-n k\u00edv\u00fcli modellek jav\u00edt\u00e1s\u00e1ra val\u00f3 haszn\u00e1lat\u00e1t. A licenc megtiltja a modell jogszab\u00e1lyoknak \u00e9s el\u0151\u00edr\u00e1soknak val\u00f3 ellenszeg\u00fcl\u00e9s ter\u00fcleteken val\u00f3 haszn\u00e1lat\u00e1t is. A sz\u00e1rmaz\u00e9kos modelleknek ugyanazon licenc alatt kell terjedni\u00fck. Olyan term\u00e9kekben \u00e9s szolg\u00e1ltat\u00e1sokban, amelyeket havonta t\u00f6bb mint 700 milli\u00f3 felhaszn\u00e1l\u00f3 haszn\u00e1l, k\u00fcl\u00f6n enged\u00e9ly beszerz\u00e9se sz\u00fcks\u00e9ges. <\/p>\n
A model sz\u00f6vege szerint a DBRX jellemz\u0151i \u00e9s lehet\u0151s\u00e9gei fel\u00fclm\u00falj\u00e1k az OpenAI GPT-3.5 \u00e9s a Twitter Grok-1 modellek\u00e9t, \u00e9s versenyezhet a Gemini 1.0 Pro modellel a nyelv meg\u00e9rt\u00e9s\u00e9nek, a programoz\u00e1si nyelveken val\u00f3 k\u00f3d\u00edr\u00e1s k\u00e9pess\u00e9g\u00e9nek \u00e9s matematikai feladatok megold\u00e1s\u00e1nak tesztjeiben. Bizonyos alkalmaz\u00e1sokban, p\u00e9ld\u00e1ul SQL lek\u00e9rdez\u00e9sek gener\u00e1l\u00e1sakor, a DBRX hat\u00e9konys\u00e1ga megk\u00f6zel\u00edti a piacon vezet\u0151 GPT-4 Turbo modellt. Ezen fel\u00fcl a modell nagyon gyors m\u0171k\u00f6d\u00e9s\u00e9vel t\u0171nik ki, lehet\u0151v\u00e9 t\u00e9ve, hogy szinte azonnal gener\u00e1ljon v\u00e1laszokat. K\u00fcl\u00f6n\u00f6sen a DBRX k\u00e9pes ak\u00e1r 150 token m\u00e1sodpercenk\u00e9nti gener\u00e1l\u00e1s\u00e1ra egy felhaszn\u00e1l\u00f3 sz\u00e1m\u00e1ra, ami k\u00f6r\u00fclbel\u00fcl k\u00e9tszer gyorsabb, mint az LLaMA2-70B modell.
<\/center>
<\/center> <\/p>\n
Fontos megjegyezni a 20, 7 \u00e9s 1.8 milli\u00e1rd param\u00e9terrel rendelkez\u0151 InternLM2 nagy ny\u00edlt nyelvi modell technikai le\u00edr\u00e1s\u00e1nak k\u00f6zz\u00e9t\u00e9tel\u00e9t, amely az Apache 2.0 licenc alatt \u00e9rhet\u0151 el. A modellt egy sanghaji mesters\u00e9ges intelligencia laborat\u00f3rium fejleszti, t\u00f6bb k\u00ednai egyetem k\u00f6zrem\u0171k\u00f6d\u00e9s\u00e9vel, \u00e9s figyelemre m\u00e9lt\u00f3, hogy 200K token kontextust k\u00e9pes figyelembe venni, valamint t\u00e1mogatja az angol \u00e9s k\u00ednai nyelvet is. Sok tesztben a modell k\u00f6zel \u00e1ll a GPT-4-hez.
<\/center>
<\/center>
<\/center> <\/p>\n
Tov\u00e1bb\u00e1 arr\u00f3l sz\u00e1molnak be, hogy 84 \u00faj m\u00e1trixszorz\u00f3 mag fejleszt\u00e9s alatt \u00e1ll a Mozilla \u00e1ltal fejlesztett llamafile eszk\u00f6zk\u00e9szlethez, amely lehet\u0151v\u00e9 teszi nagy nyelvi modellek (LLM) futtathat\u00f3 f\u00e1jlok l\u00e9trehoz\u00e1s\u00e1t. A m\u00f3dos\u00edt\u00e1sok jelent\u0151sen felgyors\u00edtott\u00e1k a llamafile-ban fut\u00f3 modellek munk\u00e1j\u00e1t CPU-n. P\u00e9ld\u00e1ul a llamafile haszn\u00e1lat\u00e1val v\u00e9gzett modellek most 30%-t\u00f3l 500%-ig gyorsabbak, mint a llama.cpp haszn\u00e1latakor az adott k\u00f6rnyezet f\u00fcggv\u00e9ny\u00e9ben, \u00e9s az MKL k\u00f6nyvt\u00e1rral \u00f6sszehasonl\u00edtva a cache-be belef\u00e9r\u0151 m\u00e1trix m\u0171veletek az \u00faj implement\u00e1ci\u00f3ban k\u00e9tszer gyorsabban hajt\u00f3dnak v\u00e9gre. \n Forr\u00e1s: opennet.ru<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"
![\"A](\"\/wp-content\/uploads\/2024\/04\/d46e64df9ccd0933e38912f561c6d137.png\")
<\/center> ![\"A](\"\/wp-content\/uploads\/2024\/04\/ab1bfbed106ba989fc5732d1424d30c5.png\")
<\/center> <\/p>\n![\"A](\"\/wp-content\/uploads\/2024\/04\/a8e99d24da8c97b82707305694061bb6.png\")
<\/center> ![\"A](\"\/wp-content\/uploads\/2024\/04\/a4b4d1a46b99ac7872a4dfd7bcf117bc.png\")
<\/center> ![\"A](\"\/wp-content\/uploads\/2024\/04\/1ee229046c62e435a286b871f08e3de4.png\")
<\/center> <\/p>\n