Databricks هڪ وڏي ٻولي ماڊل جي دريافت جو اعلان ڪيو، DBRX، جيڪو چيٽ بوٽس ٺاهڻ لاء استعمال ڪري سگهجي ٿو جيڪي قدرتي ٻولي ۾ سوالن جا جواب، تجويز ڪيل رياضياتي مسئلا حل ڪري، ڏنل موضوع تي مواد ٺاهي سگهن ٿا، ۽ مختلف پروگرامنگ ٻولين ۾ ڪوڊ ٺاهي سگھن ٿا. ماڊل Mosaic ML پاران تيار ڪيو ويو، جيڪو Databricks پاران 1.3 بلين ڊالر ۾ حاصل ڪيو ويو. 3072 NVIDIA H100 Tensor Core GPUs جو ڪلستر ٽريننگ لاءِ استعمال ڪيو ويو. مڪمل ٿيل ماڊل کي هلائڻ لاء، 320GB ياداشت جي سفارش ڪئي وئي آهي.
جڏهن ماڊل کي تربيت ڏني وئي، MoE (ماهرن جو مرکب) آرڪيٽيڪچر استعمال ڪيو ويو، جيڪو وڌيڪ صحيح ماهر تشخيص حاصل ڪرڻ جي اجازت ڏئي ٿو، ۽ نصوص ۽ ڪوڊ جو مجموعو 12 Tb ماپ ڪري ٿو. DBRX ماڊل جي حساب سان حساب ۾ ورتو ويو آهي 32 هزار ٽوڪن (ٽوڪن جو تعداد جيڪو ماڊل پروسيس ڪري سگهي ٿو ۽ ياد رکڻ وقت ٽيڪسٽ ٺاهي ٿي). مقابلي لاءِ، گوگل جيميني ۽ OpenAI GPT-4 ماڊل جي حوالي سان ماپ 32 هزار ٽوڪن آهي، گوگل گيما 8 هزار آهي، ۽ GPT-4 ٽربو ماڊل 128 هزار آهي.
ماڊل 132 بلين پيٽرولرن تي مشتمل آهي ۽ 16 ماهر نيٽ ورڪن ۾ ورهايل آهي، جن مان 4 کان وڌيڪ استعمال نٿا ڪري سگهجن جڏهن درخواست تي عمل ڪيو وڃي (هر ٽوڪن لاء 36 بلين پيرا ميٽر کان وڌيڪ نه ڍڪي). مقابلي لاءِ، GPT-4 ماڊل ۾ 1.76 ٽريلين پيرا ميٽر شامل آهن، تازو کوليو ويو X/Twitter ماڊل Grok (X/Twitter) - 314 بلين، GPT-3.5 - 175 بلين، YaLM (Yandex) - 100 بلين، LLaMA (Meta) - 65 بلين، گيگا چيٽ (Sber) - 29 بلين، Gemma (Google) - 7 بلين.
ماڊل ۽ لاڳاپيل جزا Databricks Open Model License تحت لائسنس يافته آهن، جيڪي استعمال ڪرڻ، ٻيهر پيدا ڪرڻ، نقل ڪرڻ، ترميم ڪرڻ، ۽ نڪتل ڪم جي اجازت ڏين ٿا، پر ڪجهه پابندين سان. مثال طور، لائسنس DBRX جي استعمال کي منع ڪري ٿو، ان جي نڪتل ماڊلز، ۽ ڪنهن به پيداوار جي بنياد تي DBRX کان سواء ٻين ٻولين جي ماڊل کي بهتر ڪرڻ لاء. لائسنس انهن علائقن ۾ ماڊل جي استعمال کي به منع ڪري ٿو جيڪي قانون ۽ ضابطن جي ڀڃڪڙي ڪن ٿا. نڪتل ماڊلز کي ساڳئي لائسنس تحت ورهايو وڃي. جڏهن هر مهيني 700 ملين کان وڌيڪ صارفين طرفان استعمال ڪيل پروڊڪٽس ۽ خدمتن ۾ استعمال ڪيو ويندو آهي، هڪ الڳ اجازت نامي جي ضرورت هوندي آهي.
ماڊل جي تخليق ڪندڙن جي مطابق، ان جي خاصيتن ۽ صلاحيتن ۾، ڊي بي آر ايڪس GPT-3.5 ماڊل کان مٿانهون آهي OpenAI کان ۽ Grok-1 Twitter کان، ۽ Gemini 1.0 Pro ماڊل سان مقابلو ڪري سگهي ٿو جڏهن ٻولي سمجھڻ جي درجي کي جانچيندي، پروگرامنگ ٻولين ۾ ڪوڊ لکڻ ۽ رياضياتي مسئلن کي حل ڪرڻ جي صلاحيت. ڪجھ ايپليڪيشنن ۾، جهڙوڪ SQL سوالن کي پيدا ڪرڻ، ڊي بي آرڪس مارڪيٽ جي معروف GPT-4 ٽربو جي ڪارڪردگي کي نظر انداز ڪري ٿو. ان کان علاوه، ماڊل ان جي تمام تيز آپريشن ۾ مقابلي واري خدمتن کان مختلف آهي ۽ توهان کي تقريبا فوري طور تي جواب پيدا ڪرڻ جي اجازت ڏئي ٿو. خاص طور تي، ڊي بي آرڪس ٽيڪسٽ ٺاهي سگھي ٿو 150 ٽوڪن في سيڪنڊ في صارف جي شرح تي، جيڪا LLaMA2-70B ماڊل جي ڀيٽ ۾ تقريبن ٻه ڀيرا تيز آهي.
اضافي طور تي، اسان کليل وڏي ٻولي ماڊل جي ٽيڪنيڪل وضاحت جي اشاعت کي نوٽ ڪري سگهون ٿا InternLM2، جيڪو Apache 2.0 لائسنس جي تحت ورهايو ويو آهي ۽ 20، 7 ۽ 1.8 بلين پيٽرولن سان نسخن ۾ موجود آهي. ماڊل ڪيترن ئي چيني يونيورسٽين جي شموليت سان شنگھائي آرٽيفيشل انٽيليجنس ليبارٽري پاران تيار ڪيو پيو وڃي ۽ 200K حوالي سان ٽوڪن جي حساب سان ۽ نه رڳو انگريزي، پر چيني پڻ سپورٽ ڪرڻ لاءِ قابل ذڪر آهي. ڪيترن ئي تجربن ۾ ماڊل GPT-4 جي ويجهو آهي.
ان کان علاوه، اهو ٻڌايو ويو آهي ته 84 نوان ميٽرڪس ضرب ڪرڻ وارا ڪنيلز Mozilla جي لاما فائل ٽول ڪٽ لاءِ ٺاهيا پيا وڃن، جيڪي وڏي مشين سکيا واري ٻولي ماڊلز (LLMs) کي هلائڻ لاءِ يونيورسل ايگزيڪيوٽوبلز ٺاهڻ جي اجازت ڏين ٿا. تبديلين ان کي ممڪن بڻائي ڇڏيو ته ماڊل جي آپريشن کي خاص طور تي تيز ڪرڻ لاما فائل ۾ جڏهن سي پي يو تي عمل ڪيو وڃي. مثال طور، ماڊل ايگزيڪيوشن جڏهن llamafile استعمال ڪرڻ وقت llama.cpp استعمال ڪندي 30% کان 500% تائين ماحول جي لحاظ کان وڌيڪ تيز آهي، ۽ MKL لائبريري جي مقابلي ۾، ميٽرڪس آپريشنز جيڪي L2 ڪيش ۾ فٽ ٿين ٿا اهي ٻه ڀيرا تيز ٿين ٿا. نئون نفاذ.
جو ذريعو: opennet.ru
