កូដម៉ាស៊ីន BlazingSQL SQL បើក ដោយប្រើ GPU សម្រាប់ការបង្កើនល្បឿន

បានប្រកាស អំពីការបើកប្រភពនៃម៉ាស៊ីន SQL BlazingSQLដែលប្រើ GPU ដើម្បីបង្កើនល្បឿនដំណើរការទិន្នន័យ។ BlazingSQL មិនមែនជា DBMS ពេញលេញទេ ប៉ុន្តែត្រូវបានដាក់ជាម៉ាស៊ីនសម្រាប់វិភាគ និងដំណើរការសំណុំទិន្នន័យធំៗ ដែលអាចប្រៀបធៀបបានក្នុងកិច្ចការរបស់វា Apache Spark. កូដត្រូវបានសរសេរជា Python និង បើក មានអាជ្ញាប័ណ្ណក្រោម Apache 2.0 ។

BlazingSQL គឺសមរម្យសម្រាប់ការអនុវត្តសំណួរវិភាគតែមួយលើសំណុំទិន្នន័យធំ (រាប់សិបជីហ្គាបៃ) ដែលរក្សាទុកក្នុងទម្រង់តារាង (ឧទាហរណ៍ កំណត់ហេតុ ស្ថិតិ NetFlow ។ល។)។ BlazingSQL អាចដំណើរការសំណួរពីឯកសារឆៅក្នុងទម្រង់ CSV និង Apache Parquet ដែលបង្ហោះនៅលើបណ្តាញ និងប្រព័ន្ធឯកសារពពកដូចជា HDSF និង AWS S3 ដោយផ្ទេរលទ្ធផលដោយផ្ទាល់ទៅអង្គចងចាំ GPU ។ សូមអរគុណដល់ភាពស្របគ្នានៃប្រតិបត្តិការនៅក្នុង GPU និងការប្រើប្រាស់អង្គចងចាំវីដេអូលឿនជាងមុន សំណួរនៅក្នុង BlazingSQL ត្រូវបានអនុវត្តរហូតដល់ 20 ដង លឿនជាង Apache Spark ។

ដើម្បីធ្វើការជាមួយ GPU សំណុំដែលត្រូវបានបង្កើតឡើងដោយមានការចូលរួមពី NVIDIA ត្រូវបានប្រើ បើក បណ្ណាល័យ រហ័សដែលអនុញ្ញាតឱ្យអ្នកបង្កើតដំណើរការទិន្នន័យ និងកម្មវិធីវិភាគដែលដំណើរការទាំងស្រុងលើផ្នែក GPU (ផ្តល់ដោយ ចំណុចប្រទាក់ Python ដើម្បីប្រើ CUDA primitives កម្រិតទាប និងការគណនាស្របគ្នា) ។

BlazingSQL ផ្តល់លទ្ធភាពប្រើប្រាស់ SQL ជំនួសឱ្យ APIs ដំណើរការទិន្នន័យ cuUDF (នៅលើមូលដ្ឋាន ព្រួញអាប៉ាច) ប្រើក្នុង RAPIDS ។ BlazingSQL គឺជាស្រទាប់បន្ថែមដែលដំណើរការនៅផ្នែកខាងលើនៃ cuDF ហើយប្រើបណ្ណាល័យ cuIO ដើម្បីអានទិន្នន័យពីថាស។ សំណួរ SQL ត្រូវបានបកប្រែទៅជាការហៅទៅកាន់មុខងារ cuUDF ដែលអនុញ្ញាតឱ្យអ្នកផ្ទុកទិន្នន័យទៅក្នុង GPU និងអនុវត្តប្រតិបត្តិការបញ្ចូលគ្នា ការប្រមូលផ្តុំ និងត្រងនៅលើវា។ ការបង្កើតការកំណត់រចនាសម្ព័ន្ធចែកចាយដែលលាតសន្ធឹងរាប់ពាន់ GPUs ត្រូវបានគាំទ្រ។

BlazingSQL សម្រួលការងារជាមួយទិន្នន័យយ៉ាងច្រើន - ជំនួសឱ្យការហៅរាប់រយទៅកាន់មុខងារ cuDF អ្នកអាចប្រើ SQL query មួយ។ ការប្រើប្រាស់ SQL ធ្វើឱ្យវាអាចរួមបញ្ចូល RAPIDS ជាមួយប្រព័ន្ធវិភាគដែលមានស្រាប់ ដោយមិនចាំបាច់សរសេរ processors ជាក់លាក់ និងដោយមិនងាកទៅរកការផ្ទុកទិន្នន័យកម្រិតមធ្យមទៅក្នុង DBMS បន្ថែមទេ ប៉ុន្តែ
ខណៈពេលដែលរក្សាបាននូវភាពឆបគ្នាពេញលេញជាមួយនឹងផ្នែកទាំងអស់នៃ RAPIDS បកប្រែមុខងារដែលមានស្រាប់ទៅជា SQL និងផ្តល់នូវការអនុវត្តនៅកម្រិត cuDF ។ នេះរួមបញ្ចូលទាំងការគាំទ្រសម្រាប់ការរួមបញ្ចូលជាមួយបណ្ណាល័យ XGBoost и cuML សម្រាប់ដោះស្រាយបញ្ហានៃការវិភាគ និងការរៀនម៉ាស៊ីន។

ប្រភព: opennet.ru