ത്വരിതപ്പെടുത്തുന്നതിന് GPU ഉപയോഗിച്ച് BlazingSQL SQL എഞ്ചിൻ കോഡ് തുറന്നിരിക്കുന്നു

പ്രഖ്യാപിച്ചു SQL എഞ്ചിന്റെ ഉറവിടങ്ങൾ തുറക്കുന്നതിനെക്കുറിച്ച് ജ്വലിക്കുന്ന എസ്‌ക്യുഎൽ, ഡാറ്റ പ്രോസസ്സിംഗ് വേഗത്തിലാക്കാൻ GPU ഉപയോഗിക്കുന്നു. BlazingSQL ഒരു പൂർണ്ണമായ DBMS അല്ല, എന്നാൽ വലിയ ഡാറ്റാ സെറ്റുകൾ വിശകലനം ചെയ്യുന്നതിനും പ്രോസസ്സ് ചെയ്യുന്നതിനുമുള്ള ഒരു എഞ്ചിനായിട്ടാണ് ഇത് സ്ഥാപിച്ചിരിക്കുന്നത്, അതിന്റെ ടാസ്ക്കുകളിൽ താരതമ്യപ്പെടുത്താവുന്നതാണ്. അപ്പാച്ചെ സ്പാർക്ക്. കോഡ് പൈത്തണിലും എഴുതിയിരിക്കുന്നു തുറക്കുക അപ്പാച്ചെ 2.0 പ്രകാരം ലൈസൻസ്.

ടാബുലർ ഫോർമാറ്റുകളിൽ (ഉദാഹരണത്തിന്, ലോഗുകൾ, നെറ്റ്ഫ്ലോ സ്ഥിതിവിവരക്കണക്കുകൾ മുതലായവ) സംഭരിച്ചിരിക്കുന്ന വലിയ ഡാറ്റാ സെറ്റുകളിൽ (പതിനായിരക്കണക്കിന് ജിഗാബൈറ്റുകൾ) സിംഗിൾ അനലിറ്റിക്കൽ അന്വേഷണങ്ങൾ നടത്താൻ BlazingSQL അനുയോജ്യമാണ്. നെറ്റ്‌വർക്കിൽ ഹോസ്റ്റ് ചെയ്‌തിരിക്കുന്ന CSV, Apache Parquet ഫോർമാറ്റുകളിലെയും HDSF, AWS S3 പോലുള്ള ക്ലൗഡ് ഫയൽ സിസ്റ്റങ്ങളിലെയും റോ ഫയലുകളിൽ നിന്നുള്ള ചോദ്യങ്ങൾ പ്രവർത്തിപ്പിക്കാൻ BlazingSQL-ന് കഴിയും, ഫലം നേരിട്ട് GPU മെമ്മറിയിലേക്ക് കൈമാറുന്നു. ജിപിയുവിലെ പ്രവർത്തനങ്ങളുടെ സമാന്തരവൽക്കരണത്തിനും വേഗതയേറിയ വീഡിയോ മെമ്മറിയുടെ ഉപയോഗത്തിനും നന്ദി, BlazingSQL അന്വേഷണങ്ങൾ കുറഞ്ഞ സമയത്തിനുള്ളിൽ പ്രവർത്തിക്കുന്നു. 20 തവണ അപ്പാച്ചെ സ്പാർക്കിനേക്കാൾ വേഗത.

GPU-കളിൽ പ്രവർത്തിക്കാൻ, NVIDIA-യുടെ പങ്കാളിത്തത്തോടെ വികസിപ്പിച്ച ഒരു സെറ്റ് ഉപയോഗിക്കുന്നു തുറക്കുക ലൈബ്രറികൾ ദ്രുതഗതിയിലുള്ളത്, ഇത് പൂർണ്ണമായും ജിപിയു വശത്ത് പ്രവർത്തിക്കുന്ന ഡാറ്റ പ്രോസസ്സിംഗും അനലിറ്റിക്സ് ആപ്ലിക്കേഷനുകളും സൃഷ്ടിക്കാൻ നിങ്ങളെ അനുവദിക്കുന്നു (നൽകുന്നത് പൈത്തൺ ഇന്റർഫേസ് ലോ-ലെവൽ CUDA പ്രാകൃതങ്ങൾ ഉപയോഗിക്കാനും കണക്കുകൂട്ടലുകൾ സമാന്തരമാക്കാനും).

ഡാറ്റ പ്രോസസ്സിംഗ് API-കൾക്ക് പകരം SQL ഉപയോഗിക്കാനുള്ള കഴിവ് BlazingSQL നൽകുന്നു cuUDF (അടിസ്ഥാനത്തിൽ അപ്പാച്ചെ അമ്പടയാളം) RAPIDS-ൽ ഉപയോഗിക്കുന്നു. cuDF-ന് മുകളിൽ പ്രവർത്തിക്കുന്ന ഒരു അധിക പാളിയാണ് BlazingSQL, ഡിസ്കിൽ നിന്നുള്ള ഡാറ്റ വായിക്കാൻ cuIO ലൈബ്രറി ഉപയോഗിക്കുന്നു. SQL അന്വേഷണങ്ങൾ cuUDF ഫംഗ്‌ഷനുകളിലേക്കുള്ള കോളുകളായി വിവർത്തനം ചെയ്യപ്പെടുന്നു, ഇത് ജിപിയുവിലേക്ക് ഡാറ്റ ലോഡുചെയ്യാനും അതിൽ ലയിപ്പിക്കാനും കൂട്ടിച്ചേർക്കാനും ഫിൽട്ടറിംഗ് പ്രവർത്തനങ്ങൾ നടത്താനും നിങ്ങളെ അനുവദിക്കുന്നു. ആയിരക്കണക്കിന് GPU-കളിൽ വ്യാപിച്ചുകിടക്കുന്ന ഡിസ്ട്രിബ്യൂഡ് കോൺഫിഗറേഷനുകൾ സൃഷ്ടിക്കുന്നത് പിന്തുണയ്ക്കുന്നു.

BlazingSQL ഡാറ്റയുമായി പ്രവർത്തിക്കുന്നത് വളരെ ലളിതമാക്കുന്നു - cuDF ഫംഗ്‌ഷനുകളിലേക്കുള്ള നൂറുകണക്കിന് കോളുകൾക്ക് പകരം, നിങ്ങൾക്ക് ഒരു SQL അന്വേഷണം ഉപയോഗിക്കാം. നിർദ്ദിഷ്ട പ്രോസസ്സറുകൾ എഴുതാതെയും ഒരു അധിക ഡിബിഎംഎസിലേക്ക് ഡാറ്റയുടെ ഇന്റർമീഡിയറ്റ് ലോഡിംഗ് അവലംബിക്കാതെയും നിലവിലുള്ള അനലിറ്റിക്‌സ് സിസ്റ്റങ്ങളുമായി RAPIDS സംയോജിപ്പിക്കുന്നത് SQL-ന്റെ ഉപയോഗം സാധ്യമാക്കുന്നു, പക്ഷേ
RAPIDS-ന്റെ എല്ലാ ഭാഗങ്ങളുമായും പൂർണ്ണമായ അനുയോജ്യത നിലനിർത്തിക്കൊണ്ട്, നിലവിലുള്ള പ്രവർത്തനം SQL-ലേക്ക് വിവർത്തനം ചെയ്യുകയും cuDF തലത്തിൽ പ്രകടനം നൽകുകയും ചെയ്യുന്നു. ലൈബ്രറികളുമായുള്ള സംയോജനത്തിനുള്ള പിന്തുണ ഇതിൽ ഉൾപ്പെടുന്നു XGBoost и cuML അനലിറ്റിക്സ്, മെഷീൻ ലേണിംഗ് എന്നിവയുടെ പ്രശ്നങ്ങൾ പരിഹരിക്കുന്നതിന്.

അവലംബം: opennet.ru