ත්වරණය සඳහා GPU භාවිතයෙන් BlazingSQL SQL එන්ජින් කේතය විවෘත වේ

නිවේදනය කළා SQL එන්ජිමේ මූලාශ්ර විවෘත කිරීම ගැන දැල්වීම SQL, දත්ත සැකසීම වේගවත් කිරීමට GPU භාවිතා කරයි. BlazingSQL යනු පූර්ණ-පරිපූර්ණ DBMS නොවේ, නමුත් එහි කාර්යයන් සමඟ සැසඳිය හැකි විශාල දත්ත කට්ටල විශ්ලේෂණය කිරීම සහ සැකසීම සඳහා එන්ජිමක් ලෙස ස්ථානගත කර ඇත. අපාචේ ස්පාර්ක්. කේතය Python සහ ලියා ඇත විවෘතයි Apache 2.0 යටතේ බලපත්‍ර ලබා ඇත.

වගු ආකෘතිවල ගබඩා කර ඇති විශාල දත්ත කට්ටල (ගිගාබයිට් දහයක්) මත තනි විශ්ලේෂණ විමසුම් සිදු කිරීම සඳහා BlazingSQL සුදුසු වේ (උදාහරණයක් ලෙස, ලඝු-සටහන්, NetFlow සංඛ්යා ලේඛන, ආදිය). BlazingSQL හට ජාල සහ HDSF සහ AWS S3 වැනි ක්ලවුඩ් ගොනු පද්ධතිවල CSV සහ Apache Parquet ආකෘතිවල ඇති raw files වෙතින් විමසුම් ධාවනය කළ හැක, ප්‍රතිඵලය GPU මතකයට කෙලින්ම මාරු කරයි. GPU හි මෙහෙයුම් සමාන්තරකරණය කිරීම සහ වේගවත් වීඩියෝ මතකය භාවිතයට ස්තුතිවන්ත වන්න, BlazingSQL විමසුම් වඩා අඩු කාලයකින් ක්‍රියාත්මක වේ. 20 වාරයක් Apache Spark වලට වඩා වේගවත්.

GPU සමඟ වැඩ කිරීම සඳහා, NVIDIA හි සහභාගීත්වයෙන් සංවර්ධනය කරන ලද කට්ටලයක් භාවිතා වේ විවෘත පුස්තකාල RAPIDS, එය සම්පුර්ණයෙන්ම GPU පැත්තේ ක්‍රියාත්මක වන දත්ත සැකසුම් සහ විශ්ලේෂණ යෙදුම් නිර්මාණය කිරීමට ඔබට ඉඩ සලසයි (සපයා ඇත්තේ පයිතන් අතුරුමුහුණත පහත් මට්ටමේ CUDA ප්‍රාථමික භාවිතා කිරීමට සහ ගණනය කිරීම් සමාන්තර කිරීමට).

දත්ත සැකසුම් API වෙනුවට SQL භාවිතා කිරීමේ හැකියාව BlazingSQL සපයයි cuUDF (පාදම මත Apache Arrow) RAPIDS හි භාවිතා වේ. BlazingSQL යනු cuDF මත ක්‍රියාත්මක වන අතිරේක ස්ථරයක් වන අතර තැටියෙන් දත්ත කියවීමට cuIO පුස්තකාලය භාවිතා කරයි. SQL විමසුම් cuUDF ශ්‍රිතයන් වෙත ඇමතුම් බවට පරිවර්තනය කර ඇති අතර එමඟින් ඔබට GPU වෙත දත්ත පැටවීමට සහ එය ඒකාබද්ධ කිරීම, එකතු කිරීම සහ පෙරීමේ මෙහෙයුම් සිදු කිරීමට ඉඩ සලසයි. GPU දහස් ගණනක් පුරා විහිදුනු බෙදා හරින ලද වින්‍යාසයන් නිර්මාණය කිරීමට සහය දක්වයි.

BlazingSQL දත්ත සමඟ වැඩ කිරීම බෙහෙවින් සරල කරයි - cuDF කාර්යයන් සඳහා ඇමතුම් සිය ගණනක් වෙනුවට, ඔබට එක් SQL විමසුමක් භාවිතා කළ හැකිය. SQL භාවිතය මගින් RAPIDS දැනට පවතින විශ්ලේෂණ පද්ධති සමඟ ඒකාබද්ධ කිරීමට හැකි වේ, නිශ්චිත ප්‍රොසෙසර ලිවීමකින් තොරව සහ අතිරේක DBMS වෙත දත්ත අතරමැදි පැටවීමකට යොමු නොවී, නමුත්
RAPIDS හි සියලුම කොටස් සමඟ පූර්ණ අනුකූලතාවයක් පවත්වා ගනිමින්, පවතින ක්‍රියාකාරීත්වය SQL බවට පරිවර්තනය කරමින් සහ cuDF මට්ටමින් කාර්ය සාධනය සපයයි. පුස්තකාල සමඟ ඒකාබද්ධ කිරීම සඳහා සහාය මෙයට ඇතුළත් වේ XGBoost и cuML විශ්ලේෂණ සහ යන්ත්‍ර ඉගෙනීමේ ගැටළු විසඳීම සඳහා.

මූලාශ්රය: opennet.ru