BlazingSQL SQL ইঞ্জিন কোড খোলা, ত্বরণের জন্য GPU ব্যবহার করে

ঘোষণা করেছে এসকিউএল ইঞ্জিনের উত্স খোলার বিষয়ে ব্লেজিং এসকিউএল, যা ডেটা প্রক্রিয়াকরণের গতি বাড়াতে GPU ব্যবহার করে। BlazingSQL একটি পূর্ণাঙ্গ DBMS নয়, কিন্তু বৃহৎ ডেটা সেট বিশ্লেষণ ও প্রক্রিয়াকরণের জন্য একটি ইঞ্জিন হিসেবে অবস্থান করা হয়, যা এর কাজগুলির সাথে তুলনীয়। আপা স্পার্ক. কোডটি পাইথনে লেখা আছে এবং খোলা Apache 2.0 এর অধীনে লাইসেন্সপ্রাপ্ত।

ব্লেজিংএসকিউএল ট্যাবুলার ফরম্যাটে (যেমন, লগ, নেটফ্লো পরিসংখ্যান ইত্যাদি) সংরক্ষিত বড় ডেটা সেটে (দশ গিগাবাইট) একক বিশ্লেষণাত্মক প্রশ্ন করার জন্য উপযুক্ত। BlazingSQL CSV এবং Apache Parquet ফরম্যাটে কাঁচা ফাইল থেকে প্রশ্ন চালাতে পারে এবং HDSF এবং AWS S3-এর মতো ক্লাউড ফাইল সিস্টেমে হোস্ট করা হয়, ফলাফল সরাসরি GPU মেমরিতে স্থানান্তর করে। জিপিইউতে ক্রিয়াকলাপগুলির সমান্তরালকরণ এবং দ্রুত ভিডিও মেমরি ব্যবহারের জন্য ধন্যবাদ, ব্লেজিংএসকিউএল কোয়েরিগুলি এর চেয়ে কম সময়ে কার্যকর হয় 20 বার Apache Spark এর চেয়ে দ্রুত।

GPU-এর সাথে কাজ করার জন্য, NVIDIA-এর অংশগ্রহণে তৈরি একটি সেট ব্যবহার করা হয় খোলা লাইব্রেরি রেপিডস, যা আপনাকে ডেটা প্রসেসিং এবং অ্যানালিটিক্স অ্যাপ্লিকেশন তৈরি করতে দেয় যা সম্পূর্ণভাবে GPU পাশ দিয়ে চলে (প্রদত্ত পাইথন ইন্টারফেস নিম্ন-স্তরের CUDA আদিম ব্যবহার করতে এবং গণনাকে সমান্তরাল করতে)।

BlazingSQL ডেটা প্রসেসিং API-এর পরিবর্তে SQL ব্যবহার করার ক্ষমতা প্রদান করে cuUDF (বেসে অ্যাপাচি তীর) RAPIDS এ ব্যবহৃত। BlazingSQL হল একটি অতিরিক্ত স্তর যা cuDF এর উপরে চলে এবং ডিস্ক থেকে ডেটা পড়ার জন্য cuIO লাইব্রেরি ব্যবহার করে। SQL কোয়েরিগুলি cuUDF ফাংশনে কলে অনুবাদ করা হয়, যা আপনাকে GPU-তে ডেটা লোড করতে এবং এতে মার্জ, অ্যাগ্রিগেশন এবং ফিল্টারিং অপারেশন করতে দেয়। হাজার হাজার জিপিইউতে বিস্তৃত বিতরণকৃত কনফিগারেশন তৈরি করা সমর্থিত।

BlazingSQL ডেটার সাথে কাজ করাকে ব্যাপকভাবে সহজ করে - cuDF ফাংশনে শত শত কলের পরিবর্তে, আপনি একটি SQL কোয়েরি ব্যবহার করতে পারেন। এসকিউএল-এর ব্যবহার নির্দিষ্ট প্রসেসর না লিখে এবং অতিরিক্ত DBMS-এ ডেটার মধ্যবর্তী লোডিং অবলম্বন না করে বিদ্যমান অ্যানালিটিক্স সিস্টেমের সাথে RAPIDS সংহত করা সম্ভব করে, কিন্তু
RAPIDS-এর সমস্ত অংশের সাথে সম্পূর্ণ সামঞ্জস্য বজায় রাখার সময়, বিদ্যমান কার্যকারিতা SQL-এ অনুবাদ করে এবং cuDF স্তরে কর্মক্ষমতা প্রদান করে। এটি লাইব্রেরির সাথে একীকরণের জন্য সমর্থন অন্তর্ভুক্ত করে এক্সজিবিস্ট и cuML বিশ্লেষণ এবং মেশিন লার্নিং সমস্যা সমাধানের জন্য।

উত্স: opennet.ru