โปรโฮสต์ > บล็อก > ข่าวทางอินเทอร์เน็ต > รหัสเอ็นจิ้น BlazingSQL SQL เปิดขึ้นโดยใช้ GPU เพื่อการเร่งความเร็ว

รหัสเอ็นจิ้น BlazingSQL SQL เปิดขึ้นโดยใช้ GPU เพื่อการเร่งความเร็ว

ประกาศ เกี่ยวกับการเปิดแหล่งที่มาของเอ็นจิ้น SQL BlazingSQLซึ่งใช้ GPU เพื่อเร่งการประมวลผลข้อมูล BlazingSQL ไม่ใช่ DBMS เต็มรูปแบบ แต่ถูกวางตำแหน่งเป็นเครื่องมือสำหรับการวิเคราะห์และประมวลผลชุดข้อมูลขนาดใหญ่ ซึ่งเทียบเคียงได้กับงานของ BlazingSQL Apache Spark. รหัสนี้เขียนด้วยภาษา Python และ เปิดอยู่ ได้รับอนุญาตภายใต้ Apache 2.0

BlazingSQL เหมาะสำหรับการสืบค้นเชิงวิเคราะห์เดี่ยวบนชุดข้อมูลขนาดใหญ่ (หลายสิบกิกะไบต์) ที่จัดเก็บไว้ในรูปแบบตาราง (เช่น บันทึก สถิติ NetFlow ฯลฯ) BlazingSQL สามารถเรียกใช้การสืบค้นจากไฟล์ Raw ในรูปแบบ CSV และ Apache Parquet ที่โฮสต์บนเครือข่ายและระบบไฟล์บนคลาวด์ เช่น HDSF และ AWS S3 โดยถ่ายโอนผลลัพธ์ไปยังหน่วยความจำ GPU โดยตรง ต้องขอบคุณการทำงานแบบขนานใน GPU และการใช้หน่วยความจำวิดีโอที่เร็วขึ้น การสืบค้น BlazingSQL จึงดำเนินการได้ในเวลาน้อยกว่า 20 คูณ เร็วกว่า Apache Spark

รหัสเอ็นจิ้น BlazingSQL SQL เปิดขึ้นโดยใช้ GPU เพื่อการเร่งความเร็ว

ในการทำงานกับ GPU จะใช้ชุดที่พัฒนาโดยการมีส่วนร่วมของ NVIDIA เปิด ห้องสมุด RAPIDSซึ่งช่วยให้คุณสร้างแอปพลิเคชันการประมวลผลข้อมูลและการวิเคราะห์ที่ทำงานบนฝั่ง GPU ทั้งหมดได้ (จัดทำโดย อินเตอร์เฟซหลาม เพื่อใช้พื้นฐาน CUDA ระดับต่ำและการคำนวณแบบขนาน)

BlazingSQL ให้ความสามารถในการใช้ SQL แทน API การประมวลผลข้อมูล cuUDF (บนฐาน อาปาเช่ ลูกศร) ใช้ใน RAPIDS BlazingSQL เป็นเลเยอร์เพิ่มเติมที่ทำงานบน cuDF และใช้ไลบรารี cuIO เพื่ออ่านข้อมูลจากดิสก์ แบบสอบถาม SQL ได้รับการแปลเป็นการเรียกฟังก์ชัน cuUDF ซึ่งช่วยให้คุณสามารถโหลดข้อมูลลงใน GPU และดำเนินการผสาน การรวม และการกรองได้ รองรับการสร้างการกำหนดค่าแบบกระจายซึ่งครอบคลุม GPU นับพันตัว

BlazingSQL ช่วยให้ทำงานกับข้อมูลได้ง่ายขึ้นมาก - แทนที่จะต้องเรียกฟังก์ชัน cuDF หลายร้อยครั้ง คุณสามารถใช้แบบสอบถาม SQL เดียวได้ การใช้ SQL ทำให้สามารถรวม RAPIDS เข้ากับระบบการวิเคราะห์ที่มีอยู่ได้โดยไม่ต้องเขียนโปรเซสเซอร์เฉพาะและไม่ต้องอาศัยการโหลดข้อมูลระดับกลางลงใน DBMS เพิ่มเติม แต่
ในขณะที่ยังคงความเข้ากันได้อย่างสมบูรณ์กับทุกส่วนของ RAPIDS แปลฟังก์ชันการทำงานที่มีอยู่เป็น SQL และมอบประสิทธิภาพในระดับ cuDF ซึ่งรวมถึงการสนับสนุนสำหรับการผสานรวมกับไลบรารี XGBoost и คิวML สำหรับการแก้ปัญหาด้านการวิเคราะห์และการเรียนรู้ของเครื่อง

ที่มา: opennet.ru

เพิ่มความคิดเห็น