BlazingSQL SQL קוד מנוע פתוח, משתמש ב-GPU להאצה

הוכרז על פתיחת המקורות של מנוע ה-SQL BlazingSQL, המשתמש ב-GPU כדי להאיץ את עיבוד הנתונים. BlazingSQL אינו DBMS מלא, אלא ממוקם כמנוע לניתוח ועיבוד מערכי נתונים גדולים, הדומה במשימותיו ל- אפאצ 'י ספארק. הקוד כתוב ב- Python ו פתוח מורשה תחת Apache 2.0.

BlazingSQL מתאים לביצוע שאילתות אנליטיות בודדות על מערכי נתונים גדולים (עשרות גיגה-בייט) המאוחסנים בפורמטים טבלאיים (לדוגמה, יומנים, סטטיסטיקות NetFlow וכו'). BlazingSQL יכול להריץ שאילתות מקבצים גולמיים בפורמטים של CSV ו- Apache Parquet המתארחים במערכות קבצים ברשת ובענן כמו HDSF ו-AWS S3, תוך העברה ישירה של התוצאה לזיכרון GPU. הודות להקבילה של פעולות ב-GPU והשימוש בזיכרון וידאו מהיר יותר, שאילתות BlazingSQL מבוצעות תוך פחות מ- 20 פעמים מהיר יותר מאפאצ'י ספארק.

כדי לעבוד עם GPUs, נעשה שימוש בסט שפותח בהשתתפות NVIDIA לִפְתוֹחַ ספריות אֶשֶׁד, המאפשר לך ליצור יישומי עיבוד נתונים וניתוח שפועלים לחלוטין בצד ה-GPU (מסופק על ידי ממשק Python להשתמש בפרימיטיבים של CUDA ברמה נמוכה ולהקביל חישובים).

BlazingSQL מספק את היכולת להשתמש ב-SQL במקום ממשקי API לעיבוד נתונים cuUDF (על הבסיס חץ אפאצ'י) בשימוש ב-RAPIDS. BlazingSQL היא שכבה נוספת הפועלת על גבי cuDF ומשתמשת בספריית cuIO כדי לקרוא נתונים מהדיסק. שאילתות SQL מתורגמות לקריאות לפונקציות cuUDF, המאפשרות לטעון נתונים לתוך ה-GPU ולבצע בו פעולות מיזוג, צבירה וסינון. יצירת תצורות מבוזרות המשתרעות על פני אלפי GPUs נתמכת.

BlazingSQL מפשט מאוד את העבודה עם נתונים - במקום מאות קריאות לפונקציות cuDF, אתה יכול להשתמש בשאילתת SQL אחת. השימוש ב-SQL מאפשר לשלב RAPIDS עם מערכות אנליטיקה קיימות, ללא כתיבת מעבדים ספציפיים ומבלי להזדקק לטעינה ביניים של נתונים ל-DBMS נוסף, אך
תוך שמירה על תאימות מלאה לכל חלקי RAPIDS, תרגום פונקציונליות קיימת ל-SQL ומתן ביצועים ברמת cuDF. זה כולל תמיכה באינטגרציה עם ספריות XGBoost и cuML לפתרון בעיות של אנליטיקה ולמידת מכונה.

מקור: OpenNet.ru