BlazingSQL SQL ಎಂಜಿನ್ ಕೋಡ್ ತೆರೆಯುತ್ತದೆ, ವೇಗವರ್ಧನೆಗಾಗಿ GPU ಬಳಸಿ

ಘೋಷಿಸಿದೆ SQL ಎಂಜಿನ್‌ನ ಮೂಲಗಳನ್ನು ತೆರೆಯುವ ಬಗ್ಗೆ ಬ್ಲೇಜಿಂಗ್ ಎಸ್‌ಕ್ಯೂಎಲ್, ಇದು ಡೇಟಾ ಸಂಸ್ಕರಣೆಯನ್ನು ವೇಗಗೊಳಿಸಲು GPU ಅನ್ನು ಬಳಸುತ್ತದೆ. BlazingSQL ಪೂರ್ಣ ಪ್ರಮಾಣದ DBMS ಅಲ್ಲ, ಆದರೆ ಅದರ ಕಾರ್ಯಗಳಲ್ಲಿ ಹೋಲಿಸಬಹುದಾದ ದೊಡ್ಡ ಡೇಟಾ ಸೆಟ್‌ಗಳನ್ನು ವಿಶ್ಲೇಷಿಸಲು ಮತ್ತು ಪ್ರಕ್ರಿಯೆಗೊಳಿಸಲು ಎಂಜಿನ್‌ನಂತೆ ಇರಿಸಲಾಗಿದೆ ಅಪಾಚೆ ಸ್ಪಾರ್ಕ್. ಕೋಡ್ ಅನ್ನು ಪೈಥಾನ್ ಮತ್ತು ನಲ್ಲಿ ಬರೆಯಲಾಗಿದೆ ತೆರೆದಿರುತ್ತದೆ ಅಪಾಚೆ 2.0 ಅಡಿಯಲ್ಲಿ ಪರವಾನಗಿ ಪಡೆದಿದೆ.

ಕೋಷ್ಟಕ ಸ್ವರೂಪಗಳಲ್ಲಿ ಸಂಗ್ರಹಿಸಲಾದ ದೊಡ್ಡ ಡೇಟಾ ಸೆಟ್‌ಗಳಲ್ಲಿ (ಹತ್ತಾರು ಗಿಗಾಬೈಟ್‌ಗಳು) ಏಕ ವಿಶ್ಲೇಷಣಾತ್ಮಕ ಪ್ರಶ್ನೆಗಳನ್ನು ನಿರ್ವಹಿಸಲು BlazingSQL ಸೂಕ್ತವಾಗಿದೆ (ಉದಾಹರಣೆಗೆ, ಲಾಗ್‌ಗಳು, ನೆಟ್‌ಫ್ಲೋ ಅಂಕಿಅಂಶಗಳು, ಇತ್ಯಾದಿ). BlazingSQL ನೆಟ್‌ವರ್ಕ್‌ನಲ್ಲಿ ಹೋಸ್ಟ್ ಮಾಡಲಾದ CSV ಮತ್ತು Apache Parquet ಫಾರ್ಮ್ಯಾಟ್‌ಗಳಲ್ಲಿನ ಕಚ್ಚಾ ಫೈಲ್‌ಗಳಿಂದ ಪ್ರಶ್ನೆಗಳನ್ನು ರನ್ ಮಾಡಬಹುದು ಮತ್ತು HDSF ಮತ್ತು AWS S3 ನಂತಹ ಕ್ಲೌಡ್ ಫೈಲ್ ಸಿಸ್ಟಮ್‌ಗಳಲ್ಲಿ ನೇರವಾಗಿ ಫಲಿತಾಂಶವನ್ನು GPU ಮೆಮೊರಿಗೆ ವರ್ಗಾಯಿಸುತ್ತದೆ. GPU ನಲ್ಲಿನ ಕಾರ್ಯಾಚರಣೆಗಳ ಸಮಾನಾಂತರೀಕರಣ ಮತ್ತು ವೇಗವಾದ ವೀಡಿಯೊ ಮೆಮೊರಿಯ ಬಳಕೆಗೆ ಧನ್ಯವಾದಗಳು, BlazingSQL ಪ್ರಶ್ನೆಗಳು ಕಡಿಮೆ ಸಮಯದಲ್ಲಿ ಕಾರ್ಯಗತಗೊಳ್ಳುತ್ತವೆ 20 ಬಾರಿ ಅಪಾಚೆ ಸ್ಪಾರ್ಕ್‌ಗಿಂತಲೂ ವೇಗವಾಗಿದೆ.

GPU ಗಳೊಂದಿಗೆ ಕೆಲಸ ಮಾಡಲು, NVIDIA ಭಾಗವಹಿಸುವಿಕೆಯೊಂದಿಗೆ ಅಭಿವೃದ್ಧಿಪಡಿಸಲಾದ ಒಂದು ಸೆಟ್ ಅನ್ನು ಬಳಸಲಾಗುತ್ತದೆ ತೆರೆದಿರುತ್ತದೆ ಗ್ರಂಥಾಲಯಗಳು ರಾಪಿಡ್ಸ್, ಇದು ಸಂಪೂರ್ಣವಾಗಿ GPU ಭಾಗದಲ್ಲಿ ಕಾರ್ಯನಿರ್ವಹಿಸುವ ಡೇಟಾ ಸಂಸ್ಕರಣೆ ಮತ್ತು ವಿಶ್ಲೇಷಣೆ ಅಪ್ಲಿಕೇಶನ್‌ಗಳನ್ನು ರಚಿಸಲು ನಿಮಗೆ ಅನುಮತಿಸುತ್ತದೆ (ಒದಗಿಸಿದವರು ಪೈಥಾನ್ ಇಂಟರ್ಫೇಸ್ ಕಡಿಮೆ ಮಟ್ಟದ CUDA ಮೂಲಗಳನ್ನು ಬಳಸಲು ಮತ್ತು ಲೆಕ್ಕಾಚಾರಗಳನ್ನು ಸಮಾನಾಂತರಗೊಳಿಸಲು).

ಡೇಟಾ ಸಂಸ್ಕರಣೆ API ಗಳ ಬದಲಿಗೆ SQL ಅನ್ನು ಬಳಸುವ ಸಾಮರ್ಥ್ಯವನ್ನು BlazingSQL ಒದಗಿಸುತ್ತದೆ cuUDF (ಆಧಾರದ ಮೇಲೆ ಅಪಾಚೆ ಬಾಣ) RAPIDS ನಲ್ಲಿ ಬಳಸಲಾಗಿದೆ. BlazingSQL ಒಂದು ಹೆಚ್ಚುವರಿ ಪದರವಾಗಿದ್ದು ಅದು cuDF ಮೇಲೆ ಚಲಿಸುತ್ತದೆ ಮತ್ತು ಡಿಸ್ಕ್‌ನಿಂದ ಡೇಟಾವನ್ನು ಓದಲು cuIO ಲೈಬ್ರರಿಯನ್ನು ಬಳಸುತ್ತದೆ. SQL ಪ್ರಶ್ನೆಗಳನ್ನು cuUDF ಕಾರ್ಯಗಳಿಗೆ ಕರೆಗಳಾಗಿ ಅನುವಾದಿಸಲಾಗುತ್ತದೆ, ಇದು GPU ಗೆ ಡೇಟಾವನ್ನು ಲೋಡ್ ಮಾಡಲು ಮತ್ತು ಅದರ ಮೇಲೆ ವಿಲೀನ, ಒಟ್ಟುಗೂಡಿಸುವಿಕೆ ಮತ್ತು ಫಿಲ್ಟರಿಂಗ್ ಕಾರ್ಯಾಚರಣೆಗಳನ್ನು ನಿರ್ವಹಿಸಲು ನಿಮಗೆ ಅನುಮತಿಸುತ್ತದೆ. ಸಾವಿರಾರು GPU ಗಳನ್ನು ವ್ಯಾಪಿಸಿರುವ ವಿತರಣಾ ಸಂರಚನೆಗಳ ರಚನೆಯು ಬೆಂಬಲಿತವಾಗಿದೆ.

BlazingSQL ಡೇಟಾದೊಂದಿಗೆ ಕೆಲಸ ಮಾಡುವುದನ್ನು ಹೆಚ್ಚು ಸರಳಗೊಳಿಸುತ್ತದೆ - cuDF ಕಾರ್ಯಗಳಿಗೆ ನೂರಾರು ಕರೆಗಳ ಬದಲಿಗೆ, ನೀವು ಒಂದು SQL ಪ್ರಶ್ನೆಯನ್ನು ಬಳಸಬಹುದು. SQL ನ ಬಳಕೆಯು ಅಸ್ತಿತ್ವದಲ್ಲಿರುವ ವಿಶ್ಲೇಷಣಾ ವ್ಯವಸ್ಥೆಗಳೊಂದಿಗೆ RAPIDS ಅನ್ನು ಸಂಯೋಜಿಸಲು ಸಾಧ್ಯವಾಗಿಸುತ್ತದೆ, ನಿರ್ದಿಷ್ಟ ಸಂಸ್ಕಾರಕಗಳನ್ನು ಬರೆಯದೆ ಮತ್ತು ಹೆಚ್ಚುವರಿ DBMS ಗೆ ಡೇಟಾದ ಮಧ್ಯಂತರ ಲೋಡಿಂಗ್ ಅನ್ನು ಆಶ್ರಯಿಸದೆ, ಆದರೆ
RAPIDS ನ ಎಲ್ಲಾ ಭಾಗಗಳೊಂದಿಗೆ ಸಂಪೂರ್ಣ ಹೊಂದಾಣಿಕೆಯನ್ನು ಕಾಪಾಡಿಕೊಳ್ಳುವಾಗ, ಅಸ್ತಿತ್ವದಲ್ಲಿರುವ ಕಾರ್ಯವನ್ನು SQL ಗೆ ಭಾಷಾಂತರಿಸುವುದು ಮತ್ತು cuDF ಮಟ್ಟದಲ್ಲಿ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಒದಗಿಸುವುದು. ಇದು ಗ್ರಂಥಾಲಯಗಳೊಂದಿಗೆ ಏಕೀಕರಣಕ್ಕೆ ಬೆಂಬಲವನ್ನು ಒಳಗೊಂಡಿದೆ XGBboost и cuML ವಿಶ್ಲೇಷಣೆ ಮತ್ತು ಯಂತ್ರ ಕಲಿಕೆಯ ಸಮಸ್ಯೆಗಳನ್ನು ಪರಿಹರಿಸಲು.

ಮೂಲ: opennet.ru