Отворен е кодот на моторот BlazingSQL SQL, користејќи графички процесор за забрзување

Објавено за отворање на изворите на моторот SQL BlazingSQL, кој го користи графичкиот процесор за забрзување на обработката на податоците. BlazingSQL не е полноправна DBMS, туку е позиционирана како мотор за анализа и обработка на големи збирки податоци, споредливи во неговите задачи со Apache Spark. Кодот е напишан во Python и е отворена лиценциран под Apache 2.0.

BlazingSQL е погоден за извршување на единечни аналитички прашања на големи збирки податоци (десетици гигабајти) складирани во табеларни формати (на пример, дневници, статистика на NetFlow итн.). BlazingSQL може да извршува барања од необработени датотеки во формати CSV и Apache Parquet хостирани на мрежни и облак датотечни системи како HDSF и AWS S3, директно пренесувајќи го резултатот во меморијата на графичкиот процесор. Благодарение на паралелизацијата на операциите во графичкиот процесор и употребата на побрза видео меморија, барањата во BlazingSQL се вршат до 20 пати побрз од Apache Spark.

За работа со графички процесори, се користи сет развиен со учество на NVIDIA отворени библиотеки РАПИДИ, кој ви овозможува да креирате апликации за обработка на податоци и аналитика кои работат целосно на страната на графичкиот процесор (обезбедено од Пајтон интерфејс да користи CUDA примитиви на ниско ниво и да ги паралелизира пресметките).

BlazingSQL обезбедува можност за користење SQL наместо API за обработка на податоци cuUDF (на основата Апачи стрелка) се користи во RAPIDS. BlazingSQL е дополнителен слој што работи на врвот на cuDF и ја користи библиотеката cuIO за читање податоци од дискот. SQL-пребарувањата се преведени во повици до функциите cuUDF, кои ви дозволуваат да вчитате податоци во графичкиот процесор и да извршите операции за спојување, собирање и филтрирање на него. Поддржано е создавање на дистрибуирани конфигурации што опфаќаат илјадници графички процесори.

BlazingSQL во голема мера ја поедноставува работата со податоци - наместо стотици повици до функциите cuDF, можете да користите едно барање SQL. Употребата на SQL овозможува интегрирање на RAPIDS со постоечките аналитички системи, без пишување специфични процесори и без прибегнување кон средно вчитување на податоци во дополнителен DBMS, но
додека одржува целосна компатибилност со сите делови на RAPIDS, преведувајќи ја постоечката функционалност во SQL и обезбедува перформанси на ниво на cuDF. Ова вклучува поддршка за интеграција со библиотеки XGBoost и cuML за решавање проблеми на аналитика и машинско учење.

Извор: opennet.ru