БлазингСКЛ СКЛ код мотора отворен, користећи ГПУ за убрзање

Најавио о отварању извора СКЛ машине БлазингСКЛ, који користи ГПУ да убрза обраду података. БлазингСКЛ није пуноправни ДБМС, али је позициониран као механизам за анализу и обраду великих скупова података, упоредив по својим задацима са Апацхе Спарк. Код је написан у Пајтону и је отворен лиценциран под Апацхе 2.0.

БлазингСКЛ је погодан за обављање појединачних аналитичких упита на великим скуповима података (десетине гигабајта) ускладиштеним у табеларним форматима (на пример, евиденције, НетФлов статистика, итд.). БлазингСКЛ може да покреће упите из необрађених датотека у ЦСВ и Апацхе Паркует форматима који се налазе на мрежним и клауд системима датотека као што су ХДСФ и АВС С3, директно преносећи резултат у ГПУ меморију. Захваљујући паралелизацији операција у ГПУ-у и коришћењу брже видео меморије, БлазингСКЛ упити се извршавају за мање од КСНУМКС пута бржи од Апацхе Спарк-а.

За рад са ГПУ-има користи се сет развијен уз учешће НВИДИА-е отворен библиотеке РАПИДС, који вам омогућава да креирате апликације за обраду података и аналитику које се у потпуности покрећу на страни ГПУ-а (обезбеђује Питхон интерфејс да користи ЦУДА примитиве ниског нивоа и паралелизује прорачуне).

БлазингСКЛ пружа могућност коришћења СКЛ-а уместо АПИ-ја за обраду података цуУДФ (на бази Апацхе Арров) који се користи у РАПИДС-у. БлазингСКЛ је додатни слој који ради на врху цуДФ-а и користи цуИО библиотеку за читање података са диска. СКЛ упити се преводе у позиве цуУДФ функцијама, које вам омогућавају да учитате податке у ГПУ и извршите операције спајања, агрегације и филтрирања на њима. Подржано је креирање дистрибуираних конфигурација које обухватају хиљаде ГПУ-а.

БлазингСКЛ у великој мери поједностављује рад са подацима – уместо стотина позива цуДФ функцијама, можете користити један СКЛ упит. Употреба СКЛ-а омогућава интеграцију РАПИДС-а са постојећим аналитичким системима, без писања специфичних процесора и без прибегавања посредном учитавању података у додатни ДБМС, али
уз одржавање пуне компатибилности са свим деловима РАПИДС-а, превођење постојеће функционалности у СКЛ и обезбеђивање перформанси на цуДФ нивоу. Ово укључује подршку за интеграцију са библиотекама КСГБоост и цуМЛ за решавање проблема аналитике и машинског учења.

Извор: опеннет.ру