Msimbo wa injini ya BlazingSQL SQL umefunguliwa, kwa kutumia GPU kuongeza kasi

Imetangazwa kuhusu kufungua vyanzo vya injini ya SQL BlazingSQL, ambayo hutumia GPU kuharakisha usindikaji wa data. BlazingSQL sio DBMS kamili, lakini imewekwa kama injini ya kuchambua na kusindika seti kubwa za data, kulinganishwa katika majukumu yake na. Apache Spark. Nambari hiyo imeandikwa kwa Python na iko wazi leseni chini ya Apache 2.0.

BlazingSQL inafaa kwa kutekeleza hoja moja ya uchanganuzi kwenye seti kubwa za data (makumi ya gigabaiti) zilizohifadhiwa katika miundo ya jedwali (kwa mfano, kumbukumbu, takwimu za NetFlow, n.k.). BlazingSQL inaweza kutekeleza maswali kutoka kwa faili ghafi katika miundo ya CSV na Apache Parquet iliyopangishwa kwenye mtandao na mifumo ya faili za wingu kama vile HDSF na AWS S3, ikihamisha matokeo moja kwa moja hadi kwenye kumbukumbu ya GPU. Shukrani kwa ulinganifu wa shughuli katika GPU na utumiaji wa kumbukumbu ya video haraka, maswali ya BlazingSQL hutekelezwa kwa chini ya mara 20 haraka kuliko Apache Spark.

Kufanya kazi na GPU, seti iliyotengenezwa kwa ushiriki wa NVIDIA hutumiwa fungua maktaba UKIMWI, ambayo hukuruhusu kuunda usindikaji wa data na programu za uchanganuzi ambazo zinaendeshwa kabisa kwenye upande wa GPU (zinazotolewa na Kiolesura cha chatu kutumia viwango vya chini vya CUDA na kusawazisha mahesabu).

BlazingSQL hutoa uwezo wa kutumia SQL badala ya API za kuchakata data cuUDF (kwenye msingi Mshale wa Apache) kutumika katika RAPIDS. BlazingSQL ni safu ya ziada inayoendesha juu ya cuDF na hutumia maktaba ya cuIO kusoma data kutoka kwa diski. Hoja za SQL hutafsiriwa kuwa simu kwa vitendaji vya cuUDF, ambavyo hukuruhusu kupakia data kwenye GPU na kufanya shughuli za kuunganisha, kujumlisha na kuchuja juu yake. Uundaji wa usanidi uliosambazwa unaojumuisha maelfu ya GPU unaauniwa.

BlazingSQL hurahisisha sana kufanya kazi na data - badala ya mamia ya simu kwa vitendaji vya cuDF, unaweza kutumia swali moja la SQL. Matumizi ya SQL inafanya uwezekano wa kuunganisha RAPIDS na mifumo iliyopo ya uchanganuzi, bila kuandika wasindikaji maalum na bila kuamua upakiaji wa kati wa data kwenye DBMS ya ziada, lakini.
huku ikidumisha utangamano kamili na sehemu zote za RAPIDS, kutafsiri utendakazi uliopo kuwa SQL na kutoa utendakazi katika kiwango cha cuDF. Hii inajumuisha usaidizi wa kuunganishwa na maktaba XGBoost и cuML kwa ajili ya kutatua matatizo ya uchanganuzi na kujifunza kwa mashine.

Chanzo: opennet.ru