પ્રવેગક માટે GPU નો ઉપયોગ કરીને BlazingSQL SQL એન્જિન કોડ ખુલે છે

જાહેરાત કરી SQL એન્જિનના સ્ત્રોતો ખોલવા વિશે બ્લેઝિંગ એસક્યુએલ, જે ડેટા પ્રોસેસિંગને ઝડપી બનાવવા માટે GPU નો ઉપયોગ કરે છે. BlazingSQL એ સંપૂર્ણ સુવિધાયુક્ત DBMS નથી, પરંતુ તે મોટા ડેટા સેટનું વિશ્લેષણ અને પ્રક્રિયા કરવા માટે એક એન્જિન તરીકે સ્થિત છે, જે તેના કાર્યોમાં તુલનાત્મક છે. અપાચે સ્પાર્ક. કોડ Python અને માં લખાયેલ છે ખુલ્લું છે Apache 2.0 હેઠળ લાઇસન્સ.

બ્લેઝિંગએસક્યુએલ ટેબ્યુલર ફોર્મેટમાં સંગ્રહિત મોટા ડેટા સેટ્સ (દસ ગીગાબાઇટ્સ) પર એકલ વિશ્લેષણાત્મક ક્વેરી કરવા માટે યોગ્ય છે (ઉદાહરણ તરીકે, લોગ્સ, નેટફ્લો આંકડા, વગેરે). BlazingSQL નેટવર્ક અને HDSF અને AWS S3 જેવી ક્લાઉડ ફાઇલ સિસ્ટમ્સ પર હોસ્ટ કરેલ CSV અને Apache Parquet ફોર્મેટમાં કાચી ફાઇલોમાંથી ક્વેરી ચલાવી શકે છે, જે પરિણામને સીધા GPU મેમરીમાં સ્થાનાંતરિત કરે છે. GPU માં કામગીરીના સમાંતરીકરણ અને ઝડપી વિડિયો મેમરીનો ઉપયોગ કરવા બદલ આભાર, BlazingSQL ક્વેરીઝ કરતાં ઓછા સમયમાં એક્ઝિક્યુટ થાય છે. 20 વખત અપાચે સ્પાર્ક કરતાં ઝડપી.

GPUs સાથે કામ કરવા માટે, NVIDIA ની ભાગીદારી સાથે વિકસિત સમૂહનો ઉપયોગ કરવામાં આવે છે ખુલ્લા પુસ્તકાલયો રેપિડ્સ, જે તમને ડેટા પ્રોસેસિંગ અને એનાલિટિક્સ એપ્લિકેશન્સ બનાવવાની મંજૂરી આપે છે જે સંપૂર્ણપણે GPU બાજુ પર ચાલે છે (આના દ્વારા પ્રદાન કરવામાં આવે છે. પાયથોન ઈન્ટરફેસ નિમ્ન-સ્તરના CUDA આદિમનો ઉપયોગ કરવા અને ગણતરીઓને સમાંતર બનાવવા માટે).

BlazingSQL ડેટા પ્રોસેસિંગ API ને બદલે SQL નો ઉપયોગ કરવાની ક્ષમતા પ્રદાન કરે છે cuUDF (આધાર પર અપાચે એરો) RAPIDS માં વપરાય છે. BlazingSQL એ એક વધારાનું સ્તર છે જે cuDF ની ટોચ પર ચાલે છે અને ડિસ્કમાંથી ડેટા વાંચવા માટે cuIO લાઇબ્રેરીનો ઉપયોગ કરે છે. SQL ક્વેરીઝને cuUDF ફંક્શન્સના કૉલ્સમાં અનુવાદિત કરવામાં આવે છે, જે તમને GPU માં ડેટા લોડ કરવાની અને તેના પર મર્જ, એકત્રીકરણ અને ફિલ્ટરિંગ ઑપરેશન કરવા દે છે. હજારો GPU માં ફેલાયેલા વિતરિત રૂપરેખાંકનોનું નિર્માણ સપોર્ટેડ છે.

BlazingSQL ડેટા સાથે કામ કરવાનું ખૂબ જ સરળ બનાવે છે - cuDF ફંક્શન પર સેંકડો કૉલ્સને બદલે, તમે એક SQL ક્વેરીનો ઉપયોગ કરી શકો છો. SQL નો ઉપયોગ ચોક્કસ પ્રોસેસર લખ્યા વિના અને વધારાના DBMS માં ડેટાના મધ્યવર્તી લોડિંગનો આશરો લીધા વિના, હાલની એનાલિટિક્સ સિસ્ટમ્સ સાથે RAPIDS ને એકીકૃત કરવાનું શક્ય બનાવે છે, પરંતુ
RAPIDS ના તમામ ભાગો સાથે સંપૂર્ણ સુસંગતતા જાળવી રાખીને, હાલની કાર્યક્ષમતાને SQL માં અનુવાદિત કરીને અને cuDF સ્તર પર પ્રદર્શન પ્રદાન કરો. આમાં લાઇબ્રેરીઓ સાથે એકીકરણ માટે સપોર્ટનો સમાવેશ થાય છે XGBoost и cuML એનાલિટિક્સ અને મશીન લર્નિંગની સમસ્યાઓ ઉકેલવા માટે.

સોર્સ: opennet.ru