DuckDB 0.6.0, વિશ્લેષણાત્મક પ્રશ્નો માટે SQLite વેરિઅન્ટ પ્રકાશિત

ડકડીબી 0.6.0 ડીબીએમએસ રીલીઝ ઉપલબ્ધ છે, જેમાં કોમ્પેક્ટનેસ, એમ્બેડેડ લાઇબ્રેરીના રૂપમાં કનેક્ટ કરવાની ક્ષમતા, ડેટાબેઝને એક ફાઇલમાં સંગ્રહિત કરવા અને વિશ્લેષણાત્મક ક્વેરીઝ કરવા માટેના સાધનો અને ઑપ્ટિમાઇઝેશન સાથે અનુકૂળ CLI ઇન્ટરફેસ જેવા SQLite ગુણધર્મોને જોડીને ઉપલબ્ધ છે. સંગ્રહિત ડેટાના નોંધપાત્ર ભાગને આવરી લે છે, ઉદાહરણ તરીકે, જે કોષ્ટકોની સંપૂર્ણ સામગ્રીનું એકત્રીકરણ કરે છે અથવા ઘણા મોટા કોષ્ટકોને મર્જ કરે છે. પ્રોજેક્ટ કોડ MIT લાયસન્સ હેઠળ વિતરિત કરવામાં આવે છે. વિકાસ હજુ પણ પ્રાયોગિક પ્રકાશનો બનાવવાના તબક્કે છે, કારણ કે રીપોઝીટરી ફોર્મેટ હજુ સુધી સ્થિર થયું નથી અને સંસ્કરણથી સંસ્કરણમાં બદલાય છે.

ડકડીબી એ SQL ભાષાની વિસ્તૃત બોલી પ્રદાન કરે છે જેમાં ખૂબ જ જટિલ અને લાંબા સમયથી ચાલતી ક્વેરીઝને હેન્ડલ કરવા માટે વધારાની ક્ષમતાઓનો સમાવેશ થાય છે. તે જટિલ પ્રકારો (એરે, સ્ટ્રક્ચર્સ, યુનિયન) ના ઉપયોગ અને મનસ્વી અને નેસ્ટેડ સહસંબંધિત સબક્વેરીઝને ચલાવવાની ક્ષમતાને સમર્થન આપે છે. બહુવિધ ક્વેરીઝના એક સાથે એક્ઝેક્યુશન, CSV અને Parquet ફોર્મેટમાં ફાઇલોમાંથી સીધા જ ક્વેરીઝના અમલને સપોર્ટ કરે છે. PostgreSQL DBMS માંથી આયાત કરવું શક્ય છે.

SQLite ના શેલ કોડ ઉપરાંત, પ્રોજેક્ટ PostgreSQL ના પાર્સરનો ઉપયોગ કરે છે, એક અલગ લાઇબ્રેરીમાં ખસેડવામાં આવે છે, મોનેટડીબીમાંથી તારીખ ગણિત ઘટક, વિન્ડો ફંક્શન્સનું પોતાનું અમલીકરણ (સેગમેન્ટ ટ્રી એકત્રીકરણ અલ્ગોરિધમ પર આધારિત), નિયમિત અભિવ્યક્તિ પ્રોસેસર. RE2 લાઇબ્રેરી પર આધારિત, તેનું પોતાનું ક્વેરી ઑપ્ટિમાઇઝર, MVCC કંટ્રોલ મિકેનિઝમ એક સાથે કાર્યોનું એક્ઝેક્યુશન (મલ્ટિ-વર્ઝન કન્કરન્સી કંટ્રોલ), તેમજ હાયપર-પાઇપલાઇનિંગ ક્વેરી એક્ઝેક્યુશન અલ્ગોરિધમ પર આધારિત વેક્ટરાઇઝ્ડ ક્વેરી એક્ઝિક્યુશન એન્જિન, જે મોટા સેટની પ્રક્રિયાને મંજૂરી આપે છે. એક કામગીરીમાં એક જ સમયે મૂલ્યો.

નવા પ્રકાશનમાં ફેરફારો પૈકી:

• સ્ટોરેજ ફોર્મેટ સુધારવા પર કામ ચાલુ રાખ્યું. એક આશાવાદી ડિસ્ક રાઇટ મોડ લાગુ કરવામાં આવ્યો છે, જેમાં જ્યારે એક વ્યવહારમાં મોટો ડેટા સેટ લોડ કરવામાં આવે છે, ત્યારે COMMIT આદેશ દ્વારા ટ્રાન્ઝેક્શનની પુષ્ટિ થાય તેની રાહ જોયા વિના ડેટાને સંકુચિત કરીને ડેટાબેઝમાંથી ફાઇલમાં સ્ટ્રીમ કરવામાં આવે છે. COMMIT આદેશના આગમન દરમિયાન, ડેટા પહેલેથી જ ડિસ્ક પર લખાયેલ છે, અને જ્યારે ROLLBACK ચલાવવામાં આવે છે, ત્યારે તે કાઢી નાખવામાં આવે છે. પહેલાં, ડેટા શરૂઆતમાં સંપૂર્ણપણે મેમરીમાં સંગ્રહિત થતો હતો, અને જ્યારે પ્રતિબદ્ધ હોય, ત્યારે તે ડિસ્કમાં સાચવવામાં આવતો હતો.
• અલગ કોષ્ટકોમાં ડેટાના સમાંતર લોડિંગ માટે સપોર્ટ ઉમેરવામાં આવ્યો છે, જે મલ્ટી-કોર સિસ્ટમ્સ પર લોડિંગ ઝડપને નોંધપાત્ર રીતે વધારી શકે છે. ઉદાહરણ તરીકે, અગાઉના પ્રકાશનમાં, 150-કોર CPU પર 10 મિલિયન પંક્તિઓ સાથેના ડેટાબેઝને લોડ કરવામાં 91 સેકન્ડનો સમય લાગ્યો, અને નવા સંસ્કરણમાં, આ કામગીરીમાં 17 સેકન્ડનો સમય લાગે છે. સમાંતર લોડિંગના બે મોડ્સ છે - રેકોર્ડના ઓર્ડરની જાળવણી સાથે અને ઓર્ડરની જાળવણી વિના.
• ડેટા કમ્પ્રેશન માટે, FSST (ફાસ્ટ સ્ટેટિક સિમ્બોલ ટેબલ) અલ્ગોરિધમનો ઉપયોગ કરવામાં આવે છે, જે તમને ટાઇપ મેચોના સામાન્ય શબ્દકોશનો ઉપયોગ કરીને પંક્તિઓની અંદર ડેટા પેક કરવાની મંજૂરી આપે છે. નવા અલ્ગોરિધમના ઉપયોગથી ટેસ્ટ ડેટાબેઝનું કદ 761MB થી 251MB સુધી ઘટાડવાનું શક્ય બન્યું.
• ફ્લોટિંગ પોઈન્ટ નંબર્સ (ડબલ અને ફ્લોટ) સંકુચિત કરવા માટે, ચિમ્પ અને પટાસ અલ્ગોરિધમ્સ પ્રસ્તાવિત છે. અગાઉના ગોરિલા એલ્ગોરિધમની તુલનામાં, ચિમ્પ ઉચ્ચ સ્તરનું કમ્પ્રેશન અને ઝડપી ડિકમ્પ્રેશન પ્રદાન કરે છે. પટાસ એલ્ગોરિધમ કમ્પ્રેશનની દ્રષ્ટિએ ચિમ્પથી પાછળ છે, પરંતુ ડીકોમ્પ્રેશન સ્પીડમાં નોંધપાત્ર રીતે ઝડપી છે, જે લગભગ બિનસંકુચિત ડેટા વાંચવા જેટલું જ છે.
• CSV ફાઇલોમાંથી ડેટાને ઘણી સમાંતર સ્ટ્રીમ્સમાં લોડ કરવાની પ્રાયોગિક ક્ષમતા ઉમેરવામાં આવી છે (SET experimental_parallel_csv=true), જે મોટી CSV ફાઇલોના લોડ સમયને નોંધપાત્ર રીતે ઘટાડે છે. ઉદાહરણ તરીકે, જ્યારે વિકલ્પ સક્ષમ કરવામાં આવ્યો હતો, ત્યારે 720 MB ની CSV ફાઇલનો ડાઉનલોડ સમય 3.5 થી ઘટાડીને 0.6 સેકન્ડ કરવામાં આવ્યો હતો.
• સૂચકાંકો બનાવવા અને મેનેજ કરવા માટે કામગીરીના સમાંતર અમલીકરણની શક્યતા અમલમાં મૂકવામાં આવી છે. ઉદાહરણ તરીકે, 16 મિલિયન રેકોર્ડ્સ સાથેની કૉલમ પર CREATE INDEX ઑપરેશનનો અમલ 5.92 થી ઘટાડીને 1.38 સેકન્ડ કરવામાં આવ્યો હતો.
• "COUNT(DISTINCT col)" અભિવ્યક્તિ ધરાવતી ક્વેરીઝમાં એકત્રીકરણ કામગીરીનું સમાંતર પ્રદાન કરવામાં આવ્યું છે.
• UNION પ્રકાર માટે આધાર SQL માં ઉમેરવામાં આવ્યો છે, જે એક જ તત્વ સાથે બહુવિધ પ્રકારોને બંધાયેલા રહેવાની મંજૂરી આપે છે (ઉદાહરણ તરીકે, "UNION(num INT, error VARCHAR))".
• SQL "SELECT" ને બદલે "FROM" શબ્દથી શરૂ થતી ક્વેરીઝ જનરેટ કરવાની ક્ષમતા પ્રદાન કરે છે. આ કિસ્સામાં, એવું માનવામાં આવે છે કે ક્વેરી "SELECT *" થી શરૂ થાય છે.
• SQL માં "COLUMNS" અભિવ્યક્તિ માટે ઉમેરાયેલ સમર્થન, તમને અભિવ્યક્તિની નકલ કર્યા વિના બહુવિધ કૉલમ્સ પર ઑપરેશન કરવા દે છે. ઉદાહરણ તરીકે, "obs માંથી MIN(COLUMNS(*)) પસંદ કરો;" obs કોષ્ટકમાં દરેક કૉલમ માટે MIN ફંક્શન ચલાવવાનું કારણ બનશે અને "obs માંથી COLUMNS('val[0-9]+') પસંદ કરો;" "val" અને નંબરો ધરાવતા નામ સાથેના કૉલમ માટે.
• સૂચિ કામગીરી માટે ઉમેરાયેલ સમર્થન, જેમ કે "સિલેક્ટ [x + 1 for x in [1, 2, 3]] AS l;".
• ઑપ્ટિમાઇઝ મેમરી વપરાશ. Linux પ્લેટફોર્મ પર મૂળભૂત રીતે, jemalloc લાઇબ્રેરીનો ઉપયોગ મેમરી મેનેજમેન્ટ માટે થાય છે. જ્યારે મેમરી મર્યાદિત હોય ત્યારે હેશ મર્જ ઑપરેશનના પ્રદર્શનમાં નોંધપાત્ર સુધારો થયો.
• CLI માં ".mode duckbox" આઉટપુટ મોડ ઉમેર્યો, ટર્મિનલ વિન્ડોની પહોળાઈની રેખાઓ પર આધારિત મધ્યમ કૉલમ કાઢી નાખ્યો). ".maxrows X" પેરામીટરનો ઉપયોગ કરીને, તમે વધુમાં આઉટપુટ પંક્તિઓની સંખ્યાને મર્યાદિત કરી શકો છો.
• CLI સંદર્ભને ધ્યાનમાં રાખીને ઇનપુટ ઓટો-કમ્પ્લીશન પ્રદાન કરે છે (કીવર્ડ્સ, ટેબલના નામો, ફંક્શન્સ, કૉલમ નામો અને ફાઇલના નામોનું ઇનપુટ પૂર્ણ થયું છે).
• ક્વેરી પ્રોગ્રેસ ઈન્ડિકેટર પ્રદર્શિત કરવા માટે CLI મૂળભૂત રીતે સક્ષમ છે.

સોર્સ: opennet.ru