DuckDB 0.6.0 പ്രസിദ്ധീകരിച്ചു, അനലിറ്റിക്കൽ ചോദ്യങ്ങൾക്കുള്ള SQLite ഓപ്ഷൻ

DuckDB 0.6.0 DBMS-ന്റെ പ്രകാശനം ലഭ്യമാണ്, SQLite-ന്റെ കോംപാക്റ്റ്‌നെസ്, എംബഡഡ് ലൈബ്രറിയുടെ രൂപത്തിൽ കണക്റ്റുചെയ്യാനുള്ള കഴിവ്, ഡാറ്റാബേസ് ഒരു ഫയലിൽ സൂക്ഷിക്കുക, ഒരു സൗകര്യപ്രദമായ CLI ഇന്റർഫേസ്, ടൂളുകളും ഒപ്റ്റിമൈസേഷനുകളും സഹിതം. സംഭരിച്ച ഡാറ്റയുടെ ഒരു പ്രധാന ഭാഗം ഉൾക്കൊള്ളുന്ന വിശകലന അന്വേഷണങ്ങൾ, ഉദാഹരണത്തിന് പട്ടികകളിലെ മുഴുവൻ ഉള്ളടക്കങ്ങളും സമാഹരിക്കുക അല്ലെങ്കിൽ നിരവധി വലിയ പട്ടികകൾ ലയിപ്പിക്കുക. എംഐടി ലൈസൻസിന് കീഴിലാണ് പദ്ധതി കോഡ് വിതരണം ചെയ്യുന്നത്. സംഭരണ ​​ഫോർമാറ്റ് ഇതുവരെ സ്ഥിരപ്പെടുത്താത്തതിനാലും പതിപ്പിൽ നിന്ന് പതിപ്പിലേക്ക് മാറുന്നതിനാലും വികസനം ഇപ്പോഴും പരീക്ഷണാത്മക പതിപ്പുകൾ രൂപീകരിക്കുന്ന ഘട്ടത്തിലാണ്.

വളരെ സങ്കീർണ്ണവും സമയമെടുക്കുന്നതുമായ ചോദ്യങ്ങൾ കൈകാര്യം ചെയ്യുന്നതിനുള്ള അധിക കഴിവുകൾ ഉൾപ്പെടുന്ന ഒരു വിപുലമായ SQL ഭാഷ DuckDB നൽകുന്നു. സങ്കീർണ്ണമായ തരങ്ങളുടെ (അറേകൾ, ഘടനകൾ, യൂണിയനുകൾ) ഉപയോഗവും ഏകപക്ഷീയവും നെസ്റ്റഡ് കോറിലേറ്റിംഗ് സബ്ക്വറികൾ എക്സിക്യൂട്ട് ചെയ്യാനുള്ള കഴിവും പിന്തുണയ്ക്കുന്നു. CSV, Parquet ഫയലുകളിൽ നിന്ന് നേരിട്ട് ചോദ്യങ്ങൾ പ്രവർത്തിപ്പിക്കുന്ന, ഒരേസമയം ഒന്നിലധികം അന്വേഷണങ്ങൾ പ്രവർത്തിപ്പിക്കുന്നതിനെ ഇത് പിന്തുണയ്ക്കുന്നു. PostgreSQL DBMS-ൽ നിന്ന് ഇറക്കുമതി ചെയ്യാൻ സാധിക്കും.

SQLite-ൽ നിന്നുള്ള ഷെൽ കോഡിന് പുറമേ, പ്രോജക്റ്റ് ഒരു പ്രത്യേക ലൈബ്രറിയിൽ PostgreSQL-ൽ നിന്നുള്ള ഒരു പാർസർ ഉപയോഗിക്കുന്നു, MonetDB-യിൽ നിന്നുള്ള തീയതി കണക്ക് ഘടകം, വിൻഡോ ഫംഗ്‌ഷനുകളുടെ സ്വന്തം നിർവ്വഹണം (സെഗ്‌മെന്റ് ട്രീ അഗ്രഗേഷൻ അൽഗോരിതം അടിസ്ഥാനമാക്കി), ഇത് അടിസ്ഥാനമാക്കിയുള്ള ഒരു സാധാരണ എക്‌സ്‌പ്രഷൻ പ്രോസസർ. RE2 ലൈബ്രറി, സ്വന്തം ക്വറി ഒപ്റ്റിമൈസർ, ഒരു MVCC കൺട്രോൾ മെക്കാനിസം എന്നിവ ഒരേസമയം ടാസ്‌ക്കുകളുടെ നിർവ്വഹണം (മൾട്ടി-വേർഷൻ കൺകറൻസി കൺട്രോൾ), അതുപോലെ തന്നെ ഹൈപ്പർ പൈപ്പ്ലൈനിംഗ് ക്വറി എക്‌സിക്യൂഷൻ അൽഗോരിതം അടിസ്ഥാനമാക്കിയുള്ള വെക്‌ടറൈസ്ഡ് ക്വറി എക്‌സിക്യൂഷൻ എഞ്ചിൻ, ഇത് വലിയ സെറ്റ് മൂല്യങ്ങൾ അനുവദിക്കുന്നു. ഒരു ഓപ്പറേഷനിൽ ഒരേസമയം പ്രോസസ്സ് ചെയ്യണം.

പുതിയ പതിപ്പിലെ മാറ്റങ്ങളിൽ:

• സ്റ്റോറേജ് ഫോർമാറ്റ് മെച്ചപ്പെടുത്തുന്നതിനുള്ള പ്രവർത്തനം തുടർന്നു. ഒരു ശുഭാപ്തിവിശ്വാസമുള്ള ഡിസ്ക് റൈറ്റിംഗ് മോഡ് നടപ്പിലാക്കി, അതിൽ ഒരു ഇടപാടിൽ ഒരു വലിയ കൂട്ടം ഡാറ്റ ലോഡ് ചെയ്യുമ്പോൾ, COMMIT കമാൻഡ് ഉപയോഗിച്ച് ഇടപാട് സ്ഥിരീകരിക്കുന്നത് വരെ കാത്തിരിക്കാതെ, ഡാറ്റ കംപ്രസ് ചെയ്യുകയും സ്ട്രീമിംഗ് മോഡിൽ ഡാറ്റാബേസിൽ നിന്ന് ഒരു ഫയലിലേക്ക് എഴുതുകയും ചെയ്യുന്നു. . ഒരു COMMIT കമാൻഡ് ലഭിക്കുമ്പോൾ, ഡാറ്റ ഇതിനകം ഡിസ്കിലേക്ക് എഴുതിയിരിക്കുന്നു, കൂടാതെ ഒരു ROLLBACK എക്സിക്യൂട്ട് ചെയ്യുമ്പോൾ, അത് നിരസിക്കപ്പെടും. മുമ്പ്, ഡാറ്റ ആദ്യം മെമ്മറിയിലേക്ക് പൂർണ്ണമായും സംരക്ഷിച്ചു, കൂടാതെ അത് പ്രതിജ്ഞാബദ്ധമായപ്പോൾ അത് ഡിസ്കിലേക്ക് സംരക്ഷിക്കപ്പെട്ടു.
• വ്യത്യസ്ത ടേബിളുകളിലേക്ക് ഡാറ്റ സമാന്തരമായി ലോഡുചെയ്യുന്നതിനുള്ള പിന്തുണ ചേർത്തു, ഇത് മൾട്ടി-കോർ സിസ്റ്റങ്ങളിൽ ലോഡിംഗ് വേഗത ഗണ്യമായി വർദ്ധിപ്പിക്കാൻ നിങ്ങളെ അനുവദിക്കുന്നു. ഉദാഹരണത്തിന്, മുൻ പതിപ്പിൽ, 150-കോർ സിപിയുവിൽ 10 ദശലക്ഷം വരികളുള്ള ഒരു ഡാറ്റാബേസ് ലോഡ് ചെയ്യാൻ 91 സെക്കൻഡ് എടുത്തു, എന്നാൽ പുതിയ പതിപ്പിൽ ഈ പ്രവർത്തനം 17 സെക്കൻഡിനുള്ളിൽ പൂർത്തിയാകും. രണ്ട് സമാന്തര ലോഡിംഗ് മോഡുകൾ ഉണ്ട് - റെക്കോർഡുകളുടെ ക്രമം സംരക്ഷിക്കുന്നതും ഓർഡർ സംരക്ഷിക്കാതെയും.
• ഡാറ്റ കംപ്രഷനായി, FSST (ഫാസ്റ്റ് സ്റ്റാറ്റിക് സിംബൽ ടേബിൾ) അൽഗോരിതം ഉപയോഗിക്കുന്നു, ഇത് സാധാരണ പൊരുത്തങ്ങളുടെ ഒരു പൊതു നിഘണ്ടു ഉപയോഗിച്ച് സ്ട്രിംഗുകൾക്കുള്ളിൽ ഡാറ്റ പാക്ക് ചെയ്യാൻ നിങ്ങളെ അനുവദിക്കുന്നു. പുതിയ അൽഗോരിതം ഉപയോഗിക്കുന്നത് ടെസ്റ്റ് ഡാറ്റാബേസിന്റെ വലുപ്പം 761MB-ൽ നിന്ന് 251MB ആയി കുറയ്ക്കാൻ സാധ്യമാക്കി.
• ഫ്ലോട്ടിംഗ് പോയിന്റ് നമ്പറുകൾ (ഇരട്ട, ഫ്ലോട്ട്) കംപ്രസ്സുചെയ്യാൻ ചിമ്പ്, പാറ്റാസ് അൽഗോരിതങ്ങൾ നിർദ്ദേശിക്കപ്പെട്ടിരിക്കുന്നു. മുമ്പത്തെ ഗൊറില്ല അൽഗോരിതവുമായി താരതമ്യപ്പെടുത്തുമ്പോൾ, ചിമ്പ് ഉയർന്ന തലത്തിലുള്ള കംപ്രഷനും വേഗത്തിലുള്ള ഡീകംപ്രഷനും നൽകുന്നു. കംപ്രഷൻ അനുപാതത്തിൽ Patas അൽഗോരിതം ചിമ്പിനേക്കാൾ പിന്നിലാണ്, എന്നാൽ കംപ്രഷൻ വേഗതയിൽ വളരെ വേഗതയുള്ളതാണ്, ഇത് കംപ്രഷൻ ചെയ്യാത്ത ഡാറ്റ വായിക്കുന്നതിൽ നിന്ന് ഏറെക്കുറെ വ്യത്യസ്തമല്ല.
• CSV ഫയലുകളിൽ നിന്ന് ഒന്നിലധികം സമാന്തര സ്ട്രീമുകളിലേക്ക് ഡാറ്റ ലോഡ് ചെയ്യുന്നതിനുള്ള ഒരു പരീക്ഷണാത്മക കഴിവ് ചേർത്തു (SET experimental_parallel_csv=true), ഇത് വലിയ CSV ഫയലുകൾ ലോഡ് ചെയ്യാൻ എടുക്കുന്ന സമയം ഗണ്യമായി കുറയ്ക്കുന്നു. ഉദാഹരണത്തിന്, ഈ ഓപ്‌ഷൻ പ്രവർത്തനക്ഷമമാക്കിയപ്പോൾ, 720 MB CSV ഫയലിന്റെ ഡൗൺലോഡ് സമയം 3.5 ൽ നിന്ന് 0.6 സെക്കൻഡായി കുറച്ചു.
• ഇൻഡക്‌സ് സൃഷ്‌ടിയുടെയും മാനേജ്‌മെന്റ് പ്രവർത്തനങ്ങളുടെയും സമാന്തര നിർവ്വഹണത്തിനുള്ള സാധ്യത നടപ്പിലാക്കി. ഉദാഹരണത്തിന്, 16 ദശലക്ഷം റെക്കോർഡുകളുള്ള ഒരു നിരയിലെ CREATE INDEX പ്രവർത്തനം 5.92 ൽ നിന്ന് 1.38 സെക്കൻഡായി കുറച്ചു.
• "COUNT(DISTINCT col)" എന്ന എക്‌സ്‌പ്രഷൻ അടങ്ങുന്ന അന്വേഷണങ്ങളിലെ അഗ്രഗേഷൻ പ്രവർത്തനങ്ങളുടെ സമാന്തരവൽക്കരണം പ്രവർത്തനക്ഷമമാക്കി.
• SQL UNION തരത്തിന് പിന്തുണ ചേർത്തു, ഇത് ഒന്നിലധികം തരങ്ങളെ ഒരു ഘടകത്തിലേക്ക് ബന്ധിപ്പിക്കാൻ അനുവദിക്കുന്നു (ഉദാഹരണത്തിന്, "UNION(num INT, പിശക് VARCHAR))").
• "SELECT" എന്നതിനുപകരം "FROM" എന്ന വാക്കിൽ ആരംഭിക്കുന്ന അന്വേഷണങ്ങൾ രൂപപ്പെടുത്താനുള്ള കഴിവ് SQL നൽകുന്നു. ഈ സാഹചര്യത്തിൽ, "SELECT *" എന്നതിൽ അന്വേഷണം ആരംഭിക്കുമെന്ന് അനുമാനിക്കപ്പെടുന്നു.
• SQL, COLUMNS എക്‌സ്‌പ്രഷനുള്ള പിന്തുണ ചേർത്തിട്ടുണ്ട്, ഇത് എക്‌സ്‌പ്രഷൻ തനിപ്പകർപ്പാക്കാതെ തന്നെ ഒന്നിലധികം നിരകളിൽ ഒരു പ്രവർത്തനം നടത്താൻ നിങ്ങളെ അനുവദിക്കുന്നു. ഉദാഹരണത്തിന്, "obs-ൽ നിന്ന് MIN(നിരകൾ(*)) തിരഞ്ഞെടുക്കുക;" ഒബ്‌സ് ടേബിളിലെ ഓരോ നിരയ്ക്കും MIN ഫംഗ്‌ഷൻ എക്‌സിക്യൂട്ട് ചെയ്യാനും, "ഒബ്‌സിൽ നിന്ന് കോളം തിരഞ്ഞെടുക്കുക('val[0-9]+');" "val" ഉം നമ്പറുകളും അടങ്ങുന്ന പേരുള്ള നിരകൾക്കായി.
• ലിസ്‌റ്റുകളിലെ പ്രവർത്തനങ്ങൾക്കുള്ള പിന്തുണ ചേർത്തു, ഉദാഹരണത്തിന്, “തിരഞ്ഞെടുക്കുക [x + 1 for x in [1, 2, 3]] AS l;”.
• മെമ്മറി ഉപഭോഗം ഒപ്റ്റിമൈസ് ചെയ്തു. ഡിഫോൾട്ടായി, ലിനക്സ് പ്ലാറ്റ്ഫോം മെമ്മറി മാനേജ്മെന്റിനായി jemalloc ലൈബ്രറി ഉപയോഗിക്കുന്നു. മെമ്മറി പരിമിതമായിരിക്കുമ്പോൾ ഹാഷ് ലയിപ്പിക്കുന്ന പ്രവർത്തനങ്ങളുടെ പ്രകടനം ഗണ്യമായി മെച്ചപ്പെടുത്തി.
• ടെർമിനൽ വിൻഡോയുടെ വീതി കണക്കിലെടുത്ത് മധ്യ നിരകൾ നിരസിക്കുന്ന കമാൻഡ് ലൈൻ ഇന്റർഫേസിലേക്ക് “.mode duckbox” ഔട്ട്‌പുട്ട് മോഡ് ചേർത്തു (“SELECT * പോലുള്ള ധാരാളം നിരകളുള്ള അന്വേഷണങ്ങളുടെ ഫലങ്ങൾ വേഗത്തിൽ വിലയിരുത്തുന്നതിന് അനുയോജ്യം tbl" ൽ നിന്ന്, ഇത് സാധാരണ മോഡിൽ നിരവധി വരികളിൽ വ്യാപിച്ചിരിക്കുന്നു). ".maxrows X" പാരാമീറ്റർ ഉപയോഗിച്ച്, നിങ്ങൾക്ക് പ്രദർശിപ്പിക്കുന്ന വരികളുടെ എണ്ണം പരിമിതപ്പെടുത്താം.
• സന്ദർഭം (കീവേഡുകൾ, പട്ടിക നാമങ്ങൾ, ഫംഗ്‌ഷനുകൾ, കോളം നാമങ്ങൾ, ഫയൽ നാമങ്ങൾ എന്നിവയുടെ ഇൻപുട്ട് പൂർത്തിയായി) കണക്കിലെടുത്ത് ഇൻപുട്ടിന്റെ സ്വയം പൂർത്തീകരണം CLI നൽകുന്നു.
• ഡിഫോൾട്ടായി പ്രവർത്തനക്ഷമമാക്കിയ ഒരു അന്വേഷണ പുരോഗതി സൂചകം CLI-ൽ ഉണ്ട്.

അവലംബം: opennet.ru