DuckDB 0.6.0 DBMS ನ ಬಿಡುಗಡೆಯು ಲಭ್ಯವಿರುತ್ತದೆ, SQLite ನ ಅಂತಹ ಗುಣಲಕ್ಷಣಗಳನ್ನು ಕಾಂಪ್ಯಾಕ್ಟ್‌ನೆಸ್, ಎಂಬೆಡೆಡ್ ಲೈಬ್ರರಿಯ ರೂಪದಲ್ಲಿ ಸಂಪರ್ಕಿಸುವ ಸಾಮರ್ಥ್ಯ, ಡೇಟಾಬೇಸ್ ಅನ್ನು ಒಂದು ಫೈಲ್‌ನಲ್ಲಿ ಸಂಗ್ರಹಿಸುವುದು ಮತ್ತು ಅನುಕೂಲಕರ CLI ಇಂಟರ್ಫೇಸ್, ಉಪಕರಣಗಳು ಮತ್ತು ಕಾರ್ಯಗತಗೊಳಿಸಲು ಆಪ್ಟಿಮೈಸೇಶನ್‌ಗಳೊಂದಿಗೆ ಸಂಗ್ರಹಿಸಲಾದ ಡೇಟಾದ ಗಮನಾರ್ಹ ಭಾಗವನ್ನು ಒಳಗೊಂಡಿರುವ ವಿಶ್ಲೇಷಣಾತ್ಮಕ ಪ್ರಶ್ನೆಗಳು, ಉದಾಹರಣೆಗೆ ಕೋಷ್ಟಕಗಳ ಸಂಪೂರ್ಣ ವಿಷಯಗಳನ್ನು ಒಟ್ಟುಗೂಡಿಸುತ್ತದೆ ಅಥವಾ ಹಲವಾರು ದೊಡ್ಡ ಕೋಷ್ಟಕಗಳನ್ನು ವಿಲೀನಗೊಳಿಸುತ್ತದೆ. ಯೋಜನೆಯ ಕೋಡ್ ಅನ್ನು MIT ಪರವಾನಗಿ ಅಡಿಯಲ್ಲಿ ವಿತರಿಸಲಾಗಿದೆ. ಶೇಖರಣಾ ಸ್ವರೂಪವನ್ನು ಇನ್ನೂ ಸ್ಥಿರಗೊಳಿಸಲಾಗಿಲ್ಲ ಮತ್ತು ಆವೃತ್ತಿಯಿಂದ ಆವೃತ್ತಿಗೆ ಬದಲಾಗುವುದರಿಂದ ಅಭಿವೃದ್ಧಿಯು ಇನ್ನೂ ಪ್ರಾಯೋಗಿಕ ಬಿಡುಗಡೆಗಳನ್ನು ರೂಪಿಸುವ ಹಂತದಲ್ಲಿದೆ.
DuckDB ಸುಧಾರಿತ SQL ಉಪಭಾಷೆಯನ್ನು ಒದಗಿಸುತ್ತದೆ, ಇದು ತುಂಬಾ ಸಂಕೀರ್ಣವಾದ ಮತ್ತು ಸಮಯ ತೆಗೆದುಕೊಳ್ಳುವ ಪ್ರಶ್ನೆಗಳನ್ನು ನಿರ್ವಹಿಸಲು ಹೆಚ್ಚುವರಿ ಸಾಮರ್ಥ್ಯಗಳನ್ನು ಒಳಗೊಂಡಿದೆ. ಸಂಕೀರ್ಣ ಪ್ರಕಾರಗಳ ಬಳಕೆ (ವ್ಯೂಹಗಳು, ರಚನೆಗಳು, ಒಕ್ಕೂಟಗಳು) ಮತ್ತು ಅನಿಯಂತ್ರಿತ ಮತ್ತು ನೆಸ್ಟೆಡ್ ಕೋರಿಲೇಟಿಂಗ್ ಸಬ್ಕ್ವೆರಿಗಳನ್ನು ಕಾರ್ಯಗತಗೊಳಿಸುವ ಸಾಮರ್ಥ್ಯವನ್ನು ಬೆಂಬಲಿಸಲಾಗುತ್ತದೆ. ಇದು ಏಕಕಾಲದಲ್ಲಿ ಬಹು ಪ್ರಶ್ನೆಗಳನ್ನು ಚಾಲನೆ ಮಾಡುವುದನ್ನು ಬೆಂಬಲಿಸುತ್ತದೆ, CSV ಮತ್ತು Parquet ಫೈಲ್‌ಗಳಿಂದ ನೇರವಾಗಿ ಪ್ರಶ್ನೆಗಳನ್ನು ಚಾಲನೆ ಮಾಡುತ್ತದೆ. PostgreSQL DBMS ನಿಂದ ಆಮದು ಮಾಡಿಕೊಳ್ಳಲು ಸಾಧ್ಯವಿದೆ.
SQLite ನಿಂದ ಶೆಲ್ ಕೋಡ್ ಜೊತೆಗೆ, ಯೋಜನೆಯು ಪ್ರತ್ಯೇಕ ಲೈಬ್ರರಿಯಲ್ಲಿ PostgreSQL ನಿಂದ ಪಾರ್ಸರ್ ಅನ್ನು ಬಳಸುತ್ತದೆ, MonetDB ಯಿಂದ ದಿನಾಂಕ ಗಣಿತ ಘಟಕ, ಅದರ ಸ್ವಂತ ವಿಂಡೋ ಕಾರ್ಯಗಳ ಅನುಷ್ಠಾನ (ಸೆಗ್ಮೆಂಟ್ ಟ್ರೀ ಒಟ್ಟುಗೂಡಿಸುವಿಕೆಯ ಅಲ್ಗಾರಿದಮ್ ಅನ್ನು ಆಧರಿಸಿ), ನಿಯಮಿತ ಅಭಿವ್ಯಕ್ತಿ ಪ್ರೊಸೆಸರ್ RE2 ಲೈಬ್ರರಿ, ತನ್ನದೇ ಆದ ಪ್ರಶ್ನೆ ಆಪ್ಟಿಮೈಜರ್, ಮತ್ತು MVCC ನಿಯಂತ್ರಣ ಕಾರ್ಯವಿಧಾನದ ಏಕಕಾಲದಲ್ಲಿ ಕಾರ್ಯಗಳ ಕಾರ್ಯಗತಗೊಳಿಸುವಿಕೆ (ಮಲ್ಟಿ-ಆವೃತ್ತಿ ಸಮನ್ವಯ ನಿಯಂತ್ರಣ), ಹಾಗೆಯೇ ಹೈಪರ್-ಪೈಪ್ಲೈನಿಂಗ್ ಕ್ವೆರಿ ಎಕ್ಸಿಕ್ಯೂಶನ್ ಅಲ್ಗಾರಿದಮ್ ಅನ್ನು ಆಧರಿಸಿ ವೆಕ್ಟರೈಸ್ಡ್ ಕ್ವೆರಿ ಎಕ್ಸಿಕ್ಯೂಶನ್ ಎಂಜಿನ್, ಇದು ಮೌಲ್ಯದ ದೊಡ್ಡ ಸೆಟ್‌ಗಳನ್ನು ಅನುಮತಿಸುತ್ತದೆ. ಒಂದು ಕಾರ್ಯಾಚರಣೆಯಲ್ಲಿ ಏಕಕಾಲದಲ್ಲಿ ಪ್ರಕ್ರಿಯೆಗೊಳಿಸಬೇಕು.
ಹೊಸ ಬಿಡುಗಡೆಯಲ್ಲಿನ ಬದಲಾವಣೆಗಳಲ್ಲಿ:
- ಶೇಖರಣಾ ಸ್ವರೂಪವನ್ನು ಸುಧಾರಿಸಲು ಕೆಲಸ ಮುಂದುವರೆಯಿತು. ಒಂದು ಆಶಾವಾದಿ ಡಿಸ್ಕ್ ಬರವಣಿಗೆ ಮೋಡ್ ಅನ್ನು ಅಳವಡಿಸಲಾಗಿದೆ, ಇದರಲ್ಲಿ ಒಂದು ವಹಿವಾಟಿನಲ್ಲಿ ದೊಡ್ಡ ಪ್ರಮಾಣದ ಡೇಟಾವನ್ನು ಲೋಡ್ ಮಾಡುವಾಗ, ಡೇಟಾವನ್ನು ಸಂಕುಚಿತಗೊಳಿಸಲಾಗುತ್ತದೆ ಮತ್ತು ಸ್ಟ್ರೀಮಿಂಗ್ ಮೋಡ್‌ನಲ್ಲಿರುವ ಡೇಟಾಬೇಸ್‌ನಿಂದ ಫೈಲ್‌ಗೆ ಬರೆಯಲಾಗುತ್ತದೆ, ವಹಿವಾಟು COMMIT ಆಜ್ಞೆಯೊಂದಿಗೆ ದೃಢೀಕರಿಸುವವರೆಗೆ ಕಾಯದೆ. . COMMIT ಆಜ್ಞೆಯನ್ನು ಸ್ವೀಕರಿಸಿದಾಗ, ಡೇಟಾವನ್ನು ಈಗಾಗಲೇ ಡಿಸ್ಕ್ಗೆ ಬರೆಯಲಾಗುತ್ತದೆ ಮತ್ತು ROLLBACK ಅನ್ನು ಕಾರ್ಯಗತಗೊಳಿಸಿದಾಗ, ಅದನ್ನು ತಿರಸ್ಕರಿಸಲಾಗುತ್ತದೆ. ಹಿಂದೆ, ಡೇಟಾವನ್ನು ಆರಂಭದಲ್ಲಿ ಸಂಪೂರ್ಣವಾಗಿ ಮೆಮೊರಿಗೆ ಉಳಿಸಲಾಗಿದೆ, ಮತ್ತು ಬದ್ಧವಾದಾಗ, ಅದನ್ನು ಡಿಸ್ಕ್ಗೆ ಉಳಿಸಲಾಗಿದೆ.
- ಪ್ರತ್ಯೇಕ ಕೋಷ್ಟಕಗಳಲ್ಲಿ ಡೇಟಾವನ್ನು ಸಮಾನಾಂತರವಾಗಿ ಲೋಡ್ ಮಾಡಲು ಬೆಂಬಲವನ್ನು ಸೇರಿಸಲಾಗಿದೆ, ಇದು ಮಲ್ಟಿ-ಕೋರ್ ಸಿಸ್ಟಮ್ಗಳಲ್ಲಿ ಲೋಡಿಂಗ್ ವೇಗವನ್ನು ಗಮನಾರ್ಹವಾಗಿ ಹೆಚ್ಚಿಸಲು ನಿಮಗೆ ಅನುಮತಿಸುತ್ತದೆ. ಉದಾಹರಣೆಗೆ, ಹಿಂದಿನ ಬಿಡುಗಡೆಯಲ್ಲಿ, 150-ಕೋರ್ CPU ನಲ್ಲಿ 10 ಮಿಲಿಯನ್ ಸಾಲುಗಳೊಂದಿಗೆ ಡೇಟಾಬೇಸ್ ಅನ್ನು ಲೋಡ್ ಮಾಡುವುದು 91 ಸೆಕೆಂಡುಗಳನ್ನು ತೆಗೆದುಕೊಂಡಿತು, ಆದರೆ ಹೊಸ ಆವೃತ್ತಿಯಲ್ಲಿ ಈ ಕಾರ್ಯಾಚರಣೆಯು 17 ಸೆಕೆಂಡುಗಳಲ್ಲಿ ಪೂರ್ಣಗೊಳ್ಳುತ್ತದೆ. ಎರಡು ಸಮಾನಾಂತರ ಲೋಡಿಂಗ್ ವಿಧಾನಗಳಿವೆ - ದಾಖಲೆಗಳ ಆದೇಶದ ಸಂರಕ್ಷಣೆ ಮತ್ತು ಆದೇಶದ ಸಂರಕ್ಷಣೆ ಇಲ್ಲದೆ.
- ಡೇಟಾ ಕಂಪ್ರೆಷನ್‌ಗಾಗಿ, ಎಫ್‌ಎಸ್‌ಎಸ್‌ಟಿ (ಫಾಸ್ಟ್ ಸ್ಟ್ಯಾಟಿಕ್ ಸಿಂಬಲ್ ಟೇಬಲ್) ಅಲ್ಗಾರಿದಮ್ ಅನ್ನು ಬಳಸಲಾಗುತ್ತದೆ, ಇದು ವಿಶಿಷ್ಟ ಹೊಂದಾಣಿಕೆಗಳ ಸಾಮಾನ್ಯ ನಿಘಂಟನ್ನು ಬಳಸಿಕೊಂಡು ತಂತಿಗಳ ಒಳಗೆ ಡೇಟಾವನ್ನು ಪ್ಯಾಕ್ ಮಾಡಲು ನಿಮಗೆ ಅನುಮತಿಸುತ್ತದೆ. ಹೊಸ ಅಲ್ಗಾರಿದಮ್‌ನ ಬಳಕೆಯು ಪರೀಕ್ಷಾ ಡೇಟಾಬೇಸ್‌ನ ಗಾತ್ರವನ್ನು 761MB ನಿಂದ 251MB ಗೆ ಕಡಿಮೆ ಮಾಡಲು ಸಾಧ್ಯವಾಗಿಸಿತು.
- ಫ್ಲೋಟಿಂಗ್ ಪಾಯಿಂಟ್ ಸಂಖ್ಯೆಗಳನ್ನು (ಡಬಲ್ ಮತ್ತು ಫ್ಲೋಟ್) ಸಂಕುಚಿತಗೊಳಿಸಲು ಚಿಂಪ್ ಮತ್ತು ಪಟಾಸ್ ಅಲ್ಗಾರಿದಮ್‌ಗಳನ್ನು ಪ್ರಸ್ತಾಪಿಸಲಾಗಿದೆ. ಹಿಂದೆ ಬಳಸಿದ ಗೊರಿಲ್ಲಾ ಅಲ್ಗಾರಿದಮ್‌ಗೆ ಹೋಲಿಸಿದರೆ, ಚಿಂಪ್ ಹೆಚ್ಚಿನ ಮಟ್ಟದ ಸಂಕೋಚನ ಮತ್ತು ವೇಗದ ಡಿಕಂಪ್ರೆಷನ್ ಅನ್ನು ಒದಗಿಸುತ್ತದೆ. ಪಟಾಸ್ ಅಲ್ಗಾರಿದಮ್ ಕಂಪ್ರೆಷನ್ ಅನುಪಾತದಲ್ಲಿ ಚಿಂಪ್‌ಗಿಂತ ಹಿಂದುಳಿದಿದೆ, ಆದರೆ ಡಿಕಂಪ್ರೆಷನ್ ವೇಗದಲ್ಲಿ ಹೆಚ್ಚು ವೇಗವಾಗಿರುತ್ತದೆ, ಇದು ಸಂಕ್ಷೇಪಿಸದ ಡೇಟಾವನ್ನು ಓದುವುದಕ್ಕಿಂತ ಭಿನ್ನವಾಗಿರುವುದಿಲ್ಲ.
- CSV ಫೈಲ್‌ಗಳಿಂದ ಡೇಟಾವನ್ನು ಬಹು ಸಮಾನಾಂತರ ಸ್ಟ್ರೀಮ್‌ಗಳಿಗೆ ಲೋಡ್ ಮಾಡುವ ಪ್ರಾಯೋಗಿಕ ಸಾಮರ್ಥ್ಯವನ್ನು ಸೇರಿಸಲಾಗಿದೆ (SET experimental_parallel_csv=true), ಇದು ದೊಡ್ಡ CSV ಫೈಲ್‌ಗಳನ್ನು ಲೋಡ್ ಮಾಡಲು ತೆಗೆದುಕೊಳ್ಳುವ ಸಮಯವನ್ನು ಗಮನಾರ್ಹವಾಗಿ ಕಡಿಮೆ ಮಾಡುತ್ತದೆ. ಉದಾಹರಣೆಗೆ, ಈ ಆಯ್ಕೆಯನ್ನು ಸಕ್ರಿಯಗೊಳಿಸಿದಾಗ, 720 MB CSV ಫೈಲ್‌ಗಾಗಿ ಡೌನ್‌ಲೋಡ್ ಸಮಯವನ್ನು 3.5 ರಿಂದ 0.6 ಸೆಕೆಂಡುಗಳವರೆಗೆ ಕಡಿಮೆ ಮಾಡಲಾಗಿದೆ.
- ಸೂಚ್ಯಂಕ ರಚನೆ ಮತ್ತು ನಿರ್ವಹಣಾ ಕಾರ್ಯಾಚರಣೆಗಳ ಸಮಾನಾಂತರ ಕಾರ್ಯಗತಗೊಳಿಸುವ ಸಾಧ್ಯತೆಯನ್ನು ಅಳವಡಿಸಲಾಗಿದೆ. ಉದಾಹರಣೆಗೆ, 16 ಮಿಲಿಯನ್ ದಾಖಲೆಗಳೊಂದಿಗೆ ಕಾಲಮ್‌ನಲ್ಲಿ CREATE INDEX ಕಾರ್ಯಾಚರಣೆಯನ್ನು 5.92 ರಿಂದ 1.38 ಸೆಕೆಂಡುಗಳಿಗೆ ಕಡಿಮೆ ಮಾಡಲಾಗಿದೆ.
- "COUNT(DISTINCT col)" ಎಂಬ ಅಭಿವ್ಯಕ್ತಿಯನ್ನು ಹೊಂದಿರುವ ಪ್ರಶ್ನೆಗಳಲ್ಲಿ ಒಟ್ಟುಗೂಡಿಸುವ ಕಾರ್ಯಾಚರಣೆಗಳ ಸಮಾನಾಂತರತೆಯನ್ನು ಸಕ್ರಿಯಗೊಳಿಸಲಾಗಿದೆ.
- SQL UNION ಪ್ರಕಾರಕ್ಕೆ ಬೆಂಬಲವನ್ನು ಸೇರಿಸಿದೆ, ಇದು ಅನೇಕ ಪ್ರಕಾರಗಳನ್ನು ಒಂದು ಅಂಶಕ್ಕೆ ಬಂಧಿಸಲು ಅನುಮತಿಸುತ್ತದೆ (ಉದಾಹರಣೆಗೆ, "UNION(num INT, ದೋಷ VARCHAR))").
- "SELECT" ಬದಲಿಗೆ "FROM" ಪದದಿಂದ ಪ್ರಾರಂಭವಾಗುವ ಪ್ರಶ್ನೆಗಳನ್ನು ರಚಿಸುವ ಸಾಮರ್ಥ್ಯವನ್ನು SQL ಒದಗಿಸುತ್ತದೆ. ಈ ಸಂದರ್ಭದಲ್ಲಿ, ಪ್ರಶ್ನೆಯು "SELECT *" ನೊಂದಿಗೆ ಪ್ರಾರಂಭವಾಗುತ್ತದೆ ಎಂದು ಭಾವಿಸಲಾಗಿದೆ.
- SQL COLUMNS ಅಭಿವ್ಯಕ್ತಿಗೆ ಬೆಂಬಲವನ್ನು ಸೇರಿಸಿದೆ, ಇದು ಅಭಿವ್ಯಕ್ತಿಯನ್ನು ನಕಲು ಮಾಡದೆಯೇ ಬಹು ಕಾಲಮ್‌ಗಳಲ್ಲಿ ಕಾರ್ಯಾಚರಣೆಯನ್ನು ಮಾಡಲು ನಿಮಗೆ ಅನುಮತಿಸುತ್ತದೆ. ಉದಾಹರಣೆಗೆ, "Obs ನಿಂದ MIN(ಕಾಲಮ್‌ಗಳನ್ನು(*)) ಆಯ್ಕೆ ಮಾಡಿ;" obs ಕೋಷ್ಟಕದಲ್ಲಿನ ಪ್ರತಿ ಕಾಲಮ್‌ಗೆ MIN ಕಾರ್ಯವನ್ನು ಕಾರ್ಯಗತಗೊಳಿಸಲು ಕಾರಣವಾಗುತ್ತದೆ ಮತ್ತು obs ನಿಂದ "ಕಾಲಮ್‌ಗಳನ್ನು ('val[0-9]+') ಆಯ್ಕೆಮಾಡಿ;" "ವಾಲ್" ಮತ್ತು ಸಂಖ್ಯೆಗಳನ್ನು ಒಳಗೊಂಡಿರುವ ಹೆಸರಿನ ಕಾಲಮ್‌ಗಳಿಗಾಗಿ.
- ಪಟ್ಟಿಗಳಲ್ಲಿನ ಕಾರ್ಯಾಚರಣೆಗಳಿಗೆ ಬೆಂಬಲವನ್ನು ಸೇರಿಸಲಾಗಿದೆ, ಉದಾಹರಣೆಗೆ, "ಆಯ್ಕೆ ಮಾಡಿ [1, 1, 2]] AS l ನಲ್ಲಿ x ಗೆ [x + 3;".
- ಮೆಮೊರಿ ಬಳಕೆಯನ್ನು ಆಪ್ಟಿಮೈಸ್ ಮಾಡಲಾಗಿದೆ. ಪೂರ್ವನಿಯೋಜಿತವಾಗಿ, ಲಿನಕ್ಸ್ ಪ್ಲಾಟ್‌ಫಾರ್ಮ್ ಮೆಮೊರಿ ನಿರ್ವಹಣೆಗಾಗಿ ಜೆಮಲ್ಲೊಕ್ ಲೈಬ್ರರಿಯನ್ನು ಬಳಸುತ್ತದೆ. ಮೆಮೊರಿ ಸೀಮಿತವಾದಾಗ ಹ್ಯಾಶ್ ವಿಲೀನ ಕಾರ್ಯಾಚರಣೆಗಳ ಗಮನಾರ್ಹವಾಗಿ ಸುಧಾರಿತ ಕಾರ್ಯಕ್ಷಮತೆ.
- ಕಮಾಂಡ್ ಲೈನ್ ಇಂಟರ್ಫೇಸ್‌ಗೆ “.mode ಡಕ್‌ಬಾಕ್ಸ್” ಔಟ್‌ಪುಟ್ ಮೋಡ್ ಅನ್ನು ಸೇರಿಸಲಾಗಿದೆ, ಇದು ಟರ್ಮಿನಲ್ ವಿಂಡೋದ ಅಗಲವನ್ನು ಗಣನೆಗೆ ತೆಗೆದುಕೊಂಡು ಮಧ್ಯದ ಕಾಲಮ್‌ಗಳನ್ನು ತ್ಯಜಿಸುತ್ತದೆ (“SELECT * ನಂತಹ ಹೆಚ್ಚಿನ ಸಂಖ್ಯೆಯ ಕಾಲಮ್‌ಗಳೊಂದಿಗೆ ಪ್ರಶ್ನೆಗಳ ಫಲಿತಾಂಶಗಳನ್ನು ತ್ವರಿತವಾಗಿ ದೃಷ್ಟಿಗೋಚರವಾಗಿ ನಿರ್ಣಯಿಸಲು ಸೂಕ್ತವಾಗಿದೆ tbl ನಿಂದ”, ಇದು ಸಾಮಾನ್ಯ ಕ್ರಮದಲ್ಲಿ ಹಲವಾರು ಸಾಲುಗಳಲ್ಲಿ ಹರಡಿರುತ್ತದೆ). ".maxrows X" ಪ್ಯಾರಾಮೀಟರ್ ಅನ್ನು ಬಳಸಿಕೊಂಡು, ನೀವು ಹೆಚ್ಚುವರಿಯಾಗಿ ಪ್ರದರ್ಶಿಸಲಾದ ಸಾಲುಗಳ ಸಂಖ್ಯೆಯನ್ನು ಮಿತಿಗೊಳಿಸಬಹುದು.
- CLI ಸಂದರ್ಭವನ್ನು ಗಣನೆಗೆ ತೆಗೆದುಕೊಂಡು ಇನ್‌ಪುಟ್‌ನ ಸ್ವಯಂಪೂರ್ಣತೆಯನ್ನು ಒದಗಿಸುತ್ತದೆ (ಕೀವರ್ಡ್‌ಗಳ ಇನ್‌ಪುಟ್, ಟೇಬಲ್ ಹೆಸರುಗಳು, ಕಾರ್ಯಗಳು, ಕಾಲಮ್ ಹೆಸರುಗಳು ಮತ್ತು ಫೈಲ್ ಹೆಸರುಗಳು ಪೂರ್ಣಗೊಂಡಿವೆ).
- CLI ಪೂರ್ವನಿಯೋಜಿತವಾಗಿ ಸಕ್ರಿಯಗೊಳಿಸಲಾದ ಪ್ರಶ್ನೆ ಪ್ರಗತಿ ಸೂಚಕವನ್ನು ಹೊಂದಿದೆ.
ಮೂಲ: opennet.ru