ການປ່ອຍ DBMS SQLite 3.42 ແລະ DuckDB 0.8.0. CG/SQL ກັບການປະຕິບັດຂັ້ນຕອນການເກັບຮັກສາໄວ້ສໍາລັບ SQLite

ການປ່ອຍ SQLite 3.42, DBMS ທີ່ມີນ້ໍາຫນັກເບົາທີ່ຖືກອອກແບບເປັນຫ້ອງສະຫມຸດ plug-in, ໄດ້ຖືກຈັດພີມມາ. ລະຫັດ SQLite ຖືກແຈກຢາຍຢູ່ໃນສາທາລະນະ, i.e. ສາມາດນໍາໃຊ້ໄດ້ໂດຍບໍ່ມີຂໍ້ຈໍາກັດແລະບໍ່ເສຍຄ່າສໍາລັບຈຸດປະສົງໃດໆ. ການສະຫນັບສະຫນູນທາງດ້ານການເງິນສໍາລັບນັກພັດທະນາ SQLite ແມ່ນສະຫນອງໃຫ້ໂດຍສະມາຄົມທີ່ສ້າງຂື້ນໂດຍສະເພາະ, ເຊິ່ງປະກອບມີບໍລິສັດເຊັ່ນ Adobe, Oracle, Mozilla, Bentley ແລະ Bloomberg.

ການປ່ຽນແປງຕົ້ນຕໍ:

• ສໍາລັບດັດສະນີຂໍ້ຄວາມເຕັມ FTS5, ຄໍາສັ່ງລຶບທີ່ປອດໄພໄດ້ຖືກປະຕິບັດ, ເຊິ່ງລຶບຂໍ້ມູນທີ່ເຫລືອທັງຫມົດຫຼັງຈາກການລຶບ.
• ຟັງຊັນສຳລັບການປະມວນຜົນຂໍ້ມູນ JSON ຕອນນີ້ຮອງຮັບສ່ວນຂະຫຍາຍ JSON5 ແລ້ວ.
• ປັບປຸງການວາງແຜນການສອບຖາມ. ໂດຍຄ່າເລີ່ມຕົ້ນ, ການເພີ່ມປະສິດທິພາບການນັບການເບິ່ງແມ່ນເປີດໃຊ້ງານ. ການປຸງແຕ່ງຄໍລໍາທີ່ບໍ່ໄດ້ໃຊ້ໃນການສອບຖາມຍ່ອຍແມ່ນຖືກລົບລ້າງ. ການປັບປຸງການປະຕິບັດການເພີ່ມປະສິດທິພາບການຊຸກຍູ້.
• ເພີ່ມຕົວເລືອກ “--unsafe-testing” ເຂົ້າໃນສ່ວນຕິດຕໍ່ຂອງແຖວຄຳສັ່ງ, ເຊິ່ງອະນຸຍາດໃຫ້ໃຊ້ຄຳສັ່ງອັນຕະລາຍບາງຢ່າງ ເຊັ່ນ: “.testctrl”, ມີຈຸດປະສົງເພື່ອໃຊ້ໃນການທົດສອບ. ໃນໂໝດປອດໄພ (“-safe”), ການນຳໃຊ້ຄຳສັ່ງ “.log on” ແລະ “.log off” ແມ່ນອະນຸຍາດ. ເພີ່ມການສະຫນັບສະຫນູນສໍາລັບຕົວຂັ້ນ "—", ສໍາລັບການໂຕ້ຖຽງຫຼັງຈາກນັ້ນການປຸງແຕ່ງທາງເລືອກຖືກປິດໃຊ້ງານ. ເພີ່ມພາລາມິເຕີ ":inf" ແລະ ":nan" ທີ່ກ່ຽວຂ້ອງກັບຄ່າ infinity ແລະ NaN.
• ຊື່ຟັງຊັນ SQL ທີ່ກໍານົດໂດຍແອັບພລິເຄຊັນແມ່ນອະນຸຍາດໃຫ້ທັບຊ້ອນກັບຄໍາ CROSS, FULL, INNER, LEFT, NATURAL, OUTER, ແລະຂວາ.
• ຄວາມສາມາດຂອງ PRAGMA integrity_check ໄດ້ຖືກຂະຫຍາຍອອກ. ເພີ່ມການກວດສອບສໍາລັບການລະບຸຄ່າ NaN ໃນຖັນທີ່ມີເງື່ອນໄຂ NOT NULL. ປັບປຸງເນື້ອໃນຂໍ້ມູນຂ່າວສານຂອງຂໍ້ຄວາມຄວາມຜິດພາດ.
• ສ່ວນເສີມເຊດຊັນອະນຸຍາດໃຫ້ຂັດຂວາງການປ່ຽນແປງຈາກຕາຕະລາງທີ່ບໍ່ມີ ROWID.
• ຕົວແກ້ໄຂ "subsec" ໄດ້ຖືກເພີ່ມເຂົ້າໃນຫນ້າທີ່ເຮັດວຽກກັບເວລາແລະວັນທີທີ່ຈະໃຊ້ສ່ວນຫນຶ່ງຂອງວິນາທີ.
• ຄວາມເລິກຂອງ recursion ເລີ່ມຕົ້ນສໍາລັບ arrays ແລະ JSON objects ໄດ້ຖືກຫຼຸດລົງຈາກ 2000 ຫາ 1000.

ນອກຈາກນັ້ນ, ການປ່ອຍ DuckDB 0.8.0 DBMS ໄດ້ຖືກສ້າງຂື້ນ, ເຊິ່ງພັດທະນາສະບັບຂອງ SQLite, ຂະຫຍາຍດ້ວຍຄວາມສາມາດແລະການເພີ່ມປະສິດທິພາບສໍາລັບການປະຕິບັດການສອບຖາມການວິເຄາະທີ່ກວມເອົາສ່ວນທີ່ສໍາຄັນຂອງຂໍ້ມູນທີ່ເກັບໄວ້, ສໍາລັບການຍົກຕົວຢ່າງ, ປະຕິບັດການລວບລວມເນື້ອຫາທັງຫມົດ. ຂອງຕາຕະລາງຫຼືການລວມຕາຕະລາງຂະຫນາດໃຫຍ່ຫຼາຍ. ສະຫນອງພາສາຂັ້ນສູງຂອງ SQL ທີ່ປະກອບມີຄວາມສາມາດເພີ່ມເຕີມສໍາລັບການປະມວນຜົນຄໍາຖາມທີ່ສັບສົນຫຼາຍແລະໃຊ້ເວລາຫຼາຍ, ແລະຍັງສະຫນັບສະຫນູນປະເພດສະລັບສັບຊ້ອນ (arrays, ໂຄງສ້າງ, union), ແລ່ນຄໍາຖາມຫຼາຍພ້ອມໆກັນ, ແລະດໍາເນີນການສອບຖາມໂດຍກົງຈາກໄຟລ໌ CSV, JSON, ແລະ Parquet. . ມັນເປັນໄປໄດ້ທີ່ຈະນໍາເຂົ້າຈາກ PostgreSQL DBMS.

ນອກເຫນືອຈາກລະຫັດ shell ຈາກ SQLite, ໂຄງການໃຊ້ parser ຈາກ PostgreSQL ໃນຫ້ອງສະຫມຸດແຍກຕ່າງຫາກ, ອົງປະກອບ Date Math ຈາກ MonetDB, ການປະຕິບັດຫນ້າຕ່າງຂອງຕົນເອງ (ອີງໃສ່ Segment Tree Aggregation algorithm), ໂຮງງານຜະລິດການສະແດງອອກປົກກະຕິໂດຍອີງໃສ່. ຫ້ອງສະຫມຸດ RE2, ເຄື່ອງມືເພີ່ມປະສິດທິພາບແບບສອບຖາມຂອງຕົນເອງ, ແລະກົນໄກການຄວບຄຸມ MVCC ປະຕິບັດຫນ້າວຽກພ້ອມໆກັນ (ການຄວບຄຸມຄວາມສອດຄ່ອງຫຼາຍຮຸ່ນ), ເຊັ່ນດຽວກັນກັບເຄື່ອງຈັກປະຕິບັດການສອບຖາມ vectorized ໂດຍອີງໃສ່ Hyper-Pipelining Query Execution algorithm, ເຊິ່ງອະນຸຍາດໃຫ້ມີຄ່າຊຸດໃຫຍ່. ທີ່​ຈະ​ໄດ້​ຮັບ​ການ​ປຸງ​ແຕ່ງ​ໃນ​ຄັ້ງ​ດຽວ​ໃນ​ການ​ດໍາ​ເນີນ​ງານ​. ລະຫັດໂຄງການແມ່ນແຈກຢາຍພາຍໃຕ້ໃບອະນຸຍາດ MIT.

ໃນສະບັບໃຫມ່ຂອງ DuckDB:

• ເພີ່ມການສະແດງອອກໃຫມ່ "PIVOT" ແລະ "UNPIVOT" ເພື່ອປ່ຽນແຖວເປັນຖັນແລະໃນທາງກັບກັນ.
• ການປັບປຸງຂະຫນານເມື່ອນໍາເຂົ້າແລະສົ່ງອອກຂໍ້ມູນ. ໂດຍຄ່າເລີ່ມຕົ້ນ, ການອ່ານຫຼາຍກະທູ້ຈາກໄຟລ໌ CSV ແລະການຂຽນຫຼາຍກະທູ້ຖືກປະຕິບັດໃນເວລາທີ່ໃຊ້ຮູບແບບ Parquet, CSV ແລະ JSON.
• ເພີ່ມຕົວປະຕິບັດການ "**" ເພື່ອເຮັດຊ້ໍາອີກຄັ້ງຜ່ານໄດເລກະທໍລີເມື່ອກໍານົດເສັ້ນທາງໄຟລ໌ (ຕົວຢ່າງ, FROM "'data/glob/crawl/stackoverflow/**/*.csv';").
• ເພີ່ມການສະຫນັບສະຫນູນການປະຕິບັດການລວມຕົວ (JOIN) ສໍາລັບຂໍ້ມູນໃນຮູບແບບຂອງຊຸດເວລາ (ສ່ວນຂອງຄ່າພາລາມິເຕີໃນຊ່ວງເວລາທີ່ກໍານົດໄວ້), ເຊິ່ງເງື່ອນໄຂສໍາລັບການລວມບັນທຶກບໍ່ແມ່ນແນ່ນອນ, ແຕ່ເປັນການບັງເອີນໂດຍປະມານຂອງຄ່າ. ໃນພາກສະຫນາມທີ່ມີເວລາ (ຕົວຢ່າງ, ທ່ານສາມາດລວມບັນທຶກ, ເວລາທີ່ແຕກຕ່າງກັນບໍ່ເກີນ 1 ນາທີ).
• ປະຕິບັດການໂຫຼດ metadata ຂອງຖານຂໍ້ມູນທີ່ຂີ້ກຽດ, ເຊິ່ງເຮັດໃຫ້ມັນເປັນໄປໄດ້ທີ່ຈະເລັ່ງການເປີດຕົວ DBMS ຫຼາຍສິບເທື່ອ.
• ເພີ່ມການສະຫນັບສະຫນູນສໍາລັບການເຊື່ອມຕໍ່ຟັງຊັນທີ່ກໍາຫນົດເອງໃນ Python.
• ເພີ່ມການສະຫນັບສະຫນູນສໍາລັບ ADBC ​​​​(Arrow Database Connectivity) API ສໍາລັບການໂອນຂໍ້ມູນໂດຍໃຊ້ Apache Arrow.
• ການຜູກມັດໄດ້ຖືກປະຕິບັດສໍາລັບການເຊື່ອມໂຍງກັບລະຫັດ Swift.
• ປ່ຽນພຶດຕິກຳຂອງຕົວປະຕິບັດການການແບ່ງ ("/") ເພື່ອປະຕິບັດການຄຳນວນຈຸດທີ່ເລື່ອນໄດ້ ແທນການດຳເນີນການຈຳນວນເຕັມຕາມຄ່າເລີ່ມຕົ້ນ. ຕົວດຳເນີນການໃໝ່ “//” ຖືກສະເໜີໃຫ້ມີການແບ່ງຈຳນວນເຕັມ. ພຶດຕິກຳເກົ່າສາມາດກັບຄືນມາໄດ້ໂດຍການຕັ້ງ “SET integer_division=true;”.
• ວິທີການຄໍານຶງເຖິງການບັນທຶກສູນໃນເວລາທີ່ການຈັດຮຽງໄດ້ຖືກປ່ຽນຈາກ "NULLS FIRST" ເປັນ "NULLS LAST", i.e. ຄ່າ NULL ຕອນນີ້ຈະຖືກພິມຢູ່ທ້າຍແທນທີ່ຈະເປັນຈຸດເລີ່ມຕົ້ນຂອງລາຍຊື່. ພຶດຕິກຳເກົ່າສາມາດກັບຄືນມາໄດ້ໂດຍການຕັ້ງຄ່າ “SET default_null_order='nulls_first';”.

ນອກຈາກນັ້ນ, ພວກເຮົາສາມາດສັງເກດເຫັນໂຄງການ CG / SQL ທີ່ພັດທະນາໂດຍ Facebook, ເຊິ່ງສະຫນອງການສ້າງລະຫັດສໍາລັບການນໍາໃຊ້ຂັ້ນຕອນທີ່ເກັບໄວ້ກັບ SQLite. CG/SQL ອະນຸຍາດໃຫ້ທ່ານຂຽນຂັ້ນຕອນການເກັບຮັກສາໄວ້ໃນພາສາພິເສດຂອງ T-SQL (Transact-SQL), ເຊິ່ງອະນຸຍາດໃຫ້ເອີ້ນຫນ້າທີ່ຂອງຫ້ອງສະຫມຸດ C ມາດຕະຖານແລະເຂົ້າເຖິງຂໍ້ມູນໃນ SQLite. ຂັ້ນຕອນການເກັບຮັກສາທີ່ສ້າງຂຶ້ນໄດ້ຖືກລວບລວມເຂົ້າໄປໃນລະຫັດ C ທີ່ໃຊ້ SQLite C API ເພື່ອປະຕິບັດການກໍານົດແລະຂະບວນການສອບຖາມທີ່ສັບສົນ. ຂະບວນການເກັບຮັກສາທີ່ລວບລວມສາມາດເຊື່ອມຕໍ່ກັບໂຄງການ C, Java, ແລະ Objective-C. ລະຫັດໂຄງການແມ່ນຂຽນເປັນ C ແລະຖືກແຈກຢາຍພາຍໃຕ້ໃບອະນຸຍາດ MIT.

ແຫຼ່ງຂໍ້ມູນ: opennet.ru