ການປ່ອຍ DuckDB 0.10.0, ຕົວແປ SQLite ສໍາລັບການສອບຖາມການວິເຄາະ

ການປ່ອຍ DuckDB 0.10.0 DBMS ໄດ້ຖືກນໍາສະເຫນີ, ການລວມເອົາຄຸນສົມບັດດັ່ງກ່າວຂອງ SQLite ເປັນຄວາມຫນາແຫນ້ນ, ຄວາມສາມາດໃນການເຊື່ອມຕໍ່ໃນຮູບແບບຂອງຫ້ອງສະຫມຸດຝັງຕົວ, ການເກັບຮັກສາຖານຂໍ້ມູນໃນໄຟລ໌ດຽວແລະການໂຕ້ຕອບ CLI ທີ່ສະດວກ, ມີເຄື່ອງມືແລະການເພີ່ມປະສິດທິພາບສໍາລັບການປະຕິບັດ. ຄໍາຖາມການວິເຄາະກວມເອົາສ່ວນທີ່ສໍາຄັນຂອງຂໍ້ມູນທີ່ເກັບໄວ້, ຕົວຢ່າງທີ່ລວບລວມເນື້ອໃນທັງຫມົດຂອງຕາຕະລາງຫຼືລວມຕາຕະລາງຂະຫນາດໃຫຍ່ຫຼາຍ. ລະຫັດໂຄງການແມ່ນແຈກຢາຍພາຍໃຕ້ໃບອະນຸຍາດ MIT. ການພັດທະນາແມ່ນຍັງຢູ່ໃນຂັ້ນຕອນຂອງການສ້າງການປ່ອຍທົດລອງ, ເນື່ອງຈາກວ່າຮູບແບບການເກັບຮັກສາຍັງບໍ່ທັນໄດ້ສະຖຽນລະພາບແລະການປ່ຽນແປງຈາກສະບັບພາສາ.

DuckDB ສະຫນອງພາສາຂັ້ນສູງຂອງ SQL ທີ່ປະກອບມີຄວາມສາມາດເພີ່ມເຕີມເພື່ອຈັດການກັບການສອບຖາມທີ່ສັບສົນຫຼາຍແລະໃຊ້ເວລາຫຼາຍ. ການ​ນໍາ​ໃຊ້​ຂອງ​ປະ​ເພດ​ສະ​ລັບ​ສັບ​ຊ້ອນ (ອາ​ເຣ​, ໂຄງ​ປະ​ກອບ​ການ​, ສະ​ຫະ​ພາບ​) ແລະ​ຄວາມ​ສາ​ມາດ​ໃນ​ການ​ປະ​ຕິ​ບັດ​ຄໍາ​ຖາມ​ຍ່ອຍ​ທີ່​ກ່ຽວ​ຂ້ອງ​ໂດຍ​ຕົນ​ເອງ​ແລະ​ເປັນ​ຮັງ​ໄດ້​. ມັນ​ສະ​ຫນັບ​ສະ​ຫນູນ​ການ​ແລ່ນ​ການ​ສອບ​ຖາມ​ຫຼາຍ​ພ້ອມ​ກັນ​, ແລ່ນ​ການ​ສອບ​ຖາມ​ໂດຍ​ກົງ​ຈາກ​ໄຟລ​໌ CSV ແລະ Parquet​. ມັນເປັນໄປໄດ້ທີ່ຈະນໍາເຂົ້າຈາກ PostgreSQL DBMS.

ນອກເຫນືອຈາກລະຫັດ shell ຈາກ SQLite, ໂຄງການໃຊ້ parser ຈາກ PostgreSQL ໃນຫ້ອງສະຫມຸດແຍກຕ່າງຫາກ, ອົງປະກອບ Date Math ຈາກ MonetDB, ການປະຕິບັດຫນ້າຕ່າງຂອງຕົນເອງ (ອີງໃສ່ Segment Tree Aggregation algorithm), ໂຮງງານຜະລິດການສະແດງອອກປົກກະຕິໂດຍອີງໃສ່. ຫ້ອງສະຫມຸດ RE2, ເຄື່ອງມືເພີ່ມປະສິດທິພາບແບບສອບຖາມຂອງຕົນເອງ, ແລະກົນໄກການຄວບຄຸມ MVCC ປະຕິບັດຫນ້າວຽກພ້ອມໆກັນ (ການຄວບຄຸມຄວາມສອດຄ່ອງຫຼາຍຮຸ່ນ), ເຊັ່ນດຽວກັນກັບເຄື່ອງຈັກປະຕິບັດການສອບຖາມ vectorized ໂດຍອີງໃສ່ Hyper-Pipelining Query Execution algorithm, ເຊິ່ງອະນຸຍາດໃຫ້ມີຄ່າຊຸດໃຫຍ່. ທີ່​ຈະ​ໄດ້​ຮັບ​ການ​ປຸງ​ແຕ່ງ​ໃນ​ຄັ້ງ​ດຽວ​ໃນ​ການ​ດໍາ​ເນີນ​ງານ​.

ໃນບັນດາການປ່ຽນແປງໃນການປ່ອຍໃຫມ່:

• ປະສິດທິພາບຂອງການວິເຄາະຂໍ້ມູນໃນຮູບແບບ CSV ໄດ້ຮັບການປັບປຸງຢ່າງຫຼວງຫຼາຍ. ຕົວຢ່າງ, ການອ່ານໄຟລ໌ CSV ທີ່ມີ 11 ລ້ານແຖວໃນສະບັບໃຫມ່ໄດ້ຖືກຫຼຸດລົງຈາກ 2.6 ວິນາທີ. ສູງສຸດ 1.15 ວິນາທີ, ແລະດໍາເນີນການ “SELECT COUNT(*)” ຢູ່ເທິງສຸດຂອງໄຟລ໌ CSV ຈາກ 1.8 ວິນາທີ. ສູງສຸດ 0.3 ວິນາທີ.
• ເພີ່ມ​ການ​ຮອງ​ຮັບ​ສຳ​ລັບ​ອາ​ເຣ​ຂະ​ຫນາດ​ຄົງ​ທີ່, ເຊິ່ງ​ຄ້າຍ​ຄື​ກັບ​ລາຍ​ການ​ທີ່​ມີ​ຈຳ​ນວນ​ອົງ​ປະ​ກອບ​ຄົງ​ທີ່ (“CREATE TABLE vectors(v DOUBLE[3]);”).
• ເພີ່ມການສະຫນັບສະຫນູນສໍາລັບການເຊື່ອມຕໍ່ກັບ MySQL, PostgreSQL ແລະ SQLite DBMS, ເຊິ່ງຊ່ວຍໃຫ້ທ່ານສາມາດໂຫລດຂໍ້ມູນຈາກ DBMS ພາຍນອກເຂົ້າໄປໃນ DuckDB ແລະຍ້າຍມັນລະຫວ່າງລະບົບຕ່າງໆ. ຖານຂໍ້ມູນພາຍນອກແມ່ນເຂົ້າເຖິງໂດຍໃຊ້ຕາຕະລາງມາດຕະຖານ. ແນບ 'postgres:dbname=postgresscanner' AS postgres; SELECT title, release_year, length FROM postgres.film LIMIT 5;
• ເພີ່ມການສະຫນັບສະຫນູນສໍາລັບການສະແດງອອກ "ຄໍາເຫັນກ່ຽວກັບ" ສໍາລັບບັນທຶກຄໍາຄິດຄໍາເຫັນກ່ຽວກັບວັດຖຸໃນຖານຂໍ້ມູນ.
• ເພີ່ມການສະຫນັບສະຫນູນສໍາລັບການສະແດງອອກ "COPY FROM DATABASE" ສໍາລັບການຄັດລອກເນື້ອຫາທັງຫມົດຈາກຖານຂໍ້ມູນຫນຶ່ງໄປຫາອີກ.
• ເພີ່ມການສະຫນັບສະຫນູນສໍາລັບຕົວແກ້ໄຂ "ALL" ໃນ EXCEPT ແລະ INTERSECT ສະແດງອອກ.
• ປະ​ເພດ​ການ​ປະ​ຕິ​ບັດ »
  
  ແຫຼ່ງຂໍ້ມູນ: opennet.ru