ການປ່ອຍຄວາມຫມັ້ນຄົງຄັ້ງທໍາອິດຂອງຜົນປະໂຫຍດສໍາລັບການດາວໂຫຼດເນື້ອຫາເວັບ GNU Wget2

ຫຼັງຈາກສາມປີເຄິ່ງຂອງການພັດທະນາ, ການປ່ອຍຄວາມຫມັ້ນຄົງຄັ້ງທໍາອິດຂອງໂຄງການ GNU Wget2 ໄດ້ຖືກນໍາສະເຫນີ, ການພັດທະນາໂຄງການສະບັບທີ່ອອກແບບໃຫມ່ຢ່າງສົມບູນສໍາລັບການອັດຕະໂນມັດການດາວໂຫຼດ recursive ຂອງເນື້ອໃນ GNU Wget. GNU Wget2 ໄດ້ຖືກອອກແບບແລະຂຽນຄືນໃຫມ່ຈາກຈຸດເລີ່ມຕົ້ນແລະເປັນທີ່ຫນ້າສັງເກດສໍາລັບການຍ້າຍຫນ້າທີ່ພື້ນຖານຂອງລູກຄ້າເວັບເຂົ້າໄປໃນຫ້ອງສະຫມຸດ libwget, ເຊິ່ງສາມາດນໍາໃຊ້ແຍກຕ່າງຫາກໃນແອັບພລິເຄຊັນ. ຜົນປະໂຫຍດແມ່ນໄດ້ຮັບອະນຸຍາດພາຍໃຕ້ GPLv3+, ແລະຫ້ອງສະຫມຸດໄດ້ຮັບອະນຸຍາດພາຍໃຕ້ LGPLv3+.

ແທນທີ່ຈະຄ່ອຍໆ reworking ພື້ນຖານລະຫັດທີ່ມີຢູ່ແລ້ວ, ມັນໄດ້ຖືກຕັດສິນໃຈທີ່ຈະເຮັດຄືນໃຫມ່ທຸກສິ່ງທຸກຢ່າງຈາກ scratch ແລະສ້າງຕັ້ງສາຂາ Wget2 ແຍກຕ່າງຫາກເພື່ອປະຕິບັດແນວຄວາມຄິດສໍາລັບການປັບໂຄງສ້າງ, ເພີ່ມທະວີການທໍາງານແລະເຮັດໃຫ້ການປ່ຽນແປງທີ່ທໍາລາຍຄວາມເຂົ້າກັນໄດ້. ດ້ວຍການຍົກເວັ້ນການຍົກເລີກອະນຸສັນຍາ FTP ແລະຮູບແບບ WARC, wget2 ສາມາດເຮັດຫນ້າທີ່ເປັນການທົດແທນທີ່ໂປ່ງໃສສໍາລັບຜົນປະໂຫຍດ wget ຄລາສສິກໃນສະຖານະການສ່ວນໃຫຍ່.

ຢ່າງໃດກໍຕາມ, wget2 ມີບາງເອກະສານທີ່ແຕກຕ່າງກັນໃນພຶດຕິກໍາ, ສະຫນອງປະມານ 30 ທາງເລືອກເພີ່ມເຕີມ, ແລະຢຸດເຊົາການສະຫນັບສະຫນູນທາງເລືອກຫຼາຍສິບ. ລວມທັງການປຸງແຕ່ງທາງເລືອກເຊັ່ນ "-ask-password", "-header", "-exclude-directories", "-ftp*", "-warc*", "-limit-rate", "-relative" ໄດ້ ຢຸດ "ແລະ "--ຍົກເລີກການເຊື່ອມຕໍ່".

ນະວັດຕະກໍາຫຼັກປະກອບມີ:

• ການ​ເຄື່ອນ​ຍ້າຍ​ການ​ທໍາ​ງານ​ໄປ​ຫ້ອງ​ສະ​ຫມຸດ libwget​.
• ການຫັນປ່ຽນໄປສູ່ສະຖາປັດຕະຍະກໍາຫຼາຍກະທູ້.
• ຄວາມສາມາດໃນການສ້າງການເຊື່ອມຕໍ່ຫຼາຍຂະຫນານແລະດາວໂຫລດໄປຫາຫຼາຍຫົວຂໍ້. ມັນຍັງສາມາດຂະຫນານການດາວໂຫຼດໄຟລ໌ຫນຶ່ງແບ່ງອອກເປັນທ່ອນໄມ້ໂດຍໃຊ້ຕົວເລືອກ "-chunk-size".
• ຮອງຮັບ HTTP/2 protocol.
• ໃຊ້ສ່ວນຫົວ If-Modified-Since HTTP ເພື່ອດາວໂຫລດຂໍ້ມູນທີ່ຖືກດັດແກ້ເທົ່ານັ້ນ.
• ສະຫຼັບໄປໃຊ້ຕົວຈຳກັດແບນວິດພາຍນອກເຊັ່ນ: trickle.
• ຮອງຮັບສ່ວນຫົວຍອມຮັບການເຂົ້າລະຫັດ, ການໂອນຂໍ້ມູນທີ່ຖືກບີບອັດ, ແລະ brotli, zstd, lzip, gzip, deflate, lzma, ແລະ bzip2 compression algorithms.
• ຮອງຮັບ TLS 1.3, OCSP (Online Certificate Status Protocol) ສໍາລັບການກວດສອບການຖອນໃບຢັ້ງຢືນ, ກົນໄກ HSTS (HTTP Strict Transport Security) ສໍາລັບການບັງຄັບໃຫ້ປ່ຽນເສັ້ນທາງໄປຫາ HTTPS ແລະ HPKP (HTTP Public Key Pinning) ສໍາລັບການຜູກມັດໃບຢັ້ງຢືນ.
• ຄວາມສາມາດໃນການໃຊ້ GnuTLS, WolfSSL ແລະ OpenSSL ເປັນ backends ສໍາລັບ TLS.
• ສະຫນັບສະຫນູນສໍາລັບການເປີດໄວຂອງການເຊື່ອມຕໍ່ TCP (TCP FastOpen).
• ຮອງຮັບຮູບແບບ Metalink ໃນຕົວ.
• ສະຫນັບສະຫນູນສໍາລັບຊື່ໂດເມນສາກົນ (IDNA2008).
• ຄວາມສາມາດໃນການເຮັດວຽກພ້ອມໆກັນຜ່ານເຊີບເວີພຣັອກຊີຫຼາຍອັນ (ໜຶ່ງກະແສຈະຖືກໂຫຼດຜ່ານພຣັອກຊີໜຶ່ງ, ແລະອັນທີສອງຜ່ານອີກອັນໜຶ່ງ).
• ສະຫນັບສະຫນູນໃນຕົວສໍາລັບອາຫານຂ່າວໃນຮູບແບບ Atom ແລະ RSS (ຕົວຢ່າງ, ສໍາລັບການສະແກນແລະການດາວໂຫຼດການເຊື່ອມຕໍ່). ຂໍ້ມູນ RSS/Atom ສາມາດດາວໂຫຼດໄດ້ຈາກໄຟລ໌ທ້ອງຖິ່ນ ຫຼືຜ່ານເຄືອຂ່າຍ.
• ສະຫນັບສະຫນູນການສະກັດ URLs ຈາກແຜນຜັງເວັບໄຊທ໌. ຄວາມພ້ອມຂອງຕົວວິເຄາະເພື່ອສະກັດການເຊື່ອມຕໍ່ຈາກໄຟລ໌ CSS ແລະ XML.
• ສະຫນັບສະຫນູນຄໍາສັ່ງ 'ລວມເອົາ' ໃນໄຟລ໌ການຕັ້ງຄ່າແລະການແຈກຢາຍການຕັ້ງຄ່າໃນທົ່ວຫຼາຍໄຟລ໌ (/etc/wget/conf.d/*.conf).
• ກົນໄກການເກັບຂໍ້ມູນ DNS ໃນຕົວ.
• ຄວາມເປັນໄປໄດ້ຂອງການຖອດລະຫັດເນື້ອຫາໂດຍການປ່ຽນການເຂົ້າລະຫັດເອກະສານ.
• ບັນຊີສໍາລັບໄຟລ໌ “robots.txt” ໃນລະຫວ່າງການດາວໂຫຼດ recursive.
• ໂຫມດການຂຽນທີ່ເຊື່ອຖືໄດ້ດ້ວຍ fsync() ໂທຫຼັງຈາກບັນທຶກຂໍ້ມູນ.
• ຄວາມສາມາດໃນການສືບຕໍ່ເຊດຊັນ TLS ທີ່ຖືກລົບກວນ, ເຊັ່ນດຽວກັນກັບ cache ແລະບັນທຶກພາລາມິເຕີຂອງເຊດຊັນ TLS ໃສ່ໄຟລ໌.
• ໂໝດ "--input-file-" ສຳລັບການໂຫຼດ URL ທີ່ເຂົ້າມາຜ່ານກະແສການປ້ອນຂໍ້ມູນມາດຕະຖານ.
• ການກວດສອບຂອບເຂດຂອງ Cookie ຕໍ່ກັບໄດເລກະທໍລີຂອງສ່ວນຕໍ່ທ້າຍຂອງໂດເມນສາທາລະນະ (Public Suffix List) ເພື່ອແຍກອອກຈາກແຕ່ລະສະຖານທີ່ຕ່າງກັນທີ່ໂຮດຢູ່ໃນໂດເມນລະດັບທີສອງດຽວກັນ (ຕົວຢ່າງເຊັ່ນ "a.github.io" ແລະ "b.github. io”).
• ຮອງຮັບການດາວໂຫຼດ ICEcast/SHOUTcast streaming.

ແຫຼ່ງຂໍ້ມູນ: opennet.ru