Po treh letih in pol razvoja je bila predstavljena prva stabilna izdaja projekta GNU Wget2, ki razvija popolnoma prenovljeno različico programa za avtomatizacijo rekurzivnega nalaganja vsebin GNU Wget. GNU Wget2 je bil zasnovan in na novo napisan iz nič in je znan po tem, da je osnovno funkcionalnost spletnega odjemalca premaknil v knjižnico libwget, ki jo je mogoče uporabljati ločeno v aplikacijah. Pripomoček je licenciran pod GPLv3+, knjižnica pa pod licenco LGPLv3+.
Namesto postopnega preoblikovanja obstoječe baze kode je bilo odločeno, da se vse ponovi od začetka in vzpostavi ločena veja Wget2 za izvajanje idej za prestrukturiranje, povečanje funkcionalnosti in uvedbo sprememb, ki motijo združljivost. Z izjemo opustitve protokola FTP in formata WARC lahko wget2 v večini primerov deluje kot pregledna zamenjava za klasični pripomoček wget.
Vendar ima wget2 nekaj dokumentiranih razlik v obnašanju, ponuja približno 30 dodatnih možnosti in ne podpira več deset možnosti. Vključuje obdelavo možnosti, kot so »-ask-password«, »-header«, »-exclude-directories«, »-ftp*«, »-warc*«, »-limit-rate«, »-relative« ustavljeno " in "--odstrani povezavo".
Ključne novosti vključujejo:
- Premikanje funkcionalnosti v knjižnico libwget.
- Prehod na večnitno arhitekturo.
- Možnost vzporedne vzpostavitve več povezav in prenosa v več niti. Možno je tudi paralelizirati prenos ene datoteke, razdeljene na bloke, z uporabo možnosti »-chunk-size«.
- Podpora za protokol HTTP/2.
- Za prenos samo spremenjenih podatkov uporabite glavo HTTP If-Modified-Since.
- Preklopite na uporabo zunanjih omejevalnikov pasovne širine, kot je curljanje.
- Podpora za glavo Accept-Encoding, stisnjen prenos podatkov in algoritme stiskanja brotli, zstd, lzip, gzip, deflate, lzma in bzip2.
- Podpora za TLS 1.3, OCSP (Online Certificate Status Protocol) za preverjanje preklicanih potrdil, HSTS (HTTP Strict Transport Security) mehanizem za prisilno preusmeritev na HTTPS in HPKP (HTTP Public Key Pinning) za vezavo potrdila.
- Možnost uporabe GnuTLS, WolfSSL in OpenSSL kot ozadij za TLS.
- Podpora za hitro odpiranje TCP povezav (TCP FastOpen).
- Vgrajena podpora za format Metalink.
- Podpora za internacionalizirana imena domen (IDNA2008).
- Možnost hkratnega dela prek več proxy strežnikov (en tok bo naložen prek enega proxyja, drugi pa prek drugega).
- Vgrajena podpora za vire novic v formatih Atom in RSS (na primer za skeniranje in prenos povezav). Podatke RSS/Atom lahko prenesete iz lokalne datoteke ali prek omrežja.
- Podpora za pridobivanje URL-jev iz zemljevidov spletnih mest. Razpoložljivost razčlenjevalnikov za pridobivanje povezav iz datotek CSS in XML.
- Podpora za direktivo 'include' v konfiguracijskih datotekah in porazdelitev nastavitev v več datotekah (/etc/wget/conf.d/*.conf).
- Vgrajen mehanizem za predpomnjenje poizvedb DNS.
- Možnost kodiranja vsebine s spremembo kodiranja dokumenta.
- Upoštevanje datoteke »robots.txt« med rekurzivnimi prenosi.
- Zanesljiv način zapisovanja s klicem fsync() po shranjevanju podatkov.
- Možnost nadaljevanja prekinjenih sej TLS ter predpomnilnika in shranjevanja parametrov seje TLS v datoteko.
- Način "--input-file-" za nalaganje URL-jev, ki prihajajo skozi standardni vhodni tok.
- Preverjanje obsega piškotka glede na imenik končnic v javni domeni (Seznam javnih končnic), da med seboj ločimo različna spletna mesta, ki gostujejo v isti domeni druge ravni (na primer »a.github.io« in »b.github. io”).
- Podpira prenos ICEcast/SHOUTcast pretakanja.
Vir: opennet.ru