După trei ani și jumătate de dezvoltare, a fost lansată prima versiune stabilă a proiectului GNU Wget2, care dezvoltă o variantă complet refăcută a programului pentru automatizarea descărcării recursive a conținutului GNU Wget. GNU Wget2 a fost proiectat și redscris de la zero și este remarcabil prin transferul funcționalității de bază a clientului web în biblioteca libwget, care poate fi utilizată separat în aplicații. Utilitarul este livrat sub licența GPLv3+, iar biblioteca sub LGPLv3+.
În loc de o refacere treptată a codului existent, s-a decis refacerea totului de la zero și fondarea unei ramuri separate Wget2 pentru implementarea ideilor de restructurare, extindere a funcționalității și modificări care compromit compatibilitatea. Cu excepția încetării suportului pentru protocolul FTP și formatul WARC, wget2 poate acționa, în cele mai multe situații, ca un înlocuitor transparent al utilitarului clasic wget.
În plus, wget2 are unele diferențe documentate în comportament, oferă aproximativ 30 de opțiuni suplimentare și încetează suportul pentru câteva zeci de opțiuni. Printre acestea se numără încetarea procesării unor opțiuni precum „—ask-password”, „—header”, „—exclude-directories”, „—ftp*”, „—warc*”, „—limit-rate”, „—relative” și „—unlink”.
Printre noutățile cheie se numără:
- Transferul funcționalității în biblioteca libwget.
- Trecerea la o arhitectură multi-thread.
- Posibilitatea de a stabili mai multe conexiuni și de a descărca în mai multe thread-uri. De asemenea, este posibilă paralelizarea descărcării unui singur fișier, împărțind-l în blocuri prin opțiunea „—chunk-size”.
- Suport pentru protocolul HTTP/2.
- Utilizarea antetului HTTP If-Modified-Since pentru a descărca doar datele modificate.
- Trecerea la utilizarea limitatoarelor externe de lățime de bandă, cum ar fi trickle.
- Suport pentru antetul Accept-Encoding, transmiterea datelor în format comprimat și algoritmii de comprimare brotli, zstd, lzip, gzip, deflate, lzma și bzip2.
- Suport pentru TLS 1.3, protocolul OCSP (Online Certificate Status Protocol) pentru verificarea certificatelor revocate, mecanismul HSTS (HTTP Strict Transport Security) pentru forțarea redirecționării către HTTPS și HPKP (HTTP Public Key Pinning) pentru legarea certificatelor.
- Posibilitatea de a utiliza GnuTLS, WolfSSL și OpenSSL ca backend-uri pentru TLS.
- Suport pentru modul de deschidere rapidă a conexiunilor TCP (TCP FastOpen).
- Suport încorporat pentru formatul Metalink.
- Suport pentru caractere internaționalizate nume de domeniu (IDNA2008).
- Posibilitatea de a lucra simultan prin mai multe proxy-uri -servere (o flux va fi încărcat printr-un proxy, iar celălalt prin altul).
- Suport încorporat pentru fluxuri de știri în formatele Atom și RSS (de exemplu, pentru scanarea și descărcarea linkurilor). Datele RSS/Atom pot fi descărcate dintr-un fișier local sau prin rețea.
- Suport pentru extragerea URL-urilor din fișiere Sitemap. Există parsere pentru extragerea linkurilor din fișiere CSS și XML.
- Suport pentru directiva 'include' în fișierele de configurație și distribuirea setărilor în mai multe fișiere (/etc/wget/conf.d/*.conf).
- Mecanism încorporat de caching pentru cererile DNS.
- Posibilitatea de a recodifica conținutul cu schimbarea codării documentului.
- Respectarea fișierului 'robots.txt' la descărcările recursive.
- Mod de scriere sigur cu apelul fsync() după salvarea datelor.
- Posibilitatea de a relua sesiunile TLS întrerupte, precum și caching-ul și salvarea în fișier a parametrilor sesiunii TLS.
- Modul '--input-file --' pentru descărcarea URL-urilor care vin prin fluxul de intrare standard.
- Verificarea domeniului de aplicare a Cookie-urilor prin lista de sufixe publice de domenii (Public Suffix List) pentru a izola între ele diferite site-uri găzduite pe același domeniu de nivel secundar (de exemplu, 'a.github.io' și 'b.github.io').
- Suport pentru descărcarea streaming-ului în format ICEcast / SHOUTcast.
Sursa: opennet.ro
