Dopo tre anni e mezzo di sviluppo, è stato presentato il primo rilascio stabile del progetto GNU Wget2, che sviluppa una variante completamente rielaborata del programma per l'automazione del download ricorsivo dei contenuti di GNU Wget. GNU Wget2 è progettato e riscritto da zero e si distingue per l'estrazione delle funzionalità di base del client web nella libreria libwget, che può essere utilizzata autonomamente nelle applicazioni. L'utility è distribuita con licenza GPLv3+, mentre la libreria è sotto LGPLv3+.
Invece di un'evoluzione graduale della base di codice esistente, è stata presa la decisione di ricostruire tutto da zero e creare un ramo separato Wget2 per concretizzare idee di ristrutturazione, incremento di funzionalità e apportare modifiche che rompono la compatibilità. Salvo la cessazione del supporto per il protocollo FTP e il formato WARC, wget2 può essere, nella maggior parte dei casi, un sostituto trasparente dell'utility classica wget.
Inoltre, wget2 presenta alcune differenze documentate nel comportamento, offre circa 30 opzioni aggiuntive e interrompe il supporto a diverse decine di opzioni. Tra queste, è stata interrotta l'elaborazione di opzioni come «—ask-password», «—header», «—exclude-directories», «—ftp*», «—warc*», «—limit-rate», «—relative» e «—unlink».
Tra le principali novità possiamo evidenziare:
- Estensione delle funzionalità nella libreria libwget.
- Transizione a un'architettura multi-thread.
- Possibilità di instaurare più connessioni e scaricare in più flussi, compresa la possibilità di parallelizzare il download di un file suddividendolo in blocchi grazie all'opzione «—chunk-size».
- Supporto per il protocollo HTTP/2.
- Utilizzo dell'intestazione HTTP If-Modified-Since per scaricare solo i dati modificati.
- Transizione all'uso di limitatori di larghezza di banda esterni, come trickle.
- Supporto per l'intestazione Accept-Encoding, trasmissione dei dati in formato compresso e algoritmi di compressione brotli, zstd, lzip, gzip, deflate, lzma e bzip2.
- Supporto per TLS 1.3, il protocollo OCSP (Online Certificate Status Protocol) per la verifica dei certificati revocati, il meccanismo HSTS (HTTP Strict Transport Security) per la forzatura della redirezione su HTTPS e HPKP (HTTP Public Key Pinning) per il binding dei certificati.
- Possibilità di utilizzare GnuTLS, WolfSSL e OpenSSL come backend per TLS.
- Supporto per la modalità di apertura rapida delle connessioni TCP (TCP FastOpen).
- Supporto integrato per il formato Metalink.
- Supporto per nomi di dominio internazionalizzati di nomi di dominio (IDNA2008).
- Possibilità di lavorare simultaneamente attraverso più proxyserver (un flusso verrà caricato tramite un proxy, l'altro attraverso un altro).
- Supporto integrato per feed RSS e Atom (ad esempio, per la scansione e il download di collegamenti). I dati RSS/Atom possono essere scaricati da un file locale o tramite rete.
- Supporto per l'estrazione di URL da file Sitemap. Disponibilità di parser per estrarre collegamenti da file CSS e XML.
- Supporto per la direttiva 'include' nei file di configurazione e distribuzione delle impostazioni su più file (/etc/wget/conf.d/*.conf).
- Meccanismo integrato di caching delle richieste DNS.
- Possibilità di ricodificare il contenuto con cambio di codifica del documento.
- Considerazione del file 'robots.txt' durante i download ricorsivi.
- Modalità di registrazione affidabile con chiamata a fsync() dopo il salvataggio dei dati.
- Possibilità di ripristinare sessioni TLS interrotte, nonché di memorizzare nella cache e salvare su file i parametri della sessione TLS.
- Modalità «—input-file — » per caricare URL provenienti dallo standard input.
- Verifica dell'ambito dei cookie tramite il Public Suffix List per isolare i diversi siti tra loro, ospitati nello stesso dominio di secondo livello (ad esempio, «a.github.io» e «b.github.io»).
- Supporto per il caricamento di flussi multimediali nel formato ICEcast / SHOUTcast.
Fonte: opennet.ru
