Dopo tre anni e mezzo di sviluppo, viene presentata la prima versione stabile del progetto GNU Wget2, che sviluppa una variante completamente rivisitata del programma per l'automazione del download ricorsivo dei contenuti GNU Wget. GNU Wget2 è stato progettato e riscritto da zero ed è notevole per l'estrazione delle funzionalità di base del client web nella libreria libwget, che può essere utilizzata in modo autonomo nelle applicazioni. Lo strumento è distribuito con licenza GPLv3+, mentre la libreria è sotto LGPLv3.
Invece di una revisione graduale dell'attuale base di codice, si è deciso di ricostruire tutto da zero e di istituire un ramo separato Wget2 per realizzare le idee di ristrutturazione, ampliamento delle funzionalità e modifiche che violano la compatibilità. Ad eccezione dell'interruzione del supporto per il protocollo FTP e il formato WARC, wget2 può fungere da sostituto trasparente dell'utile classico wget nella maggior parte delle situazioni.
Tuttavia, wget2 presenta alcune differenze documentate nel comportamento, offre circa 30 opzioni aggiuntive e interrompe il supporto per diverse decine di opzioni. Tra queste, è stata interrotta la gestione di opzioni come "—ask-password", "—header", "—exclude-directories", "—ftp*", "—warc*", "—limit-rate", "—relative" e "—unlink".
Tra le novità principali si possono notare:
- Estrazione delle funzionalità nella libreria libwget.
- Transizione verso un'architettura multi-thread.
- Possibilità di stabilire collegamenti multipli e download in parallelo. È anche possibile parallelizzare il download di un singolo file suddividendolo in blocchi tramite l'opzione "—chunk-size".
- Supporto per il protocollo HTTP/2.
- Utilizzo dell'intestazione HTTP If-Modified-Since per scaricare solo i dati modificati.
- Transizione all'uso di limitatori esterni della banda, come trickle.
- Supporto per l'intestazione Accept-Encoding, trasferimento di dati in formato compresso e algoritmi di compressione brotli, zstd, lzip, gzip, deflate, lzma e bzip2.
- Supporto per TLS 1.3, protocollo OCSP (Online Certificate Status Protocol) per la verifica dei certificati revocati, meccanismo HSTS (HTTP Strict Transport Security) per il reindirizzamento forzato a HTTPS e HPKP (HTTP Public Key Pinning) per l'associazione dei certificati.
- Possibilità di utilizzare GnuTLS, WolfSSL e OpenSSL come backend per TLS.
- Supporto per la modalità di apertura rapida delle connessioni TCP (TCP FastOpen).
- Supporto integrato per il formato Metalink.
- Supporto per l'internazionalizzazione nomi di dominio (IDNA2008).
- Possibilità di lavorare contemporaneamente attraverso più proxy-server (un flusso sarà caricato tramite un proxy e un altro tramite un altro).
- Supporto integrato per feed di notizie nei formati Atom e RSS (ad esempio, per scansionare e caricare collegamenti). I dati RSS/Atom possono essere caricati da un file locale o attraverso la rete.
- Supporto per l'estrazione di URL da file Sitemap. Presenza di parser per estrarre collegamenti da file CSS e XML.
- Supporto per la direttiva 'include' nei file di configurazione e distribuzione delle impostazioni su più file (/etc/wget/conf.d/*.conf).
- Meccanismo integrato di caching delle richieste DNS.
- Possibilità di ricodificare il contenuto cambiando la codifica del documento.
- Rispetto del file 'robots.txt' durante i download ricorsivi.
- Modalità di scrittura affidabile con chiamata a fsync() dopo il salvataggio dei dati.
- Possibilità di riprendere sessioni TLS interrotte, nonché di memorizzare in cache e salvare su file i parametri della sessione TLS.
- Modalità '--input-file --' per caricare URL provenienti attraverso il flusso di ingresso standard.
- Verifica del dominio dei Cookie in base al Public Suffix List per isolare tra loro diversi siti ospitati nello stesso dominio di secondo livello (ad esempio, 'a.github.io' e 'b.github.io').
- Supporto per il download di streaming nel formato ICEcast/SHOUTcast.
Fonte: opennet.ru
