Após três anos e meio de desenvolvimento, o primeiro lançamento estável do projeto GNU Wget2, que desenvolve uma versão totalmente reestruturada do programa para automatizar o download recursivo de conteúdo GNU Wget, foi apresentado. O GNU Wget2 foi projetado e reescrito do zero e se destaca pela transferência da funcionalidade básica do cliente web para a biblioteca libwget, que pode ser utilizada separadamente em aplicações. A ferramenta é fornecida sob a licença GPLv3+, e a biblioteca sob LGPLv3+.
Em vez de reformular gradualmente a base de código existente, foi decidido refazê-lo completamente e estabelecer um ramo separado Wget2 para implementar ideias de reestruturação, aumento de funcionalidade e alterações que quebram a compatibilidade. Exceto pela interrupção do suporte ao protocolo FTP e ao formato WARC, o wget2 pode atuar na maioria das situações como uma substituição transparente da clássica ferramenta wget.
No entanto, o wget2 possui algumas diferenças documentadas no comportamento, oferece cerca de 30 opções adicionais e descontinua o suporte a várias dezenas de opções. Entre elas, a descontinuação do processamento de opções como '—ask-password', '—header', '—exclude-directories', '—ftp*', '—warc*', '—limit-rate', '—relative' e '—unlink'.
As principais inovações incluem:
- Transferência de funcionalidade para a biblioteca libwget.
- Transição para uma arquitetura multithread.
- Capacidade de estabelecer várias conexões em paralelo e downloads em múltiplas threads. Também é possível paralelizar o download de um único arquivo em blocos usando a opção '—chunk-size'.
- Suporte ao protocolo HTTP/2.
- Uso do cabeçalho HTTP If-Modified-Since para baixar apenas dados alterados.
- Transição para a aplicação de limitadores de largura de banda externos, como trickle.
- Suporte ao cabeçalho Accept-Encoding, transmissão de dados comprimidos e algoritmos de compressão brotli, zstd, lzip, gzip, deflate, lzma e bzip2.
- Suporte a TLS 1.3, ao protocolo OCSP (Online Certificate Status Protocol) para verificar certificados revogados, ao mecanismo HSTS (HTTP Strict Transport Security) para redirecionamento forçado para HTTPS e HPKP (HTTP Public Key Pinning) para fixação de certificados.
- Capacidade de usar GnuTLS, WolfSSL e OpenSSL como backends para TLS.
- Suporte ao modo de abertura rápida de conexões TCP (TCP FastOpen).
- Suporte embutido ao formato Metalink.
- Suporte a internacionalização domínios (IDNA2008).
- Possibilidade de operar simultaneamente através de vários proxies -servidores (um fluxo será carregado através de um proxy, o segundo através de outro).
- Suporte integrado para feeds de notícias nos formatos Atom e RSS (por exemplo, para varrer e carregar links). Os dados RSS/Atom podem ser carregados de um arquivo local ou pela rede.
- Suporte para extração de URL de arquivos Sitemap. Disponibilidade de parsers para extrair links de arquivos CSS e XML.
- Suporte à diretiva 'include' em arquivos de configuração e distribuição de configurações por vários arquivos (/etc/wget/conf.d/*.conf).
- Mecanismo integrado de cache para consultas DNS.
- Capacidade de recodificar o conteúdo alterando a codificação do documento.
- Consideração do arquivo 'robots.txt' durante downloads recursivos.
- Modo de gravação confiável com chamada fsync() após o salvamento dos dados.
- Possibilidade de retomar sessões TLS interrompidas, bem como armazenar em cache e salvar em arquivo os parâmetros da sessão TLS.
- Modo '--input-file --' para carregar URLs recebidas através do fluxo de entrada padrão.
- Verificação do escopo de Cookies pelo diretório da lista pública de sufixos de domínio (Public Suffix List) para isolar diferentes sites hospedados em um mesmo domínio de segundo nível (por exemplo, 'a.github.io' e 'b.github.io').
- Suporte para carregamento de streaming nos formatos ICEcast / SHOUTcast.
Fonte: opennet.ru
