Die erste stabile Version des GNU Wget2-Tools zur Webinhaltsübertragung ist veröffentlicht worden.

Nach dreieinhalb Jahren Entwicklung wurde die erste stabile Version des GNU Wget2-Projekts vorgestellt, die eine vollständig überarbeitete Variante des Programms zur automatisierten rekursiven Download von Inhalten darstellt. GNU Wget2 wurde von Grund auf neu konzipiert und programmiert und fällt durch die Auslagerung der grundlegenden Web-Client-Funktionalität in die Bibliothek libwget auf, die unabhängig in Anwendungen eingesetzt werden kann. Das Dienstprogramm wird unter der GPLv3+ Lizenz ausgeliefert, die Bibliothek unter der LGPLv3+.

Anstatt die bestehende Codebasis schrittweise zu überarbeiten, wurde beschlossen, alles von Grund auf neu zu erstellen und einen separaten Branch Wget2 für die Umsetzung von Ideen zur Umstrukturierung, Funktionserweiterung und nicht abwärtskompatiblen Änderungen zu gründen. Mit Ausnahme der Einstellung der Unterstützung für das FTP-Protokoll und das WARC-Format kann wget2 in den meisten Situationen als transparente Alternative zum klassischen wget auftreten.

Wget2 weist dokumentierte Unterschiede im Verhalten auf und bietet etwa 30 zusätzliche Optionen, während die Unterstützung für Dutzende von Optionen eingestellt wurde. Dazu gehört die Verarbeitung von Optionen wie „—ask-password“, „—header“, „—exclude-directories“, „—ftp*“, „—warc*“, „—limit-rate“, „—relative“ und „—unlink“ wurde eingestellt.

Zu den wichtigsten Neuerungen gehören:

• Auslagerung von Funktionen in die Bibliothek libwget.
• Umstellung auf eine multithreaded Architektur.
• Möglichkeit der parallelen Einrichtung mehrerer Verbindungen und des Downloads in mehreren Streams. Auch das parallele Herunterladen einer Datei mit Blockaufteilung ist möglich, indem die Option „—chunk-size“ verwendet wird.
• Unterstützung des HTTP/2-Protokolls.
• Verwendung des HTTP-Headers If-Modified-Since, um nur geänderte Daten herunterzuladen.
• Wechsel zur Verwendung externer Bandbreitenbeschränkungen, wie z. B. trickle.
• Unterstützung des Accept-Encoding-Headers, Übertragung von Daten in komprimierter Form und der Komprimierungsalgorithmen brotli, zstd, lzip, gzip, deflate, lzma und bzip2.
• Unterstützung von TLS 1.3, dem OCSP-Protokoll (Online Certificate Status Protocol) zur Überprüfung von widerrufenen Zertifikaten, dem HSTS-Mechanismus (HTTP Strict Transport Security) zur erzwungenen Weiterleitung auf HTTPS und HPKP (HTTP Public Key Pinning) zur Bindung von Zertifikaten.
• Möglichkeit zur Verwendung von GnuTLS, WolfSSL und OpenSSL als Backend für TLS.
• Unterstützung des TCP-FastOpen-Modus.
• Integrierte Unterstützung des Metalink-Formats.
• Unterstützung für internationalisierte von Domainnamen (IDNA2008).
• Möglichkeit, gleichzeitig über mehrere Proxys zu arbeiten-Server (ein Stream wird über einen Proxy, der andere über einen anderen geladen).
• Integrierte Unterstützung für Nachrichtenfeeds in den Formaten Atom und RSS (zum Beispiel zum Scannen und Laden von Links). RSS/Atom-Daten können aus einer lokalen Datei oder über das Netzwerk geladen werden.
• Unterstützung zum Abrufen von URLs aus Sitemap-Dateien. Vorhandensein von Parsern zum Extrahieren von Links aus CSS- und XML-Dateien.
• Unterstützung der Direktive 'include' in Konfigurationsdateien und Verteilung von Einstellungen über mehrere Dateien (/etc/wget/conf.d/*.conf).
• Integrierter DNS-Abfrage-Caching-Mechanismus.
• Möglichkeit zur Neukodierung von Inhalten mit Wechsel der Dokumentencodierung.
• Berücksichtigung der Datei 'robots.txt' bei rekursiven Downloads.
• Der zuverlässige Schreibmodus mit einem Aufruf von fsync() nach dem Speichern von Daten.
• Die Möglichkeit, unterbrochene TLS-Sitzungen wiederherzustellen sowie TLS-Sitzungsparameter zwischenzuspeichern und in eine Datei zu speichern.
• Modus „—input-file —“ zum Laden von URLs, die über den Standard-Eingabestrom eingehen.
• Überprüfung des Cookie-Gültigkeitsbereichs anhand der Public Suffix List zur Isolation verschiedener Websites, die unter derselben zweitstufigen Domain gehostet werden (z. B. „a.github.io“ und „b.github.io“).
• Unterstützung für das Streaming von Inhalten im ICEcast / SHOUTcast-Format.

Quelle: opennet.ru