Die erste stabile Version des Tools zum Herunterladen von Web-Inhalten GNU Wget2

Nach dreieinhalb Jahren Entwicklung wurde die erste stabile Version des GNU Wget2-Projekts vorgestellt, das eine vollständig überarbeitete Version des Programms zur Automatisierung des rekursiven Herunterladens von Inhalten GNU Wget weiterentwickelt. GNU Wget2 wurde von Grund auf neu konzipiert und programmiert und zeichnet sich dadurch aus, dass die grundlegende Funktionalität des Web-Clients in die Bibliothek libwget ausgelagert wurde, die unabhängig in Anwendungen verwendet werden kann. Das Tool wird unter der Lizenz GPLv3+ bereitgestellt, die Bibliothek unter LGPLv3+.

Anstatt die bestehende Codebasis schrittweise zu überarbeiten, wurde beschlossen, alles von Grund auf neu zu erstellen und einen separaten Branch Wget2 für die Umsetzung von Ideen zur Umstrukturierung, Erweiterung der Funktionalität und zur Einführung von inkompatiblen Änderungen zu gründen. Mit Ausnahme der Einstellung der Unterstützung für das FTP-Protokoll und das WARC-Format kann wget2 in den meisten Situationen als transparenter Ersatz für das klassische Tool wget fungieren.

Dabei weist wget2 einige dokumentierte Unterschiede im Verhalten auf, bietet etwa 30 zusätzliche Optionen und stellt die Unterstützung mehrerer Dutzend Optionen ein. Dazu gehört die Einstellung der Verarbeitung solcher Optionen wie „—ask-password“, „—header“, „—exclude-directories“, „—ftp*“, „—warc*“, „—limit-rate“, „—relative“ und „—unlink“.

Zu den wichtigsten Neuerungen gehören:

• Auslagerung der Funktionalität in die Bibliothek libwget.
• Übergang zu einer mehrthreadigen Architektur.
• Möglichkeit der parallelen Einrichtung mehrerer Verbindungen und des Herunterladens in mehreren Streams. Es ist auch möglich, das Herunterladen einer Datei mithilfe der Option „—chunk-size“ in Blöcke aufzuteilen und parallel durchzuführen.
• Unterstützung des Protokolls HTTP/2.
• Verwendung des HTTP-Headers If-Modified-Since, um nur geänderte Daten herunterzuladen.
• Wechsel zur Nutzung äußerer Bandbreitenbegrenzer wie Trickle.
• Unterstützung des Headers Accept-Encoding, Übertragung von Daten in komprimierter Form und der Komprimierungsalgorithmen Brotli, zstd, lzip, gzip, deflate, lzma und bzip2.
• Unterstützung für TLS 1.3, das OCSP-Protokoll (Online Certificate Status Protocol) zur Überprüfung zurückgezogener Zertifikate, den HSTS-Mechanismus (HTTP Strict Transport Security) zur erzwungenen Umleitung auf HTTPS und HPKP (HTTP Public Key Pinning) zur Bindung von Zertifikaten.
• Möglichkeit der Verwendung von GnuTLS, WolfSSL und OpenSSL als Backends für TLS.
• Unterstützung des Modus zum schnellen Öffnen von TCP-Verbindungen (TCP FastOpen).
• Eingebaute Unterstützung für das Metalink-Format.
• Unterstützung für Internationalisierung Domainnamen (IDNA2008).
• Die Möglichkeit, gleichzeitig über mehrere Proxys zu arbeiten -Server (eine Verbindung wird über einen Proxy geladen, die zweite über einen anderen).
• Eingebaute Unterstützung für Nachrichtenströme in den Formaten Atom und RSS (zum Beispiel zum Scannen und Laden von Links). RSS/Atom-Daten können aus einer lokalen Datei oder über das Netzwerk geladen werden.
• Unterstützung zum Extrahieren von URLs aus Sitemap-Dateien. Verfügbarkeit von Parsern zum Extrahieren von Links aus CSS- und XML-Dateien.
• Unterstützung der 'include'-Direktive in Konfigurationsdateien und Verteilung von Einstellungen auf mehrere Dateien (/etc/wget/conf.d/*.conf).
• Eingebauter Cache-Mechanismus für DNS-Anfragen.
• Die Möglichkeit, den Inhalt mit einer Änderung der Dokumentkodierung neu zu kodieren.
• Berücksichtigung der Datei „robots.txt“ bei rekursiven Downloads.
• Sichere Schreibweise mit Aufruf von fsync() nach dem Speichern von Daten.
• Die Möglichkeit, unterbrochene TLS-Sitzungen wieder aufzunehmen sowie TLS-Sitzungsparameter zu cachen und in einer Datei zu speichern.
• Modus „—input-file —“ zum Laden von URLs, die über den Standard-Eingabestrom eingehen.
• Überprüfung des Geltungsbereichs von Cookies anhand des Verzeichnisses öffentlicher Domain-Endungen (Public Suffix List), um verschiedene Websites, die unter einer zweiten Ebene-Domain gehostet werden, voneinander zu isolieren (z. B. „a.github.io“ und „b.github.io“).
• Unterstützung für das Laden von Streaming-Inhalten im Format ICEcast/SHOUTcast.

Quelle: opennet.ru