Първата стабилна версия на помощната програма за изтегляне на GNU уеб съдържание Wget2

След три години и половина на разработка беше представена първата стабилна версия на проекта GNU Wget2, която разработва напълно преработена версия на програмата за автоматизиране на рекурсивното изтегляне на GNU Wget съдържание. GNU Wget2 е проектиран и пренаписан от нулата и се отличава с преместването на основната функционалност на уеб клиент в библиотеката libwget, която може да се използва отделно в приложения. Помощната програма е лицензирана под GPLv3+, а библиотеката е лицензирана под LGPLv3+.

Вместо постепенно да се преработва съществуващата кодова база, беше решено да се преработи всичко от нулата и да се създаде отделен клон на Wget2, за да се реализират идеи за преструктуриране, увеличаване на функционалността и извършване на промени, които нарушават съвместимостта. С изключение на отмяната на протокола FTP и формата WARC, wget2 може да действа като прозрачен заместител на класическата помощна програма wget в повечето ситуации.

Като се има предвид това, wget2 има някои документирани разлики в поведението, предоставя около 30 допълнителни опции и спира да поддържа няколко дузини опции. Включено е обработване на опции като „-ask-password“, „-header“, „-exclude-directories“, „-ftp*“, „-warc*“, „-limit-rate“, „-relative“ спрян " и "--unlink".

Основните иновации включват:

• Преместване на функционалност към библиотеката libwget.
• Преход към многопоточна архитектура.
• Възможност за установяване на множество връзки паралелно и изтегляне в множество нишки. Също така е възможно да паралелизирате изтеглянето на един файл, разделен на блокове, като използвате опцията „-chunk-size“.
• Поддръжка на HTTP/2 протокол.
• Използвайте HTTP заглавката If-Modified-Since, за да изтеглите само модифицираните данни.
• Преминете към използване на външни ограничители на честотната лента, като например trickle.
• Поддръжка за Accept-Encoding хедър, компресиран трансфер на данни и алгоритми за компресия brotli, zstd, lzip, gzip, deflate, lzma и bzip2.
• Поддръжка за TLS 1.3, OCSP (Протокол за онлайн статус на сертификат) за проверка на анулирани сертификати, HSTS (HTTP Strict Transport Security) механизъм за принудително пренасочване към HTTPS и HPKP (HTTP Public Key Pinning) за обвързване на сертификат.
• Възможност за използване на GnuTLS, WolfSSL и OpenSSL като бекенд за TLS.
• Поддръжка за бързо отваряне на TCP връзки (TCP FastOpen).
• Вградена поддръжка на формат Metalink.
• Поддръжка за интернационализирани имена на домейни (IDNA2008).
• Възможността за едновременна работа през няколко прокси сървъра (един поток ще бъде зареден през един прокси, а вторият през друг).
• Вградена поддръжка за емисии с новини в Atom и RSS формати (например за сканиране и изтегляне на връзки). RSS/Atom данните могат да бъдат изтеглени от локален файл или по мрежата.
• Поддръжка за извличане на URL адреси от Sitemap. Наличие на парсери за извличане на връзки от CSS и XML файлове.
• Поддръжка на директивата 'include' в конфигурационните файлове и разпределение на настройките в няколко файла (/etc/wget/conf.d/*.conf).
• Вграден механизъм за кеширане на DNS заявки.
• Възможност за прекодиране на съдържание чрез промяна на кодирането на документа.
• Отчитане на файла „robots.txt“ по време на рекурсивни изтегляния.
• Надежден режим на запис с извикване на fsync() след запазване на данни.
• Възможност за възобновяване на прекъснати TLS сесии, както и кеширане и запазване на параметрите на TLS сесията във файл.
• Режим "--input-file-" за зареждане на URL адреси, идващи през стандартния входен поток.
• Проверка на обхвата на бисквитката спрямо директорията със суфикси за обществено достояние (Списък с публични суфикси), за да се изолират един от друг различни сайтове, хоствани в същия домейн от второ ниво (например „a.github.io“ и „b.github. йо”).
• Поддържа изтегляне на ICEcast/SHOUTcast поточно предаване.

Източник: opennet.ru