Esimene stabiilne versioon veebisisu allalaadimise utiliidile GNU Wget2

Pärast kolme ja poole aasta arengut tutvustatakse esimest stabiilset versiooni GNU Wget2 projektist, mis arendab täielikult ümber kirjutatud versiooni automaatse rekursiivse içeri laadimise programa GNU Wget. GNU Wget2 on projekteeritud ja kirjutatud nullist ning on tähelepanuväärne selle poolest, et põhifunktsionaalsus on välja tõstetud libwget teeki, mida saab iseseisvalt rakendustes kasutada. Utiliit on litsentseeritud GPLv3+ alusel, teek aga LGPLv3+ alusel.

Kohandatud olemasoleva koodibaasi järkjärgulise ülevaatamise asemel otsustati kõik nullist üle kirjutada ja luua eraldi haru Wget2, et realiseerida ideid restruktureerimise, funktsionaalsuse suurendamise ja ühilduvust rikkuvate muudatuste kohta. Välja arvatud FTP protokolli ja WARC formaadi toe lõpetamine, saab wget2 enamikus olukordades toimida klassikalise wget utiliidi läbipaistva asendajana.

Samuti on wget2-l dokumenteeritud käitumise erinevused, see pakub umbes 30 täiendavat valikut ja lõpetab toegu mõnedele toele mitmekümnele valikule. Sealhulgas lõpetatakse selliste valikute nagu „—ask-password“, „—header“, „—exclude-directories“, „—ftp*“, „—warc*“, „—limit-rate“, „—relative“ ja „—unlink“ töötlemine.

Peamiste uuenduste seas on:

• Funktsionaalsuse viimine libwget teeki.
• Üleminek mitme lõime arhitektuurile.
• Võime paralleelselt seadistada mitu ühendust ja laadida andmeid mitmes lõimes. Samuti on võimalik laadida ühte faili paralleelselt plokkideks jagamise kaudu, kasutades valikut „—chunk-size“.
• HTTP/2 protokolli tugi.
• HTTP-pealkirja If-Modified-Since kasutamine, et laadida ainult muutunud andmeid.
• Üleminek väliste ribalaiuse piirajate nagu trickle kasutamisele.
• Accept-Encoding pealkirja tugi, andmete edastamine kompressitud kujul ning brotli, zstd, lzip, gzip, deflate, lzma ja bzip2 kompressioonialgoritmide toetus.
• TLS 1.3 toetus, OCSP (Online Certificate Status Protocol) protokoll, et kontrollida tühistatud sertifikaate, HSTS (HTTP Rangelt Transport Security) mehhanism, et sundida ümbersuunamist HTTPS-ile, ja HPKP (HTTP Avalik Võtme Sidumine) sertifikaatide sidumiseks.
• Võime kasutada GnuTLS, WolfSSL ja OpenSSL TLS tagaplaanidena.
• TCP kiire avamise režiimi (TCP FastOpen) tugi.
• Sisseehitatud tugi Metalink formaadile.
• Rahvusvaheliste URL-de toimetamine domeeninime (IDNA2008).
• Võime töötada mitme proksi kaudu korraga -serverid (üks voog laaditakse ühe proksi kaudu, teine teise kaudu).
• Sisseehitatud tugi uudistevoogude jaoks vormingutes Atom ja RSS (nt linkide skaneerimiseks ja laadimiseks). RSS/Atom andmeid saab laadida kas kohalikust failist või võrgust.
• Toetab URL-ide väljavõtmist XML Sitemap-failidest. Olemas on parsiersüsteemide tugi linkide väljavõtmiseks CSS ja XML failidest.
• Toetab 'include' direktiivi konfiguratsioonifailides ja seadete jagamist mitme faili vahel (/etc/wget/conf.d/*.conf).
• Sisseehitatud DNSi päringute vahemälu mehhanism.
• Võime sisu ümberkodeerimist dokumendi kodeeringu muutmisega.
• Arvestab 'robots.txt' faili rekursiivsete laadimiste korral.
• Usaldusväärse salvestamismoduse režiim, mis kutsub fsync() üles andmete salvestamise järel.
• Võime taastada katkestatud TLS-seansse, samuti TLS-seansi parameetrite vahemällu salvestamine ja faili salvestamine.
• Režiim '--input-file --' URL-ide laadimiseks, mis tuleb standardse sisendvoo kaudu.
• Küpsiste kehtivuse kontrollimine avalike domeenide suuffixide katalooge (Public Suffix List) rakenduste isolatsiooni jaoks samas teise taseme domeenis (nt 'a.github.io' ja 'b.github.io').
• Toetab voogedastuse laadimist vormingus ICEcast / SHOUTcast.

Allikas: opennet.ru