L-ewwel rilaxx stabbli tal-utilità għat-tniżżil tal-kontenut tal-web GNU Wget2

Wara tliet snin u nofs ta 'żvilupp, ġiet ippreżentata l-ewwel rilaxx stabbli tal-proġett GNU Wget2, li tiżviluppa verżjoni kompletament iddisinjata mill-ġdid tal-programm għall-awtomatizzazzjoni tat-tniżżil rikorsiv tal-kontenut GNU Wget. GNU Wget2 ġie ddisinjat u miktub mill-ġdid mill-bidu u huwa notevoli biex iċaqlaq il-funzjonalità bażika ta 'klijent tal-web fil-librerija libwget, li tista' tintuża separatament fl-applikazzjonijiet. L-utilità hija liċenzjata taħt GPLv3+, u l-librerija hija liċenzjata taħt LGPLv3+.

Minflok ma tinħadem mill-ġdid gradwalment il-bażi tal-kodiċi eżistenti, ġie deċiż li jerġa 'jagħmel kollox mill-bidu u jistabbilixxi fergħa Wget2 separata biex timplimenta ideat għar-ristrutturar, tiżdied il-funzjonalità u tagħmel bidliet li jkissru l-kompatibilità. Bl-eċċezzjoni tad-deprekazzjoni tal-protokoll FTP u l-format WARC, wget2 jista 'jaġixxi bħala sostitut trasparenti għall-utilità wget klassika fil-biċċa l-kbira tas-sitwazzjonijiet.

Għalhekk, wget2 għandu xi differenzi dokumentati fl-imġieba, jipprovdi madwar 30 għażla addizzjonali, u jieqaf jappoġġa diversi għexieren ta 'għażliet. Ġiet inkluża l-ipproċessar ta’ għażliet bħal “-ask-password”, “-header”, “-exclude-directories”, “-ftp*”, “-warc*”, “-limit-rate”, “-relative” waqaf " u "--unlink".

L-innovazzjonijiet ewlenin jinkludu:

  • Nimxu funzjonalità għal-librerija libwget.
  • Tranżizzjoni għal arkitettura multi-threaded.
  • Kapaċità li tistabbilixxi konnessjonijiet multipli b'mod parallel u tniżżel għal ħjut multipli. Huwa wkoll possibbli li tiġi parallelizzata t-tniżżil ta 'fajl wieħed maqsum fi blokki billi tuża l-għażla "-chunk-size".
  • Appoġġ għall-protokoll HTTP/2.
  • Uża l-header HTTP If-Modified-Since biex tniżżel biss id-dejta modifikata.
  • Aqleb għall-użu ta 'limitaturi tal-bandwidth esterni bħal trickle.
  • Appoġġ għall-header Accept-Encoding, trasferiment ta 'data kompressat, u algoritmi ta' kompressjoni brotli, zstd, lzip, gzip, deflate, lzma, u bzip2.
  • Appoġġ għal TLS 1.3, OCSP (Online Certificate Status Protocol) għall-iċċekkjar ta 'ċertifikati revokati, mekkaniżmu HSTS (HTTP Strict Transport Security) biex jiġi sfurzat direzzjoni mill-ġdid lejn HTTPS u HPKP (HTTP Public Key Pinning) għall-irbit taċ-ċertifikat.
  • Kapaċità li tuża GnuTLS, WolfSSL u OpenSSL bħala backends għal TLS.
  • Appoġġ għal ftuħ mgħaġġel ta 'konnessjonijiet TCP (TCP FastOpen).
  • Appoġġ integrat tal-format Metalink.
  • Appoġġ għall-ismijiet tad-dominju internazzjonalizzati (IDNA2008).
  • Il-ħila li taħdem simultanjament permezz ta 'diversi proxy servers (fluss wieħed se jitgħabba permezz ta' prokura waħda, u t-tieni permezz ta 'ieħor).
  • Appoġġ inkorporat għal aħbarijiet f'formati Atom u RSS (pereżempju, għall-iskannjar u t-tniżżil ta' links). Data RSS/Atom tista' titniżżel minn fajl lokali jew fuq in-netwerk.
  • Appoġġ għall-estrazzjoni tal-URLs minn Sitemaps. Disponibbiltà ta' parsers għall-estrazzjoni ta' links minn fajls CSS u XML.
  • Appoġġ għad-direttiva 'inkludi' f'fajls ta' konfigurazzjoni u distribuzzjoni ta' settings f'diversi fajls (/etc/wget/conf.d/*.conf).
  • Mekkaniżmu ta' caching ta' query DNS inkorporat.
  • Possibbiltà ta 'kodifikazzjoni mill-ġdid tal-kontenut billi tinbidel il-kodifikazzjoni tad-dokument.
  • Kontabilità għall-fajl "robots.txt" waqt downloads rikorsivi.
  • Modalità ta 'kitba affidabbli b'sejħa fsync() wara li tissejvja d-dejta.
  • Il-ħila li terġa 'tibda sessjonijiet TLS interrotti, kif ukoll il-cache u ssalva l-parametri tas-sessjoni TLS f'fajl.
  • Modalità "--input-file-" għat-tagħbija tal-URLs li ġejjin mill-fluss ta' input standard.
  • Iċċekkja l-ambitu tal-Cookie mad-direttorju tas-suffissi tad-dominju pubbliku (Lista tas-Suffissi Pubbliċi) biex jiġi iżolat minn xulxin siti differenti ospitati fl-istess dominju tat-tieni livell (per eżempju, "a.github.io" u "b.github. io”).
  • Jappoġġja t-tniżżil ta 'streaming ICEcast/SHOUTcast.

Sors: opennet.ru

Żid kumment