Y datganiad sefydlog cyntaf o'r cyfleustodau ar gyfer lawrlwytho cynnwys gwe GNU Wget2

Ar ôl tair blynedd a hanner o ddatblygiad, mae datganiad sefydlog cyntaf prosiect GNU Wget2 wedi'i gyflwyno, gan ddatblygu fersiwn wedi'i hailgynllunio'n llwyr o'r rhaglen ar gyfer awtomeiddio lawrlwytho cynnwys GNU Wget yn rheolaidd. Dyluniwyd ac ailysgrifennwyd GNU Wget2 o'r dechrau ac mae'n nodedig am symud ymarferoldeb sylfaenol cleient gwe i lyfrgell libwget, y gellir ei ddefnyddio ar wahân mewn cymwysiadau. Mae'r cyfleustodau wedi'i drwyddedu o dan GPLv3+, ac mae'r llyfrgell wedi'i thrwyddedu o dan LGPLv3+.

Yn lle ail-weithio'r sylfaen cod presennol yn raddol, penderfynwyd ail-wneud popeth o'r dechrau a sefydlu cangen Wget2 ar wahân i weithredu syniadau ar gyfer ailstrwythuro, cynyddu ymarferoldeb a gwneud newidiadau sy'n torri cydnawsedd. Ac eithrio dibrisiant y protocol FTP a'r fformat WARC, gall wget2 weithredu fel amnewidiad tryloyw ar gyfer y cyfleustodau wget clasurol yn y rhan fwyaf o sefyllfaoedd.

Wedi dweud hynny, mae gan wget2 rai gwahaniaethau ymddygiad wedi'u dogfennu, mae'n darparu tua 30 o opsiynau ychwanegol, ac nid yw'n cefnogi sawl dwsin o opsiynau. Gan gynnwys prosesu opsiynau fel “-ask-password”, “-header”, “-exclude-directories”, “-ftp*”, “-warc*”, “-limit-rate”, “-relative” wedi bod stopio " a "--datgysylltu".

Mae arloesiadau allweddol yn cynnwys:

  • Symud swyddogaeth i'r llyfrgell libwget.
  • Pontio i bensaernïaeth aml-edau.
  • Y gallu i sefydlu cysylltiadau lluosog ochr yn ochr a llwytho i lawr i edafedd lluosog. Mae hefyd yn bosibl paralel lawrlwytho un ffeil wedi'i rhannu'n flociau gan ddefnyddio'r opsiwn "-chunk-size".
  • Cefnogaeth protocol HTTP/2.
  • Defnyddiwch y pennawd Os-Addaswyd-Ers HTTP i lawrlwytho'r data wedi'i addasu yn unig.
  • Newid i ddefnyddio cyfyngwyr lled band allanol fel diferu.
  • Cefnogaeth ar gyfer pennawd Derbyn-Amgodio, trosglwyddo data cywasgedig, ac algorithmau cywasgu brotli, zstd, lzip, gzip, datchwyddiant, lzma, a bzip2.
  • Cefnogaeth i TLS 1.3, OCSP (Protocol Statws Tystysgrif Ar-lein) ar gyfer gwirio tystysgrifau wedi'u dirymu, mecanwaith HSTS (HTTP Strict Transport Security) ar gyfer gorfodi ailgyfeirio i HTTPS a HPKP (Pinnio Allwedd Gyhoeddus HTTP) ar gyfer rhwymo tystysgrifau.
  • Y gallu i ddefnyddio GnuTLS, WolfSSL ac OpenSSL fel backends ar gyfer TLS.
  • Cefnogaeth i agor cysylltiadau TCP yn gyflym (TCP FastOpen).
  • Cefnogaeth fformat Metalink adeiledig.
  • Cefnogaeth i enwau parth rhyngwladol (IDNA2008).
  • Y gallu i weithio ar yr un pryd trwy sawl gweinydd dirprwyol (bydd un ffrwd yn cael ei llwytho trwy un dirprwy, a'r ail trwy un arall).
  • Cefnogaeth fewnol ar gyfer ffrydiau newyddion mewn fformatau Atom a RSS (er enghraifft, ar gyfer sganio a lawrlwytho dolenni). Gellir lawrlwytho data RSS/Atom o ffeil leol neu dros y rhwydwaith.
  • Cefnogaeth ar gyfer echdynnu URLs o Fapiau Safle. Argaeledd parsers ar gyfer echdynnu dolenni o ffeiliau CSS ac XML.
  • Cefnogaeth i'r gyfarwyddeb 'cynnwys' mewn ffeiliau ffurfweddu a dosbarthu gosodiadau ar draws sawl ffeil (/etc/wget/conf.d/*.conf).
  • Mecanwaith caching ymholiad DNS adeiledig.
  • Posibilrwydd o ailgodio cynnwys trwy newid amgodiad y ddogfen.
  • Rhoi cyfrif am y ffeil “robots.txt” yn ystod lawrlwythiadau ailadroddus.
  • Modd ysgrifennu dibynadwy gyda galwad fsync () ar ôl arbed data.
  • Y gallu i ailddechrau sesiynau TLS a ymyrrwyd, yn ogystal â storfa ac arbed paramedrau sesiwn TLS i ffeil.
  • Modd " --input-file-" ar gyfer llwytho URLs sy'n dod trwy'r ffrwd mewnbwn safonol.
  • Gwirio cwmpas y Cwci yn erbyn y cyfeiriadur o ôl-ddodiaid parth cyhoeddus (Rhestr Ôl-ddodiad Cyhoeddus) i ynysu oddi wrth ei gilydd gwahanol wefannau a gynhelir yn yr un parth ail lefel (er enghraifft, “a.github.io” a “b.github. io”).
  • Yn cefnogi lawrlwytho ffrydio ICEcast / SHOUTcast.

Ffynhonnell: opennet.ru

Ychwanegu sylw