Гурван жил хагасын турш хөгжүүлсний дараа GNU Wget2 төслийн анхны тогтвортой хувилбарыг танилцуулж, GNU Wget контентыг рекурсив татаж авах ажиллагааг автоматжуулах програмын бүрэн шинэчилсэн хувилбарыг боловсруулжээ. GNU Wget2 нь эхнээс нь зохион бүтээгдэж, дахин бичигдсэн бөгөөд вэб клиентийн үндсэн функцийг libwget номын санд шилжүүлснээрээ онцлог бөгөөд үүнийг программуудад тусад нь ашиглаж болно. Тус хэрэгсэл нь GPLv3+, номын сан нь LGPLv3+ дагуу лицензтэй.
Одоо байгаа кодын баазыг аажмаар дахин боловсруулахын оронд бүх зүйлийг эхнээс нь дахин хийж, бүтцийн өөрчлөлт хийх, функциональ байдлыг нэмэгдүүлэх, нийцтэй байдлыг алдагдуулах өөрчлөлт хийх санааг хэрэгжүүлэхийн тулд тусдаа Wget2 салбар байгуулахаар шийдсэн. FTP протокол болон WARC форматыг цуцалсанаас бусад тохиолдолд wget2 нь ихэнх тохиолдолд сонгодог wget хэрэгслийг ил тод орлуулах боломжтой.
Үүнийг хэлэхэд, wget2 нь зан төлөвийн зарим баримтжуулсан ялгаатай, 30 орчим нэмэлт сонголтуудыг өгдөг бөгөөд хэдэн арван сонголтыг дэмжихээ больсон. Үүнд “-аск-нууц үг”, “-толгой”, “-хаалгах-хасах”, “-ftp*”, “-warc*”, “-хязгаарлалт”, “-харьцангуй” зэрэг сонголтуудыг боловсруулах боломжтой болсон. зогссон " ба "--холбоосыг салгах".
Гол шинэчлэлтүүд нь:
- Функцийг libwget номын сан руу шилжүүлж байна.
- Олон урсгалт архитектурт шилжих.
- Зэрэгцээ олон холболт үүсгэж, олон урсгал руу татаж авах чадвар. Мөн "-chunk-size" сонголтыг ашиглан блок болгон хуваасан нэг файлыг татаж авах ажлыг зэрэгцээ болгох боломжтой.
- HTTP/2 протоколын дэмжлэг.
- Зөвхөн өөрчилсөн өгөгдлийг татахын тулд If-Modified-Since HTTP толгой хэсгийг ашиглана уу.
- Дамжуулах гэх мэт гадаад зурвасын өргөн хязгаарлагчийг ашиглах руу шилжинэ.
- Accept-Encoding толгой, шахсан өгөгдөл дамжуулах, brotli, zstd, lzip, gzip, deflate, lzma, bzip2 шахалтын алгоритмуудыг дэмждэг.
- TLS 1.3, хүчингүй болсон гэрчилгээг шалгах OCSP (Онлайн гэрчилгээний төлөвийн протокол), HTTPS руу дахин чиглүүлэхийг албадах HSTS (HTTP тээврийн аюулгүй байдлын) механизм, гэрчилгээ холбоход HPKP (HTTP нийтийн түлхүүр тогтоох) дэмжлэг.
- GnuTLS, WolfSSL болон OpenSSL-ийг TLS-ийн арын хэсэг болгон ашиглах чадвар.
- TCP холболтыг хурдан нээхэд дэмжлэг үзүүлэх (TCP FastOpen).
- Баригдсан Metalink форматын дэмжлэг.
- Олон улсын домэйн нэрийг дэмжих (IDNA2008).
- Хэд хэдэн прокси серверүүдээр нэгэн зэрэг ажиллах чадвар (нэг урсгалыг нэг прокси, хоёр дахь нь нөгөөгөөр дамжуулан ачаалах болно).
- Atom болон RSS форматтай мэдээний сувгийн суурилуулсан дэмжлэг (жишээлбэл, холбоосыг сканнердах, татаж авах). RSS/Atom өгөгдлийг дотоод файлаас эсвэл сүлжээгээр татаж авах боломжтой.
- Sitemaps-аас URL задлах дэмжлэг. CSS болон XML файлуудаас холбоосыг задлах анализаторын бэлэн байдал.
- Тохируулгын файлууд дахь "include" зааврыг дэмжих, тохиргоог хэд хэдэн файлд хуваарилах (/etc/wget/conf.d/*.conf).
- Баригдсан DNS асуулгын кэш хийх механизм.
- Баримт бичгийн кодчилолыг өөрчлөх замаар агуулгыг дахин кодлох боломж.
- Рекурсив татаж авах үед "robots.txt" файлыг бүртгэх.
- Өгөгдлийг хадгалсны дараа fsync() дуудлагыг ашиглан найдвартай бичих горим.
- Тасалдсан TLS сешнүүдийг үргэлжлүүлэх, мөн TLS сессийн параметрүүдийг файлд кэш хийх, хадгалах чадвар.
- Стандарт оролтын урсгалаар ирж буй URL-уудыг ачаалах "--input-file-" горим.
- Хоёр дахь түвшний ижил домэйнд (жишээлбэл, “a.github.io” болон “b.github. io”).
- ICEcast/SHOUTcast урсгалыг татаж авахыг дэмждэг.
Эх сурвалж: opennet.ru