პროგრამის პირველი სტაბილური გამოშვება GNU ვებ შინაარსის Wget2-ის ჩამოტვირთვისთვის

სამწელიწადნახევრის შემუშავების შემდეგ, წარმოდგენილი იქნა GNU Wget2 პროექტის პირველი სტაბილური გამოშვება, რომელიც ავითარებს პროგრამის სრულიად განახლებულ ვერსიას GNU Wget შინაარსის რეკურსიული ჩამოტვირთვის ავტომატიზაციისთვის. GNU Wget2 შეიქმნა და გადაწერილია ნულიდან და აღსანიშნავია ვებ კლიენტის ძირითადი ფუნქციონირების გადატანით libwget ბიბლიოთეკაში, რომელიც შეიძლება გამოყენებულ იქნას ცალკე აპლიკაციებში. პროგრამა ლიცენზირებულია GPLv3+-ით, ხოლო ბიბლიოთეკა ლიცენზირებულია LGPLv3+-ით.

არსებული კოდის ბაზის თანდათანობით გადამუშავების ნაცვლად, გადაწყდა ყველაფრის თავიდან გაკეთება და ცალკე Wget2 ფილიალის შექმნა, რათა განეხორციელებინათ იდეები რესტრუქტურიზაციის, ფუნქციონირების გაზრდისა და თავსებადობის გაუარესების შესახებ. FTP პროტოკოლისა და WARC ფორმატის გაუქმების გარდა, wget2 შეიძლება იმოქმედოს როგორც გამჭვირვალე შემცვლელი კლასიკური wget უტილიტის უმეტეს სიტუაციებში.

როგორც ითქვა, wget2-ს აქვს გარკვეული დოკუმენტირებული განსხვავებები ქცევაში, უზრუნველყოფს დაახლოებით 30 დამატებით ვარიანტს და წყვეტს რამდენიმე ათეული ვარიანტის მხარდაჭერას. ისეთი ოფციების დამუშავების ჩათვლით, როგორიცაა "-კითხვა-პაროლი", "-header", "-exclude-directories", "-ftp*", "-warc*", "-limit-rate", "-relative" იყო შეჩერდა" და "--გაუქმება".

ძირითადი ინოვაციები მოიცავს:

• ფუნქციების გადატანა libwget ბიბლიოთეკაში.
• მრავალძაფის არქიტექტურაზე გადასვლა.
• მრავალჯერადი კავშირის პარალელურად დამყარების და მრავალ თემაში გადმოტვირთვის შესაძლებლობა. ასევე შესაძლებელია ბლოკებად დაყოფილი ერთი ფაილის გადმოტვირთვის პარალელიზება "-chunk-size" ვარიანტის გამოყენებით.
• HTTP/2 პროტოკოლის მხარდაჭერა.
• გამოიყენეთ If-Modified-Since HTTP სათაური მხოლოდ შეცვლილი მონაცემების ჩამოსატვირთად.
• გადაერთეთ გარე გამტარუნარიანობის შემზღუდველებზე, როგორიცაა trickle.
• Accept-Encoding header, შეკუმშული მონაცემთა გადაცემის და brotli, zstd, lzip, gzip, deflate, lzma და bzip2 შეკუმშვის ალგორითმების მხარდაჭერა.
• TLS 1.3-ის მხარდაჭერა, OCSP (ონლაინ სერტიფიკატის სტატუსის პროტოკოლი) გაუქმებული სერთიფიკატების შესამოწმებლად, HSTS (HTTP Strict Transport Security) მექანიზმი HTTPS-ზე გადამისამართების იძულებით და HPKP (HTTP საჯარო გასაღების ჩამაგრება) სერთიფიკატის დაკავშირებისთვის.
• შესაძლებლობა გამოიყენოს GnuTLS, WolfSSL და OpenSSL როგორც backends for TLS.
• TCP კავშირების სწრაფი გახსნის მხარდაჭერა (TCP FastOpen).
• ჩაშენებული Metalink ფორმატის მხარდაჭერა.
• ინტერნაციონალიზებული დომენური სახელების მხარდაჭერა (IDNA2008).
• რამდენიმე მარიონეტული სერვერის საშუალებით ერთდროულად მუშაობის შესაძლებლობა (ერთი ნაკადი ჩაიტვირთება ერთი პროქსის მეშვეობით, ხოლო მეორე მეორეზე).
• Atom და RSS ფორმატებში ახალი ამბების არხების ჩაშენებული მხარდაჭერა (მაგალითად, ბმულების სკანირებისა და ჩამოტვირთვისთვის). RSS/Atom მონაცემების ჩამოტვირთვა შესაძლებელია ადგილობრივი ფაილიდან ან ქსელის საშუალებით.
• საიტის რუქებიდან URL-ების ამოღების მხარდაჭერა. პარსერების ხელმისაწვდომობა CSS და XML ფაილებიდან ბმულების ამოსაღებად.
• კონფიგურაციის ფაილებში დირექტივის 'include' მხარდაჭერა და პარამეტრების განაწილება რამდენიმე ფაილში (/etc/wget/conf.d/*.conf).
• ჩაშენებული DNS შეკითხვის ქეშირების მექანიზმი.
• შინაარსის გადაკოდირების შესაძლებლობა დოკუმენტის კოდირების შეცვლით.
• "robots.txt" ფაილის აღრიცხვა რეკურსიული ჩამოტვირთვების დროს.
• საიმედო ჩაწერის რეჟიმი fsync() ზარით მონაცემთა შენახვის შემდეგ.
• შეწყვეტილი TLS სესიების განახლების შესაძლებლობა, ასევე ქეშირება და ფაილში TLS სესიის პარამეტრების შენახვა.
• "--input-file-" რეჟიმი სტანდარტული შეყვანის ნაკადის მეშვეობით URL-ების ჩატვირთვისთვის.
• ქუქი-ფაილის ფარგლების შემოწმება საჯარო დომენის სუფიქსების დირექტორიასთან (Public Suffix List) ერთმანეთისგან იზოლირებისთვის სხვადასხვა საიტები, რომლებიც განთავსებულია იმავე მეორე დონის დომენში (მაგალითად, "a.github.io" და "b.github. io”).
• მხარს უჭერს ICEcast/SHOUTcast სტრიმინგის ჩამოტვირთვას.

წყარო: opennet.ru