GNU वेब सामग्री Wget2 डाउनलोड करण्यासाठी उपयुक्ततेचे पहिले स्थिर प्रकाशन

साडेतीन वर्षांच्या विकासानंतर, GNU Wget2 प्रकल्पाचे पहिले स्थिर प्रकाशन सादर केले गेले आहे, ज्याने GNU Wget सामग्रीचे रिकर्सिव डाउनलोडिंग स्वयंचलित करण्यासाठी प्रोग्रामची पूर्णपणे पुनर्रचना केलेली आवृत्ती विकसित केली आहे. GNU Wget2 ची रचना आणि स्क्रॅचपासून पुनर्लेखन करण्यात आली होती आणि वेब क्लायंटची मूलभूत कार्यक्षमता libwget लायब्ररीमध्ये हलविण्यासाठी लक्षणीय आहे, जी अनुप्रयोगांमध्ये स्वतंत्रपणे वापरली जाऊ शकते. युटिलिटी GPLv3+ अंतर्गत परवानाकृत आहे आणि लायब्ररी LGPLv3+ अंतर्गत परवानाकृत आहे.

हळुहळू विद्यमान कोड बेसवर पुन्हा काम करण्याऐवजी, पुनर्रचना, कार्यक्षमता वाढवणे आणि सुसंगतता खंडित करणारे बदल करण्याच्या कल्पना अंमलात आणण्यासाठी सुरवातीपासून सर्वकाही पुन्हा करण्याचा आणि स्वतंत्र Wget2 शाखा स्थापन करण्याचा निर्णय घेण्यात आला. FTP प्रोटोकॉल आणि WARC फॉरमॅटचा बहिष्कार वगळता, wget2 बहुतेक परिस्थितींमध्ये क्लासिक wget युटिलिटीसाठी पारदर्शक बदली म्हणून काम करू शकते.

असे म्हटले जात आहे की, wget2 मध्ये वर्तनात काही दस्तऐवजीकरण केलेले फरक आहेत, सुमारे 30 अतिरिक्त पर्याय प्रदान करते आणि अनेक डझन पर्यायांना समर्थन देणे थांबवते. "-ask-password", "-header", "-exclude-directories", "-ftp*", "-warc*", "-limit-rate", "-relative" अशा पर्यायांच्या प्रक्रियेसह " आणि "--अनलिंक" थांबवले.

मुख्य नवकल्पनांमध्ये हे समाविष्ट आहे:

• कार्यक्षमता libwget लायब्ररीमध्ये हलवत आहे.
• मल्टी-थ्रेडेड आर्किटेक्चरमध्ये संक्रमण.
• समांतर एकाधिक कनेक्शन स्थापित करण्याची आणि एकाधिक थ्रेडवर डाउनलोड करण्याची क्षमता. “-chunk-size” पर्याय वापरून ब्लॉकमध्ये विभागलेल्या एका फाईलचे डाउनलोड समांतर करणे देखील शक्य आहे.
• HTTP/2 प्रोटोकॉल समर्थन.
• फक्त सुधारित डेटा डाउनलोड करण्यासाठी If-Modified-Since HTTP हेडर वापरा.
• ट्रिकल सारख्या बाह्य बँडविड्थ लिमिटर्स वापरण्यावर स्विच करा.
• Accept-Encoding हेडर, कॉम्प्रेस्ड डेटा ट्रान्सफर आणि ब्रॉटली, zstd, lzip, gzip, deflate, lzma आणि bzip2 कॉम्प्रेशन अल्गोरिदमसाठी समर्थन.
• रद्द केलेली प्रमाणपत्रे तपासण्यासाठी TLS 1.3, OCSP (ऑनलाइन प्रमाणपत्र स्थिती प्रोटोकॉल), HTTPS (HTTP कठोर वाहतूक सुरक्षा) यंत्रणा HTTPS आणि HPKP (HTTP पब्लिक की पिनिंग) कडे सर्टिफिकेट बंधनकारक करण्यासाठी रीडायरेक्शनची सक्ती करण्यासाठी समर्थन.
• TLS साठी बॅकएंड म्हणून GnuTLS, WolfSSL आणि OpenSSL वापरण्याची क्षमता.
• TCP कनेक्शन्स (TCP FastOpen) जलद उघडण्यासाठी समर्थन.
• अंगभूत Metallink स्वरूप समर्थन.
• आंतरराष्ट्रीयीकृत डोमेन नावांसाठी समर्थन (IDNA2008).
• एकाच वेळी अनेक प्रॉक्सी सर्व्हरद्वारे कार्य करण्याची क्षमता (एक प्रवाह एका प्रॉक्सीद्वारे लोड केला जाईल आणि दुसरा दुसऱ्याद्वारे).
• Atom आणि RSS फॉरमॅटमध्ये न्यूज फीडसाठी अंगभूत समर्थन (उदाहरणार्थ, स्कॅनिंग आणि लिंक डाउनलोड करण्यासाठी). RSS/Atom डेटा स्थानिक फाइलवरून किंवा नेटवर्कवरून डाउनलोड केला जाऊ शकतो.
• साइटमॅपमधून URL काढण्यासाठी समर्थन. CSS आणि XML फायलींमधून दुवे काढण्यासाठी पार्सरची उपलब्धता.
• कॉन्फिगरेशन फाइल्समध्ये 'समाविष्ट करा' निर्देशासाठी समर्थन आणि अनेक फाइल्समध्ये सेटिंग्जचे वितरण (/etc/wget/conf.d/*.conf).
• अंगभूत DNS क्वेरी कॅशिंग यंत्रणा.
• दस्तऐवज एन्कोडिंग बदलून सामग्री रीकोड करण्याची शक्यता.
• पुनरावर्ती डाउनलोड दरम्यान “robots.txt” फाइलचे लेखांकन.
• डेटा सेव्ह केल्यानंतर fsync() कॉल सह विश्वसनीय लेखन मोड.
• व्यत्यय आणलेली TLS सत्रे पुन्हा सुरू करण्याची क्षमता तसेच फाइलमध्ये TLS सत्र पॅरामीटर्स कॅशे आणि सेव्ह करण्याची क्षमता.
• मानक इनपुट प्रवाहातून येणार्‍या URL लोड करण्यासाठी "--input-file-" मोड.
• समान द्वितीय-स्तरीय डोमेनमध्ये होस्ट केलेल्या (उदाहरणार्थ, “a.github.io” आणि “b.github. io").
• ICEcast/SHOUTcast स्ट्रीमिंग डाउनलोड करण्यास समर्थन देते.

स्त्रोत: opennet.ru