ഗ്നു വെബ് ഉള്ളടക്കം Wget2 ഡൗൺലോഡ് ചെയ്യുന്നതിനുള്ള യൂട്ടിലിറ്റിയുടെ ആദ്യത്തെ സ്ഥിരതയുള്ള റിലീസ്

മൂന്നര വർഷത്തെ വികസനത്തിന് ശേഷം, GNU Wget2 പ്രോജക്റ്റിന്റെ ആദ്യ സ്ഥിരതയുള്ള റിലീസ് അവതരിപ്പിച്ചു, GNU Wget ഉള്ളടക്കത്തിന്റെ ആവർത്തന ഡൗൺലോഡിംഗ് ഓട്ടോമേറ്റ് ചെയ്യുന്നതിനായി പ്രോഗ്രാമിന്റെ പൂർണ്ണമായും പുനർരൂപകൽപ്പന ചെയ്ത പതിപ്പ് വികസിപ്പിച്ചെടുത്തു. GNU Wget2 രൂപകല്പന ചെയ്യുകയും ആദ്യം മുതൽ തിരുത്തിയെഴുതുകയും ചെയ്തു, കൂടാതെ ഒരു വെബ് ക്ലയന്റിൻറെ അടിസ്ഥാന പ്രവർത്തനങ്ങളെ libwget ലൈബ്രറിയിലേക്ക് മാറ്റുന്നതിൽ ശ്രദ്ധേയമാണ്, അത് ആപ്ലിക്കേഷനുകളിൽ പ്രത്യേകം ഉപയോഗിക്കാവുന്നതാണ്. യൂട്ടിലിറ്റിക്ക് GPLv3+ ന് കീഴിൽ ലൈസൻസ് ഉണ്ട്, കൂടാതെ ലൈബ്രറി LGPLv3+ ന് കീഴിൽ ലൈസൻസ് ചെയ്തിട്ടുണ്ട്.

നിലവിലുള്ള കോഡ് ബേസ് ക്രമേണ പുനർനിർമ്മിക്കുന്നതിനുപകരം, ആദ്യം മുതൽ എല്ലാം വീണ്ടും ചെയ്യാനും പുനർനിർമ്മിക്കുന്നതിനും പ്രവർത്തനക്ഷമത വർദ്ധിപ്പിക്കുന്നതിനും അനുയോജ്യതയെ തകർക്കുന്ന മാറ്റങ്ങൾ വരുത്തുന്നതിനുമുള്ള ആശയങ്ങൾ നടപ്പിലാക്കുന്നതിനായി ഒരു പ്രത്യേക Wget2 ബ്രാഞ്ച് സ്ഥാപിക്കാൻ തീരുമാനിച്ചു. FTP പ്രോട്ടോക്കോളിന്റെയും WARC ഫോർമാറ്റിന്റെയും ഒഴിവാക്കൽ ഒഴികെ, മിക്ക സാഹചര്യങ്ങളിലും ക്ലാസിക് wget യൂട്ടിലിറ്റിക്ക് സുതാര്യമായ പകരമായി wget2 പ്രവർത്തിക്കാൻ കഴിയും.

പറഞ്ഞുവരുന്നത്, wget2 പെരുമാറ്റത്തിൽ ചില രേഖപ്പെടുത്തപ്പെട്ട വ്യത്യാസങ്ങൾ ഉണ്ട്, ഏകദേശം 30 അധിക ഓപ്ഷനുകൾ നൽകുന്നു, കൂടാതെ നിരവധി ഡസൻ ഓപ്ഷനുകൾ പിന്തുണയ്ക്കുന്നത് നിർത്തുന്നു. “-ask-password”, “-header”, “-exclude-directories”, “-ftp*”, “-warc*”, “-limit-rate”, “-relative” തുടങ്ങിയ ഓപ്‌ഷനുകളുടെ പ്രോസസ്സിംഗ് ഉൾപ്പെടെ നിർത്തി " കൂടാതെ "--അൺലിങ്ക്".

പ്രധാന കണ്ടുപിടുത്തങ്ങളിൽ ഇവ ഉൾപ്പെടുന്നു:

• libwget ലൈബ്രറിയിലേക്ക് പ്രവർത്തനം നീക്കുന്നു.
• മൾട്ടി-ത്രെഡ് ആർക്കിടെക്ചറിലേക്കുള്ള മാറ്റം.
• ഒന്നിലധികം കണക്ഷനുകൾ സമാന്തരമായി സ്ഥാപിക്കാനും ഒന്നിലധികം ത്രെഡുകളിലേക്ക് ഡൗൺലോഡ് ചെയ്യാനും ഉള്ള കഴിവ്. “-ചങ്ക്-സൈസ്” ഓപ്ഷൻ ഉപയോഗിച്ച് ബ്ലോക്കുകളായി വിഭജിച്ചിരിക്കുന്ന ഒരു ഫയലിന്റെ ഡൗൺലോഡ് സമാന്തരമാക്കാനും സാധിക്കും.
• HTTP/2 പ്രോട്ടോക്കോൾ പിന്തുണ.
• പരിഷ്കരിച്ച ഡാറ്റ മാത്രം ഡൗൺലോഡ് ചെയ്യാൻ If-modified-Since HTTP ഹെഡർ ഉപയോഗിക്കുക.
• ട്രിക്കിൾ പോലുള്ള ബാഹ്യ ബാൻഡ്‌വിഡ്ത്ത് ലിമിറ്ററുകൾ ഉപയോഗിക്കുന്നതിലേക്ക് മാറുക.
• അക്സെപ്റ്റ്-എൻകോഡിംഗ് ഹെഡർ, കംപ്രസ് ചെയ്ത ഡാറ്റാ ട്രാൻസ്ഫർ, ബ്രോട്ലി, zstd, lzip, gzip, deflate, lzma, bzip2 കംപ്രഷൻ അൽഗോരിതങ്ങൾ എന്നിവയ്ക്കുള്ള പിന്തുണ.
• അസാധുവാക്കപ്പെട്ട സർട്ടിഫിക്കറ്റുകൾ പരിശോധിക്കുന്നതിനുള്ള TLS 1.3, OCSP (ഓൺലൈൻ സർട്ടിഫിക്കറ്റ് സ്റ്റാറ്റസ് പ്രോട്ടോക്കോൾ), HTTPS-ലേക്ക് നിർബന്ധിതമായി റീഡയറക്‌ടുചെയ്യുന്നതിനുള്ള HSTS (HTTP സ്‌ട്രിക്റ്റ് ട്രാൻസ്‌പോർട്ട് സെക്യൂരിറ്റി), സർട്ടിഫിക്കറ്റ് ബൈൻഡിംഗിനായി HPKP (HTTP പബ്ലിക് കീ പിന്നിംഗ്) എന്നിവയ്ക്കുള്ള പിന്തുണ.
• TLS-ന്റെ ബാക്കെൻഡുകളായി GnuTLS, WolfSSL, OpenSSL എന്നിവ ഉപയോഗിക്കാനുള്ള കഴിവ്.
• TCP കണക്ഷനുകൾ വേഗത്തിൽ തുറക്കുന്നതിനുള്ള പിന്തുണ (TCP FastOpen).
• ബിൽറ്റ്-ഇൻ മെറ്റാലിങ്ക് ഫോർമാറ്റ് പിന്തുണ.
• അന്താരാഷ്ട്രവൽക്കരിച്ച ഡൊമെയ്ൻ നാമങ്ങൾക്കുള്ള പിന്തുണ (IDNA2008).
• നിരവധി പ്രോക്സി സെർവറുകളിൽ ഒരേസമയം പ്രവർത്തിക്കാനുള്ള കഴിവ് (ഒരു സ്ട്രീം ഒരു പ്രോക്സിയിലൂടെയും രണ്ടാമത്തേത് മറ്റൊന്നിലൂടെയും ലോഡ് ചെയ്യും).
• ആറ്റം, ആർഎസ്എസ് ഫോർമാറ്റുകളിലെ വാർത്താ ഫീഡുകൾക്കുള്ള ബിൽറ്റ്-ഇൻ പിന്തുണ (ഉദാഹരണത്തിന്, ലിങ്കുകൾ സ്കാൻ ചെയ്യുന്നതിനും ഡൗൺലോഡ് ചെയ്യുന്നതിനും). RSS/Atom ഡാറ്റ ഒരു ലോക്കൽ ഫയലിൽ നിന്നോ നെറ്റ്‌വർക്കിൽ നിന്നോ ഡൗൺലോഡ് ചെയ്യാം.
• സൈറ്റ്മാപ്പുകളിൽ നിന്ന് URL-കൾ എക്‌സ്‌ട്രാക്‌റ്റുചെയ്യുന്നതിനുള്ള പിന്തുണ. CSS, XML ഫയലുകളിൽ നിന്ന് ലിങ്കുകൾ എക്‌സ്‌ട്രാക്‌റ്റുചെയ്യുന്നതിനുള്ള പാഴ്‌സറുകളുടെ ലഭ്യത.
• കോൺഫിഗറേഷൻ ഫയലുകളിലെ 'ഉൾപ്പെടുത്തുക' നിർദ്ദേശത്തിനുള്ള പിന്തുണയും നിരവധി ഫയലുകളിലുടനീളം ക്രമീകരണങ്ങളുടെ വിതരണവും (/etc/wget/conf.d/*.conf).
• ബിൽറ്റ്-ഇൻ ഡിഎൻഎസ് അന്വേഷണ കാഷിംഗ് സംവിധാനം.
• ഡോക്യുമെന്റ് എൻകോഡിംഗ് മാറ്റുന്നതിലൂടെ ഉള്ളടക്കം റീകോഡ് ചെയ്യാനുള്ള സാധ്യത.
• ആവർത്തന ഡൗൺലോഡുകൾ സമയത്ത് "robots.txt" ഫയലിനായുള്ള അക്കൗണ്ടിംഗ്.
• ഡാറ്റ സംരക്ഷിച്ചതിന് ശേഷം fsync() കോളിനൊപ്പം വിശ്വസനീയമായ റൈറ്റ് മോഡ്.
• തടസ്സപ്പെട്ട TLS സെഷനുകൾ പുനരാരംഭിക്കുന്നതിനുള്ള കഴിവ്, അതുപോലെ തന്നെ ഒരു ഫയലിലേക്ക് TLS സെഷൻ പാരാമീറ്ററുകൾ കാഷെ ചെയ്യുകയും സംരക്ഷിക്കുകയും ചെയ്യുന്നു.
• സ്റ്റാൻഡേർഡ് ഇൻപുട്ട് സ്ട്രീമിലൂടെ വരുന്ന URL-കൾ ലോഡുചെയ്യുന്നതിനുള്ള "--input-file-" മോഡ്.
• ഒരേ രണ്ടാം ലെവൽ ഡൊമെയ്‌നിൽ (ഉദാഹരണത്തിന്, “a.github.io”, “b.github” എന്നിവ ഹോസ്റ്റ് ചെയ്‌തിരിക്കുന്ന വ്യത്യസ്‌ത സൈറ്റുകളിൽ നിന്ന് വേർതിരിക്കാൻ പൊതു ഡൊമെയ്‌ൻ സഫിക്‌സുകളുടെ (പബ്ലിക് സഫിക്‌സ് ലിസ്‌റ്റ്) ഡയറക്‌ടറിയ്‌ക്കെതിരായ കുക്കിയുടെ വ്യാപ്തി പരിശോധിക്കുന്നു. io").
• ICEcast/SHOUTcast സ്ട്രീമിംഗ് ഡൗൺലോഡ് ചെയ്യുന്നതിനെ പിന്തുണയ്ക്കുന്നു.

അവലംബം: opennet.ru