Прво стабилно издање услужног програма за преузимање ГНУ веб садржаја Вгет2

После три и по године развоја, представљено је прво стабилно издање ГНУ Вгет2 пројекта, развијајући потпуно редизајнирану верзију програма за аутоматизацију рекурзивног преузимања ГНУ Вгет садржаја. ГНУ Вгет2 је дизајниран и преписан од нуле и познат је по премештању основне функционалности веб клијента у библиотеку либвгет, која се може користити засебно у апликацијама. Услужни програм је лиценциран под ГПЛв3+, а библиотека је лиценцирана под ЛГПЛв3+.

Уместо постепеног прераде постојеће базе кода, одлучено је да се све понови од нуле и успостави засебна грана Вгет2 за имплементацију идеја за реструктурирање, повећање функционалности и промене које нарушавају компатибилност. Са изузетком застарелости ФТП протокола и ВАРЦ формата, вгет2 може деловати као транспарентна замена за класични вгет услужни програм у већини ситуација.

Међутим, вгет2 има неке документоване разлике у понашању, пружа око 30 додатних опција и престаје да подржава неколико десетина опција. Укључујући обраду опција као што су „-аск-пассворд“, „-хеадер“, „-екцлуде-дирецториес“, „-фтп*“, „-варц*“, „-лимит-рате“, „-релативе“ је заустављени " и "--прекини везу".

Кључне иновације укључују:

  • Премештање функционалности у библиотеку либвгет.
  • Прелазак на вишенитну архитектуру.
  • Могућност паралелног успостављања више веза и преузимања у више нити. Такође је могуће паралелизирати преузимање једне датотеке подијељене на блокове помоћу опције „-цхунк-сизе“.
  • Подршка за ХТТП/2 протокол.
  • Користите ХТТП заглавље Иф-Модифиед-Синце да преузмете само измењене податке.
  • Пребаците се на коришћење спољних ограничавача пропусног опсега, као што је цурење.
  • Подршка за заглавље Аццепт-Енцодинг, пренос компримованих података и алгоритме компресије бротли, зстд, лзип, гзип, дефлате, лзма и бзип2.
  • Подршка за ТЛС 1.3, ОЦСП (Онлине Цертифицате Статус Протоцол) за проверу опозваних сертификата, ХСТС (ХТТП Стрицт Транспорт Сецурити) механизам за принудно преусмеравање на ХТТПС и ХПКП (ХТТП Публиц Кеи Пиннинг) за везивање сертификата.
  • Могућност коришћења ГнуТЛС, ВолфССЛ и ОпенССЛ као позадине за ТЛС.
  • Подршка за брзо отварање ТЦП веза (ТЦП ФастОпен).
  • Уграђена подршка за формат Металинк.
  • Подршка за интернационализована имена домена (ИДНА2008).
  • Могућност истовременог рада преко неколико прокси сервера (један стреам ће се учитавати преко једног проксија, а други преко другог).
  • Уграђена подршка за фидове вести у Атом и РСС форматима (на пример, за скенирање и преузимање линкова). РСС/Атом подаци се могу преузети са локалне датотеке или преко мреже.
  • Подршка за издвајање УРЛ адреса из Ситемап-а. Доступност парсера за издвајање веза из ЦСС и КСМЛ датотека.
  • Подршка за 'инцлуде' директиву у конфигурационим датотекама и дистрибуцију подешавања у неколико датотека (/етц/вгет/цонф.д/*.цонф).
  • Уграђени механизам за кеширање ДНС упита.
  • Могућност прекодирања садржаја променом кодирања документа.
  • Обрачунавање датотеке „роботс.ткт“ током рекурзивног преузимања.
  • Поуздан режим писања са фсинц() позивом након чувања података.
  • Могућност наставка прекинутих ТЛС сесија, као и кеширање и чување параметара ТЛС сесије у датотеку.
  • "--инпут-филе-" режим за учитавање УРЛ-ова који долазе кроз стандардни улазни ток.
  • Провера обима колачића у односу на директоријум суфикса јавног домена (Листа јавних суфикса) да би се изоловале једна од друге различите локације које се налазе на истом домену другог нивоа (на пример, „а.гитхуб.ио“ и „б.гитхуб. ио”).
  • Подржава преузимање ИЦЕцаст/СХОУТцаст стримовања.

Извор: опеннет.ру

Додај коментар