המהדורה היציבה הראשונה של כלי השירות להורדת תוכן אינטרנט של GNU Wget2

לאחר שלוש וחצי שנים של פיתוח, הוצגה המהדורה היציבה הראשונה של פרויקט GNU Wget2, שפיתחה גרסה מחודשת לחלוטין של התוכנית לאוטומציה של הורדה רקורסיבית של תוכן GNU Wget. GNU Wget2 תוכנן ושוכתב מאפס והוא בולט בהעברת הפונקציונליות הבסיסית של לקוח אינטרנט אל ספריית libwget, שניתן להשתמש בה בנפרד ביישומים. כלי השירות מורשה תחת GPLv3+, והספרייה מורשית תחת LGPLv3+.

במקום לעבד מחדש בהדרגה את בסיס הקוד הקיים, הוחלט לעשות הכל מחדש מאפס ולהקים סניף Wget2 נפרד כדי ליישם רעיונות לארגון מחדש, הגדלת הפונקציונליות וביצוע שינויים ששוברים את התאימות. למעט הוצאה משימוש של פרוטוקול FTP ופורמט WARC, wget2 יכול לשמש כתחליף שקוף לכלי השירות הקלאסי של wget ברוב המצבים.

עם זאת, ל-wget2 יש כמה הבדלים מתועדים בהתנהגות, מספקת כ-30 אפשרויות נוספות, ומפסיקה לתמוך בכמה עשרות אפשרויות. כולל עיבוד של אפשרויות כגון "-ask-password", "-header", "-exclude-directories", "-ftp*", "-warc*", "-limit-rate", "-relative" כבר עצרו " ו- "--בטל קישור".

חידושים מרכזיים כוללים:

• העברת פונקציונליות לספריית libwget.
• מעבר לארכיטקטורה מרובה חוטים.
• יכולת ליצור מספר חיבורים במקביל והורדה למספר שרשורים. אפשר גם לעשות במקביל הורדה של קובץ אחד המחולק לבלוקים באמצעות אפשרות "-chunk-size".
• תמיכה בפרוטוקול HTTP/2.
• השתמש בכותרת ה-HTTP If-Modified-Since כדי להוריד רק את הנתונים שהשתנו.
• עבור לשימוש במגבילי רוחב פס חיצוניים כגון טפטוף.
• תמיכה בכותרת Accept-Encoding, העברת נתונים דחוסים ואלגוריתמי דחיסה של brotli, zstd, lzip, gzip, deflate, lzma ו-bzip2.
• תמיכה ב-TLS 1.3, OCSP (Online Certificate Status Protocol) לבדיקת אישורים שנשללו, מנגנון HSTS (HTTP Strict Transport Security) לאלץ ניתוב מחדש ל-HTPS ו-HPKP (הצמדת מפתח ציבורי של HTTP) לקשירת אישורים.
• יכולת להשתמש ב-GnuTLS, WolfSSL ו-OpenSSL בתור קצה אחורי עבור TLS.
• תמיכה בפתיחה מהירה של חיבורי TCP (TCP FastOpen).
• תמיכה מובנית בפורמט Metalink.
• תמיכה בשמות דומיין בינלאומיים (IDNA2008).
• היכולת לעבוד בו זמנית דרך מספר שרתי פרוקסי (זרם אחד ייטען דרך פרוקסי אחד, והשני דרך אחר).
• תמיכה מובנית בעדכוני חדשות בפורמטים של Atom ו-RSS (לדוגמה, לסריקה והורדה של קישורים). ניתן להוריד נתוני RSS/Atom מקובץ מקומי או דרך הרשת.
• תמיכה בחילוץ כתובות אתרים מ-Sitemaps. זמינות מנתחים לחילוץ קישורים מקובצי CSS ו-XML.
• תמיכה בהנחיית 'include' בקבצי תצורה והפצת הגדרות על פני מספר קבצים (/etc/wget/conf.d/*.conf).
• מנגנון אחסון של שאילתות DNS מובנה.
• אפשרות לקידוד תוכן מחדש על ידי שינוי קידוד המסמך.
• התחשבות בקובץ "robots.txt" במהלך הורדות רקורסיביות.
• מצב כתיבה אמין עם קריאת fsync() לאחר שמירת נתונים.
• היכולת לחדש הפעלות TLS מופרעות, כמו גם לאחסן ולשמור פרמטרים של הפעלת TLS בקובץ.
• מצב "--input-file-" לטעינת כתובות אתרים המגיעות דרך זרם הקלט הרגיל.
• בדיקת היקף ה-Cookie מול ספריית הסיומות של תחום ציבורי (רשימת סיומת ציבורית) כדי לבודד אחד מהשני אתרים שונים המתארחים באותו תחום ברמה שנייה (לדוגמה, "a.github.io" ו-"b.github. io").
• תומך בהורדת הזרמת ICEcast/SHOUTcast.

מקור: OpenNet.ru