GNU 웹 콘텐츠 Wget2를 다운로드하기 위한 유틸리티의 첫 번째 안정적인 릴리스

2년 반의 개발 끝에 GNU Wget2 프로젝트의 첫 번째 안정적인 릴리스가 발표되었으며, GNU Wget 콘텐츠의 재귀 다운로드를 자동화하기 위해 완전히 재설계된 프로그램 버전이 개발되었습니다. GNU Wget3는 처음부터 설계되고 다시 작성되었으며 웹 클라이언트의 기본 기능을 애플리케이션에서 별도로 사용할 수 있는 libwget 라이브러리로 이동한 것으로 유명합니다. 유틸리티는 GPLv3+에 따라 라이센스가 부여되고 라이브러리는 LGPLvXNUMX+에 따라 라이센스가 부여됩니다.

기존 코드 기반을 점진적으로 재작업하는 대신 모든 것을 처음부터 다시 실행하고 별도의 Wget2 분기를 구축하여 구조 조정, 기능 증가 및 호환성을 깨뜨리는 변경을 위한 아이디어를 구현하기로 결정했습니다. FTP 프로토콜 및 WARC 형식의 사용 중단을 제외하고 wget2는 대부분의 상황에서 기존 wget 유틸리티를 투명하게 대체할 수 있습니다.

즉, wget2는 동작에 있어 몇 가지 문서화된 차이점이 있고 약 30개의 추가 옵션을 제공하며 수십 개의 옵션 지원을 중단합니다. "-ask-password", "-header", "-exclude-directories", "-ftp*", "-warc*", "-limit-rate", "-relative"와 같은 옵션 처리가 포함되었습니다. 중지됨 " 및 "--unlink".

주요 혁신 사항은 다음과 같습니다.

• 기능을 libwget 라이브러리로 이동합니다.
• 멀티스레드 아키텍처로 전환합니다.
• 여러 연결을 병렬로 설정하고 여러 스레드로 다운로드하는 기능. "-chunk-size" 옵션을 사용하면 하나의 파일을 블록으로 나누어 다운로드하는 것을 병렬화하는 것도 가능합니다.
• HTTP/2 프로토콜 지원.
• 수정된 데이터만 다운로드하려면 If-Modified-Since HTTP 헤더를 사용하세요.
• 트리클과 같은 외부 대역폭 제한기를 사용하도록 전환합니다.
• Accept-Encoding 헤더, 압축된 데이터 전송, brotli, zstd, lzip, gzip, deflate, lzma 및 bzip2 압축 알고리즘을 지원합니다.
• 폐기된 인증서를 확인하기 위한 TLS 1.3, OCSP(온라인 인증서 상태 프로토콜), HTTPS로 강제 리디렉션하기 위한 HSTS(HTTP Strict Transport Security) 메커니즘 및 인증서 바인딩을 위한 HPKP(HTTP 공개 키 고정)를 지원합니다.
• GnuTLS, WolfSSL 및 OpenSSL을 TLS용 백엔드로 사용하는 기능.
• TCP 연결의 빠른 열기 지원(TCP FastOpen)
• 내장형 Metalink 형식 지원.
• 국제화된 도메인 이름 지원(IDNA2008)
• 여러 프록시 서버를 통해 동시에 작업할 수 있는 기능(하나의 스트림은 하나의 프록시를 통해 로드되고 두 번째 스트림은 다른 프록시를 통해 로드됨)
• Atom 및 RSS 형식의 뉴스 피드에 대한 기본 지원(예: 링크 스캔 및 다운로드) RSS/Atom 데이터는 로컬 파일이나 네트워크를 통해 다운로드할 수 있습니다.
• Sitemap에서 URL 추출을 지원합니다. CSS 및 XML 파일에서 링크를 추출하기 위한 파서의 가용성.
• 구성 파일의 'include' 지시어 지원 및 여러 파일(/etc/wget/conf.d/*.conf)에 대한 설정 배포 지원.
• 내장된 DNS 쿼리 캐싱 메커니즘.
• 문서 인코딩을 변경하여 콘텐츠를 녹음할 수 있습니다.
• 재귀 다운로드 중 "robots.txt" 파일을 고려합니다.
• 데이터를 저장한 후 fsync() 호출을 사용하는 안정적인 쓰기 모드입니다.
• 중단된 TLS 세션을 재개하고 TLS 세션 매개변수를 파일에 캐시하고 저장하는 기능.
• 표준 입력 스트림을 통해 들어오는 URL을 로드하기 위한 "--input-file-" 모드입니다.
• 공개 도메인 접미사 디렉터리(공개 접미사 목록)에 대해 쿠키 범위를 확인하여 동일한 XNUMX차 도메인(예: “a.github.io” 및 “b.github. 이오”).
• ICEcast/SHOUTcast 스트리밍 다운로드를 지원합니다.

출처 : opennet.ru