컴퓨터 비전 및 딥러닝 프레임워크인 Savant 0.2.7 출시

Savant 0.2.7 Python 프레임워크가 출시되어 NVIDIA DeepStream을 사용하여 기계 학습과 관련된 문제를 더 쉽게 해결할 수 있습니다. 프레임워크는 GStreamer 또는 FFmpeg를 사용하여 모든 어려운 작업을 처리하므로 선언적 구문(YAML) 및 Python 함수를 사용하여 최적화된 출력 파이프라인을 구축하는 데 집중할 수 있습니다. Savant를 사용하면 데이터 센터의 가속기(NVIDIA Turing, Ampere, Hopper)와 엣지 장치(NVIDIA Jetson NX, AGX Xavier, Orin NX, AGX Orin, New Nano)에서 동일하게 작동하는 파이프라인을 생성할 수 있습니다. Savant를 사용하면 여러 비디오 스트림을 동시에 쉽게 처리하고 NVIDIA TensorRT를 사용하여 제작 준비가 완료된 비디오 분석 파이프라인을 빠르게 생성할 수 있습니다. 프로젝트 코드는 Apache 2.0 라이센스에 따라 배포됩니다.

Savant 0.2.7은 0.2.X 분기의 최신 기능 변경 릴리스입니다. 0.2.X 브랜치의 향후 릴리스에는 버그 수정만 포함됩니다. 새로운 기능 개발은 DeepStream 0.3를 기반으로 6.4.X 브랜치에서 진행될 예정입니다. NVIDIA가 DS 6.4에서 지원하지 않으므로 이 분기에서는 Jetson Xavier 장치 제품군을 지원하지 않습니다.

주요 혁신:

• 새로운 사용 사례:
  • RT-DETR 변환기를 기반으로 한 감지 모델 작업의 예입니다.
  • YOLOV8-Seg용 CuPy를 사용한 CUDA 후처리;
  • Savant 파이프라인에 PyTorch CUDA를 통합한 예입니다.
  • 지향 객체를 사용한 작업 시연.
  

• 새로운 기능 :
  • 프로메테우스와의 통합. 파이프라인은 성능 모니터링 및 추적을 위해 실행 측정항목을 Prometheus 및 Grafana로 내보낼 수 있습니다. 개발자는 시스템 측정항목과 함께 내보내지는 사용자 지정 측정항목을 선언할 수 있습니다.
  • 버퍼 어댑터 - 어댑터와 모듈 간 데이터 이동을 위해 디스크에 영구 트랜잭션 버퍼를 구현합니다. 이를 통해 예측할 수 없을 정도로 리소스를 소비하고 트래픽 급증을 견디는 로드가 많은 파이프라인을 개발할 수 있습니다. 어댑터는 요소 및 크기 데이터를 Prometheus로 내보냅니다.
  • 모델 컴파일 모드. 이제 모듈은 파이프라인을 실행하지 않고도 TensorRT에서 모델을 컴파일할 수 있습니다.
  • PyFunc 종료 이벤트 핸들러. 이 새로운 API를 사용하면 파이프라인 종료를 적절하게 처리하여 리소스를 확보하고 종료가 발생했음을 타사 시스템에 알릴 수 있습니다.
  • 입력 및 출력에서 ​​프레임 필터링. 기본적으로 파이프라인은 비디오 데이터가 포함된 모든 프레임을 허용합니다. 입력 및 출력 필터링을 통해 개발자는 데이터를 필터링하여 처리를 방지할 수 있습니다.
  • GPU에서 모델을 후처리합니다. 새로운 기능을 통해 개발자는 모델 출력 텐서를 CPU 메모리에 로드하지 않고 GPU 메모리에서 직접 액세스하고 CuPy, TorchVision 또는 OpenCV CUDA를 사용하여 처리할 수 있습니다.
  • GPU 메모리 표현 함수. 이번 릴리스에서는 OpenCV GpuMat, PyTorch GPU 텐서 및 CuPy 텐서 간에 메모리 버퍼를 변환하는 기능을 제공했습니다.
  • 파이프라인 대기열 사용에 대한 통계에 액세스하기 위한 API입니다. Savant를 사용하면 PyFunc 사이에 대기열을 추가하여 병렬 처리 및 버퍼링 처리를 구현할 수 있습니다. 추가된 API를 통해 개발자는 파이프라인에 배포된 대기열에 액세스하고 용도를 ​​쿼리할 수 있습니다.

다음 릴리스(0.3.7)에서는 기능 확장 없이 DeepStream 6.4로 이동할 계획입니다. 아이디어는 0.2.7과 완전히 호환되지만 DeepStream 6.4 및 향상된 기술을 기반으로 하지만 API 수준에서 호환성을 손상시키지 않는 릴리스를 얻는 것입니다.

출처 : opennet.ru