컴퓨터 비전 및 딥러닝 프레임워크인 Savant 0.2.7 출시

머신 러닝 작업에 NVIDIA DeepStream을 사용하는 것을 간소화하는 Python 프레임워크인 Savant 0.2.7이 출시되었습니다. 이 프레임워크는 GStreamer나 FFmpeg의 모든 힘든 작업을 처리해주므로, 사용자는 선언적 구문(YAML)과 Python 함수를 사용하여 최적화된 출력 파이프라인을 구축하는 데 집중할 수 있습니다. Savant를 사용하면 데이터 센터 가속기(NVIDIA Turing, Ampere, Hopper)와 에지 디바이스(NVIDIA Jetson NX, AGX Xavier, Orin NX, AGX Orin, New Nano)에서 모두 똑같이 잘 작동하는 파이프라인을 생성할 수 있습니다. Savant를 사용하면 여러 비디오 스트림을 동시에 쉽게 처리하고 NVIDIA TensorRT를 사용하여 프로덕션에 바로 적용할 수 있는 비디오 분석 파이프라인을 빠르게 구축할 수 있습니다. 프로젝트 코드는 Apache 2.0 라이선스에 따라 배포됩니다.

Savant 0.2.7은 0.2.X 브랜치에서 기능 변경이 포함된 마지막 릴리스입니다. 0.2.X 버전의 향후 릴리스에는 버그 수정만 포함될 예정입니다. 새로운 기능의 개발은 DeepStream 0.3를 기반으로 하는 6.4.X 버전에서 진행됩니다. NVIDIA가 DS 6.4에서 Jetson Xavier 제품군을 지원하지 않으므로 이 브랜치는 해당 장치를 지원하지 않습니다.

주요 혁신:

• 새로운 사용 예:
  • RT-DETR 변환기를 기반으로 한 탐지 모델을 사용하는 예
  • YOLOV8-Seg에 대한 CuPy를 활용한 CUDA 후처리;
  • PyTorch CUDA를 Savant 파이프라인에 통합하는 예;
  • 방향성 있는 객체를 사용하여 작업하는 방법을 보여줍니다.
  
• 새로운 기능 :
  • 프로메테우스 통합. 파이프라인은 성능 모니터링 및 추적을 위해 실행 메트릭을 프로메테우스 및 그라파나로 내보낼 수 있습니다. 개발자는 시스템 메트릭과 함께 내보낼 사용자 지정 메트릭을 정의할 수 있습니다.
  • 버퍼 어댑터 - 어댑터와 모듈 간 데이터 이동을 위해 디스크에 지속적인 트랜잭션 버퍼를 구현합니다. 이는 예측할 수 없이 자원을 소모하고 교통량 급증을 견뎌내는 고부하 파이프라인을 개발하는 데 사용될 수 있습니다. 어댑터는 항목 및 크기 데이터를 Prometheus로 내보냅니다.
  • 모델 편집 모드. 이제 모듈은 파이프라인을 실행하지 않고도 모델을 TensorRT로 컴파일할 수 있습니다.
  • PyFunc의 종료 이벤트 핸들러. 이 새로운 API를 사용하면 리소스를 확보하고 타사 시스템에 종료 사실을 알림으로써 파이프라인 종료 작업을 원활하게 처리할 수 있습니다.
  • 입력 및 출력에서 ​​프레임 필터링. 기본적으로 파이프라인은 비디오 데이터가 포함된 모든 프레임을 허용합니다. 개발자는 입력 및 출력 필터링을 사용하여 데이터가 처리되는 것을 방지하기 위해 데이터를 필터링할 수 있습니다.
  • GPU에서 모델의 사후 처리. 이 새로운 기능을 사용하면 개발자는 CPU 메모리에 로드하지 않고도 GPU 메모리에서 직접 모델 출력 텐서에 액세스하여 CuPy, TorchVision 또는 OpenCV CUDA를 사용하여 처리할 수 있습니다.
  • GPU 메모리 표현 함수. 이번 릴리스에서는 OpenCV GpuMat, PyTorch GPU 텐서, CuPy 텐서 간에 메모리 버퍼를 변환하는 함수를 제공했습니다.
  • 파이프라인 큐 사용 통계에 액세스하기 위한 API입니다. Savant를 사용하면 PyFuncs 사이에 대기열을 추가하여 병렬 처리와 버퍼링 처리를 구현할 수 있습니다. 추가된 API를 통해 개발자는 파이프라인에 배포된 대기열에 액세스하고 사용 현황을 쿼리할 수 있습니다.

다음 릴리스(0.3.7)에서는 기능을 확장하지 않고 DeepStream 6.4로 업그레이드할 계획입니다. 아이디어는 DeepStream 0.2.7와 개선된 기술을 기반으로 6.4과 완벽하게 호환되는 릴리스를 내놓는 것이지만, API 수준에서 호환성을 손상시키지 않는 것입니다.

출처 : opennet.ru