Savant 0.2.7 Python フレームワークがリリースされ、NVIDIA DeepStream を使用して機械学習に関連する問題を簡単に解決できるようになりました。このフレームワークは、GStreamer または FFmpeg を使用したすべての面倒な作業を処理するため、宣言構文 (YAML) と Python 関数を使用して最適化された出力パイプラインの構築に集中できます。 Savant を使用すると、データセンターのアクセラレータ (NVIDIA Turing、Ampere、Hopper) とエッジ デバイス (NVIDIA Jetson NX、AGX Xavier、Orin NX、AGX Orin、New Nano) で同等に動作するパイプラインを作成できます。 Savant を使用すると、複数のビデオ ストリームを同時に簡単に処理し、NVIDIA TensorRT を使用して本番環境に対応したビデオ分析パイプラインを迅速に作成できます。プロジェクト コードは、Apache 2.0 ライセンスに基づいて配布されます。
Savant 0.2.7 は、0.2.X ブランチの最新の機能変更リリースです。 0.2.X ブランチの将来のリリースにはバグ修正のみが含まれます。新機能の開発は、DeepStream 0.3 に基づいて 6.4.X ブランチで実行されます。 NVIDIA は DS 6.4 で Jetson Xavier ファミリのデバイスをサポートしていないため、このブランチは Jetson Xavier ファミリのデバイスをサポートしません。
主な革新:
- 新しい使用例:
- RT-DETR トランスフォーマーに基づく検出モデルを使用する例。
- YOLOV8-Seg 用の CuPy を使用した CUDA 後処理。
- PyTorch CUDA を Savant パイプラインに統合する例。
- 指向性オブジェクトの操作のデモンストレーション。
- 新機能：
- プロメテウスとの統合。パイプラインは、パフォーマンスの監視と追跡のために実行メトリクスを Prometheus および Grafana にエクスポートできます。開発者は、システム メトリックとともにエクスポートされるカスタム メトリックを宣言できます。
- バッファ アダプタ - アダプタとモジュール間でデータを移動するための永続的なトランザクション バッファをディスク上に実装します。これを利用すると、リソースを予期せず消費し、トラフィックのバーストに耐える高負荷のパイプラインを開発できます。アダプターは、その要素とサイズのデータを Prometheus にエクスポートします。
- モデルコンパイルモード。モジュールは、パイプラインを実行せずに TensorRT でモデルをコンパイルできるようになりました。
- PyFunc シャットダウン イベント ハンドラー。この新しい API により、パイプラインのシャットダウンが正常に処理され、リソースが解放され、シャットダウンが発生したことをサードパーティ システムに通知できるようになります。
- 入力および出力でのフレーム フィルタリング。デフォルトでは、パイプラインはビデオ データを含むすべてのフレームを受け入れます。入力および出力のフィルタリングを使用すると、開発者はデータをフィルタリングして処理を防ぐことができます。
- GPU でのモデルの後処理。この新機能により、開発者はモデル出力テンソルを CPU メモリにロードせずに GPU メモリから直接アクセスし、CuPy、TorchVision、または OpenCV CUDA を使用して処理できるようになります。
- GPU メモリ表現関数。このリリースでは、OpenCV GpuMat、PyTorch GPU テンソル、および CuPy テンソルの間でメモリ バッファーを変換する関数を提供しました。
- パイプライン キューの使用に関する統計にアクセスするための API。 Savant を使用すると、PyFunc 間にキューを追加して、並列処理とバッファリング処理を実装できます。追加された API により、開発者はパイプラインにデプロイされたキューにアクセスし、その使用状況をクエリできるようになります。
次のリリース (0.3.7) では、機能を拡張せずに DeepStream 6.4 に移行する予定です。そのアイデアは、DeepStream 0.2.7 と改良されたテクノロジーに基づいており、API レベルでの互換性を損なうことなく、6.4 と完全に互換性のあるリリースを入手することです。
出所： オープンネット.ru