Makine öğrenimiyle ilgili sorunları çözmek için NVIDIA DeepStream'in kullanımını kolaylaştıran Savant 0.2.7 Python çerçevesi yayınlandı. Çerçeve, GStreamer veya FFmpeg ile tüm ağır işlerin üstesinden gelir ve bildirimsel sözdizimi (YAML) ve Python işlevlerini kullanarak optimize edilmiş çıktı hatları oluşturmaya odaklanmanıza olanak tanır. Savant, veri merkezindeki hızlandırıcılar (NVIDIA Turing, Ampere, Hopper) ve uç cihazlardaki (NVIDIA Jetson NX, AGX Xavier, Orin NX, AGX Orin, New Nano) eşit şekilde çalışan işlem hatları oluşturmanıza olanak tanır. Savant ile birden fazla video akışını aynı anda kolayca işleyebilir ve NVIDIA TensorRT kullanarak hızlı bir şekilde üretime hazır video analiz ardışık düzenleri oluşturabilirsiniz. Proje kodu Apache 2.0 lisansı altında dağıtılmaktadır.
Savant 0.2.7, 0.2.X dalındaki en son özellik değişikliği sürümüdür. 0.2.X dalındaki gelecek sürümler yalnızca hata düzeltmelerini içerecektir. Yeni özelliklerin geliştirilmesi, DeepStream 0.3 temel alınarak 6.4.X şubesinde gerçekleştirilecektir. NVIDIA DS 6.4'te desteklemediğinden bu dal Jetson Xavier cihaz ailesini desteklemeyecektir.
Ana yenilikler:
- Yeni kullanım durumları:
- RT-DETR transformatörünü temel alan bir algılama modeliyle çalışma örneği;
- YOLOV8-Seg için CuPy ile CUDA son işleme;
- Savant hattına PyTorch CUDA entegrasyonunun bir örneği;
- Yönlendirilmiş nesnelerle çalışmanın gösterilmesi.
- Yeni özellikler:
- Prometheus'la entegrasyon. İşlem hattı, performans izleme ve izleme için yürütme ölçümlerini Prometheus ve Grafana'ya aktarabilir. Geliştiriciler, sistem ölçümleriyle birlikte dışa aktarılan özel ölçümleri bildirebilir.
- Arabellek Bağdaştırıcısı - Bağdaştırıcılar ve modüller arasında taşınan veriler için diskte kalıcı bir işlem arabelleği uygular. Onun yardımıyla, kaynakları tahmin edilemeyecek şekilde tüketen ve trafik patlamalarına dayanabilen yüksek yüklü boru hatları geliştirebilirsiniz. Bağdaştırıcı, öğe ve boyut verilerini Prometheus'a aktarır.
- Model derleme modu. Modüller artık modellerini TensorRT'de bir işlem hattı çalıştırmadan derleyebiliyor.
- PyFunc kapatma olayı işleyicisi. Bu yeni API, boru hattı kapatma işlemlerinin sorunsuz bir şekilde gerçekleştirilmesine olanak tanır, kaynakların serbest bırakılmasını sağlar ve üçüncü taraf sistemlere kapatmanın gerçekleştiğini bildirir.
- Giriş ve çıkışta çerçeve filtreleme. Varsayılan olarak ardışık düzen, video verilerini içeren tüm kareleri kabul eder. Giriş ve çıkış filtrelemeyle geliştiriciler, işlenmesini önlemek için verileri filtreleyebilir.
- Modelin GPU'da son işlenmesi. Yeni özellik sayesinde geliştiriciler, model çıktı tensörlerine CPU belleğine yüklemeden doğrudan GPU belleğinden erişebilir ve bunları CuPy, TorchVision veya OpenCV CUDA kullanarak işleyebilir.
- GPU bellek temsili işlevleri. Bu sürümde, bellek arabelleklerini OpenCV GpuMat, PyTorch GPU tensörleri ve CuPy tensörleri arasında dönüştürmeye yönelik işlevler sağladık.
- İşlem hattı kuyruklarının kullanımına ilişkin istatistiklere erişim için API. Savant, paralel işleme ve tamponlama işlemlerini uygulamak için PyFuncs arasına kuyruklar eklemenizi sağlar. Eklenen API, geliştiricilerin işlem hattında dağıtılan kuyruklara erişmesine ve kullanımlarını sorgulamalarına olanak tanır.
Bir sonraki sürümde (0.3.7) işlevselliği genişletmeden DeepStream 6.4'e geçilmesi planlanıyor. Buradaki fikir, 0.2.7 ile tamamen uyumlu, ancak DeepStream 6.4 ve geliştirilmiş teknolojiye dayalı, ancak API düzeyinde uyumluluğu bozmayan bir sürüm elde etmektir.
Kaynak: opennet.ru