Foi lançado o framework Python Savant 0.2.7, que simplifica o uso do NVIDIA DeepStream para resolver tarefas relacionadas ao aprendizado de máquina. O framework cuida de todo o trabalho complexo com GStreamer ou FFmpeg, permitindo que você se concentre na construção de pipelines de saída otimizados usando uma sintaxe declarativa (YAML) e funções Python. O Savant permite criar pipelines que funcionam igualmente em aceleradores em data centers (NVIDIA Turing, Ampere, Hopper) e em dispositivos de borda (NVIDIA Jetson NX, AGX Xavier, Orin NX, AGX Orin, New Nano). Com o Savant, é fácil processar vários fluxos de vídeo simultaneamente e criar rapidamente pipelines de análise de vídeo prontos para aplicações que utilizam NVIDIA TensorRT. O código do projeto é distribuído sob a licença Apache 2.0.
O Savant 0.2.7 é o último lançamento com mudança de funcionalidade na branch 0.2.X. As próximas versões na branch 0.2.X incluirão apenas correções de bugs. O desenvolvimento de novas funcionalidades será feito na branch 0.3.X, baseada no DeepStream 6.4. Esta branch não suportará a família de dispositivos Jetson Xavier, já que a NVIDIA não os suporta no DS 6.4.
Principais novidades:
- Novos exemplos de uso:
- Exemplo de trabalho com um modelo de detecção baseado no transformador RT-DETR;
- Pós-processamento CUDA usando CuPy para YOLOV8-Seg;
- Exemplo de integração do PyTorch CUDA no pipeline Savant;
- Demonstração de trabalho com objetos orientados.
- Novos recursos:
- Integração com Prometheus. O pipeline pode exportar métricas de desempenho para o Prometheus e Grafana para monitoramento e acompanhamento de desempenho. Os desenvolvedores podem declarar métricas personalizadas, exportadas juntamente com métricas de sistema.
- Adaptador de buffer — implementa um buffer transacional contínuo em disco para dados que se movem entre adaptadores e módulos. Com ele, é possível desenvolver pipelines de alta carga que consomem recursos de forma imprevisível e suportam picos de tráfego. O adaptador exporta ao Prometheus seus dados sobre elementos e tamanhos.
- Modo de compilação de modelos. Os módulos agora podem compilar seus modelos em TensorRT sem iniciar o pipeline.
- Manipulador de evento de shutdown em PyFunc. Esta nova API permite gerenciar corretamente as operações de finalização do pipeline, liberando recursos e notificando sistemas externos sobre a finalização.
- Filtragem de quadros na entrada e saída. Por padrão, o pipeline aceita todos os quadros contendo dados de vídeo. Com a filtragem na entrada e saída, os desenvolvedores podem filtrar os dados para excluí-los do processamento.
- Pós-processamento de modelo na GPU. Com o novo recurso, os desenvolvedores podem acessar os tensores de saída do modelo diretamente da memória da GPU, sem carregá-los na memória da CPU, e processá-los usando CuPy, TorchVision ou OpenCV CUDA.
- Funções de representação de memória da GPU. Nesta versão, fornecemos funções para conversão de buffers de memória entre OpenCV GpuMat, tensores da GPU do PyTorch e tensores do CuPy.
- API de acesso às estatísticas de uso das filas do pipeline. O Savant permite adicionar filas entre PyFunc para implementar processamento paralelo e buffering do processo. A API adicionada dá aos desenvolvedores acesso às filas implantadas no pipeline e permite que consultem seu uso.
Na próxima versão (0.3.7), está planejada a transição para o DeepStream 6.4 sem expansão de funcionalidades. A ideia é obter um lançamento totalmente compatível com 0.2.7, mas baseado no DeepStream 6.4 e em tecnologia aprimorada, sem interrupções de compatibilidade no nível da API.
Fonte: opennet.ru
