Издание на Savant 0.2.7, рамка за компјутерска визија и длабоко учење

Објавена е рамката Savant 0.2.7 Python, што го олеснува користењето на NVIDIA DeepStream за решавање на проблемите поврзани со машинското учење. Рамката се грижи за целото кревање на тешки товари со GStreamer или FFmpeg, овозможувајќи ви да се фокусирате на градење оптимизирани излезни цевки користејќи декларативна синтакса (YAML) и функции на Python. Savant ви овозможува да креирате цевководи кои работат подеднакво на акцелератори во центарот за податоци (NVIDIA Turing, Ampere, Hopper) и на рабните уреди (NVIDIA Jetson NX, AGX Xavier, Orin NX, AGX Orin, New Nano). Со Savant, можете лесно да обработувате повеќе видео преноси истовремено и брзо да креирате цевки за видео аналитика подготвени за производство користејќи NVIDIA TensorRT. Проектниот код се дистрибуира под лиценцата Apache 2.0.

Savant 0.2.7 е најновото издание за промена на карактеристиките во гранката 0.2.X. Идните изданија во гранката 0.2.X ќе вклучуваат само поправени грешки. Развојот на нови функции ќе се врши во гранката 0.3.X, базирана на DeepStream 6.4. Оваа гранка нема да го поддржува семејството на уреди Jetson Xavier бидејќи NVIDIA не ги поддржува во DS 6.4.

Главните иновации:

• Нови случаи на употреба:
  • Пример за работа со модел за откривање базиран на трансформаторот RT-DETR;
  • CUDA пост-обработка со CuPy за YOLOV8-Seg;
  • Пример за интеграција на PyTorch CUDA во гасоводот Savant;
  • Демонстрација на работа со ориентирани објекти.
  

• Нови функции:
  • Интеграција со Прометеј. Гасоводот може да извезува метрика на извршување во Prometheus и Grafana за следење и следење на перформансите. Програмерите можат да пријават приспособени метрики што се извезуваат заедно со системските метрики.
  • Бафер адаптер - Имплементира постојан трансакциски бафер на дискот за податоци што се движат помеѓу адаптери и модули. Со негова помош, можете да развиете високо оптоварени цевководи кои непредвидливо трошат ресурси и издржуваат излив на сообраќај. Адаптерот ги извезува своите податоци за елементот и големината на Прометеј.
  • Режим на компилација на модел. Модулите сега можат да ги компајлираат своите модели во TensorRT без да работат на гасоводот.
  • Ракувач со настани за исклучување на PyFunc. Овој нов API овозможува благодатно ракување со исклучувањата на гасоводот, ослободувајќи ресурси и известувајќи ги системите на трети лица дека исклучувањето се случило.
  • Филтрирање рамка на влез и излез. Стандардно, цевководот ги прифаќа сите рамки што содржат видео податоци. Со филтрирање на влез и излез, програмерите можат да ги филтрираат податоците за да спречат обработка.
  • Пост-обработка на моделот на графичкиот процесор. Со новата функција, програмерите можат да пристапат до излезните тензори на моделот директно од меморијата на графичкиот процесор без да ги вчитуваат во меморијата на процесорот и да ги обработуваат со помош на CuPy, TorchVision или OpenCV CUDA.
  • Функции за претставување на меморијата на графичкиот процесор. Во ова издание, обезбедивме функции за конвертирање мемориски бафери помеѓу OpenCV GpuMat, PyTorch GPU тензори и CuPy тензори.
  • API за пристап до статистика за користење на редици за гасоводот. Savant ви овозможува да додавате редици помеѓу PyFuncs за да имплементирате паралелна обработка и обработка на бафер. Додаденото API им дава на програмерите пристап до редиците распоредени во цевководот и им овозможува да ја побараат нивната употреба.

Во следното издание (0.3.7) се планира да се префрли на DeepStream 6.4 без проширување на функционалноста. Идејата е да се добие издание кое е целосно компатибилно со 0.2.7, но базирано на DeepStream 6.4 и подобрена технологија, но без прекин на компатибилноста на ниво на API.

Извор: opennet.ru