Savant 0.2.7 Python негизи чыгарылды, бул NVIDIA DeepStreamди машинаны үйрөнүүгө байланыштуу маселелерди чечүү үчүн колдонууну жеңилдетет. Алкак GStreamer же FFmpeg менен бардык оор жүктөрдү көтөрүүгө кам көрөт, бул сизге декларативдик синтаксис (YAML) жана Python функцияларын колдонуу менен оптималдаштырылган чыгаруу түтүктөрүн курууга көңүл бурууга мүмкүндүк берет. Savant маалымат борборунда (NVIDIA Turing, Ampere, Hopper) жана четки түзмөктөрдө (NVIDIA Jetson NX, AGX Xavier, Orin NX, AGX Orin, New Nano) ылдамдаткычтарда бирдей иштеген түтүктөрдү түзүүгө мүмкүндүк берет. Savant менен сиз бир эле учурда бир нече видео агымдарды оңой иштетип, NVIDIA TensorRT аркылуу өндүрүшкө даяр видео аналитика түтүктөрүн тез түзө аласыз. Долбоордун коду Apache 2.0 лицензиясы боюнча таратылат.
Savant 0.2.7 0.2.X бутагынын акыркы өзгөчөлүк өзгөртүү чыгаруу болуп саналат. 0.2.X бутагынын келечектеги чыгарылыштары мүчүлүштүктөрдү оңдоолорду гана камтыйт. Жаңы функцияларды иштеп чыгуу DeepStream 0.3 негизиндеги 6.4.X тармагында ишке ашырылат. Бул филиал Jetson Xavier үй-бүлөсүн колдобойт, анткени NVIDIA аларды DS 6.4.
Негизги инновациялар:
- Жаңы колдонуу учурлары:
- RT-DETR трансформаторунун негизинде аныктоо модели менен иштөөнүн мисалы;
- YOLOV8-Seg үчүн CuPy менен CUDA кийинки иштетүү;
- Savant түтүгүнө PyTorch CUDA интеграциясынын мисалы;
- Багытталган объектилер менен иштөөнү көрсөтүү.
- Жаңы мүмкүнчүлүктөр:
- Прометей менен интеграция. Түтүк аткаруу көрсөткүчтөрүн Prometheus жана Grafanaга экспорттой алат жана аткарууну көзөмөлдөө жана көзөмөлдөө үчүн. Иштеп чыгуучулар системалык көрсөткүчтөр менен бирге экспорттолуучу ыңгайлаштырылган көрсөткүчтөрдү жарыялай алышат.
- Буфердик адаптер - адаптерлер менен модулдардын ортосунда маалымат алмашуу үчүн дискте туруктуу транзакциялык буферди ишке ашырат. Анын жардамы менен сиз ресурстарды күтүүсүз керектеген жана трафиктин жарылуусуна туруштук бере турган өтө жүктөлгөн түтүктөрдү түзө аласыз. Адаптер Прометейге өзүнүн элементин жана өлчөмүн экспорттойт.
- Моделди түзүү режими. Модулдар эми өз моделдерин TensorRTте түтүк өткөрбөстөн түзө алышат.
- PyFunc өчүрүү окуясын иштеткич. Бул жаңы API түтүктү өчүрүүлөрдү кылдаттык менен чечүүгө мүмкүндүк берет, ресурстарды бошотуп, үчүнчү тараптын системаларына өчүрүү болгондугу жөнүндө кабарлайт.
- Киргизүүдө жана чыгарууда кадр чыпкалоо. Демейки боюнча, конвейер видео маалыматтарды камтыган бардык кадрларды кабыл алат. Киргизүү жана чыгаруу чыпкалоосу менен иштеп чыгуучулар кайра иштетүүгө жол бербөө үчүн маалыматтарды чыпкалай алышат.
- GPUдагы моделди кийинки иштетүү. Жаңы функция менен иштеп чыгуучулар моделдин чыгаруу тензорлоруна GPU эстутумунан аларды CPU эс тутумуна жүктөбөй эле кире алышат жана аларды CuPy, TorchVision же OpenCV CUDA аркылуу иштете алышат.
- GPU эстутум өкүлчүлүгү функциялары. Бул чыгарылышта биз эс буферлерин OpenCV GpuMat, PyTorch GPU тензорлору жана CuPy тензорлорунун ортосунда конвертациялоо функцияларын бердик.
- Түтүк кезегин колдонуу статистикасын алуу үчүн API. Savant сизге параллелдүү иштетүү жана буферлөө процессин ишке ашыруу үчүн PyFuncs ортосунда кезектерди кошууга мүмкүндүк берет. Кошумча API иштеп чыгуучуларга түтүктө орнотулган кезектерге кирүү мүмкүнчүлүгүн берет жана алардын колдонулушун сураганга мүмкүнчүлүк берет.
Кийинки чыгарылышта (0.3.7) функцияларды кеңейтпестен DeepStream 6.4 ге өтүү пландаштырылууда. Идея 0.2.7 менен толук шайкеш келген, бирок DeepStream 6.4 жана жакшыртылган технологияга негизделген, бирок API деңгээлинде шайкештикти бузбастан чыгарууну алуу.
Source: opennet.ru