കമ്പ്യൂട്ടർ കാഴ്ചപ്പാടും ആഴത്തിലുള്ള പഠന ചട്ടക്കൂടുമായ സാവന്ത് 0.2.7 ൻ്റെ പ്രകാശനം

സാവന്ത് 0.2.7 പൈത്തൺ ഫ്രെയിംവർക്ക് പുറത്തിറക്കി, ഇത് മെഷീൻ ലേണിംഗുമായി ബന്ധപ്പെട്ട പ്രശ്നങ്ങൾ പരിഹരിക്കുന്നതിന് എൻവിഡിയ ഡീപ്സ്ട്രീം ഉപയോഗിക്കുന്നത് എളുപ്പമാക്കുന്നു. ഡിക്ലറേറ്റീവ് സിൻ്റാക്സും (YAML) പൈത്തൺ ഫംഗ്ഷനുകളും ഉപയോഗിച്ച് ഒപ്റ്റിമൈസ് ചെയ്ത ഔട്ട്പുട്ട് പൈപ്പ്ലൈനുകൾ നിർമ്മിക്കുന്നതിൽ ശ്രദ്ധ കേന്ദ്രീകരിക്കാൻ നിങ്ങളെ അനുവദിക്കുന്ന, GStreamer അല്ലെങ്കിൽ FFmpeg ഉപയോഗിച്ചുള്ള എല്ലാ ഹെവി ലിഫ്റ്റിംഗുകളും ഫ്രെയിംവർക്ക് കൈകാര്യം ചെയ്യുന്നു. ഡാറ്റാ സെൻ്ററിലെയും (NVIDIA Turing, Ampere, Hopper) ഓൺ എഡ്ജ് ഉപകരണങ്ങളിലെയും (NVIDIA Jetson NX, AGX സേവ്യർ, ഒറിൻ NX, AGX Orin, New Nano) ആക്സിലറേറ്ററുകളിൽ തുല്യമായി പ്രവർത്തിക്കുന്ന പൈപ്പ്ലൈനുകൾ സൃഷ്ടിക്കാൻ സാവന്ത് നിങ്ങളെ അനുവദിക്കുന്നു. സാവന്ത് ഉപയോഗിച്ച്, നിങ്ങൾക്ക് ഒരേസമയം ഒന്നിലധികം വീഡിയോ സ്ട്രീമുകൾ എളുപ്പത്തിൽ പ്രോസസ്സ് ചെയ്യാനും NVIDIA TensorRT ഉപയോഗിച്ച് പ്രൊഡക്ഷൻ-റെഡി വീഡിയോ അനലിറ്റിക്സ് പൈപ്പ്ലൈനുകൾ വേഗത്തിൽ സൃഷ്ടിക്കാനും കഴിയും. അപ്പാച്ചെ 2.0 ലൈസൻസിന് കീഴിലാണ് പ്രോജക്ട് കോഡ് വിതരണം ചെയ്യുന്നത്.

0.2.7.X ബ്രാഞ്ചിലെ ഏറ്റവും പുതിയ ഫീച്ചർ മാറ്റ റിലീസാണ് സാവന്ത് 0.2. 0.2.X ബ്രാഞ്ചിലെ ഭാവി റിലീസുകളിൽ ബഗ് പരിഹരിക്കലുകൾ മാത്രമേ ഉൾപ്പെടൂ. DeepStream 0.3 അടിസ്ഥാനമാക്കിയുള്ള 6.4.X ബ്രാഞ്ചിൽ പുതിയ ഫീച്ചറുകളുടെ വികസനം നടപ്പിലാക്കും. DS 6.4-ൽ NVIDIA പിന്തുണയ്‌ക്കാത്തതിനാൽ ജെറ്റ്‌സൺ സേവ്യർ ഫാമിലി ഡിവൈസുകളെ ഈ ബ്രാഞ്ച് പിന്തുണയ്‌ക്കില്ല.

പ്രധാന കണ്ടുപിടുത്തങ്ങൾ:

• പുതിയ ഉപയോഗ കേസുകൾ:
  • RT-DETR ട്രാൻസ്ഫോർമർ അടിസ്ഥാനമാക്കിയുള്ള ഒരു കണ്ടെത്തൽ മോഡലുമായി പ്രവർത്തിക്കുന്നതിനുള്ള ഒരു ഉദാഹരണം;
  • YOLOV8-Seg-നുള്ള CuPy ഉപയോഗിച്ച് CUDA പോസ്റ്റ്-പ്രോസസ്സിംഗ്;
  • സാവന്ത് പൈപ്പ്ലൈനിലേക്ക് PyTorch CUDA സംയോജനത്തിൻ്റെ ഒരു ഉദാഹരണം;
  • ഓറിയൻ്റഡ് വസ്തുക്കളുമായി പ്രവർത്തിക്കുന്നതിൻ്റെ പ്രകടനം.
  

• പുതിയ സവിശേഷതകൾ:
  • പ്രോമിത്യൂസുമായുള്ള സംയോജനം. പെർഫോമൻസ് മോണിറ്ററിങ്ങിനും ട്രാക്കിംഗിനുമായി പൈപ്പ് ലൈനിന് എക്‌സിക്യൂഷൻ മെട്രിക്‌സ് പ്രൊമിത്യൂസിലേയ്‌ക്കും ഗ്രാഫാനയിലേക്കും കയറ്റുമതി ചെയ്യാൻ കഴിയും. സിസ്‌റ്റം മെട്രിക്‌സിനൊപ്പം എക്‌സ്‌പോർട്ട് ചെയ്യുന്ന ഇഷ്‌ടാനുസൃത മെട്രിക്‌സ് ഡെവലപ്പർമാർക്ക് പ്രഖ്യാപിക്കാനാകും.
  • ബഫർ അഡാപ്റ്റർ - അഡാപ്റ്ററുകൾക്കും മൊഡ്യൂളുകൾക്കുമിടയിൽ ഡാറ്റ നീക്കുന്നതിനായി ഡിസ്കിൽ ഒരു സ്ഥിരമായ ഇടപാട് ബഫർ നടപ്പിലാക്കുന്നു. അതിൻ്റെ സഹായത്തോടെ, പ്രവചനാതീതമായി വിഭവങ്ങൾ ഉപഭോഗം ചെയ്യുന്നതും ട്രാഫിക് പൊട്ടിത്തെറിയെ ചെറുക്കുന്നതുമായ ഉയർന്ന ലോഡുചെയ്ത പൈപ്പ്ലൈനുകൾ നിങ്ങൾക്ക് വികസിപ്പിക്കാൻ കഴിയും. അഡാപ്റ്റർ അതിൻ്റെ മൂലകവും വലിപ്പവും പ്രോമിത്യൂസിലേക്ക് കയറ്റുമതി ചെയ്യുന്നു.
  • മോഡൽ കംപൈലേഷൻ മോഡ്. പൈപ്പ്‌ലൈൻ പ്രവർത്തിപ്പിക്കാതെ തന്നെ മൊഡ്യൂളുകൾക്ക് ഇപ്പോൾ ടെൻസർആർടിയിൽ അവയുടെ മോഡലുകൾ കംപൈൽ ചെയ്യാൻ കഴിയും.
  • PyFunc ഷട്ട്ഡൗൺ ഇവൻ്റ് ഹാൻഡ്‌ലർ. ഈ പുതിയ API പൈപ്പ്‌ലൈൻ ഷട്ട്‌ഡൗണുകൾ ഭംഗിയായി കൈകാര്യം ചെയ്യാനും ഉറവിടങ്ങൾ സ്വതന്ത്രമാക്കാനും ഷട്ട്ഡൗൺ സംഭവിച്ചതായി മൂന്നാം കക്ഷി സിസ്റ്റങ്ങളെ അറിയിക്കാനും അനുവദിക്കുന്നു.
  • ഇൻപുട്ടിലും ഔട്ട്പുട്ടിലും ഫ്രെയിം ഫിൽട്ടറിംഗ്. സ്ഥിരസ്ഥിതിയായി, വീഡിയോ ഡാറ്റ അടങ്ങിയ എല്ലാ ഫ്രെയിമുകളും പൈപ്പ്ലൈൻ സ്വീകരിക്കുന്നു. ഇൻപുട്ട്, ഔട്ട്പുട്ട് ഫിൽട്ടറിംഗ് എന്നിവ ഉപയോഗിച്ച്, പ്രോസസ്സിംഗ് തടയാൻ ഡവലപ്പർമാർക്ക് ഡാറ്റ ഫിൽട്ടർ ചെയ്യാൻ കഴിയും.
  • ജിപിയുവിൽ മോഡലിൻ്റെ പോസ്റ്റ്-പ്രോസസ്സിംഗ്. പുതിയ ഫീച്ചർ ഉപയോഗിച്ച്, ഡവലപ്പർമാർക്ക് മോഡൽ ഔട്ട്‌പുട്ട് ടെൻസറുകൾ സിപിയു മെമ്മറിയിലേക്ക് ലോഡുചെയ്യാതെ തന്നെ ജിപിയു മെമ്മറിയിൽ നിന്ന് നേരിട്ട് ആക്‌സസ് ചെയ്യാനും CuPy, TorchVision അല്ലെങ്കിൽ OpenCV CUDA ഉപയോഗിച്ച് പ്രോസസ്സ് ചെയ്യാനും കഴിയും.
  • GPU മെമ്മറി പ്രാതിനിധ്യ പ്രവർത്തനങ്ങൾ. ഈ റിലീസിൽ, OpenCV GpuMat, PyTorch GPU ടെൻസറുകൾ, CuPy ടെൻസറുകൾ എന്നിവയ്ക്കിടയിൽ മെമ്മറി ബഫറുകൾ പരിവർത്തനം ചെയ്യുന്നതിനുള്ള പ്രവർത്തനങ്ങൾ ഞങ്ങൾ നൽകി.
  • പൈപ്പ്ലൈൻ ക്യൂകളുടെ ഉപയോഗത്തെക്കുറിച്ചുള്ള സ്ഥിതിവിവരക്കണക്കുകൾ ആക്സസ് ചെയ്യുന്നതിനുള്ള API. സമാന്തര പ്രോസസ്സിംഗും ബഫറിംഗ് പ്രോസസ്സിംഗും നടപ്പിലാക്കുന്നതിനായി PyFuncs- കൾക്കിടയിൽ ക്യൂകൾ ചേർക്കാൻ Savant നിങ്ങളെ അനുവദിക്കുന്നു. ചേർത്ത API, ഡവലപ്പർമാർക്ക് പൈപ്പ്ലൈനിൽ വിന്യസിച്ചിരിക്കുന്ന ക്യൂകളിലേക്ക് പ്രവേശനം നൽകുകയും അവരുടെ ഉപയോഗം അന്വേഷിക്കാൻ അവരെ അനുവദിക്കുകയും ചെയ്യുന്നു.

അടുത്ത പതിപ്പിൽ (0.3.7) പ്രവർത്തനം വിപുലീകരിക്കാതെ തന്നെ DeepStream 6.4 ലേക്ക് നീക്കാൻ പദ്ധതിയിട്ടിരിക്കുന്നു. 0.2.7-ന് പൂർണ്ണമായി പൊരുത്തപ്പെടുന്ന, എന്നാൽ ഡീപ്‌സ്ട്രീം 6.4-നെയും മെച്ചപ്പെടുത്തിയ സാങ്കേതികവിദ്യയെയും അടിസ്ഥാനമാക്കി, എന്നാൽ API തലത്തിൽ അനുയോജ്യത തകർക്കാതെ ഒരു റിലീസ് നേടുക എന്നതാണ് ആശയം.

അവലംബം: opennet.ru