കമ്പ്യൂട്ടർ കാഴ്ചപ്പാടും ആഴത്തിലുള്ള പഠന ചട്ടക്കൂടുമായ സാവന്ത് 0.2.7 ൻ്റെ പ്രകാശനം

മെഷീൻ ലേണിംഗ് ജോലികൾക്കായി NVIDIA DeepStream ഉപയോഗിക്കുന്നത് ലളിതമാക്കുന്ന ഒരു പൈത്തൺ ഫ്രെയിംവർക്കായ Savant പുറത്തിറങ്ങി. GStreamer അല്ലെങ്കിൽ FFmpeg-ന്റെ സങ്കീർണ്ണതകൾ ഈ ഫ്രെയിംവർക്ക് ഓഫ്‌ലോഡ് ചെയ്യുന്നു, ഇത് ഡിക്ലറേറ്റീവ് സിന്റാക്സ് (YAML), പൈത്തൺ ഫംഗ്ഷനുകൾ എന്നിവ ഉപയോഗിച്ച് ഒപ്റ്റിമൈസ് ചെയ്ത അനുമാന പൈപ്പ്‌ലൈനുകൾ നിർമ്മിക്കുന്നതിൽ ശ്രദ്ധ കേന്ദ്രീകരിക്കാൻ നിങ്ങളെ അനുവദിക്കുന്നു. ഡാറ്റാസെന്റർ ആക്സിലറേറ്ററുകളിലും (NVIDIA Turing, Ampere, Hopper) എഡ്ജ് ഉപകരണങ്ങളിലും (NVIDIA Jetson NX, AGX Xavier, Orin NX, AGX Orin, New Nano) തടസ്സമില്ലാതെ പ്രവർത്തിക്കുന്ന പൈപ്പ്‌ലൈനുകൾ സൃഷ്ടിക്കാൻ Savant നിങ്ങളെ പ്രാപ്തമാക്കുന്നു. NVIDIA TensorRT ഉപയോഗിച്ച് ഒന്നിലധികം വീഡിയോ സ്ട്രീമുകൾ ഒരേസമയം എളുപ്പത്തിൽ പ്രോസസ്സ് ചെയ്യാനും പ്രൊഡക്ഷൻ-റെഡി വീഡിയോ അനലിറ്റിക്സ് പൈപ്പ്‌ലൈനുകൾ വേഗത്തിൽ സൃഷ്ടിക്കാനും Savant നിങ്ങളെ അനുവദിക്കുന്നു. Apache 2.0 ലൈസൻസിന് കീഴിലാണ് പ്രോജക്റ്റ് കോഡ് വിതരണം ചെയ്യുന്നത്.

0.2.X ബ്രാഞ്ചിലെ ഫീച്ചർ മാറ്റങ്ങളോടെയുള്ള അവസാന പതിപ്പാണ് സാവന്റ് 0.2.7. 0.2.X ബ്രാഞ്ചിലെ ഭാവി റിലീസുകളിൽ ബഗ് പരിഹാരങ്ങൾ മാത്രമേ ഉൾപ്പെടുത്തൂ. ഡീപ്സ്ട്രീം 6.4 അടിസ്ഥാനമാക്കിയുള്ള 0.3.X ബ്രാഞ്ചിൽ പുതിയ ഫീച്ചറുകളുടെ വികസനം നടക്കും. ഡീപ്സ്ട്രീം 6.4-ൽ എൻവിഡിയ ജെറ്റ്സൺ സേവ്യർ കുടുംബ ഉപകരണങ്ങളെ പിന്തുണയ്ക്കാത്തതിനാൽ ഈ ബ്രാഞ്ച് അവയെ പിന്തുണയ്ക്കില്ല.

പ്രധാന കണ്ടുപിടുത്തങ്ങൾ:

• പുതിയ ഉപയോഗ കേസുകൾ:
  • RT-DETR ട്രാൻസ്ഫോർമറിനെ അടിസ്ഥാനമാക്കിയുള്ള ഒരു ഡിറ്റക്ഷൻ മോഡലുമായി പ്രവർത്തിക്കുന്നതിന്റെ ഒരു ഉദാഹരണം;
  • YOLOV8-Seg-ന് CuPy ഉപയോഗിച്ചുള്ള CUDA പോസ്റ്റ്-പ്രോസസ്സിംഗ്;
  • സാവന്ത് പൈപ്പ്‌ലൈനിലേക്ക് PyTorch CUDA സംയോജിപ്പിക്കുന്നതിനുള്ള ഒരു ഉദാഹരണം;
  • ഓറിയന്റഡ് വസ്തുക്കളുമായി പ്രവർത്തിക്കുന്നതിന്റെ പ്രദർശനം.
  
• പുതിയ സവിശേഷതകൾ:
  • പ്രോമിത്യൂസ് സംയോജനം. പ്രകടന നിരീക്ഷണത്തിനും ട്രാക്കിംഗിനുമായി പൈപ്പ്‌ലൈനിന് പ്രൊമിത്യൂസിലേക്കും ഗ്രാഫാനയിലേക്കും എക്സിക്യൂഷൻ മെട്രിക്സ് കയറ്റുമതി ചെയ്യാൻ കഴിയും. സിസ്റ്റം മെട്രിക്സിനൊപ്പം കയറ്റുമതി ചെയ്യേണ്ട ഇഷ്ടാനുസൃത മെട്രിക്സുകൾ ഡെവലപ്പർമാർക്ക് നിർവചിക്കാൻ കഴിയും.
  • അഡാപ്റ്ററുകൾക്കും മൊഡ്യൂളുകൾക്കുമിടയിൽ ഡാറ്റ നീങ്ങുന്നതിനായി ബഫർ അഡാപ്റ്റർ ഡിസ്കിൽ ഒരു സ്ഥിരമായ ട്രാൻസാക്ഷണൽ ബഫർ നടപ്പിലാക്കുന്നു. പ്രവചനാതീതമായി വിഭവങ്ങൾ ഉപയോഗിക്കുന്നതും ട്രാഫിക് സ്പൈക്കുകളെ ചെറുക്കുന്നതുമായ ഉയർന്ന ലോഡ് പൈപ്പ്‌ലൈനുകൾ വികസിപ്പിക്കുന്നതിന് ഇത് ഉപയോഗിക്കാം. അഡാപ്റ്റർ അതിന്റെ എലമെന്റ്, വലുപ്പ ഡാറ്റ പ്രോമിത്യൂസിലേക്ക് കയറ്റുമതി ചെയ്യുന്നു.
  • മോഡൽ കംപൈലേഷൻ മോഡ്. പൈപ്പ്‌ലൈൻ പ്രവർത്തിപ്പിക്കാതെ തന്നെ മൊഡ്യൂളുകൾക്ക് ഇപ്പോൾ അവയുടെ മോഡലുകൾ TensorRT-യിലേക്ക് കംപൈൽ ചെയ്യാൻ കഴിയും.
  • PyFunc-ലെ ഷട്ട്ഡൗൺ ഇവന്റ് ഹാൻഡ്‌ലർ. പൈപ്പ്‌ലൈൻ ഷട്ട്‌ഡൗണുകൾ ഭംഗിയായി കൈകാര്യം ചെയ്യാനും, ഉറവിടങ്ങൾ സ്വതന്ത്രമാക്കാനും, മൂന്നാം കക്ഷി സിസ്റ്റങ്ങളെ പൂർത്തീകരണത്തെക്കുറിച്ച് അറിയിക്കാനും ഈ പുതിയ API നിങ്ങളെ അനുവദിക്കുന്നു.
  • ഇൻപുട്ട്, ഔട്ട്പുട്ട് ഫ്രെയിം ഫിൽട്ടറിംഗ്. ഡിഫോൾട്ടായി, പൈപ്പ്‌ലൈൻ വീഡിയോ ഡാറ്റ അടങ്ങിയ എല്ലാ ഫ്രെയിമുകളും സ്വീകരിക്കുന്നു. ഇൻപുട്ട്, ഔട്ട്പുട്ട് ഫിൽട്ടറിംഗ് ഉപയോഗിച്ച്, പ്രോസസ്സിംഗിൽ നിന്ന് ഡാറ്റ ഒഴിവാക്കാൻ ഡെവലപ്പർമാർക്ക് ഫിൽട്ടർ ചെയ്യാൻ കഴിയും.
  • ജിപിയുവിൽ മോഡൽ പോസ്റ്റ്-പ്രോസസ്സിംഗ്. ഈ പുതിയ സവിശേഷത ഡെവലപ്പർമാർക്ക് മോഡൽ ഔട്ട്‌പുട്ട് ടെൻസറുകൾ സിപിയു മെമ്മറിയിലേക്ക് ലോഡ് ചെയ്യാതെ നേരിട്ട് ജിപിയു മെമ്മറിയിൽ നിന്ന് ആക്‌സസ് ചെയ്യാനും CuPy, TorchVision അല്ലെങ്കിൽ OpenCV CUDA ഉപയോഗിച്ച് പ്രോസസ്സ് ചെയ്യാനും അനുവദിക്കുന്നു.
  • GPU മെമ്മറി റെപ്രസന്റേഷൻ ഫംഗ്‌ഷനുകൾ. ഈ റിലീസിൽ, OpenCV GpuMat, PyTorch GPU ടെൻസറുകൾ, CuPy ടെൻസറുകൾ എന്നിവയ്ക്കിടയിൽ മെമ്മറി ബഫറുകൾ പരിവർത്തനം ചെയ്യുന്നതിനുള്ള ഫംഗ്‌ഷനുകൾ ഞങ്ങൾ അവതരിപ്പിച്ചു.
  • പൈപ്പ്‌ലൈൻ ക്യൂ ഉപയോഗ സ്ഥിതിവിവരക്കണക്കുകളിലേക്കുള്ള API ആക്‌സസ്. സമാന്തര പ്രോസസ്സിംഗും ബഫറിംഗും നടപ്പിലാക്കുന്നതിനായി PyFuncs-കൾക്കിടയിൽ ക്യൂകൾ ചേർക്കാൻ Savant നിങ്ങളെ അനുവദിക്കുന്നു. ചേർത്ത API ഡെവലപ്പർമാർക്ക് പൈപ്പ്‌ലൈനിൽ വിന്യസിച്ചിരിക്കുന്ന ക്യൂകളിലേക്ക് ആക്‌സസ് നൽകുകയും അവയുടെ ഉപയോഗം അന്വേഷിക്കാൻ അവരെ അനുവദിക്കുകയും ചെയ്യുന്നു.

അടുത്ത പതിപ്പ് (0.3.7) അധിക പ്രവർത്തനങ്ങളൊന്നുമില്ലാതെ DeepStream 6.4 ലേക്ക് അപ്‌ഗ്രേഡ് ചെയ്യാൻ പദ്ധതിയിട്ടിരിക്കുന്നു. API അനുയോജ്യതയെ തകർക്കാതെ, DeepStream 6.4 ഉം അതിന്റെ മെച്ചപ്പെടുത്തിയ സാങ്കേതികവിദ്യയും അടിസ്ഥാനമാക്കിയുള്ള, 0.2.7 മായി പൂർണ്ണമായും പൊരുത്തപ്പെടുന്ന ഒരു റിലീസ് ഉണ്ടായിരിക്കുക എന്നതാണ് ലക്ഷ്യം.

അവലംബം: opennet.ru