Azure AI-യിലേക്ക് വരുന്ന മൈക്രോസോഫ്റ്റിന്റെ ഏറ്റവും പുതിയ സാങ്കേതികവിദ്യ ചിത്രങ്ങളെയും ആളുകളെയും വിവരിക്കുന്നു

മൈക്രോസോഫ്റ്റ് ഗവേഷകർ ഒരു ആർട്ടിഫിഷ്യൽ ഇന്റലിജൻസ് സിസ്റ്റം സൃഷ്ടിച്ചിട്ടുണ്ട്, അത് മിക്ക കേസുകളിലും മനുഷ്യ വിവരണങ്ങളേക്കാൾ കൃത്യതയുള്ള ഇമേജ് അടിക്കുറിപ്പുകൾ സൃഷ്ടിക്കാൻ കഴിയും. മൈക്രോസോഫ്റ്റിന്റെ ഉൽപ്പന്നങ്ങളും സേവനങ്ങളും ഉൾപ്പെടുന്നതും എല്ലാ ഉപയോക്താക്കൾക്കും ആക്സസ് ചെയ്യാവുന്നതുമാക്കാനുള്ള പ്രതിബദ്ധതയിലെ ഒരു പ്രധാന നാഴികക്കല്ലാണ് ഈ മുന്നേറ്റം.

"ചിത്ര വിവരണമാണ് കമ്പ്യൂട്ടർ കാഴ്ചയുടെ പ്രധാന പ്രവർത്തനങ്ങളിലൊന്ന്, അത് വിപുലമായ സേവനങ്ങൾ പ്രാപ്തമാക്കുന്നു," സൂഡോംഗ് ഹുവാങ് പറഞ്ഞു (സ്യൂഡോങ് ഹുവാങ്), വാഷിംഗ്ടണിലെ റെഡ്മണ്ടിലുള്ള അസുർ എഐ കോഗ്നിറ്റീവ് സർവീസസിന്റെ മൈക്രോസോഫ്റ്റ് ടെക്നിക്കൽ ഫെലോയും ചീഫ് ടെക്നോളജി ഓഫീസറുമാണ്.

പുതിയ മോഡൽ ഇപ്പോൾ കമ്പ്യൂട്ടർ വിഷൻ വഴി ഉപഭോക്താക്കൾക്ക് ലഭ്യമാണ് അസൂർ കോഗ്നിറ്റീവ് സേവനങ്ങൾ, ഇത് Azure AI-യുടെ ഭാഗമാണ്, ഡെവലപ്പർമാരെ അവരുടെ സേവനങ്ങളുടെ ലഭ്യത മെച്ചപ്പെടുത്തുന്നതിന് ഈ കഴിവ് ഉപയോഗിക്കാൻ അനുവദിക്കുന്നു. ഇത് സീയിംഗ് AI ആപ്പിലും ഉൾപ്പെടുത്തിയിട്ടുണ്ട്, കൂടാതെ Windows, Mac എന്നിവയ്‌ക്കായുള്ള Microsoft Word, Outlook എന്നിവയിലും Windows, Mac, വെബ് എന്നിവയ്‌ക്കായുള്ള PowerPoint-ലും ഈ വർഷാവസാനം സമാരംഭിക്കും.

ഒരു തിരയൽ ഫലത്തിൽ ലഭിച്ച ഫോട്ടോയോ അവതരണത്തിന്റെ ചിത്രീകരണമോ ആകട്ടെ, ഏതൊരു ചിത്രത്തിന്റെയും പ്രധാനപ്പെട്ട ഉള്ളടക്കം ആക്‌സസ് ചെയ്യാൻ ഉപയോക്താക്കളെ യാന്ത്രിക വിവരണം സഹായിക്കുന്നു.

“വെബ് പേജുകളിലും ഡോക്യുമെന്റുകളിലും ചിത്രങ്ങളുടെ ഉള്ളടക്കത്തെ (ഇതൊരു അല്ലെങ്കിൽ ആൾട്ടർ ടെക്‌സ്‌റ്റ് എന്ന് വിളിക്കുന്നത്) വിവരിക്കുന്ന അടിക്കുറിപ്പുകളുടെ ഉപയോഗം അന്ധരോ കാഴ്ചക്കുറവുള്ളവരോ ആയ ആളുകൾക്ക് വളരെ പ്രധാനമാണ്,” സാഖിബ് ഷെയ്ഖ് പറഞ്ഞു (സാഖിബ് ഷെയ്ഖ്), റെഡ്മണ്ടിലെ മൈക്രോസോഫ്റ്റിന്റെ AI പ്ലാറ്റ്‌ഫോം ഗ്രൂപ്പിലെ സോഫ്റ്റ്‌വെയർ മാനേജർ.

ഉദാഹരണത്തിന്, അദ്ദേഹത്തിന്റെ ടീം അന്ധരും കാഴ്ച വൈകല്യമുള്ളവർക്കും ആപ്പിൽ മെച്ചപ്പെട്ട ചിത്ര വിവരണ സവിശേഷത ഉപയോഗിക്കുന്നു AI കാണുക, ക്യാമറ എന്താണ് ചിത്രീകരിക്കുന്നതെന്ന് തിരിച്ചറിയുകയും അതിനെക്കുറിച്ച് സംസാരിക്കുകയും ചെയ്യുന്നു. സോഷ്യൽ നെറ്റ്‌വർക്കുകളിൽ ഉൾപ്പെടെയുള്ള ഫോട്ടോകൾ വിവരിക്കാൻ ആപ്പ് ജനറേറ്റുചെയ്‌ത അടിക്കുറിപ്പുകൾ ഉപയോഗിക്കുന്നു.

“എല്ലാവരും ഡോക്യുമെന്റുകളിലും ഓൺലൈനിലും സോഷ്യൽ മീഡിയയിലും ഉള്ള എല്ലാ ചിത്രങ്ങളിലും ആൾട്ട് ടെക്‌സ്‌റ്റ് ചേർക്കണം, കാരണം ഇത് അന്ധരായ ആളുകൾക്ക് ഉള്ളടക്കം ആക്‌സസ് ചെയ്യാനും സംഭാഷണത്തിൽ പങ്കെടുക്കാനും അനുവദിക്കുന്നു. പക്ഷേ, അയ്യോ, ആളുകൾ ഇത് ചെയ്യുന്നില്ല, ”ഷൈഖ് പറയുന്നു. "എന്നിരുന്നാലും, ലഭ്യമല്ലാത്തപ്പോൾ ഇതര വാചകം ചേർക്കാൻ ഇമേജ് വിവരണ സവിശേഷത ഉപയോഗിക്കുന്ന നിരവധി ആപ്പുകൾ ഉണ്ട്."
  


മൈക്രോസോഫ്റ്റിന്റെ റെഡ്മണ്ട് ലാബിലെ സീനിയർ റിസർച്ച് മാനേജർ ലിജുവാൻ വാങ്, മനുഷ്യനെപ്പോലെയുള്ളതും മികച്ചതുമായ ഫലങ്ങൾ നേടിയ ഒരു ഗവേഷണ സംഘത്തെ നയിച്ചു. ഫോട്ടോ: ഡാൻ ഡെലോംഗ്.

പുതിയ വസ്തുക്കളുടെ വിവരണം

"കമ്പ്യൂട്ടർ കാഴ്ചയുടെ പ്രധാന ജോലികളിലൊന്നാണ് ഇമേജ് വിവരണം, ചിത്രത്തിൽ പ്രതിനിധീകരിക്കുന്ന പ്രധാന ഉള്ളടക്കമോ പ്രവർത്തനമോ മനസിലാക്കാനും വിവരിക്കാനും ഒരു കൃത്രിമ ഇന്റലിജൻസ് സിസ്റ്റം ആവശ്യമാണ്," ലിജുവാൻ വാങ് വിശദീകരിച്ചു (ലിജുവാൻ വാങ്), മൈക്രോസോഫ്റ്റിന്റെ റെഡ്മണ്ട് ലാബിലെ സീനിയർ റിസർച്ച് മാനേജർ.

“എന്താണ് സംഭവിക്കുന്നതെന്ന് നിങ്ങൾ മനസിലാക്കേണ്ടതുണ്ട്, വസ്തുക്കളും പ്രവർത്തനങ്ങളും തമ്മിലുള്ള ബന്ധങ്ങൾ എന്താണെന്ന് കണ്ടെത്തേണ്ടതുണ്ട്, തുടർന്ന് അതെല്ലാം മനുഷ്യർക്ക് മനസ്സിലാകുന്ന ഭാഷയിൽ ഒരു വാക്യത്തിൽ സംഗ്രഹിച്ച് വിവരിക്കുക,” അവൾ പറഞ്ഞു.

ബെഞ്ച്മാർക്ക് ചെയ്ത ഗവേഷണ സംഘത്തെ വാങ് നയിച്ചു nocaps (നോവൽ ഒബ്ജക്റ്റ് അടിക്കുറിപ്പ്, പുതിയ വസ്തുക്കളുടെ വലിയ തോതിലുള്ള വിവരണം) മനുഷ്യരുമായി താരതമ്യപ്പെടുത്താവുന്ന ഫലങ്ങൾ കൈവരിക്കുകയും അവയെ മറികടക്കുകയും ചെയ്തു. മോഡൽ പരിശീലിപ്പിച്ച ഡാറ്റാ സെറ്റിന്റെ ഭാഗമല്ലാത്ത ചിത്രീകരിച്ച ഒബ്‌ജക്റ്റുകളുടെ വിവരണങ്ങൾ AI സിസ്റ്റങ്ങൾ എത്ര നന്നായി സൃഷ്ടിക്കുന്നുവെന്ന് ഈ പരിശോധന വിലയിരുത്തുന്നു.

സാധാരണഗതിയിൽ, ഇമേജ് വിവരണ സംവിധാനങ്ങൾ ഈ ചിത്രങ്ങളുടെ വാചക വിവരണങ്ങളോടൊപ്പം ചിത്രങ്ങൾ ഉൾക്കൊള്ളുന്ന ഡാറ്റാസെറ്റുകളിൽ പരിശീലിപ്പിക്കപ്പെടുന്നു, അതായത്, ലേബൽ ചെയ്ത ചിത്രങ്ങളുടെ സെറ്റുകളിൽ.

“പരിശീലന ഡാറ്റയിൽ കാണാത്ത പുതിയ വസ്തുക്കളെ സിസ്റ്റത്തിന് എത്ര നന്നായി വിവരിക്കാമെന്ന് നോകാപ്സ് ടെസ്റ്റ് കാണിക്കുന്നു,” വാങ് പറയുന്നു.

ഈ പ്രശ്നം പരിഹരിക്കാൻ, മൈക്രോസോഫ്റ്റ് ടീം ഒരു വലിയ AI മോഡൽ, വേഡ് ടാഗുകളുള്ള ഇമേജുകൾ അടങ്ങുന്ന ഒരു വലിയ ഡാറ്റാസെറ്റിൽ മുൻകൂട്ടി പരിശീലിപ്പിച്ചു, അവ ഓരോന്നും ചിത്രത്തിലെ ഒരു പ്രത്യേക വസ്തുവുമായി ബന്ധപ്പെട്ടിരിക്കുന്നു.

പൂർണ്ണമായ അടിക്കുറിപ്പുകൾക്കുപകരം വേഡ് ടാഗുകൾ ഉപയോഗിച്ച് ചിത്രങ്ങളുടെ സെറ്റുകൾ സൃഷ്ടിക്കുന്നത് കൂടുതൽ കാര്യക്ഷമമായിരുന്നു, ഇത് വാങ് ടീമിനെ അവരുടെ മോഡലിലേക്ക് ധാരാളം ഡാറ്റ നൽകുന്നതിന് അനുവദിച്ചു. ഈ സമീപനം ഒരു വിഷ്വൽ പദാവലി എന്ന് ടീം വിളിക്കുന്ന മോഡലിന് നൽകി.

ഹുവാങ് വിശദീകരിച്ചതുപോലെ, വിഷ്വൽ പദാവലി പ്രീ-ടീച്ചിംഗ് സമീപനം കുട്ടികളെ വായിക്കാൻ തയ്യാറാക്കുന്നതിന് സമാനമാണ്: ആദ്യം, ഒരു ചിത്ര പുസ്തകം ഉപയോഗിക്കുന്നു, അതിൽ വ്യക്തിഗത വാക്കുകൾ ചിത്രങ്ങളുമായി ബന്ധപ്പെട്ടിരിക്കുന്നു, ഉദാഹരണത്തിന്, ഒരു ആപ്പിളിന്റെ ഫോട്ടോയ്ക്ക് കീഴിൽ അത് "ആപ്പിൾ" എന്നും പറയുന്നു. ഒരു പൂച്ചയുടെ ഫോട്ടോയ്ക്ക് കീഴിൽ "പൂച്ച" എന്ന വാക്ക്.

“ഒരു വിഷ്വൽ നിഘണ്ടു ഉപയോഗിച്ചുള്ള ഈ പ്രീ-ട്രെയിനിംഗ് സിസ്റ്റത്തെ പരിശീലിപ്പിക്കുന്നതിന് ആവശ്യമായ പ്രാഥമിക വിദ്യാഭ്യാസമാണ്. ഒരുതരം മോട്ടോർ മെമ്മറി വികസിപ്പിക്കാൻ ഞങ്ങൾ ശ്രമിക്കുന്നത് ഇങ്ങനെയാണ്, ”ഹുവാങ് പറഞ്ഞു.

പ്രീ-ട്രെയിൻ ചെയ്ത മോഡൽ പിന്നീട് അടിക്കുറിപ്പുള്ള ചിത്രങ്ങൾ ഉൾപ്പെടുന്ന ഒരു ഡാറ്റാസെറ്റ് ഉപയോഗിച്ച് പരിഷ്കരിക്കുന്നു. പരിശീലനത്തിന്റെ ഈ ഘട്ടത്തിൽ, മോഡൽ വാക്യങ്ങൾ രൂപപ്പെടുത്താൻ പഠിക്കുന്നു. പുതിയ ഒബ്‌ജക്‌റ്റുകൾ അടങ്ങിയ ഒരു ചിത്രം ദൃശ്യമാകുകയാണെങ്കിൽ, കൃത്യമായ വിവരണങ്ങൾ സൃഷ്‌ടിക്കാൻ AI സിസ്റ്റം ഒരു വിഷ്വൽ നിഘണ്ടു ഉപയോഗിക്കുന്നു.

"ടെസ്റ്റിംഗ് സമയത്ത് പുതിയ വസ്തുക്കളുമായി ഇടപെടുന്നതിന്, പരിശീലനത്തിന് മുമ്പുള്ള സമയത്തും തുടർന്നുള്ള വികസന സമയത്തും സിസ്റ്റം പഠിച്ച കാര്യങ്ങൾ സംയോജിപ്പിക്കുന്നു," വാങ് പറയുന്നു.
സോഗ്ലാസ്നോ റസൂൾട്ടാം ഗവേഷണംനോകാപ്‌സ് ടെസ്റ്റുകളിൽ വിലയിരുത്തിയപ്പോൾ, ഒരേ ചിത്രങ്ങൾക്ക് മനുഷ്യർ ചെയ്തതിനേക്കാൾ കൂടുതൽ അർത്ഥവത്തായതും കൃത്യവുമായ വിവരണങ്ങൾ AI സിസ്റ്റം സൃഷ്ടിച്ചു.

തൊഴിൽ അന്തരീക്ഷത്തിലേക്കുള്ള ത്വരിതഗതിയിലുള്ള മാറ്റം 

മറ്റ് കാര്യങ്ങളിൽ, മറ്റൊരു വ്യവസായ മാനദണ്ഡമനുസരിച്ച്, 2015 മുതൽ മൈക്രോസോഫ്റ്റ് ഉൽപ്പന്നങ്ങളിലും സേവനങ്ങളിലും ഉപയോഗിക്കുന്ന മോഡലിന്റെ ഇരട്ടി മികച്ചതാണ് പുതിയ ഇമേജ് വിവരണ സംവിധാനം.

മൈക്രോസോഫ്റ്റ് ഉൽപ്പന്നങ്ങളുടെയും സേവനങ്ങളുടെയും എല്ലാ ഉപയോക്താക്കൾക്കും ഈ മെച്ചപ്പെടുത്തലിൽ നിന്ന് ലഭിക്കുന്ന നേട്ടങ്ങൾ കണക്കിലെടുത്ത്, ഹുവാങ് പുതിയ മോഡലിനെ അസൂർ ഡെസ്‌ക്‌ടോപ്പ് പരിതസ്ഥിതിയിലേക്ക് സംയോജിപ്പിക്കുന്നത് ത്വരിതപ്പെടുത്തി.

“വിശാലമായ ഉപഭോക്താക്കളെ സേവിക്കുന്നതിനുള്ള ഒരു പ്ലാറ്റ്‌ഫോമായി ഞങ്ങൾ ഈ മികച്ച AI സാങ്കേതികവിദ്യ അസുറിലേക്ക് കൊണ്ടുപോകുന്നു,” അദ്ദേഹം പറഞ്ഞു. “ഇത് ഗവേഷണത്തിൽ മാത്രമല്ല ഒരു വഴിത്തിരിവാണ്. അസൂർ പ്രൊഡക്ഷൻ പരിതസ്ഥിതിയിൽ ഈ മുന്നേറ്റം ഉൾപ്പെടുത്താൻ എടുത്ത സമയവും ഒരു വഴിത്തിരിവായിരുന്നു.

മൈക്രോസോഫ്റ്റിന്റെ കോഗ്നിറ്റീവ് ഇന്റലിജൻസ് സിസ്റ്റങ്ങളിൽ ഇതിനകം സ്ഥാപിതമായ ഒരു പ്രവണതയാണ് മനുഷ്യസമാനമായ ഫലങ്ങൾ കൈവരിക്കുന്നതെന്ന് ഹുവാങ് കൂട്ടിച്ചേർത്തു.

“കഴിഞ്ഞ അഞ്ച് വർഷത്തിനിടയിൽ, അഞ്ച് പ്രധാന മേഖലകളിൽ ഞങ്ങൾ മാനുഷിക തല ഫലങ്ങൾ നേടിയിട്ടുണ്ട്: സംഭാഷണ തിരിച്ചറിയൽ, മെഷീൻ വിവർത്തനം, ചോദ്യത്തിന് ഉത്തരം നൽകൽ, മെഷീൻ റീഡിംഗ്, ടെക്സ്റ്റ് മനസ്സിലാക്കൽ, കൂടാതെ 2020 ൽ, COVID-19 ഉണ്ടായിരുന്നിട്ടും, ഇമേജ് വിവരണം. ” ജുവാൻ പറഞ്ഞു.

ഈ വിഷയത്തിൽ

• സൈറ്റ് സന്ദർശിക്കുക അസൂർ കോഗ്നിറ്റീവ് സേവനങ്ങൾ കമ്പ്യൂട്ടർ കാഴ്ചയെക്കുറിച്ച് കൂടുതലറിയാൻ (കമ്പ്യൂട്ടർ വിഷൻ)
• ലേഖനം വായിക്കു ചരിത്ര നേട്ടം: മൈക്രോസോഫ്റ്റ് ഗവേഷകർ ഓട്ടോമാറ്റിക് സ്പീച്ച് റെക്കഗ്നിഷനിൽ മാനുഷിക നിലവാരത്തിലുള്ള പ്രകടനം കൈവരിച്ചു 

സിസ്റ്റം മുമ്പും ഇപ്പോൾ AI ഉപയോഗിച്ചും നൽകിയ ഇമേജ് വിവരണങ്ങളുടെ ഫലങ്ങൾ താരതമ്യം ചെയ്യുക

ഗെറ്റി ഇമേജസ് ലൈബ്രറിയിൽ നിന്നുള്ള ഫോട്ടോ. മുമ്പത്തെ വിവരണം: കട്ടിംഗ് ബോർഡിൽ ഹോട്ട് ഡോഗ് പാചകം ചെയ്യുന്ന ഒരാളുടെ ക്ലോസ്-അപ്പ്. പുതിയ വിവരണം: ഒരു മനുഷ്യൻ അപ്പം ഉണ്ടാക്കുന്നു.

ഗെറ്റി ഇമേജസ് ലൈബ്രറിയിൽ നിന്നുള്ള ഫോട്ടോ. മുമ്പത്തെ വിവരണം: ഒരു മനുഷ്യൻ സൂര്യാസ്തമയ സമയത്ത് ഇരിക്കുന്നു. പുതിയ വിവരണം: കടൽത്തീരത്ത് തീ.



ഗെറ്റി ഇമേജസ് ലൈബ്രറിയിൽ നിന്നുള്ള ഫോട്ടോ. മുമ്പത്തെ വിവരണം: നീല ഷർട്ട് ധരിച്ച ഒരാൾ. പുതിയ വിവരണം: സർജിക്കൽ മാസ്‌ക് ധരിച്ച നിരവധി ആളുകൾ.

ഗെറ്റി ഇമേജസ് ലൈബ്രറിയിൽ നിന്നുള്ള ഫോട്ടോ. മുമ്പത്തെ വിവരണം: സ്കേറ്റ്ബോർഡിൽ ഒരാൾ മതിലിനു മുകളിലൂടെ പറക്കുന്നു. പുതിയ വിവരണം: ഒരു ബേസ്ബോൾ കളിക്കാരൻ ഒരു പന്ത് പിടിക്കുന്നു.

അവലംബം: www.habr.com