Azure AI માં માઇક્રોસોફ્ટની નવીનતમ તકનીક છબીઓ તેમજ લોકોનું વર્ણન કરે છે

માઇક્રોસોફ્ટના સંશોધકોએ એક આર્ટિફિશિયલ ઇન્ટેલિજન્સ સિસ્ટમ બનાવી છે જે ઇમેજ કૅપ્શન્સ જનરેટ કરવામાં સક્ષમ છે જે, ઘણા કિસ્સાઓમાં, મનુષ્યો દ્વારા કરવામાં આવેલા વર્ણનો કરતાં વધુ સચોટ હોવાનું બહાર આવ્યું છે. આ સફળતાએ તેના ઉત્પાદનો અને સેવાઓને સમાવિષ્ટ અને તમામ વપરાશકર્તાઓ માટે સુલભ બનાવવા માટે માઇક્રોસોફ્ટની પ્રતિબદ્ધતામાં એક મુખ્ય સીમાચિહ્નરૂપ ચિહ્નિત કર્યું છે.

"ઇમેજ વર્ણન એ કમ્પ્યુટર વિઝનના મુખ્ય કાર્યોમાંનું એક છે, જે સેવાઓની વિશાળ શ્રેણીને શક્ય બનાવે છે," ઝુએડોંગ હુઆંગ (ઝુએડોંગ હુઆંગ), રેડમન્ડ, વોશિંગ્ટનમાં Microsoft ટેકનિકલ ઓફિસર અને Azure AI જ્ઞાનાત્મક સેવાઓના CTO.

નવું મોડલ હવે કોમ્પ્યુટર વિઝન દ્વારા ગ્રાહકો માટે ઉપલબ્ધ છે Azure જ્ઞાનાત્મક સેવાઓ, જે Azure AI નો ભાગ છે, અને વિકાસકર્તાઓને તેમની સેવાઓની ઉપલબ્ધતાને સુધારવા માટે આ સુવિધાનો ઉપયોગ કરવાની મંજૂરી આપે છે. તેને સીઇંગ એઆઈ એપમાં પણ સામેલ કરવામાં આવી રહ્યું છે અને તે આ વર્ષના અંતમાં વિન્ડોઝ અને મેક માટે માઈક્રોસોફ્ટ વર્ડ અને આઉટલુક તેમજ વિન્ડોઝ, મેક અને વેબ પર પાવરપોઈન્ટમાં ઉપલબ્ધ થશે.

સ્વતઃ વર્ણન વપરાશકર્તાઓને કોઈપણ છબીની મહત્વપૂર્ણ સામગ્રીને ઍક્સેસ કરવામાં મદદ કરે છે, પછી ભલે તે શોધ પરિણામોમાં પરત કરાયેલ ફોટો હોય અથવા પ્રસ્તુતિ માટેનું ચિત્ર.

"વેબ પેજ અને દસ્તાવેજો પર છબીઓની સામગ્રી (કહેવાતા વૈકલ્પિક અથવા વૈકલ્પિક ટેક્સ્ટ) નું વર્ણન કરતા કૅપ્શન્સનો ઉપયોગ ખાસ કરીને અંધ અથવા દૃષ્ટિહીન લોકો માટે મહત્વપૂર્ણ છે," સાકિબ શેખે કહ્યું (સાકિબ શેખ), રેડમન્ડમાં માઇક્રોસોફ્ટના AI પ્લેટફોર્મ ગ્રુપમાં સોફ્ટવેર મેનેજર.

ઉદાહરણ તરીકે, તેમની ટીમ અંધ અને દૃષ્ટિહીન લોકો માટે એપ્લિકેશનમાં સુધારેલ છબી વર્ણન સુવિધાનો ઉપયોગ કરી રહી છે. એઆઈ જોઈ, જે કેમેરા શું કેપ્ચર કરી રહ્યો છે તે ઓળખે છે અને તેના વિશે જણાવે છે. એપ સોશિયલ મીડિયા સહિત ફોટાનું વર્ણન કરવા માટે જનરેટેડ કૅપ્શનનો ઉપયોગ કરે છે.

“આદર્શ રીતે, દરેક વ્યક્તિએ દસ્તાવેજોમાં, વેબ પર, સામાજિક નેટવર્ક્સ પરની તમામ છબીઓમાં વૈકલ્પિક ટેક્સ્ટ ઉમેરવું જોઈએ, કારણ કે આ અંધ લોકો સામગ્રીને ઍક્સેસ કરી શકે છે અને વાતચીતમાં ભાગ લઈ શકે છે. પણ, અફસોસ, લોકો આવું કરતા નથી,” શેઠ કહે છે. "જોકે, એવી કેટલીક એપ્લિકેશનો છે જે જ્યારે તે ખૂટે છે ત્યારે વૈકલ્પિક ટેક્સ્ટ ઉમેરવા માટે છબી વર્ણન સુવિધાનો ઉપયોગ કરે છે."
  


માઇક્રોસોફ્ટની રેડમન્ડ લેબમાં સંશોધનના જનરલ મેનેજર લિરુઆન વાંગે એક સંશોધન ટીમનું નેતૃત્વ કર્યું જેણે માનવ પરિણામો પ્રાપ્ત કર્યા અને તેને વટાવી દીધા. ફોટો: ડેન ડેલોંગ.

નવી વસ્તુઓનું વર્ણન

"ઇમેજનું વર્ણન કરવું એ કમ્પ્યુટર વિઝનના મુખ્ય કાર્યોમાંનું એક છે, જેમાં ચિત્રમાં પ્રસ્તુત મુખ્ય સામગ્રી અથવા ક્રિયાને સમજવા અને તેનું વર્ણન કરવા માટે કૃત્રિમ બુદ્ધિ સિસ્ટમની જરૂર છે," લિરુઆન વાંગ (લિજુઆન વાંગ), માઇક્રોસોફ્ટની રેડમન્ડ લેબમાં સંશોધનના જનરલ મેનેજર.

"તમારે શું ચાલી રહ્યું છે તે સમજવાની જરૂર છે, વસ્તુઓ અને ક્રિયાઓ વચ્ચેના સંબંધો શું છે તે સમજવાની જરૂર છે, અને પછી તે બધાને માનવ-વાંચી શકાય તેવી ભાષામાં એક વાક્યમાં સારાંશ અને વર્ણન કરવાની જરૂર છે," તેણીએ કહ્યું.

વાંગે સંશોધન ટીમનું નેતૃત્વ કર્યું, જે બેન્ચમાર્કિંગમાં nocaps (નવા ઑબ્જેક્ટ કૅપ્શનિંગ એટ સ્કેલ, નવા ઑબ્જેક્ટ્સનું મોટા પાયે વર્ણન) માનવ સાથે તુલનાત્મક પરિણામ પ્રાપ્ત કર્યું, અને તેને વટાવી ગયું. આ પરીક્ષણ તમને મૂલ્યાંકન કરવાની મંજૂરી આપે છે કે AI સિસ્ટમ્સ દર્શાવવામાં આવેલા ઑબ્જેક્ટ્સનું વર્ણન કેટલી સારી રીતે જનરેટ કરે છે જે ડેટા સેટમાં શામેલ નથી કે જેના પર મોડેલને તાલીમ આપવામાં આવી હતી.

સામાન્ય રીતે, ઇમેજ ડિસ્ક્રિપ્શન સિસ્ટમ્સને ડેટા સેટ્સ પર પ્રશિક્ષિત કરવામાં આવે છે જેમાં આ ઇમેજના ટેક્સ્ચ્યુઅલ વર્ણન સાથેની છબીઓ હોય છે, એટલે કે, હસ્તાક્ષરિત છબીઓના સેટ પર.

વાંગ કહે છે, "નોકેપ્સ ટેસ્ટ બતાવે છે કે પ્રશિક્ષણ ડેટામાં ન મળતા નવા ઑબ્જેક્ટનું વર્ણન કરવા માટે સિસ્ટમ કેટલી સારી રીતે સક્ષમ છે."

આ સમસ્યાને ઉકેલવા માટે, માઇક્રોસોફ્ટની ટીમે એક વિશાળ ડેટાસેટ પર એક વિશાળ AI મોડલને પ્રી-ટ્રેઇન કર્યું છે જેમાં વર્ડ-ટેગ કરેલી છબીઓ છે, દરેક ઇમેજમાં ચોક્કસ ઑબ્જેક્ટ સાથે સંકળાયેલ છે.

સંપૂર્ણ કૅપ્શનને બદલે શબ્દ ટૅગ્સ સાથેના ઇમેજ સેટ બનાવવા માટે વધુ કાર્યક્ષમ છે, જે વાંગની ટીમને તેમના મોડેલમાં ઘણો ડેટા ફીડ કરવાની મંજૂરી આપે છે. આ અભિગમે મોડેલને આપ્યું જેને ટીમ વિઝ્યુઅલ શબ્દભંડોળ કહે છે.

હુઆંગે સમજાવ્યું તેમ, દ્રશ્ય શબ્દભંડોળનો ઉપયોગ કરીને પૂર્વ-શિક્ષણનો અભિગમ બાળકોને વાંચવા માટે તૈયાર કરવા સમાન છે: પ્રથમ, ચિત્ર પુસ્તકનો ઉપયોગ કરવામાં આવે છે જેમાં વ્યક્તિગત શબ્દો છબીઓ સાથે સંકળાયેલા હોય છે, ઉદાહરણ તરીકે, સફરજનના ફોટાની નીચે "સફરજન" લખેલું હોય છે. અને બિલાડીના ફોટા હેઠળ "બિલાડી" શબ્દ છે.

"દ્રશ્ય શબ્દભંડોળ સાથેની આ પૂર્વ-તાલીમ, સારમાં, સિસ્ટમને તાલીમ આપવા માટે જરૂરી પ્રારંભિક શિક્ષણ છે. આ રીતે અમે એક પ્રકારની મોટર મેમરી વિકસાવવાનો પ્રયાસ કરીએ છીએ," હુઆંગે કહ્યું.

પૂર્વ-પ્રશિક્ષિત મોડેલને પછી લેબલવાળી છબીઓ સહિત ડેટાસેટ સાથે શુદ્ધ કરવામાં આવે છે. તાલીમના આ તબક્કે, મોડેલ વાક્યો બનાવવાનું શીખે છે. જો નવી ઑબ્જેક્ટ ધરાવતી છબી દેખાય છે, તો AI સિસ્ટમ ચોક્કસ વર્ણનો બનાવવા માટે વિઝ્યુઅલ ડિક્શનરીનો ઉપયોગ કરે છે.

"પરીક્ષણ દરમિયાન નવા ઑબ્જેક્ટ્સ સાથે કામ કરવા માટે, સિસ્ટમ પ્રી-ટ્રેનિંગ દરમિયાન અને ત્યારપછીના રિફાઇનમેન્ટ દરમિયાન જે શીખ્યા તેને એકીકૃત કરે છે," વાંગ કહે છે.
પરિણામો અનુસાર સંશોધન, જ્યારે nocaps પરીક્ષણો પર મૂલ્યાંકન કરવામાં આવે છે, ત્યારે AI સિસ્ટમે સમાન છબીઓ માટે માનવીઓ કરતા વધુ અર્થપૂર્ણ અને સચોટ વર્ણનો ઉત્પન્ન કર્યા હતા.

કાર્યકારી વાતાવરણમાં ઝડપી સંક્રમણ 

અન્ય બાબતોમાં, નવી ઇમેજ વર્ણન સિસ્ટમ 2015 થી Microsoft ઉત્પાદનો અને સેવાઓમાં ઉપયોગમાં લેવાતા મોડલ કરતાં બમણી સારી છે, જ્યારે અન્ય ઉદ્યોગ બેન્ચમાર્કની સરખામણીમાં.

આ સુધારાથી Microsoft ઉત્પાદનો અને સેવાઓના તમામ વપરાશકર્તાઓને જે લાભો પ્રાપ્ત થશે તે ધ્યાનમાં લેતા, હુઆંગે Azure વર્ક એન્વાયર્નમેન્ટમાં નવા મોડલના એકીકરણને વેગ આપ્યો.

"અમે આ વિક્ષેપકારક AI ટેક્નોલોજીને ગ્રાહકોની વિશાળ શ્રેણીને સેવા આપવા માટે એક પ્લેટફોર્મ તરીકે Azureમાં લઈ જઈ રહ્યા છીએ," તેમણે કહ્યું. “અને આ માત્ર સંશોધનમાં એક પ્રગતિ નથી. Azure ઉત્પાદન પર્યાવરણમાં આ સફળતાને સામેલ કરવામાં જે સમય લાગ્યો તે પણ એક સફળતા હતી.”

હુઆંગે ઉમેર્યું હતું કે માનવ જેવા પરિણામો હાંસલ કરવા એ માઇક્રોસોફ્ટની જ્ઞાનાત્મક બુદ્ધિ પ્રણાલીમાં પહેલેથી જ સ્થાપિત વલણ ચાલુ રાખ્યું છે.

“છેલ્લાં પાંચ વર્ષોમાં, અમે પાંચ મુખ્ય ક્ષેત્રોમાં માનવ જેવા પરિણામો હાંસલ કર્યા છે: સ્પીચ રેકગ્નિશનમાં, મશીન ટ્રાન્સલેશનમાં, પ્રશ્નોના જવાબ આપવામાં, મશીન રીડિંગ અને ટેક્સ્ટ સમજણમાં અને 2020 માં, COVID-19 હોવા છતાં, છબી વર્ણનમાં ' જુઆને કહ્યું.

વિષય દ્વારા

• સાઇટની મુલાકાત લો Azure જ્ઞાનાત્મક સેવાઓ કમ્પ્યુટર વિઝન વિશે વધુ જાણવા માટે (કમ્પ્યુટર વિઝન)
• લેખ વાંચો ઐતિહાસિક સિદ્ધિ - માઈક્રોસોફ્ટ સંશોધકો સ્વચાલિત વાણી ઓળખમાં માનવ સ્તરો હાંસલ કરે છે 

સિસ્ટમે પહેલા અને હવે AI નો ઉપયોગ કરીને આપેલી છબીઓના વર્ણનના પરિણામોની તુલના કરો

ગેટ્ટી ઈમેજીસના ફોટો સૌજન્ય. અગાઉનું વર્ણન: કટીંગ બોર્ડ પર હોટ ડોગ તૈયાર કરી રહેલા માણસનું ક્લોઝ-અપ. નવું વર્ણન: એક માણસ રોટલી બનાવે છે.

ગેટ્ટી ઈમેજીસના ફોટો સૌજન્ય. અગાઉનું વર્ણન: એક માણસ સૂર્યાસ્ત સમયે બેઠો છે. નવું વર્ણન: બીચ પર બોનફાયર.



ગેટ્ટી ઈમેજીસના ફોટો સૌજન્ય. અગાઉનું વર્ણન: વાદળી શર્ટમાં એક માણસ. નવું વર્ણન: સર્જિકલ માસ્ક પહેરેલા કેટલાક લોકો.

ગેટ્ટી ઈમેજીસના ફોટો સૌજન્ય. અગાઉનું વર્ણન: સ્કેટબોર્ડ પર એક માણસ દિવાલ ઉપર ઉડે છે. નવું વર્ણન: બેઝબોલ ખેલાડી બોલ પકડે છે.

સોર્સ: www.habr.com