NeurIPS 2019: ML વલણો જે આગામી દાયકા સુધી અમારી સાથે રહેશે

ન્યુરોઆઈપીએસ (ન્યુરલ ઇન્ફોર્મેશન પ્રોસેસિંગ સિસ્ટમ્સ) એ મશીન લર્નિંગ અને આર્ટિફિશિયલ ઇન્ટેલિજન્સ પરની વિશ્વની સૌથી મોટી કોન્ફરન્સ છે અને ડીપ લર્નિંગની દુનિયામાં મુખ્ય ઇવેન્ટ છે.

શું આપણે, ડીએસ એન્જિનિયરો, નવા દાયકામાં જીવવિજ્ઞાન, ભાષાશાસ્ત્ર અને મનોવિજ્ઞાનમાં પણ નિપુણતા મેળવીશું? અમે તમને અમારી સમીક્ષામાં જણાવીશું.

આ વર્ષે કોન્ફરન્સમાં વાનકુવર, કેનેડામાં 13500 દેશોમાંથી 80 થી વધુ લોકોને ભેગા કરવામાં આવ્યા હતા. આ પહેલું વર્ષ નથી કે Sberbank કોન્ફરન્સમાં રશિયાનું પ્રતિનિધિત્વ કરે છે - DS ટીમે બેંકિંગ પ્રક્રિયાઓમાં MLના અમલીકરણ વિશે, ML સ્પર્ધા વિશે અને Sberbank DS પ્લેટફોર્મની ક્ષમતાઓ વિશે વાત કરી હતી. ML સમુદાયમાં 2019 ના મુખ્ય વલણો શું હતા? કોન્ફરન્સના સહભાગીઓ કહે છે: આન્દ્રે ચેર્ટોક и તાત્યાના શવરિના.

આ વર્ષે, NeurIPS એ 1400 થી વધુ પેપર્સ સ્વીકાર્યા છે- એલ્ગોરિધમ્સ, નવા મોડલ અને નવા ડેટા માટે નવી એપ્લિકેશન. બધી સામગ્રીની લિંક

અનુક્રમણિકા:

• પ્રવાહો
• • મોડલ અર્થઘટનક્ષમતા
  • બહુવિધતા
  • તર્ક
  • RL
  • ગાન
• મૂળભૂત આમંત્રિત વાતો
• • "સોશિયલ ઇન્ટેલિજન્સ", બ્લેઝ એગુએરા વાય આર્કાસ (Google)
  • "વેરીડીકલ ડેટા સાયન્સ", બિન યુ (બર્કલે)
  • "મશીન લર્નિંગ સાથે માનવ વર્તન મોડેલિંગ: તકો અને પડકારો", નુરિયા એમ ઓલિવર, આલ્બર્ટ અલી સલાહ
  • "સિસ્ટમ 1 થી સિસ્ટમ 2 ડીપ લર્નિંગ", યોશુઆ બેન્જિયો

2019 પ્રવાહો

1. મોડલ અર્થઘટનક્ષમતા અને નવી ML પદ્ધતિ

કોન્ફરન્સનો મુખ્ય વિષય અર્થઘટન અને પુરાવા છે કે શા માટે અમને ચોક્કસ પરિણામો મળે છે. "બ્લેક બોક્સ" અર્થઘટનના દાર્શનિક મહત્વ વિશે કોઈ લાંબા સમય સુધી વાત કરી શકે છે, પરંતુ આ ક્ષેત્રમાં વધુ વાસ્તવિક પદ્ધતિઓ અને તકનીકી વિકાસ હતા.

મોડલની નકલ કરવા અને તેમાંથી જ્ઞાન મેળવવા માટેની પદ્ધતિ એ વિજ્ઞાન માટે એક નવી ટૂલકીટ છે. મોડલ નવા જ્ઞાન મેળવવા અને તેનું પરીક્ષણ કરવા માટેના સાધન તરીકે સેવા આપી શકે છે અને મોડલની પ્રીપ્રોસેસિંગ, તાલીમ અને એપ્લિકેશનના દરેક તબક્કા પુનઃઉત્પાદનક્ષમ હોવા જોઈએ.
પ્રકાશનોનો નોંધપાત્ર હિસ્સો મોડેલો અને સાધનોના નિર્માણ માટે નહીં, પરંતુ સુરક્ષા, પારદર્શિતા અને પરિણામોની ચકાસણીની સમસ્યાઓને સમર્પિત છે. ખાસ કરીને, મોડેલ પરના હુમલાઓ (વિરોધી હુમલાઓ) વિશે એક અલગ પ્રવાહ દેખાયો છે, અને તાલીમ પરના હુમલા અને એપ્લિકેશન પરના હુમલા બંને માટેના વિકલ્પોને ધ્યાનમાં લેવામાં આવે છે.

લેખો:

• વેરીડિકલ ડેટા સાયન્સ - મોડેલ વેરિફિકેશનની પદ્ધતિ પર પ્રોગ્રામેટિક લેખ. મોડલ્સનું અર્થઘટન કરવા માટેના આધુનિક સાધનોની ઝાંખીનો સમાવેશ થાય છે, ખાસ કરીને, ધ્યાનનો ઉપયોગ અને રેખીય મોડલ્સ સાથે ન્યુરલ નેટવર્કને "ડિસ્ટિલિંગ" કરીને વિશેષતાનું મહત્વ પ્રાપ્ત કરવું.
• આના જેવું લાગે છે: અર્થઘટન કરી શકાય તેવી છબી ઓળખ માટે ડીપ લર્નિંગ ચાઓફાન ચેન, ઓસ્કાર લી, ડેનિયલ તાઓ, એલિના બાર્નેટ, સિન્થિયા રુડિન, જોનાથન કે. સુ.
• ડીપ ન્યુરલ નેટવર્ક્સમાં અર્થઘટનની પદ્ધતિઓ માટે બેન્ચમાર્ક સારા હૂકર, ડુમિત્રુ એરહાન, પીટર-જાન કિન્ડરમેન્સ, બીન કિમ
• ધ્યાન સંવર્ધિત એજન્ટોનો ઉપયોગ કરીને અર્થઘટનયોગ્ય મજબૂતીકરણ શિક્ષણ તરફ એલેક્ઝાન્ડર મોટ, ડેનિયલ ઝોરાન, માઈક ચર્ઝાનોવસ્કી, ડાન વિરસ્ટ્રા, ડેનિલો જિમેનેઝ રેઝેન્ડે
• રેન્ડમ ફોરેસ્ટ્સ માટે ડીબીએઝ્ડ MDI ફીચર ઇમ્પોર્ટન્સ મેઝર Xiao Li, Yu Wang, Sumanta Basu, Karl Kumbier, Bin Yu
• કોઈ અવલોકનક્ષમ ડેટા સાથે જ્ઞાન નિષ્કર્ષણ જેમિન યૂ, મિન્યોંગ ચો, તૈબુમ કિમ, યુ કાંગ
• સ્વતંત્ર રીતે પુનઃઉત્પાદનક્ષમ મશીન લર્નિંગ રિસર્ચનું પ્રમાણ નક્કી કરવા તરફનું એક પગલું એડવર્ડ રાફ

ExBert.net ટેક્સ્ટ પ્રોસેસિંગ કાર્યો માટે મોડેલ અર્થઘટન બતાવે છે

2. મલ્ટિડિસિપ્લિનરિટી

વિશ્વસનીય ચકાસણી સુનિશ્ચિત કરવા અને જ્ઞાનની ચકાસણી અને વિસ્તરણ માટે મિકેનિઝમ્સ વિકસાવવા માટે, અમને સંબંધિત ક્ષેત્રોમાં નિષ્ણાતોની જરૂર છે જેઓ એકસાથે ML અને વિષય ક્ષેત્ર (દવા, ભાષાશાસ્ત્ર, ન્યુરોબાયોલોજી, શિક્ષણ, વગેરે) માં સક્ષમતા ધરાવતા હોય. તે ખાસ કરીને ન્યુરોસાયન્સ અને જ્ઞાનાત્મક વિજ્ઞાનમાં કાર્યો અને ભાષણોની વધુ નોંધપાત્ર હાજરીને ધ્યાનમાં લેવું યોગ્ય છે - ત્યાં નિષ્ણાતોનો મેળાપ અને વિચારોનો ઉધાર છે.

આ મેળાપ ઉપરાંત, વિવિધ સ્ત્રોતોમાંથી માહિતીની સંયુક્ત પ્રક્રિયામાં બહુવિધતા ઉભરી રહી છે: ટેક્સ્ટ અને ફોટા, ટેક્સ્ટ અને ગેમ્સ, ગ્રાફ ડેટાબેસેસ + ટેક્સ્ટ અને ફોટા.

લેખો:

• ન્યુરોસાયન્સ + ML — કુદરતી ભાષા-પ્રક્રિયા (મગજમાં) સાથે કુદરતી ભાષાની પ્રક્રિયા (મશીનોમાં) અર્થઘટન અને સુધારવું
• વિઝ્યુઅલક્યુએ - એબ્સ્ટ્રેક્શન દ્વારા શીખવું: ન્યુરલ સ્ટેટ મશીન
• RL + NLP - પ્રાકૃતિક ભાષા સૂચનાઓ જનરેટ કરીને અને અનુસરીને વંશવેલો નિર્ણય લેવો

બે મોડલ - વ્યૂહરચનાકાર અને એક્ઝિક્યુટિવ - RL અને NLP પર આધારિત ઑનલાઇન વ્યૂહરચના રમે છે

3. તર્ક

કૃત્રિમ બુદ્ધિને મજબૂત બનાવવી એ સ્વ-શિક્ષણ પ્રણાલીઓ, "સભાન", તર્ક અને તર્ક તરફ એક ચળવળ છે. ખાસ કરીને, કારણભૂત અનુમાન અને સામાન્ય જ્ઞાન તર્કનો વિકાસ થઈ રહ્યો છે. કેટલાક અહેવાલો મેટા-લર્નિંગ (શીખવા માટે કેવી રીતે શીખવું તે વિશે) અને 1 લી અને 2 જી ક્રમના તર્ક સાથે DL તકનીકોના સંયોજનને સમર્પિત છે - આર્ટિફિશિયલ જનરલ ઇન્ટેલિજન્સ (AGI) શબ્દ વક્તાઓનાં ભાષણોમાં સામાન્ય શબ્દ બની રહ્યો છે.

લેખો:

• વિઝ્યુઅલ કૉમનસેન્સ રિઝનિંગ માટે વિજાતીય ગ્રાફ લર્નિંગ વેઇજિયાંગ યુ, જિંગ્વેન ઝૂ, વેઇહાઓ યુ, ઝિયાઓદાન લિયાંગ, નોંગ ઝિયાઓ
• અપહરણાત્મક શિક્ષણ દ્વારા બ્રિજિંગ મશીન લર્નિંગ અને લોજિકલ રિઝનિંગ વાંગ-ઝોઉ ડાઈ, ક્વિલિંગ ઝુ, યાંગ યુ, ઝી-હુઆ ઝોઉ
• પ્રથમ ક્રમના તર્કશાસ્ત્રમાં ગર્ભિત રીતે તર્ક કરવાનું શીખવું વૈશાક બેલે, બ્રેન્ડન જુબા
• PHYRE: ભૌતિક તર્ક માટે એક નવો બેન્ચમાર્ક એન્ટોન બખ્તિન, લોરેન્સ વેન ડેર માટેન, જસ્ટિન જોહ્ન્સન, લૌરા ગુસ્ટાફસન, રોસ ગિરશિક
• તર્ક માટે જ્ઞાનનું ક્વોન્ટમ એમ્બેડિંગ દિનેશ ગર્ગ, શાજીથ ઇકબાલ, સંતોષ કે. શ્રીવાસ્તવ, હારિત વિશ્વકર્મા, હિમા કરનમ, એલ વેંકટ સુબ્રમણ્યમ

4.રિઇનફોર્સમેન્ટ લર્નિંગ

મોટા ભાગનું કામ RL - DOTA2, Starcraft ના પરંપરાગત ક્ષેત્રો વિકસાવવાનું ચાલુ રાખે છે, આર્કિટેક્ચરને કોમ્પ્યુટર વિઝન, NLP, ગ્રાફ ડેટાબેસેસ સાથે જોડીને.

કોન્ફરન્સનો એક અલગ દિવસ આરએલ વર્કશોપ માટે સમર્પિત કરવામાં આવ્યો હતો, જેમાં ઓપ્ટિમિસ્ટિક એક્ટર ક્રિટિક મોડલ આર્કિટેક્ચર રજૂ કરવામાં આવ્યું હતું, જે અગાઉના તમામ કરતાં ચડિયાતું હતું, ખાસ કરીને સોફ્ટ એક્ટર ક્રિટિક.

લેખો:

• આશાવાદી અભિનેતા વિવેચક સાથે બહેતર શોધખોળ; કામિલ સિઓસેક, ક્વાન વુઓંગ, રોબર્ટ લોફ્ટિન, કટજા હોફમેન
• ChainerRL: ડીપ રિઇન્ફોર્સમેન્ટ લર્નિંગ લાઇબ્રેરી; યાસુહિરો ફુજીતા (પ્રિફર્ડ નેટવર્ક્સ, Inc.)*; તોશિકી કટાઓકા (પ્રિફર્ડ નેટવર્ક્સ, Inc.); પ્રભાત નાગરાજન (પ્રિફર્ડ નેટવર્ક્સ); તાકાહિરો ઇશિકાવા (ટોક્યો યુનિવર્સિટી) [બાહ્ય પીડીએફ લિંક].
• ડ્રીમ ટુ કન્ટ્રોલ: સુપ્ત કલ્પના દ્વારા વર્તણૂકો શીખવી; દાનીજર હાફનર (Google)*; ટીમોથી લિલીક્રેપ (ડીપ માઇન્ડ); જીમી બા (ટોરોન્ટો યુનિવર્સિટી); મોહમ્મદ નોરોઝી (ગૂગલ બ્રેઈન)
• વર્કશોપ સામગ્રી

સ્ટારક્રાફ્ટ ખેલાડીઓ આલ્ફાસ્ટાર મોડેલ (ડીપમાઇન્ડ) સામે લડે છે

5.GAN

જનરેટિવ નેટવર્ક હજુ પણ સ્પોટલાઇટમાં છે: ઘણી કૃતિઓ ગાણિતિક પુરાવાઓ માટે વેનીલા GAN નો ઉપયોગ કરે છે, અને તેને નવી, અસામાન્ય રીતે પણ લાગુ કરે છે (ગ્રાફ જનરેટિવ મોડલ, શ્રેણી સાથે કામ કરવું, ડેટામાં કારણ-અને-અસર સંબંધો માટે એપ્લિકેશન, વગેરે).

લેખો:

• શરતી GAN માટે માઇનિંગ ગોલ્ડ સેમ્પલ સાંગવુ મો, ચિહેઓન કિમ, સુંગવુંગ કિમ, મિન્સુ ચો, જિનવુ શિન
• GAN ની પ્રગતિશીલ વૃદ્ધિ ડેન ઝાંગ, અન્ના ખોરેવા
• કન્ડીશનલ GAN નો ઉપયોગ કરીને ટેબ્યુલર ડેટાનું મોડેલિંગ લેઇ ઝુ, મારિયા સ્કૌલારીડો, આલ્ફ્રેડો કુએસ્ટા-ઇન્ફન્ટે, કલ્યાણ વીરમાચેની
• papers.nips.cc/paper/9377-a-domain-agnostic-measure-for-monitoring-and-evaluating-gans

કારણ કે વધુ કામ સ્વીકારવામાં આવ્યું હતું 1400 નીચે આપણે સૌથી મહત્વપૂર્ણ ભાષણો વિશે વાત કરીશું.

આમંત્રિત મંત્રણા

"સોશિયલ ઇન્ટેલિજન્સ", બ્લેઝ એગુએરા વાય આર્કાસ (Google)

કડી
સ્લાઇડ્સ અને વીડિયો
ટોક મશીન લર્નિંગની સામાન્ય પદ્ધતિ અને હાલમાં ઉદ્યોગમાં બદલાવની સંભાવનાઓ પર ધ્યાન કેન્દ્રિત કરે છે - આપણે કયા ક્રોસરોડ્સનો સામનો કરી રહ્યા છીએ? મગજ અને ઉત્ક્રાંતિ કેવી રીતે કાર્ય કરે છે, અને શા માટે આપણે પ્રાકૃતિક પ્રણાલીઓના વિકાસ વિશે પહેલેથી જ જાણીએ છીએ તેનો આટલો ઓછો ઉપયોગ કેમ કરીએ છીએ?

MLનો ઔદ્યોગિક વિકાસ મોટાભાગે Google ના વિકાસના સીમાચિહ્નો સાથે એકરુપ છે, જે NeurIPS પર વર્ષ-દર વર્ષે તેનું સંશોધન પ્રકાશિત કરે છે:

• 1997 - શોધ સુવિધાઓ, પ્રથમ સર્વર્સ, નાની કમ્પ્યુટિંગ શક્તિની શરૂઆત
• 2010 - જેફ ડીને ગૂગલ બ્રેઈન પ્રોજેક્ટ લોન્ચ કર્યો, જે ખૂબ જ શરૂઆતમાં ન્યુરલ નેટવર્ક્સની તેજી હતી.
• 2015 - ન્યુરલ નેટવર્ક્સનું ઔદ્યોગિક અમલીકરણ, સ્થાનિક ઉપકરણ પર સીધા જ ઝડપી ચહેરાની ઓળખ, ટેન્સર કમ્પ્યુટિંગ માટે તૈયાર કરાયેલ લો-લેવલ પ્રોસેસર્સ - TPU. ગૂગલે કોરલ એઆઈ લોન્ચ કર્યું - રાસ્પબેરી પાઈનું એનાલોગ, પ્રાયોગિક સ્થાપનોમાં ન્યુરલ નેટવર્ક્સ રજૂ કરવા માટેનું એક મીની-કમ્પ્યુટર
• 2017 - ગૂગલે વિકેન્દ્રિત તાલીમ વિકસાવવાનું શરૂ કર્યું અને વિવિધ ઉપકરણોમાંથી ન્યુરલ નેટવર્ક તાલીમના પરિણામોને એક મોડેલમાં જોડવાનું શરૂ કર્યું - Android પર

આજે, સમગ્ર ઉદ્યોગ ડેટા સુરક્ષા, એકત્રીકરણ અને સ્થાનિક ઉપકરણો પર શીખવાના પરિણામોની નકલ માટે સમર્પિત છે.

સંઘીય શિક્ષણ - ML ની ​​એક દિશા જેમાં વ્યક્તિગત મોડેલો એકબીજાથી સ્વતંત્ર રીતે શીખે છે અને પછી એક જ મોડેલમાં જોડવામાં આવે છે (સ્રોત ડેટાને કેન્દ્રિયકરણ કર્યા વિના), દુર્લભ ઘટનાઓ, વિસંગતતાઓ, વ્યક્તિગતકરણ વગેરે માટે ગોઠવવામાં આવે છે. બધા એન્ડ્રોઇડ ઉપકરણો Google માટે આવશ્યકપણે એક જ કમ્પ્યુટિંગ સુપર કોમ્પ્યુટર છે.

ફેડરેટેડ લર્નિંગ પર આધારિત જનરેટિવ મૉડલ્સ એ Google અનુસાર ભવિષ્યની આશાસ્પદ દિશા છે, જે "ઘાતાંકીય વૃદ્ધિના પ્રારંભિક તબક્કામાં છે." GANs, લેક્ચરર અનુસાર, જીવંત જીવોની વસ્તીના સામૂહિક વર્તન અને વિચારસરણીના અલ્ગોરિધમ્સનું પુનઃઉત્પાદન કરવાનું શીખવામાં સક્ષમ છે.

બે સરળ GAN આર્કિટેક્ચરના ઉદાહરણનો ઉપયોગ કરીને, તે બતાવવામાં આવ્યું છે કે તેમાં ઑપ્ટિમાઇઝેશન પાથની શોધ વર્તુળમાં ભટકાય છે, જેનો અર્થ છે કે ઑપ્ટિમાઇઝેશન એવું થતું નથી. તે જ સમયે, આ મોડેલો બેક્ટેરિયાની વસ્તી પર જીવવિજ્ઞાનીઓ દ્વારા કરવામાં આવેલા પ્રયોગોનું અનુકરણ કરવામાં ખૂબ જ સફળ છે, જે તેમને ખોરાકની શોધમાં નવી વર્તણૂકીય વ્યૂહરચના શીખવા માટે દબાણ કરે છે. આપણે નિષ્કર્ષ પર આવી શકીએ છીએ કે જીવન ઑપ્ટિમાઇઝેશન કાર્ય કરતાં અલગ રીતે કાર્ય કરે છે.

વૉકિંગ GAN ઑપ્ટિમાઇઝેશન

હવે આપણે મશીન લર્નિંગના માળખામાં જે કરીએ છીએ તે સંકુચિત અને અત્યંત ઔપચારિક કાર્યો છે, જ્યારે આ ઔપચારિકતા સારી રીતે સામાન્યીકરણ કરતી નથી અને ન્યુરોફિઝિયોલોજી અને બાયોલોજી જેવા ક્ષેત્રોમાં અમારા વિષયના જ્ઞાનને અનુરૂપ નથી.

નજીકના ભવિષ્યમાં ન્યુરોફિઝિયોલોજીના ક્ષેત્રમાંથી જે ખરેખર ઉછીના લેવા યોગ્ય છે તે છે નવા ન્યુરોન આર્કિટેક્ચર્સ અને ભૂલોના બેકપ્રોપેગેશનની પદ્ધતિમાં થોડો સુધારો.

માનવ મગજ પોતે ન્યુરલ નેટવર્કની જેમ શીખતું નથી:

• તેની પાસે અવ્યવસ્થિત પ્રાથમિક ઇનપુટ્સ નથી, જેમાં ઇન્દ્રિયો દ્વારા અને બાળપણમાં મૂકાયેલા શામેલ છે
• તેની પાસે સહજ વિકાસની સહજ દિશાઓ છે (શિશુ પાસેથી ભાષા શીખવાની ઇચ્છા, સીધા ચાલવું)

વ્યક્તિગત મગજને તાલીમ આપવી એ એક નિમ્ન-સ્તરનું કાર્ય છે; કદાચ આપણે જૂથ ઉત્ક્રાંતિની પદ્ધતિઓનું પુનઃઉત્પાદન કરવા માટે એકબીજાને જ્ઞાન આપતી ઝડપથી બદલાતી વ્યક્તિઓની "વસાહતો" ને ધ્યાનમાં લેવી જોઈએ.

હવે આપણે ML અલ્ગોરિધમ્સમાં શું અપનાવી શકીએ છીએ:

• સેલ વંશના મોડલ લાગુ કરો જે વસ્તીના શિક્ષણની ખાતરી કરે છે, પરંતુ વ્યક્તિનું ટૂંકું જીવન ("વ્યક્તિગત મગજ")
• ઉદાહરણોની નાની સંખ્યાનો ઉપયોગ કરીને થોડા-શોટ શિક્ષણ
• વધુ જટિલ ચેતાકોષ રચનાઓ, સહેજ અલગ સક્રિયકરણ કાર્યો
• "જીનોમ" ને આગામી પેઢીઓમાં સ્થાનાંતરિત કરવું - બેકપ્રોપેગેશન અલ્ગોરિધમ
• એકવાર આપણે ન્યુરોફિઝિયોલોજી અને ન્યુરલ નેટવર્કને જોડીએ, પછી આપણે ઘણા ઘટકોમાંથી મલ્ટિફંક્શનલ મગજ બનાવવાનું શીખીશું.

આ દૃષ્ટિકોણથી, SOTA સોલ્યુશન્સની પ્રથા હાનિકારક છે અને સામાન્ય કાર્યો (બેન્ચમાર્ક) વિકસાવવા માટે તેમાં સુધારો કરવો જોઈએ.

"વેરીડીકલ ડેટા સાયન્સ", બિન યુ (બર્કલે)

વિડિઓઝ અને સ્લાઇડ્સ
રિપોર્ટ મશીન લર્નિંગ મોડલ્સના અર્થઘટનની સમસ્યા અને તેમના પ્રત્યક્ષ પરીક્ષણ અને ચકાસણી માટેની પદ્ધતિને સમર્પિત છે. કોઈપણ પ્રશિક્ષિત ML મોડેલને જ્ઞાનના સ્ત્રોત તરીકે સમજી શકાય છે જે તેમાંથી કાઢવાની જરૂર છે.

ઘણા ક્ષેત્રોમાં, ખાસ કરીને દવામાં, આ છુપાયેલા જ્ઞાનને બહાર કાઢ્યા વિના અને મોડેલના પરિણામોનું અર્થઘટન કર્યા વિના મોડેલનો ઉપયોગ અશક્ય છે - અન્યથા અમે ખાતરી કરી શકતા નથી કે પરિણામો સ્થિર, બિન-રેન્ડમ, વિશ્વસનીય હશે અને તેને મારશે નહીં. દર્દી કાર્ય પધ્ધતિની એક આખી દિશા ઊંડી શિક્ષણના દાખલાની અંદર વિકસી રહી છે અને તેની સીમાઓથી આગળ વધી રહી છે - વેરીડીકલ ડેટા સાયન્સ. તે શુ છે?

અમે વૈજ્ઞાનિક પ્રકાશનોની ગુણવત્તા અને મોડેલની પુનઃઉત્પાદનક્ષમતા પ્રાપ્ત કરવા માંગીએ છીએ જે તે છે:

1. અનુમાનિત
2. ગણતરીપાત્ર
3. સ્થિર

આ ત્રણ સિદ્ધાંતો નવી પદ્ધતિનો આધાર બનાવે છે. આ માપદંડો સામે ML મોડલ કેવી રીતે તપાસી શકાય? સૌથી સહેલો રસ્તો એ છે કે તરત જ અર્થઘટન કરી શકાય તેવા મોડેલ્સ (રીગ્રેશન, નિર્ણય વૃક્ષો) બનાવવો. જો કે, અમે ડીપ લર્નિંગનો તાત્કાલિક લાભ પણ મેળવવા માંગીએ છીએ.

સમસ્યા સાથે કામ કરવાની કેટલીક હાલની રીતો:

1. મોડેલનું અર્થઘટન કરો;
2. ધ્યાન પર આધારિત પદ્ધતિઓનો ઉપયોગ કરો;
3. તાલીમ આપતી વખતે એલ્ગોરિધમ્સના જોડાણોનો ઉપયોગ કરો, અને ખાતરી કરો કે રેખીય અર્થઘટન કરી શકાય તેવા મોડેલો ન્યુરલ નેટવર્ક જેવા જ જવાબોની આગાહી કરવાનું શીખે છે, રેખીય મોડેલની સુવિધાઓનું અર્થઘટન કરે છે;
4. તાલીમ ડેટામાં ફેરફાર અને વધારો. આમાં ઘોંઘાટ, દખલગીરી અને ડેટા વૃદ્ધિનો સમાવેશ થાય છે;
5. કોઈપણ પદ્ધતિઓ કે જે સુનિશ્ચિત કરવામાં મદદ કરે છે કે મોડેલના પરિણામો રેન્ડમ નથી અને નાના અનિચ્છનીય દખલ (વિરોધી હુમલાઓ) પર આધાર રાખતા નથી;
6. હકીકત પછી, તાલીમ પછી મોડેલનું અર્થઘટન કરો;
7. વિવિધ રીતે વજનનો અભ્યાસ કરો;
8. તમામ પૂર્વધારણાઓ, વર્ગ વિતરણની સંભાવનાઓનો અભ્યાસ કરો.

વિરોધી હુમલો ડુક્કર માટે

મોડેલિંગની ભૂલો દરેક માટે મોંઘી હોય છે: તેનું મુખ્ય ઉદાહરણ રેઇનહાર્ટ અને રોગોવનું કાર્ય છે."દેવાના સમયમાં વૃદ્ધિ"એ ઘણા યુરોપિયન દેશોની આર્થિક નીતિઓને પ્રભાવિત કરી અને તેમને સંયમ નીતિઓ અપનાવવા દબાણ કર્યું, પરંતુ ડેટાની કાળજીપૂર્વક પુનઃ તપાસ અને વર્ષો પછી તેમની પ્રક્રિયાએ વિપરીત પરિણામ દર્શાવ્યું!

કોઈપણ ML ટેક્નોલોજીનું અમલીકરણથી અમલીકરણ સુધીનું પોતાનું જીવન ચક્ર હોય છે. નવી પદ્ધતિનો ધ્યેય મોડેલના જીવનના દરેક તબક્કે ત્રણ મૂળભૂત સિદ્ધાંતોને તપાસવાનો છે.

સારાંશ:

• કેટલાક પ્રોજેક્ટ્સ વિકસાવવામાં આવી રહ્યા છે જે ML મોડલને વધુ વિશ્વસનીય બનાવવામાં મદદ કરશે. આ, ઉદાહરણ તરીકે, ડીપટ્યુન છે (આની લિંક: github.com/ChrisCummins/paper-end2end-dl);
• પદ્ધતિના વધુ વિકાસ માટે, એમએલના ક્ષેત્રમાં પ્રકાશનોની ગુણવત્તામાં નોંધપાત્ર સુધારો કરવો જરૂરી છે;
• મશીન લર્નિંગ માટે મલ્ટિડિસિપ્લિનરી તાલીમ અને તકનીકી અને માનવતા બંને ક્ષેત્રોમાં કુશળતા ધરાવતા નેતાઓની જરૂર છે.

"મશીન લર્નિંગ સાથે માનવ વર્તન મોડેલિંગ: તકો અને પડકારો" નુરિયા એમ ઓલિવર, આલ્બર્ટ અલી સલાહ

માનવ વર્તણૂક, તેના તકનીકી પાયા અને એપ્લિકેશનની સંભાવનાઓને મોડેલિંગ માટે સમર્પિત વ્યાખ્યાન.

માનવ વર્તન મોડેલિંગને આમાં વિભાજિત કરી શકાય છે:

• વ્યક્તિગત વર્તન
• લોકોના નાના જૂથનું વર્તન
• સામૂહિક વર્તન

આમાંના દરેક પ્રકારને ML નો ઉપયોગ કરીને મોડેલ કરી શકાય છે, પરંતુ સંપૂર્ણપણે અલગ ઇનપુટ માહિતી અને સુવિધાઓ સાથે. દરેક પ્રકારના તેના પોતાના નૈતિક મુદ્દાઓ પણ હોય છે જે દરેક પ્રોજેક્ટમાંથી પસાર થાય છે:

• વ્યક્તિગત વર્તન - ઓળખની ચોરી, ડીપફેક;
• લોકોના જૂથોની વર્તણૂક - અનામીકરણ, હલનચલન, ટેલિફોન કૉલ્સ, વગેરે વિશે માહિતી મેળવવી;

વ્યક્તિગત વર્તન

મોટે ભાગે કમ્પ્યુટર વિઝનના વિષય સાથે સંબંધિત - માનવ લાગણીઓ અને પ્રતિક્રિયાઓની માન્યતા. કદાચ માત્ર સંદર્ભમાં, સમય પ્રમાણે અથવા લાગણીઓની પોતાની પરિવર્તનશીલતાના સંબંધિત સ્કેલ સાથે. સ્લાઇડ ભૂમધ્ય મહિલાઓના ભાવનાત્મક સ્પેક્ટ્રમમાંથી સંદર્ભનો ઉપયોગ કરીને મોના લિસાની લાગણીઓને માન્યતા બતાવે છે. પરિણામ: આનંદનું સ્મિત, પરંતુ તિરસ્કાર અને અણગમો સાથે. કારણ મોટે ભાગે "તટસ્થ" લાગણીને વ્યાખ્યાયિત કરવાની તકનીકી રીતે છે.

લોકોના નાના જૂથનું વર્તન

અત્યાર સુધીનું સૌથી ખરાબ મોડલ અપૂરતી માહિતીને કારણે છે. ઉદાહરણ તરીકે, 2018 - 2019 ના કામો બતાવવામાં આવ્યા હતા. ડઝનેક લોકો પર X ડઝનેક વીડિયો (cf. 100k++ ઇમેજ ડેટાસેટ્સ). આ કાર્યને શ્રેષ્ઠ બનાવવા માટે, મલ્ટિમોડલ માહિતીની જરૂર છે, પ્રાધાન્યમાં બોડી-ઓલ્ટિમીટર, થર્મોમીટર, માઇક્રોફોન રેકોર્ડિંગ વગેરે પરના સેન્સરમાંથી.

સામૂહિક વર્તન

સૌથી વધુ વિકસિત વિસ્તાર, કારણ કે ગ્રાહક યુએન અને ઘણા રાજ્યો છે. આઉટડોર સર્વેલન્સ કેમેરા, ટેલિફોન ટાવરનો ડેટા - બિલિંગ, એસએમએસ, કૉલ્સ, રાજ્યની સરહદો વચ્ચેની હિલચાલનો ડેટા - આ બધું લોકોની હિલચાલ અને સામાજિક અસ્થિરતાનું ખૂબ જ વિશ્વસનીય ચિત્ર આપે છે. ટેક્નોલૉજીની સંભવિત એપ્લિકેશનો: કટોકટી દરમિયાન બચાવ કામગીરીનું ઑપ્ટિમાઇઝેશન, સહાય અને સમયસર વસ્તીનું સ્થળાંતર. વપરાયેલ મોડેલો મુખ્યત્વે હજી પણ ખરાબ રીતે અર્થઘટન કરવામાં આવે છે - આ વિવિધ LSTM અને કન્વોલ્યુશનલ નેટવર્ક્સ છે. એક સંક્ષિપ્ત ટિપ્પણી હતી કે યુએન એક નવા કાયદા માટે લોબિંગ કરી રહ્યું છે જે યુરોપિયન વ્યવસાયોને કોઈપણ સંશોધન માટે જરૂરી અનામી ડેટા શેર કરવા માટે ફરજ પાડશે.

"સિસ્ટમ 1 થી સિસ્ટમ 2 ડીપ લર્નિંગ", યોશુઆ બેન્જિયો

સ્લાઇડ્સ
જોશુઆ બેન્જિયોના વ્યાખ્યાનમાં, ડીપ લર્નિંગ ધ્યેય સેટિંગના સ્તરે ન્યુરોસાયન્સને મળે છે.
નોબેલ પુરસ્કાર વિજેતા ડેનિયલ કાહ્નેમેન (પુસ્તક “ધીમા વિચારો, ઝડપથી નિર્ણય કરો")
પ્રકાર 1 - સિસ્ટમ 1, બેભાન ક્રિયાઓ જે આપણે "આપમેળે" કરીએ છીએ (પ્રાચીન મગજ): પરિચિત સ્થળોએ કાર ચલાવવી, ચાલવું, ચહેરાને ઓળખવું.
પ્રકાર 2 - સિસ્ટમ 2, સભાન ક્રિયાઓ (સેરેબ્રલ કોર્ટેક્સ), ધ્યેય સેટિંગ, વિશ્લેષણ, વિચારસરણી, સંયુક્ત કાર્યો.

AI અત્યાર સુધી માત્ર પ્રથમ પ્રકારનાં કાર્યોમાં જ પૂરતી ઊંચાઈએ પહોંચ્યું છે, જ્યારે અમારું કાર્ય તેને બીજા પર લાવવાનું છે, તેને મલ્ટિડિસિપ્લિનરી ઑપરેશન્સ કરવા અને તર્કશાસ્ત્ર અને ઉચ્ચ-સ્તરની જ્ઞાનાત્મક કુશળતા સાથે કામ કરવાનું શીખવવાનું છે.

આ ધ્યેય હાંસલ કરવા માટે તે સૂચિત છે:

1. NLP કાર્યોમાં, મોડેલિંગ વિચારસરણી માટે મુખ્ય પદ્ધતિ તરીકે ધ્યાનનો ઉપયોગ કરો
2. ચેતના અને તેમના સ્થાનિકીકરણને પ્રભાવિત કરતી વધુ સારી મોડલ સુવિધાઓ માટે મેટા-લર્નિંગ અને પ્રતિનિધિત્વ શિક્ષણનો ઉપયોગ કરો - અને તેના આધારે ઉચ્ચ-સ્તરની વિભાવનાઓ સાથે કામ કરવા માટે આગળ વધો.

નિષ્કર્ષને બદલે, અહીં એક આમંત્રિત વાર્તાલાપ છે: બેન્જિયો એવા ઘણા વૈજ્ઞાનિકોમાંના એક છે જેઓ ML ના ક્ષેત્રને ઓપ્ટિમાઇઝેશન સમસ્યાઓ, SOTA અને નવા આર્કિટેક્ચર્સથી આગળ વધારવાનો પ્રયાસ કરી રહ્યા છે.
ચેતનાની સમસ્યાઓ, વિચારસરણી, ન્યુરોબાયોલોજી અને એલ્ગોરિધમ્સ પર ભાષાનો પ્રભાવ, ભવિષ્યમાં આપણી રાહ જોશે અને તે આપણને એવા મશીનો તરફ જવા દેશે કે જે લોકો જેવા "વિચારે" છે તે કેટલી હદ સુધી ખુલ્લો છે.

આભાર!

સોર્સ: www.habr.com