મશીન લર્નિંગમાં સુવિધાની પસંદગી

હે હબર!

અમે Reksoft ખાતે લેખનો રશિયનમાં અનુવાદ કર્યો મશીન લર્નિંગમાં ફીચર સિલેક્શન. અમે આશા રાખીએ છીએ કે તે વિષયમાં રસ ધરાવતા દરેક માટે ઉપયોગી થશે.

વાસ્તવિક દુનિયામાં, ડેટા હંમેશા એટલો સ્વચ્છ હોતો નથી જેટલો બિઝનેસ ગ્રાહકો ક્યારેક વિચારે છે. આ કારણે ડેટા માઇનિંગ અને ડેટા રેંગલીંગની માંગ છે. તે ક્વેરી-સ્ટ્રક્ચર્ડ ડેટામાં ગુમ થયેલ મૂલ્યો અને પેટર્નને ઓળખવામાં મદદ કરે છે જે મનુષ્યો ઓળખી શકતા નથી. ડેટામાં શોધાયેલ સંબંધોનો ઉપયોગ કરીને પરિણામોની આગાહી કરવા માટે આ પેટર્ન શોધવા અને તેનો ઉપયોગ કરવા માટે, મશીન લર્નિંગ હાથમાં આવે છે.

કોઈપણ અલ્ગોરિધમ સમજવા માટે, તમારે ડેટામાંના તમામ ચલોને જોવાની જરૂર છે અને તે વેરિયેબલ્સ શું રજૂ કરે છે તે શોધવાની જરૂર છે. આ મહત્વપૂર્ણ છે કારણ કે પરિણામો પાછળનો તર્ક ડેટાને સમજવા પર આધારિત છે. જો ડેટામાં 5 અથવા તો 50 ચલો હોય, તો તમે તે બધાને ચકાસી શકો છો. જો તેમાંના 200 હોય તો શું? પછી દરેક એક ચલનો અભ્યાસ કરવા માટે પૂરતો સમય રહેશે નહીં. તદુપરાંત, કેટલાક અલ્ગોરિધમ્સ વર્ગીકૃત ડેટા માટે કામ કરતા નથી, અને પછી તમારે મોડેલમાં ઉમેરવા માટે તમામ વર્ગીકૃત કૉલમ્સને માત્રાત્મક ચલોમાં રૂપાંતરિત કરવા પડશે (તેઓ માત્રાત્મક દેખાઈ શકે છે, પરંતુ મેટ્રિક્સ બતાવશે કે તેઓ વર્ગીકૃત છે). આમ, ચલોની સંખ્યા વધે છે, અને તેમાંથી લગભગ 500 છે. હવે શું કરવું? કોઈ એવું વિચારી શકે છે કે તેનો જવાબ પરિમાણ ઘટાડવાનો હશે. પરિમાણ ઘટાડો અલ્ગોરિધમ્સ પરિમાણોની સંખ્યા ઘટાડે છે પરંતુ અર્થઘટનક્ષમતા પર નકારાત્મક અસર કરે છે. શું જો ત્યાં અન્ય તકનીકો છે જે લક્ષણોને દૂર કરે છે જ્યારે બાકીના મુદ્દાઓને સમજવા અને અર્થઘટન કરવામાં સરળ બનાવે છે?

વિશ્લેષણ રીગ્રેસન અથવા વર્ગીકરણ પર આધારિત છે કે કેમ તેના આધારે, વિશેષતા પસંદગી અલ્ગોરિધમ્સ અલગ હોઈ શકે છે, પરંતુ તેમના અમલીકરણનો મુખ્ય વિચાર એ જ રહે છે.

અત્યંત સહસંબંધિત ચલો

ચલો કે જે એકબીજા સાથે અત્યંત સહસંબંધિત છે તે મોડેલને સમાન માહિતી પ્રદાન કરે છે, તેથી વિશ્લેષણ માટે તે બધાનો ઉપયોગ કરવાની જરૂર નથી. ઉદાહરણ તરીકે, જો ડેટાસેટમાં "ઓનલાઈન ટાઈમ" અને "ટ્રાફિક યુઝ્ડ" સુવિધાઓ હોય, તો અમે ધારી શકીએ કે તે કંઈક અંશે સહસંબંધિત હશે, અને જો આપણે એક નિષ્પક્ષ ડેટા નમૂના પસંદ કરીએ તો પણ અમે મજબૂત સહસંબંધ જોઈશું. આ કિસ્સામાં, મોડેલમાં આ ચલોમાંથી માત્ર એક જ જરૂરી છે. જો તમે બંનેનો ઉપયોગ કરો છો, તો મોડલ ઓવરફિટ થઈ જશે અને એક ચોક્કસ સુવિધા તરફ પક્ષપાતી હશે.

પી-મૂલ્યો

રેખીય રીગ્રેસન જેવા અલ્ગોરિધમ્સમાં, પ્રારંભિક આંકડાકીય મોડેલ હંમેશા સારો વિચાર છે. તે તેમના p-મૂલ્યો દ્વારા વિશેષતાઓનું મહત્વ બતાવવામાં મદદ કરે છે જે આ મોડેલ દ્વારા મેળવવામાં આવ્યા હતા. મહત્વના સ્તરને સેટ કર્યા પછી, અમે પરિણામી p-મૂલ્યો તપાસીએ છીએ, અને જો કોઈ મૂલ્ય નિર્દિષ્ટ મહત્વના સ્તરથી નીચે હોય, તો આ સુવિધાને નોંધપાત્ર જાહેર કરવામાં આવે છે, એટલે કે, તેના મૂલ્યમાં ફેરફાર સંભવતઃ મૂલ્યમાં ફેરફાર તરફ દોરી જશે. લક્ષ્ય.

સીધી પસંદગી

ફોરવર્ડ સિલેક્શન એ એક ટેકનિક છે જેમાં સ્ટેપવાઇઝ રીગ્રેસન લાગુ કરવું સામેલ છે. મૉડલ બિલ્ડિંગ સંપૂર્ણ શૂન્યથી શરૂ થાય છે, એટલે કે, એક ખાલી મૉડલ, અને પછી દરેક પુનરાવૃત્તિ એક વેરિયેબલ ઉમેરે છે જે બનાવવામાં આવી રહેલા મૉડલમાં સુધારો કરે છે. મોડેલમાં કયું ચલ ઉમેરવામાં આવે છે તે તેના મહત્વ દ્વારા નક્કી કરવામાં આવે છે. આ વિવિધ મેટ્રિક્સનો ઉપયોગ કરીને ગણતરી કરી શકાય છે. સૌથી સામાન્ય રીત એ છે કે તમામ ચલોનો ઉપયોગ કરીને મૂળ આંકડાકીય મોડેલમાં મેળવેલ પી-મૂલ્યોનો ઉપયોગ કરવો. કેટલીકવાર ફોરવર્ડ સિલેક્શન મોડલને ઓવરફિટિંગ તરફ દોરી શકે છે કારણ કે મોડેલમાં અત્યંત સહસંબંધિત ચલો હોઈ શકે છે, પછી ભલે તે મોડેલને સમાન માહિતી પ્રદાન કરે (પરંતુ મોડલ હજુ પણ સુધારો દર્શાવે છે).

વિપરીત પસંદગી

વિપરીત પસંદગીમાં લક્ષણોનું પગલું-દર-પગલું નાબૂદ પણ સામેલ છે, પરંતુ આગળની પસંદગીની તુલનામાં વિરુદ્ધ દિશામાં. આ કિસ્સામાં, પ્રારંભિક મોડેલમાં તમામ સ્વતંત્ર ચલો શામેલ છે. જો તેઓ દરેક પુનરાવર્તનમાં નવા રીગ્રેસન મોડેલમાં મૂલ્યનું યોગદાન ન આપતા હોય તો વેરિયેબલ્સ પછી દૂર કરવામાં આવે છે (એક પ્રતિ પુનરાવર્તન). લક્ષણ બાકાત પ્રારંભિક મોડેલના p-મૂલ્યો પર આધારિત છે. અત્યંત સહસંબંધિત ચલોને દૂર કરતી વખતે આ પદ્ધતિમાં અનિશ્ચિતતા પણ હોય છે.

પુનરાવર્તિત લક્ષણ નાબૂદી

RFE એ નોંધપાત્ર સુવિધાઓની ચોક્કસ સંખ્યા પસંદ કરવા માટે વ્યાપકપણે ઉપયોગમાં લેવાતી તકનીક/એલ્ગોરિધમ છે. કેટલીકવાર પદ્ધતિનો ઉપયોગ પરિણામોને પ્રભાવિત કરતી સંખ્યાબંધ "સૌથી મહત્વપૂર્ણ" વિશેષતાઓને સમજાવવા માટે થાય છે; અને કેટલીકવાર ખૂબ મોટી સંખ્યામાં ચલો (લગભગ 200-400) ઘટાડવા માટે, અને માત્ર તે જ કે જેઓ મોડેલમાં ઓછામાં ઓછું થોડું યોગદાન આપે છે તેને જાળવી રાખવામાં આવે છે, અને બાકીના બધાને બાકાત રાખવામાં આવે છે. RFE રેન્કિંગ સિસ્ટમનો ઉપયોગ કરે છે. ડેટા સેટમાંની સુવિધાઓને રેન્ક અસાઇન કરવામાં આવે છે. પછી આ રેન્કનો ઉપયોગ તેમની વચ્ચેની સમકક્ષતા અને મોડેલમાં તે સુવિધાઓના મહત્વના આધારે લક્ષણોને પુનરાવર્તિત રીતે દૂર કરવા માટે થાય છે. રેન્કિંગ સુવિધાઓ ઉપરાંત, RFE બતાવી શકે છે કે આ સુવિધાઓ મહત્વપૂર્ણ છે કે નહીં તે આપેલ સંખ્યાબંધ સુવિધાઓ માટે પણ (કારણ કે તે ખૂબ જ સંભવ છે કે સુવિધાઓની પસંદ કરેલી સંખ્યા શ્રેષ્ઠ ન હોય, અને સુવિધાઓની શ્રેષ્ઠ સંખ્યા કાં તો વધુ હોઈ શકે. અથવા પસંદ કરેલ સંખ્યા કરતાં ઓછી).

લક્ષણ મહત્વ ડાયાગ્રામ

મશીન લર્નિંગ અલ્ગોરિધમ્સની અર્થઘટનક્ષમતા વિશે વાત કરતી વખતે, અમે સામાન્ય રીતે રેખીય રીગ્રેસન (જે તમને p-મૂલ્યોનો ઉપયોગ કરીને વિશેષતાઓના મહત્વનું વિશ્લેષણ કરવાની મંજૂરી આપે છે) અને નિર્ણય વૃક્ષો (શાબ્દિક રીતે એક વૃક્ષના સ્વરૂપમાં લક્ષણોનું મહત્વ દર્શાવે છે, અને તે સમયે) ચર્ચા કરીએ છીએ. તે જ સમયે તેમના વંશવેલો). બીજી બાજુ, રેન્ડમ ફોરેસ્ટ, લાઇટજીબીએમ અને એક્સજી બૂસ્ટ જેવા એલ્ગોરિધમ્સ ઘણી વખત વિશેષતાના મહત્વના ડાયાગ્રામનો ઉપયોગ કરે છે, એટલે કે, ચલોની આકૃતિ અને "તેમની મહત્વની સંખ્યાઓ" રચવામાં આવે છે. આ ખાસ કરીને ઉપયોગી છે જ્યારે તમારે વ્યવસાય પર તેમની અસરના સંદર્ભમાં વિશેષતાઓના મહત્વ માટે સંરચિત તર્ક પ્રદાન કરવાની જરૂર હોય.

નિયમિતકરણ

પૂર્વગ્રહ અને ભિન્નતા વચ્ચેના સંતુલનને નિયંત્રિત કરવા માટે નિયમિતકરણ કરવામાં આવે છે. બાયસ બતાવે છે કે પ્રશિક્ષણ ડેટા સેટ પર મોડેલ કેટલું ઓવરફિટ છે. વિચલન બતાવે છે કે તાલીમ અને પરીક્ષણ ડેટાસેટ્સ વચ્ચેની આગાહીઓ કેટલી અલગ હતી. આદર્શરીતે, પૂર્વગ્રહ અને તફાવત બંને નાના હોવા જોઈએ. આ તે છે જ્યાં નિયમિતકરણ બચાવમાં આવે છે! ત્યાં બે મુખ્ય તકનીકો છે:

L1 રેગ્યુલરાઈઝેશન - લાસો: લાસો મોડેલમાં તેનું મહત્વ બદલવા માટે મોડેલના વજનને દંડ કરે છે અને તેને રદ પણ કરી શકે છે (એટલે ​​​​કે અંતિમ મોડેલમાંથી તે ચલોને દૂર કરો). સામાન્ય રીતે, Lasso નો ઉપયોગ ત્યારે થાય છે જ્યારે ડેટાસેટમાં મોટી સંખ્યામાં વેરિયેબલ હોય છે અને તમે તેમાંથી કેટલાકને બાકાત રાખવા માગો છો જેથી મહત્વપૂર્ણ લક્ષણો મોડેલને કેવી અસર કરે છે તે વધુ સારી રીતે સમજવા માટે (એટલે ​​​​કે, તે સુવિધાઓ કે જે Lasso દ્વારા પસંદ કરવામાં આવી છે અને તેને મહત્વ આપવામાં આવ્યું છે).

L2 રેગ્યુલરાઈઝેશન - રીજ પદ્ધતિ: રીજનું કામ તમામ ચલોને સંગ્રહિત કરવાનું છે અને તે જ સમયે મોડેલના પ્રદર્શનમાં તેમના યોગદાનના આધારે તેમને મહત્વ આપવાનું છે. જો ડેટાસેટમાં ચલોની નાની સંખ્યા હોય અને તે બધા તારણો અને પ્રાપ્ત પરિણામોનું અર્થઘટન કરવા માટે જરૂરી હોય તો રિજ સારી પસંદગી હશે.

કારણ કે રિજ તમામ ચલોને રાખે છે અને લાસો તેમના મહત્વને સ્થાપિત કરવા માટે વધુ સારું કામ કરે છે, એક અલ્ગોરિધમ વિકસાવવામાં આવ્યું હતું જે બંને નિયમિતકરણની શ્રેષ્ઠ સુવિધાઓને જોડે છે, જેને સ્થિતિસ્થાપક-નેટ તરીકે ઓળખવામાં આવે છે.

મશીન લર્નિંગ માટે સુવિધાઓ પસંદ કરવાની ઘણી વધુ રીતો છે, પરંતુ મુખ્ય વિચાર હંમેશા એક જ હોય ​​છે: ચલોનું મહત્વ દર્શાવો અને પછી પરિણામી મહત્વના આધારે તેમાંથી કેટલાકને દૂર કરો. મહત્વ એ ખૂબ જ વ્યક્તિલક્ષી શબ્દ છે, કારણ કે તે માત્ર એક જ નથી, પરંતુ મેટ્રિક્સ અને ચાર્ટનો સંપૂર્ણ સમૂહ છે જેનો ઉપયોગ મુખ્ય વિશેષતાઓ શોધવા માટે થઈ શકે છે.

વાંચવા બદલ આભાર! સુખી શિક્ષણ!

સોર્સ: www.habr.com