મેજિક એન્સેમ્બલ લર્નિંગ

હે હબર! અમે ડેટા એન્જિનિયર્સ અને મશીન લર્નિંગ નિષ્ણાતોને મફત ડેમો-લેસન માટે આમંત્રિત કરીએ છીએ "ઓનલાઈન ભલામણોના ઉદાહરણનો ઉપયોગ કરીને ઔદ્યોગિક વાતાવરણમાં ML મોડલનો પરિચય". અમે લુકા મોન્નો દ્વારા એક લેખ પણ પ્રકાશિત કરીએ છીએ - CDP SPA ખાતે નાણાકીય વિશ્લેષણના વડા.

સૌથી ઉપયોગી અને સરળ મશીન લર્નિંગ પદ્ધતિઓ પૈકીની એક એન્સેમ્બલ લર્નિંગ છે. એન્સેમ્બલ લર્નિંગ એ XGBoost, બેગિંગ, રેન્ડમ ફોરેસ્ટ અને અન્ય ઘણા અલ્ગોરિધમ્સ માટેની અંતર્ગત તકનીક છે.

ડેટા સાયન્સ તરફ ઘણા સારા લેખો છે, પરંતુ મેં બે વાર્તાઓ પસંદ કરી છે (પ્રથમ и બીજું) જે મને સૌથી વધુ ગમ્યું. તો શા માટે EL વિશે બીજો લેખ લખવો? કારણ કે હું તમને બતાવવા માંગુ છું તે એક સરળ ઉદાહરણ પર કેવી રીતે કામ કરે છે, જેનાથી મને સમજાયું કે અહીં કોઈ જાદુ નથી.

જ્યારે મેં પહેલીવાર EL ને ક્રિયામાં જોયું (કેટલાક ખૂબ જ સરળ રીગ્રેશન મોડલ્સ સાથે કામ કરતા) હું મારી આંખો પર વિશ્વાસ કરી શક્યો નહીં, અને મને હજી પણ તે પ્રોફેસર યાદ છે જેમણે મને આ પદ્ધતિ શીખવી હતી.

મારી પાસે ઘાતાંક સાથે બે અલગ-અલગ મૉડલ (બે નબળા લર્નિંગ ઍલ્ગોરિધમ) હતા આઉટ ઓફ સેમ્પલ R² અનુક્રમે 0,90 અને 0,93 ની બરાબર છે. પરિણામ જોતા પહેલા, મેં વિચાર્યું કે મને બે પ્રારંભિક મૂલ્યો વચ્ચે ક્યાંક R² મળશે. બીજા શબ્દોમાં કહીએ તો, મેં વિચાર્યું કે EL નો ઉપયોગ મોડલને સૌથી ખરાબ મોડલ જેટલું ખરાબ પ્રદર્શન ન કરવા માટે કરી શકાય છે, પરંતુ તેટલું સારું મોડલ ન કરી શકે.

મારા આશ્ચર્ય માટે, આગાહીઓની સરળ સરેરાશના પરિણામોએ 0,95 નો R² આપ્યો. 

પહેલા તો મેં ભૂલ શોધવાનું શરૂ કર્યું, પણ પછી મને લાગ્યું કે અહીં કોઈ જાદુ છુપાયેલો હશે!

એન્સેમ્બલ લર્નિંગ શું છે

EL સાથે, તમે વધુ વિશ્વસનીય અને પ્રભાવશાળી મોડેલ મેળવવા માટે બે કે તેથી વધુ મોડલની આગાહીઓને જોડી શકો છો. મોડેલોના જોડાણો સાથે કામ કરવા માટે ઘણી પદ્ધતિઓ છે. અહીં હું તમને એક વિચાર આપવા માટે બે સૌથી ઉપયોગી મુદ્દાઓને સ્પર્શ કરીશ.

ની મદદ સાથે પ્રત્યાગમાન તમે ઉપલબ્ધ મોડલના પ્રદર્શનની સરેરાશ કરી શકો છો.

ની મદદ સાથે વર્ગીકરણ તમે મોડેલોને લેબલ પસંદ કરવા દો. લેબલ જે મોટાભાગે પસંદ કરવામાં આવ્યું હતું તે એક છે જે નવા મોડેલ દ્વારા પસંદ કરવામાં આવશે.

શા માટે EL વધુ સારી રીતે કામ કરે છે

EL શા માટે વધુ સારી રીતે કામ કરે છે તેનું મુખ્ય કારણ એ છે કે દરેક અનુમાનમાં ભૂલ હોય છે (આપણે સંભવિતતાના સિદ્ધાંતથી જાણીએ છીએ), બે અનુમાનોનું સંયોજન ભૂલને ઘટાડવામાં મદદ કરી શકે છે, અને આમ પ્રદર્શન સૂચકાંકો (RMSE, R², વગેરે) સુધારી શકે છે. d.).

નીચેનો આકૃતિ બતાવે છે કે કેવી રીતે બે નબળા અલ્ગોરિધમ્સ ડેટા સેટ પર કામ કરે છે. પ્રથમ અલ્ગોરિધમમાં જરૂરી કરતાં મોટો ઢોળાવ છે, જ્યારે બીજામાં લગભગ શૂન્ય છે (કદાચ વધુ પડતા નિયમિતીકરણને કારણે). પણ દાગીનો વધુ સારા પરિણામો દર્શાવે છે. 

જો તમે R² જુઓ, તો પ્રથમ અને બીજા તાલીમ અલ્ગોરિધમમાં તે અનુક્રમે -0.01¹, 0.22 ની બરાબર હશે, જ્યારે જોડાણ માટે તે 0.73 ની બરાબર હશે.

આના જેવા મૂળભૂત ઉદાહરણ માટે પણ અલ્ગોરિધમ નબળું મોડેલ હોઈ શકે તેવા ઘણા કારણો છે: કદાચ તમે ઓવરફિટિંગ ટાળવા માટે નિયમિતકરણનો ઉપયોગ કરવાનું નક્કી કર્યું, અથવા તમે કેટલીક વિસંગતતાઓને દૂર ન કરવાનું નક્કી કર્યું, અથવા કદાચ તમે બહુપદી રીગ્રેશનનો ઉપયોગ કર્યો અને ખોટી ડિગ્રી પસંદ કરી. (ઉદાહરણ તરીકે, બીજી ડિગ્રીના બહુપદીનો ઉપયોગ કર્યો, અને પરીક્ષણ ડેટા સ્પષ્ટ અસમપ્રમાણતા દર્શાવે છે, જેના માટે ત્રીજી ડિગ્રી વધુ યોગ્ય રહેશે).

જ્યારે EL શ્રેષ્ઠ કામ કરે છે

ચાલો બે લર્નિંગ અલ્ગોરિધમ્સ જોઈએ જે સમાન ડેટા પર કામ કરે છે.

અહીં તમે જોઈ શકો છો કે બે મૉડલોને સંયોજિત કરવાથી પ્રદર્શનમાં વધુ સુધારો થયો નથી. શરૂઆતમાં, બે તાલીમ અલ્ગોરિધમ્સ માટે, R² મૂલ્યો અનુક્રમે -0,37 અને 0,22 હતા, અને જોડાણ માટે તે -0,04 હોવાનું બહાર આવ્યું. એટલે કે, EL મોડેલને સૂચકોનું સરેરાશ મૂલ્ય પ્રાપ્ત થયું.

જો કે, આ બે ઉદાહરણો વચ્ચે મોટો તફાવત છે: પ્રથમ ઉદાહરણમાં, મોડેલોની ભૂલો નકારાત્મક રીતે સહસંબંધિત હતી, અને બીજામાં - સકારાત્મક (ત્રણ મોડલના ગુણાંકનો અંદાજ લગાવવામાં આવ્યો ન હતો, પરંતુ લેખક દ્વારા ફક્ત પસંદ કરવામાં આવ્યો હતો. ઉદાહરણ તરીકે.)

તેથી, એન્સેમ્બલ લર્નિંગનો ઉપયોગ તમામ કિસ્સાઓમાં પૂર્વગ્રહ/વિક્ષેપ સંતુલન સુધારવા માટે થઈ શકે છે, પરંતુ ક્યારે મોડલની ભૂલો હકારાત્મક રીતે સહસંબંધિત નથી, EL નો ઉપયોગ કરવાથી વધુ સારી કામગીરી થઈ શકે છે.

સજાતીય અને વિજાતીય મોડેલો

ઘણી વાર EL નો ઉપયોગ સજાતીય મોડલ પર થાય છે (જેમ કે આ ઉદાહરણ અથવા રેન્ડમ ફોરેસ્ટમાં), પરંતુ હકીકતમાં તમે અલગ અલગ મોડલ્સ (રેખીય રીગ્રેસન + ન્યુરલ નેટવર્ક + XGBoost) ને સ્પષ્ટીકરણ ચલોના વિવિધ સેટ સાથે જોડી શકો છો. આ અસંબંધિત ભૂલો તરફ દોરી જાય છે અને પ્રદર્શનમાં સુધારો કરે તેવી શક્યતા છે.

પોર્ટફોલિયો વૈવિધ્યકરણ સાથે સરખામણી

EL પોર્ટફોલિયો થિયરીમાં વૈવિધ્યકરણની સમાન રીતે કામ કરે છે, પરંતુ અમારા માટે તે વધુ સારું છે. 

જ્યારે તમે વૈવિધ્યીકરણ કરો છો, ત્યારે તમે અસંબંધિત શેરોમાં રોકાણ કરીને તમારા પ્રદર્શનમાં તફાવત ઘટાડવાનો પ્રયાસ કરો છો. સ્ટોક્સનો સારી રીતે વૈવિધ્યસભર પોર્ટફોલિયો સૌથી ખરાબ સિંગલ સ્ટોક કરતાં વધુ સારો દેખાવ કરશે, પરંતુ શ્રેષ્ઠ કરતાં વધુ સારો નહીં હોય.

વોરેન બફેટને ટાંકીને: 

"વૈવિધ્યકરણ એ અજ્ઞાનતા સામે સંરક્ષણ છે, જે કોઈ જાણતો નથી કે તે શું કરી રહ્યો છે, તે [વૈવિધ્યકરણ] બહુ ઓછું અર્થપૂર્ણ છે."

મશીન લર્નિંગમાં, EL તમારા મૉડલના ભિન્નતાને ઘટાડવામાં મદદ કરે છે, પરંતુ આના પરિણામે શ્રેષ્ઠ પ્રારંભિક મૉડલ કરતાં વધુ સારા એકંદર પ્રદર્શન સાથે મૉડલ આવી શકે છે.

ચાલો પરિણામોને સરવાળો કરીએ

બહુવિધ મોડલ્સને એકમાં જોડવું એ પ્રમાણમાં સરળ તકનીક છે જે ભિન્નતા પૂર્વગ્રહની સમસ્યાના ઉકેલ અને બહેતર પ્રદર્શન તરફ દોરી શકે છે.

જો તમારી પાસે બે અથવા વધુ મોડેલો છે જે સારી રીતે કામ કરે છે, તો તેમાંથી પસંદ કરશો નહીં: તે બધાનો ઉપયોગ કરો (પરંતુ સાવધાની સાથે)!

શું તમે આ દિશામાં વિકાસ કરવામાં રસ ધરાવો છો? મફત ડેમો પાઠ માટે સાઇન અપ કરો "ઓનલાઈન ભલામણોના ઉદાહરણનો ઉપયોગ કરીને ઔદ્યોગિક વાતાવરણમાં ML મોડલનો પરિચય" અને તેમાં ભાગ લે છે આન્દ્રે કુઝનેત્સોવ સાથે ઑનલાઇન મીટિંગ — Mail.ru ગ્રુપમાં મશીન લર્નિંગ એન્જિનિયર.

સોર્સ: www.habr.com