પાયથોન, એનાકોન્ડા અને અન્ય સરિસૃપ વિના મશીન લર્નિંગ

ના, સારું, અલબત્ત, હું ગંભીર નથી. કોઈ વિષયને સરળ બનાવવા શક્ય છે તેની મર્યાદા હોવી જોઈએ. પરંતુ પ્રથમ તબક્કા માટે, મૂળભૂત ખ્યાલોને સમજવા અને વિષયને ઝડપથી "પ્રવેશ" કરવા માટે, તે સ્વીકાર્ય હોઈ શકે છે. અમે અંતમાં આ સામગ્રીને યોગ્ય રીતે નામ કેવી રીતે રાખવું તેની ચર્ચા કરીશું (વિકલ્પો: "ડમીઝ માટે મશીન લર્નિંગ", "ડાયપરમાંથી ડેટા વિશ્લેષણ", "નાના લોકો માટે અલ્ગોરિધમ્સ").

સીધા મુદ્દા પર. ડેટાનું પૃથ્થકરણ કરતી વખતે વિવિધ મશીન લર્નિંગ પદ્ધતિઓમાં થતી પ્રક્રિયાઓની વિઝ્યુલાઇઝેશન અને વિઝ્યુઅલ રજૂઆત માટે એમએસ એક્સેલમાં અનેક એપ્લિકેશન પ્રોગ્રામ્સ લખ્યા. છેવટે, જોવું એ માનવું છે, જેમ કે સંસ્કૃતિના ધારકો કહે છે, જેણે આમાંની મોટાભાગની પદ્ધતિઓ વિકસાવી છે (માર્ગ દ્વારા, તે બધી નહીં. સૌથી શક્તિશાળી "સપોર્ટ વેક્ટર મશીન", અથવા એસવીએમ, સપોર્ટ વેક્ટર મશીનની શોધ છે. અમારા દેશબંધુ વ્લાદિમીર વાપનિક, મોસ્કો ઇન્સ્ટિટ્યૂટ ઑફ મેનેજમેન્ટ. 1963, બાય ધ વે! હવે, જો કે, તે યુએસએમાં શીખવે છે અને કામ કરે છે).

સમીક્ષા માટે ત્રણ ફાઇલો

1. K- એટલે ક્લસ્ટરિંગ

આ પ્રકારની સમસ્યાઓ "અનિરીક્ષિત શિક્ષણ" નો સંદર્ભ આપે છે જ્યારે આપણે પ્રારંભિક ડેટાને અગાઉથી જાણીતી અમુક શ્રેણીઓમાં વિભાજિત કરવાની જરૂર હોય છે, પરંતુ અમારી પાસે "સાચા જવાબો" ની સંખ્યા નથી; આપણે તેને ડેટામાંથી જ કાઢવા જોઈએ . આઇરિસ ફૂલોની પેટાજાતિઓ શોધવાની મૂળભૂત શાસ્ત્રીય સમસ્યા (રોનાલ્ડ ફિશર, 1936!), જે જ્ઞાનના આ ક્ષેત્રની પ્રથમ નિશાની માનવામાં આવે છે, તે માત્ર આ પ્રકારની છે.

પદ્ધતિ એકદમ સરળ છે. આપણી પાસે વેક્ટર્સ (N સંખ્યાઓના સેટ) તરીકે રજૂ કરાયેલા પદાર્થોનો સમૂહ છે. irises માં, આ 4 સંખ્યાઓના સમૂહો છે જે ફૂલને લાક્ષણિકતા આપે છે: અનુક્રમે પેરીઅન્થના બાહ્ય અને આંતરિક લોબ્સની લંબાઈ અને પહોળાઈ (ફિશરની irises - વિકિપીડિયા). સામાન્ય કાર્ટેશિયન મેટ્રિકને અંતર તરીકે પસંદ કરવામાં આવે છે, અથવા વસ્તુઓ વચ્ચેની નિકટતાના માપદંડ.

આગળ, ક્લસ્ટર કેન્દ્રો અવ્યવસ્થિત રીતે પસંદ કરવામાં આવે છે (અથવા અવ્યવસ્થિત રીતે નહીં, નીચે જુઓ), અને દરેક ઑબ્જેક્ટથી ક્લસ્ટર કેન્દ્રો સુધીના અંતરની ગણતરી કરવામાં આવે છે. આપેલ પુનરાવૃત્તિના પગલા પર દરેક ઑબ્જેક્ટ નજીકના કેન્દ્ર સાથે સંબંધિત તરીકે ચિહ્નિત થયેલ છે. પછી દરેક ક્લસ્ટરનું કેન્દ્ર તેના સભ્યોના કોઓર્ડિનેટ્સના અંકગણિત સરેરાશમાં સ્થાનાંતરિત થાય છે (ભૌતિકશાસ્ત્ર સાથે સામ્યતા દ્વારા, તેને "દળનું કેન્દ્ર" પણ કહેવામાં આવે છે), અને પ્રક્રિયાને પુનરાવર્તિત કરવામાં આવે છે.

પ્રક્રિયા ખૂબ જ ઝડપથી રૂપાંતરિત થાય છે. બે પરિમાણમાં ચિત્રોમાં તે આના જેવો દેખાય છે:

1. પ્લેન પર પોઈન્ટનું પ્રારંભિક રેન્ડમ વિતરણ અને ક્લસ્ટરોની સંખ્યા

2. ક્લસ્ટર કેન્દ્રોનો ઉલ્લેખ કરવો અને તેમના ક્લસ્ટરોને પોઈન્ટ સોંપવા

3. ક્લસ્ટર કેન્દ્રોના કોઓર્ડિનેટ્સનું સ્થાનાંતરણ, કેન્દ્રો સ્થિર ન થાય ત્યાં સુધી બિંદુઓના જોડાણની પુનઃ ગણતરી. ક્લસ્ટર સેન્ટર તેની અંતિમ સ્થિતિ તરફ આગળ વધી રહ્યું છે તે દૃશ્યમાન છે.

કોઈપણ સમયે, તમે નવા ક્લસ્ટર કેન્દ્રો સેટ કરી શકો છો (પોઈન્ટનું નવું વિતરણ જનરેટ કર્યા વિના!) અને જુઓ કે પાર્ટીશન પ્રક્રિયા હંમેશા અસ્પષ્ટ નથી. ગાણિતિક રીતે, આનો અર્થ એ છે કે કાર્યને ઑપ્ટિમાઇઝ કરવા માટે (બિંદુઓથી તેમના ક્લસ્ટરોના કેન્દ્રો સુધીના વર્ગના અંતરનો સરવાળો), આપણે વૈશ્વિક નહીં, પરંતુ સ્થાનિક લઘુત્તમ શોધીએ છીએ. આ સમસ્યાને કાં તો પ્રારંભિક ક્લસ્ટર કેન્દ્રોની બિન-રેન્ડમ પસંદગી દ્વારા અથવા સંભવિત કેન્દ્રોની ગણતરી કરીને દૂર કરી શકાય છે (કેટલીકવાર તેમને એક બિંદુ પર બરાબર મૂકવું ફાયદાકારક છે, પછી ઓછામાં ઓછી ખાતરી છે કે અમને ખાલી નહીં મળે. ક્લસ્ટરો). કોઈ પણ સંજોગોમાં, મર્યાદિત સમૂહમાં હંમેશા ઇન્ફિમમ હોય છે.

તમે આ લિંક પર આ ફાઇલ સાથે રમી શકો છો (મેક્રો સપોર્ટ સક્ષમ કરવાનું ભૂલશો નહીં. ફાઇલો વાયરસ માટે સ્કેન કરવામાં આવી છે)

વિકિપીડિયા પર પદ્ધતિનું વર્ણન - k- એટલે પદ્ધતિ

2. બહુપદી અને ડેટા બ્રેકડાઉન દ્વારા અંદાજ. પુનઃપ્રશિક્ષણ

નોંધપાત્ર વૈજ્ઞાનિક અને ડેટા વિજ્ઞાનના લોકપ્રિયકર્તા કે.વી. વોરોન્ટ્સોવ સંક્ષિપ્તમાં મશીન લર્નિંગ પદ્ધતિઓને "બિંદુઓ દ્વારા વળાંકો દોરવાનું વિજ્ઞાન" તરીકે વર્ણવે છે. આ ઉદાહરણમાં, અમે ન્યૂનતમ ચોરસ પદ્ધતિનો ઉપયોગ કરીને ડેટામાં પેટર્ન શોધીશું.

સ્રોત ડેટાને "તાલીમ" અને "નિયંત્રણ" માં વિભાજીત કરવાની તકનીક બતાવવામાં આવી છે, તેમજ ડેટાને ફરીથી તાલીમ આપવા અથવા "ફરીથી સમાયોજિત કરવા" જેવી ઘટના. સાચા અંદાજ સાથે, અમને તાલીમ ડેટા પર ચોક્કસ ભૂલ અને નિયંત્રણ ડેટા પર થોડી મોટી ભૂલ હશે. જો ખોટો હોય, તો તે તાલીમ ડેટામાં ચોક્કસ ગોઠવણ અને પરીક્ષણ ડેટા પર મોટી ભૂલમાં પરિણમે છે.

(તે એક જાણીતી હકીકત છે કે N બિંદુઓ દ્વારા તમે N-1મી ડિગ્રીનો એક જ વળાંક દોરી શકો છો, અને સામાન્ય કિસ્સામાં આ પદ્ધતિ ઇચ્છિત પરિણામ આપતી નથી. વિકિપીડિયા પર લેગ્રેન્જ ઇન્ટરપોલેશન બહુપદી)

1. પ્રારંભિક વિતરણ સેટ કરો

2. અમે બિંદુઓને 70 થી 30 ના ગુણોત્તરમાં "તાલીમ" અને "નિયંત્રણ" માં વિભાજીત કરીએ છીએ.

3. અમે પ્રશિક્ષણ બિંદુઓ સાથે અંદાજિત વળાંક દોરીએ છીએ, અમે કંટ્રોલ ડેટા પર આપેલી ભૂલ જોઈએ છીએ

4. અમે તાલીમ બિંદુઓ દ્વારા ચોક્કસ વળાંક દોરીએ છીએ, અને અમને નિયંત્રણ ડેટા પર એક ભયંકર ભૂલ દેખાય છે (અને તાલીમ ડેટા પર શૂન્ય, પરંતુ મુદ્દો શું છે?).

બતાવેલ, અલબત્ત, "તાલીમ" અને "નિયંત્રણ" સબસેટમાં એક જ વિભાગ સાથેનો સૌથી સરળ વિકલ્પ છે; સામાન્ય કિસ્સામાં, આ ગુણાંકના શ્રેષ્ઠ ગોઠવણ માટે ઘણી વખત કરવામાં આવે છે.

એન્ટિવાયરસ દ્વારા સ્કેન કરેલી ફાઇલ અહીં ઉપલબ્ધ છે. યોગ્ય કામગીરી માટે મેક્રોને સક્ષમ કરો

3. ગ્રેડિયન્ટ વંશ અને ભૂલ પરિવર્તનની ગતિશીલતા

4-ડાયમેન્શનલ કેસ અને રેખીય રીગ્રેશન હશે. રેખીય રીગ્રેસન ગુણાંકને ગ્રેડિયન્ટ ડિસેન્ટ પદ્ધતિનો ઉપયોગ કરીને સ્ટેપ બાય સ્ટેપ નક્કી કરવામાં આવશે, શરૂઆતમાં તમામ ગુણાંક શૂન્ય છે. એક અલગ ગ્રાફ ભૂલ ઘટાડવાની ગતિશીલતા દર્શાવે છે કારણ કે ગુણાંક વધુ અને વધુ સચોટ રીતે ગોઠવવામાં આવે છે. ચારેય 2-પરિમાણીય અંદાજો જોવાનું શક્ય છે.

જો તમે ગ્રેડિએન્ટ ડિસેન્ટ સ્ટેપ ખૂબ મોટું સેટ કરો છો, તો તમે જોઈ શકો છો કે દર વખતે અમે ન્યૂનતમને છોડી દઈશું અને પરિણામ પર મોટી સંખ્યામાં સ્ટેપ્સ પર પહોંચીશું, જો કે અંતે અમે હજી પણ આવીશું (સિવાય કે અમે ડિસેન્ટ સ્ટેપમાં પણ વિલંબ કરીશું. ખૂબ - પછી એલ્ગોરિધમ "સ્પેડમાં" જશે). અને પુનરાવર્તનના પગલાના આધારે ભૂલનો ગ્રાફ સરળ નહીં, પરંતુ "આંચકો" હશે.

1. ડેટા જનરેટ કરો, ગ્રેડિયન્ટ ડિસેન્ટ સ્ટેપ સેટ કરો

2. ઢાળના વંશના પગલાની યોગ્ય પસંદગી સાથે, અમે સરળતાથી અને ઝડપથી લઘુત્તમ સ્તરે પહોંચીએ છીએ

3. જો ગ્રેડિયન્ટ ડિસેન્ટ સ્ટેપ ખોટી રીતે પસંદ કરેલ હોય, તો અમે મહત્તમને ઓવરશૂટ કરીએ છીએ, ભૂલનો આલેખ "જર્કી" છે, કન્વર્જન્સ મોટી સંખ્યામાં પગલાં લે છે

и

4. જો આપણે ગ્રેડિએન્ટ ડિસેન્ટ સ્ટેપને સંપૂર્ણપણે ખોટી રીતે પસંદ કરીએ, તો અમે ન્યૂનતમથી દૂર જઈએ છીએ

(ચિત્રોમાં બતાવેલ ગ્રેડિયન્ટ ડિસેન્ટ સ્ટેપ વેલ્યુનો ઉપયોગ કરીને પ્રક્રિયાને પુનઃઉત્પાદિત કરવા માટે, "સંદર્ભ ડેટા" બૉક્સને ચેક કરો).

ફાઇલ આ લિંક પર છે, તમારે મેક્રોને સક્ષમ કરવાની જરૂર છે, ત્યાં કોઈ વાયરસ નથી.

આદરણીય સમુદાયના મતે, સામગ્રી પ્રસ્તુત કરવાની આવી સરળતા અને પદ્ધતિ સ્વીકાર્ય છે? શું લેખનો અંગ્રેજીમાં અનુવાદ કરવો યોગ્ય છે?

સોર્સ: www.habr.com