હસ્તલિખિત રેખાંકનોનું વર્ગીકરણ. યાન્ડેક્સમાં રિપોર્ટ કરો

થોડા મહિના પહેલા, Google ના અમારા સાથીદારો ખર્ચવામાં કાગલ પર સનસનાટીભર્યામાં મેળવેલી છબીઓ માટે વર્ગીકૃત બનાવવા માટેની સ્પર્ધા રમત "જલ્દી દોરો!" ટીમ, જેમાં યાન્ડેક્સ ડેવલપર રોમન વ્લાસોવનો સમાવેશ થતો હતો, તેણે સ્પર્ધામાં ચોથું સ્થાન મેળવ્યું હતું. જાન્યુઆરીની મશીન લર્નિંગ તાલીમમાં, રોમન તેની ટીમના વિચારો, વર્ગીકરણના અંતિમ અમલીકરણ અને તેના વિરોધીઓની રસપ્રદ પદ્ધતિઓ શેર કરી.

- કેમ છો બધા! મારું નામ રોમા વ્લાસોવ છે, આજે હું તમને ક્વિક, ડ્રો વિશે કહીશ! ડૂડલ રેકગ્નિશન ચેલેન્જ.



અમારી ટીમમાં પાંચ લોકો હતા. હું મર્જની સમયમર્યાદા પહેલા જ જોડાયો છું. અમે કમનસીબ હતા, અમે થોડા હચમચી ગયા હતા, પરંતુ અમે પૈસાની સ્થિતિમાંથી હચમચી ગયા હતા, અને તેઓ સોનાની સ્થિતિમાંથી હચમચી ગયા હતા. અને અમે માનનીય ચોથું સ્થાન લીધું.

(સ્પર્ધા દરમિયાન, ટીમોએ પોતાને રેટિંગમાં અવલોકન કર્યું, જે સૂચિત ડેટા સેટના એક ભાગ પર દર્શાવેલ પરિણામોના આધારે રચવામાં આવ્યું હતું. અંતિમ રેટિંગ, બદલામાં, ડેટાસેટના બીજા ભાગ પર રચવામાં આવ્યું હતું. આમ કરવામાં આવે છે. કે સ્પર્ધાના સહભાગીઓ તેમના અલ્ગોરિધમ્સને ચોક્કસ ડેટા સાથે સમાયોજિત કરતા નથી. તેથી, ફાઇનલમાં, જ્યારે રેટિંગ વચ્ચે સ્વિચ કરવામાં આવે છે, ત્યારે સ્થિતિ થોડી હલે છે (અંગ્રેજી શેક અપથી - મિશ્રણ કરવા માટે): અન્ય ડેટા પર, પરિણામ બહાર આવી શકે છે અલગ હોવા માટે. રોમનની ટીમ ટોચના ત્રણમાં પ્રથમ હતી. આ કિસ્સામાં, ટોચના ત્રણ પૈસા, નાણાકીય રેટિંગ ઝોન છે, કારણ કે માત્ર પ્રથમ ત્રણ સ્થાનોને રોકડ ઇનામ આપવામાં આવ્યું હતું. શેક-અપ પછી, ટીમ પહેલેથી જ ચોથું સ્થાન. તે જ રીતે, અન્ય ટીમે વિજય ગુમાવ્યો, ગોલ્ડ પોઝિશન. - એડ.)

સ્પર્ધા એ પણ નોંધપાત્ર હતી કે એવજેની બાબાખનીનને ગ્રાન્ડમાસ્ટર મળ્યો, ઇવાન સોસીનને માસ્ટર મળ્યો, રોમન સોલોવીવ ગ્રાન્ડમાસ્ટર રહ્યો, એલેક્સ પરીનોવને માસ્ટર મળ્યો, હું નિષ્ણાત બન્યો, અને હવે હું પહેલેથી જ માસ્ટર છું.

આ ક્વિક, ડ્રો શું છે? આ Google તરફથી એક સેવા છે. ગૂગલ પાસે એઆઈને લોકપ્રિય બનાવવાનું લક્ષ્ય હતું અને આ સેવા સાથે ન્યુરલ નેટવર્ક કેવી રીતે કાર્ય કરે છે તે બતાવવા માંગે છે. તમે ત્યાં જાઓ, ચાલો દોરો પર ક્લિક કરો, અને જ્યાં તમને કહેવામાં આવે છે ત્યાં એક નવું પૃષ્ઠ પૉપ અપ થાય છે: ઝિગઝેગ દોરો, આ કરવા માટે તમારી પાસે 20 સેકન્ડ છે. તમે 20 સેકન્ડમાં ઝિગઝેગ દોરવાનો પ્રયાસ કરી રહ્યાં છો, ઉદાહરણ તરીકે, અહીં. જો તમે સફળ થશો, તો નેટવર્ક કહે છે કે તે ઝિગઝેગ છે અને તમે આગળ વધો. આવા માત્ર છ ચિત્રો છે.

જો Google નું નેટવર્ક તમે જે દોર્યું તે ઓળખવામાં નિષ્ફળ ગયું, તો કાર્ય પર ક્રોસ મૂકવામાં આવ્યો હતો. પછીથી હું તમને કહીશ કે ડ્રોઇંગ નેટવર્ક દ્વારા ઓળખાય છે કે નહીં તે ભવિષ્યમાં તેનો અર્થ શું થશે.

આ સેવાએ એકદમ મોટી સંખ્યામાં વપરાશકર્તાઓ એકત્રિત કર્યા, અને વપરાશકર્તાઓએ દોરેલા તમામ ચિત્રો લૉગ કરવામાં આવ્યા હતા.

અમે લગભગ 50 મિલિયન છબીઓ એકત્રિત કરવામાં વ્યવસ્થાપિત છીએ. તેમાંથી, અમારી સ્પર્ધા માટેની ટ્રેન અને ટેસ્ટની તારીખ બનાવવામાં આવી. માર્ગ દ્વારા, પરીક્ષણમાં ડેટાની માત્રા અને વર્ગોની સંખ્યા એક કારણસર બોલ્ડમાં પ્રકાશિત થાય છે. હું તમને તેમના વિશે થોડી વાર પછી કહીશ.

ડેટા ફોર્મેટ નીચે મુજબ હતું. આ માત્ર RGB ઇમેજ નથી, પરંતુ, લગભગ કહીએ તો, વપરાશકર્તાએ જે કર્યું છે તેનો લોગ. શબ્દ અમારું લક્ષ્ય છે, દેશનો કોડ એ છે જ્યાંથી ડૂડલનો લેખક છે, ટાઇમસ્ટેમ્પ સમય છે. ઓળખાયેલ લેબલ ફક્ત બતાવે છે કે નેટવર્કે Google ની છબીને ઓળખી છે કે નહીં. અને ડ્રોઇંગ પોતે એક ક્રમ છે, એક વળાંકનો અંદાજ છે જે વપરાશકર્તા પોઈન્ટ સાથે દોરે છે. અને સમય. ચિત્ર દોરવાની શરૂઆતનો આ સમય છે.

ડેટા બે ફોર્મેટમાં રજૂ કરવામાં આવ્યો હતો. આ પ્રથમ ફોર્મેટ છે, અને બીજું સરળ છે. તેઓએ ત્યાંથી સમય કાપી નાખ્યો અને પોઈન્ટના નાના સમૂહ સાથે પોઈન્ટના આ સમૂહને અનુમાનિત કર્યા. આ માટે તેઓએ ઉપયોગ કર્યો ડગ્લાસ-પેકર અલ્ગોરિધમ. તમારી પાસે બિંદુઓનો મોટો સમૂહ છે જે ફક્ત એક સીધી રેખાને અંદાજે છે, પરંતુ વાસ્તવમાં તમે આ રેખાને માત્ર બે બિંદુઓથી અંદાજિત કરી શકો છો. આ અલ્ગોરિધમનો વિચાર છે.

ડેટા નીચે મુજબ વિતરિત કરવામાં આવ્યો હતો. બધું એકસમાન છે, પરંતુ કેટલાક આઉટલીયર્સ છે. જ્યારે અમે સમસ્યાનું નિરાકરણ કર્યું, ત્યારે અમે તેની તરફ જોયું નહીં. મુખ્ય બાબત એ છે કે એવા કોઈ વર્ગો નહોતા જે ખરેખર ઓછા હતા, અમારે ભારિત નમૂના અને ડેટા ઓવરસેમ્પલિંગ કરવાની જરૂર નહોતી.

ચિત્રો કેવા લાગ્યા? આ "એરોપ્લેન" વર્ગ છે અને તેમાંથી ઓળખાયેલ અને અજાણ્યા લેબલ્સ સાથેના ઉદાહરણો છે. તેમનો ગુણોત્તર ક્યાંક 1 થી 9 ની આસપાસ હતો. જેમ તમે જોઈ શકો છો, ડેટા એકદમ ઘોંઘાટીયા છે. હું ધારીશ કે તે એક વિમાન છે. જો તમે ઓળખાયેલ ન જુઓ, તો મોટાભાગના કિસ્સાઓમાં તે માત્ર અવાજ છે. કોઈએ "વિમાન" લખવાનો પ્રયાસ પણ કર્યો, પરંતુ દેખીતી રીતે ફ્રેન્ચમાં.

મોટાભાગના સહભાગીઓએ ફક્ત ગ્રીડ લીધી હતી, આ રેખાઓના ક્રમમાંથી આરજીબી ચિત્રો તરીકે ડેટા દોર્યો હતો અને તેને નેટવર્કમાં ફેંકી દીધો હતો. મેં લગભગ તે જ રીતે દોર્યું: મેં રંગોની પેલેટ લીધી, એક રંગ સાથે પ્રથમ લાઇન દોર્યું, જે આ પેલેટની શરૂઆતમાં હતી, બીજી સાથે છેલ્લી લાઇન, જે પેલેટના અંતમાં હતી, અને તેમની વચ્ચે. મેં આ પેલેટનો ઉપયોગ કરીને દરેક જગ્યાએ પ્રક્ષેપિત કર્યું. માર્ગ દ્વારા, જો તમે પ્રથમ સ્લાઇડ પર દોરો છો તેના કરતાં આ વધુ સારું પરિણામ આપે છે - ફક્ત કાળામાં.

ટીમના અન્ય સભ્યો, જેમ કે ઇવાન સોસિન, ચિત્ર દોરવા માટે થોડો અલગ અભિગમ અજમાવ્યો. એક ચેનલ વડે તેણે ખાલી ગ્રે ચિત્ર દોર્યું, બીજી ચેનલ સાથે તેણે દરેક સ્ટ્રોકને શરૂઆતથી અંત સુધી, 32 થી 255 સુધીના ઢાળ સાથે દોર્યું, અને ત્રીજી ચેનલ સાથે તેણે 32 થી 255 સુધીના તમામ સ્ટ્રોક પર ઢાળ દોર્યો.

બીજી રસપ્રદ બાબત એ છે કે એલેક્સ પરીનોવે કન્ટ્રીકોડનો ઉપયોગ કરીને નેટવર્ક પર માહિતી અપલોડ કરી હતી.

સ્પર્ધામાં વપરાતું મેટ્રિક મીન એવરેજ પ્રિસિઝન છે. સ્પર્ધા માટે આ મેટ્રિકનો સાર શું છે? તમે ત્રણ અનુમાનો આપી શકો છો, અને જો આ ત્રણમાં કોઈ સાચું અનુમાન ન હોય, તો તમને 0 મળે છે. જો સાચો હોય, તો તેનો ક્રમ ધ્યાનમાં લેવામાં આવે છે. અને લક્ષ્ય પરિણામને તમારી આગાહીના ક્રમ દ્વારા ભાગ્યા 1 તરીકે ગણવામાં આવશે. ઉદાહરણ તરીકે, તમે ત્રણ અનુમાનો બનાવ્યા, અને સાચો એક પ્રથમ છે, પછી તમે 1 ને 1 વડે ભાગો અને 1 મેળવો. જો અનુમાનો સાચો છે અને તેનો ક્રમ 2 છે, તો 1 ને 2 વડે ભાગો, તો તમને 0,5 મળશે. સારું, વગેરે.

ડેટા પ્રીપ્રોસેસિંગ સાથે - ચિત્રો કેવી રીતે દોરવા વગેરે - અમે થોડું નક્કી કર્યું છે. અમે કયા આર્કિટેક્ચરનો ઉપયોગ કર્યો? અમે PNASNet, SENet, અને SE-Res-NeXt જેવા પહેલાથી જ ક્લાસિક આર્કિટેક્ચર્સનો ઉપયોગ કરવાનો પ્રયાસ કર્યો, તેઓ વધુને વધુ નવી સ્પર્ધાઓમાં પ્રવેશી રહ્યાં છે. ResNet અને DenseNet પણ હતા.

અમે આ કેવી રીતે શીખવ્યું? અમે લીધેલા તમામ મોડલ ઈમેનેટ પર પૂર્વ પ્રશિક્ષિત હતા. જો કે ત્યાં ઘણો ડેટા છે, 50 મિલિયન ઈમેજીસ, પરંતુ તેમ છતાં, જો તમે ઈમેનેટ પર પૂર્વ પ્રશિક્ષિત નેટવર્ક લો છો, તો જો તમે તેને શરૂઆતથી તાલીમ આપી હોય તેના કરતાં તે વધુ સારા પરિણામો દર્શાવે છે.

અમે કઈ શિક્ષણ તકનીકોનો ઉપયોગ કર્યો? આ કોસિંગ એનિલિંગ વિથ વોર્મ રિસ્ટાર્ટ્સ છે, જેના વિશે હું થોડી વાર પછી વાત કરીશ. આ એક એવી ટેકનિક છે જેનો હું મારી લગભગ તમામ તાજેતરની સ્પર્ધાઓમાં ઉપયોગ કરું છું, અને તેમની સાથે તે ગ્રીડને સારી રીતે તાલીમ આપવા માટે, સારી ન્યૂનતમ હાંસલ કરવા માટે બહાર આવ્યું છે.

આગળ પ્લેટુ પર લર્નિંગ રેટ ઘટાડવો. તમે નેટવર્કને તાલીમ આપવાનું શરૂ કરો છો, ચોક્કસ લર્નિંગ રેટ સેટ કરો છો, તેને શીખવવાનું ચાલુ રાખો છો અને તમારું નુકસાન ધીમે ધીમે ચોક્કસ મૂલ્યમાં પરિવર્તિત થાય છે. તમે આ તપાસો, ઉદાહરણ તરીકે, દસ યુગ માટે નુકસાન બિલકુલ બદલાયું નથી. તમે તમારા શીખવાની દરને અમુક મૂલ્યથી ઘટાડી શકો છો અને શીખવાનું ચાલુ રાખો છો. તે ફરીથી થોડું ઘટે છે, ઓછામાં ઓછું કન્વર્જ થાય છે, અને તમે ફરીથી શીખવાનો દર ઓછો કરો છો, અને તેથી વધુ, જ્યાં સુધી તમારું નેટવર્ક આખરે કન્વર્જ ન થાય ત્યાં સુધી.

આગળ એક રસપ્રદ ટેકનિક છે: શીખવાના દરને ક્ષીણ કરશો નહીં, બેચનું કદ વધારશો. આ જ નામનો એક લેખ છે. જ્યારે તમે નેટવર્કને તાલીમ આપો છો, ત્યારે તમારે શીખવાની દર ઘટાડવાની જરૂર નથી, તમે ફક્ત બેચનું કદ વધારી શકો છો.

આ તકનીક, માર્ગ દ્વારા, એલેક્સ પેરિનોવ દ્વારા ઉપયોગમાં લેવામાં આવી હતી. તેણે 408 ની બરાબર બેચ સાથે શરૂઆત કરી, અને જ્યારે તેનું નેટવર્ક કેટલાક ઉચ્ચ પ્રદેશ પર પહોંચ્યું, ત્યારે તેણે બેચનું કદ બમણું કર્યું, વગેરે.

વાસ્તવમાં, મને યાદ નથી કે તેની બેચનું કદ શું મૂલ્ય સુધી પહોંચ્યું, પરંતુ રસપ્રદ વાત એ છે કે કાગલ પર એવી ટીમો હતી જેણે સમાન તકનીકનો ઉપયોગ કર્યો હતો, તેમની બેચનું કદ લગભગ 10000 હતું. માર્ગ દ્વારા, ઊંડા શિક્ષણ માટે આધુનિક ફ્રેમવર્ક, જેમ કે PyTorch, ઉદાહરણ તરીકે, તમને આ ખૂબ જ સરળતાથી કરવાની મંજૂરી આપે છે. તમે તમારી બેચ જનરેટ કરો અને તેને નેટવર્ક પર સબમિટ કરો જે રીતે તે છે તે રીતે નહીં, પરંતુ તેને ભાગોમાં વિભાજીત કરો જેથી કરીને તે તમારા વિડિયો કાર્ડમાં ફિટ થઈ જાય, ગ્રેડિએન્ટની ગણતરી કરો અને તમે સમગ્ર બેચ માટે ગ્રેડિએન્ટની ગણતરી કરી લો તે પછી અપડેટ કરો. વજન

માર્ગ દ્વારા, આ સ્પર્ધામાં હજી પણ મોટા બેચના કદનો સમાવેશ કરવામાં આવ્યો હતો, કારણ કે ડેટા એકદમ ઘોંઘાટીયા હતો, અને મોટા બેચના કદથી તમને ગ્રેડિયન્ટનું વધુ સચોટ અંદાજ કાઢવામાં મદદ મળી હતી.

સ્યુડો-લેબલિંગનો પણ ઉપયોગ થતો હતો, મોટે ભાગે રોમન સોલોવીવ દ્વારા ઉપયોગ થતો હતો. તેણે બેચમાં ટેસ્ટમાંથી લગભગ અડધો ડેટા સેમ્પલ કર્યો અને આવી બેચ પર ગ્રીડને તાલીમ આપી.

ચિત્રોનું કદ મહત્વનું છે, પરંતુ હકીકત એ છે કે તમારી પાસે ઘણો ડેટા છે, તમારે લાંબા સમય સુધી તાલીમ લેવાની જરૂર છે, અને જો તમારા ચિત્રનું કદ ખૂબ મોટું છે, તો તમે ખૂબ લાંબા સમય સુધી તાલીમ આપશો. પરંતુ આનાથી તમારા અંતિમ વર્ગીકરણની ગુણવત્તામાં વધુ ઉમેરો થયો નથી, તેથી તે અમુક પ્રકારના ટ્રેડ-ઓફનો ઉપયોગ કરવા યોગ્ય હતું. અને અમે માત્ર એવા ચિત્રો અજમાવ્યા જે કદમાં બહુ મોટા ન હતા.

તે બધું કેવી રીતે શીખ્યા? પ્રથમ, નાના કદના ચિત્રો લેવામાં આવ્યા હતા, તેમના પર ઘણા યુગો ચલાવવામાં આવ્યા હતા, આમાં ઘણો સમય લાગ્યો હતો. પછી મોટા કદના ચિત્રો આપવામાં આવ્યા, નેટવર્કને પ્રશિક્ષિત કરવામાં આવ્યું, પછી તેનાથી પણ વધુ, તેનાથી પણ વધુ, જેથી તેને શરૂઆતથી તાલીમ ન આપી શકાય અને ઘણો સમય બગાડવામાં ન આવે.

ઑપ્ટિમાઇઝર્સ વિશે. અમે SGD અને એડમનો ઉપયોગ કર્યો. આ રીતે એક જ મોડલ મેળવવું શક્ય હતું, જેણે પબ્લિક લીડરબોર્ડ પર 0,941-0,946 ની સ્પીડ આપી, જે ઘણું સારું છે.

જો તમે મોડલ્સને કોઈ રીતે જોડો છો, તો તમને 0,951 ની આસપાસ ક્યાંક મળશે. જો તમે વધુ એક ટેકનિકનો ઉપયોગ કરશો, તો તમને પબ્લિક બોર્ડ પર 0,954નો અંતિમ સ્કોર મળશે, જેમ કે અમે મેળવ્યા હતા. પરંતુ તેના પર પછીથી વધુ. આગળ હું તમને કહીશ કે અમે મોડેલોને કેવી રીતે એસેમ્બલ કર્યા, અને અમે આવી અંતિમ ગતિ કેવી રીતે પ્રાપ્ત કરી શક્યા.

આગળ હું ગરમ ​​પુનઃપ્રારંભ સાથે કોસિંગ એનલીંગ અથવા ગરમ પુનઃપ્રારંભ સાથે સ્ટોકેસ્ટિક ગ્રેડિયન્ટ ડીસેન્ટ વિશે વાત કરવા માંગુ છું. સામાન્ય રીતે કહીએ તો, સૈદ્ધાંતિક રીતે, તમે કોઈપણ ઑપ્ટિમાઇઝરનો ઉપયોગ કરી શકો છો, પરંતુ મુદ્દો આ છે: જો તમે ફક્ત એક નેટવર્કને તાલીમ આપો અને ધીમે ધીમે તે ન્યૂનતમમાં કન્વર્જ થાય, તો બધું ઠીક છે, તમને એક નેટવર્ક મળશે, તે ચોક્કસ ભૂલો કરે છે, પરંતુ તમે તેને થોડી અલગ રીતે તાલીમ આપી શકે છે. તમે અમુક પ્રારંભિક શિક્ષણ દર સેટ કરશો, અને ધીમે ધીમે આ સૂત્ર અનુસાર તેને ઘટાડશો. તમે તેને ઘટાડશો, તમારું નેટવર્ક અમુક ન્યૂનતમ પર આવે છે, પછી તમે વજન બચાવો છો, અને ફરીથી શીખવાની દરને સેટ કરો છો જે તાલીમની શરૂઆતમાં હતો, આમ આ લઘુત્તમથી ક્યાંક ઉપર જાય છે, અને ફરીથી તમારો શીખવાનો દર ઘટે છે.

આમ, તમે એક સાથે અનેક ન્યૂનતમ મુલાકાત લઈ શકો છો, જેમાં તમારું નુકસાન, વત્તા અથવા ઓછા, સમાન હશે. પરંતુ હકીકત એ છે કે આ વજનવાળા નેટવર્ક્સ તમારી તારીખે વિવિધ ભૂલો આપશે. તેમને સરેરાશ કરીને, તમે અમુક પ્રકારનો અંદાજ મેળવશો, અને તમારી ઝડપ વધુ હશે.

અમે અમારા મોડલ્સને કેવી રીતે એસેમ્બલ કર્યા તે વિશે. પ્રસ્તુતિની શરૂઆતમાં, મેં કસોટીમાં ડેટાની માત્રા અને વર્ગોની સંખ્યા પર ધ્યાન આપવાનું કહ્યું. જો તમે ટેસ્ટ સેટમાં લક્ષ્યોની સંખ્યામાં 1 ઉમેરો છો અને વર્ગોની સંખ્યા દ્વારા વિભાજીત કરો છો, તો તમને 330 નંબર મળશે, અને આ ફોરમ પર લખવામાં આવ્યું હતું - કે પરીક્ષણમાં વર્ગો સંતુલિત છે. આનો ઉપયોગ કરી શકાય છે.

આના આધારે, રોમન સોલોવીવ મેટ્રિક સાથે આવ્યા, અમે તેને પ્રોક્સી સ્કોર કહીએ છીએ, જે લીડરબોર્ડ સાથે ખૂબ સારી રીતે સંબંધિત છે. મુદ્દો એ છે: તમે એક આગાહી કરો છો, તમારા અનુમાનોમાંથી ટોચના 1 લો અને દરેક વર્ગ માટે ઑબ્જેક્ટની સંખ્યા ગણો. આગળ, દરેક મૂલ્યમાંથી 330 બાદ કરો અને પરિણામી સંપૂર્ણ મૂલ્યો ઉમેરો.

નીચેના મૂલ્યો પ્રાપ્ત થયા હતા. આનાથી અમને પ્રોબિંગ લીડરબોર્ડ બનાવવા માટે નહીં, પરંતુ સ્થાનિક રીતે માન્ય કરવામાં અને અમારા જોડાણો માટે ગુણાંક પસંદ કરવામાં મદદ મળી.

એક જોડાણ સાથે તમે આવી ઝડપ મેળવી શકો છો. હું બીજું શું કરી શકું? ધારો કે તમે માહિતીનો ઉપયોગ કર્યો છે કે તમારી પરીક્ષાના વર્ગો સંતુલિત છે.

સંતુલન અલગ હતું. તેમાંથી એકનું ઉદાહરણ - પ્રથમ સ્થાન મેળવનારા લોકો પાસેથી સંતુલન.

અમે શું કર્યું? અમારું સંતુલન એકદમ સરળ હતું, તે એવજેની બાબાખનીન દ્વારા સૂચવવામાં આવ્યું હતું. અમે પ્રથમ અમારા અનુમાનોને ટોચના 1 અને તેમાંથી પસંદ કરેલા ઉમેદવારો દ્વારા સૉર્ટ કર્યા - જેથી વર્ગોની સંખ્યા 330 કરતાં વધી ન જાય. પરંતુ કેટલાક વર્ગો માટે તમે 330 કરતાં ઓછા અનુમાનો સાથે સમાપ્ત કરો છો. ઠીક છે, ચાલો ટોચના 2 અને ટોચના 3 દ્વારા પણ સૉર્ટ કરીએ. , અને અમે ઉમેદવારોને પણ પસંદ કરીશું.

આપણું સંતુલન પ્રથમ સ્થાનના સંતુલનથી કેવી રીતે અલગ હતું? તેઓ પુનરાવર્તિત અભિગમનો ઉપયોગ કરતા હતા, સૌથી વધુ લોકપ્રિય વર્ગ લેતા હતા અને તે વર્ગની સંભાવનાઓને થોડી ઓછી સંખ્યામાં ઘટાડી હતી જ્યાં સુધી તે વર્ગ સૌથી વધુ લોકપ્રિય ન હતો. અમે પછીનો સૌથી લોકપ્રિય વર્ગ લીધો. તેથી જ્યાં સુધી તમામ વર્ગોની સંખ્યા સમાન ન થાય ત્યાં સુધી તેઓ તેમને ઘટાડવાનું ચાલુ રાખ્યું.

દરેક વ્યક્તિએ નેટવર્કને તાલીમ આપવા માટે વત્તા અથવા ઓછા એક અભિગમનો ઉપયોગ કર્યો, પરંતુ દરેક વ્યક્તિએ સંતુલનનો ઉપયોગ કર્યો નથી. સંતુલનનો ઉપયોગ કરીને, તમે સોનામાં જઈ શકો છો, અને જો તમે નસીબદાર છો, તો પછી પૈસામાં.

તારીખની પૂર્વ પ્રક્રિયા કેવી રીતે કરવી? દરેક વ્યક્તિએ તે જ રીતે તારીખ, વત્તા અથવા ઓછાની પ્રીપ્રોસેસ કરી હતી - હાથથી બનાવેલ સુવિધાઓ બનાવવી, વિવિધ સ્ટ્રોક રંગો સાથે સમયને એન્કોડ કરવાનો પ્રયાસ કરવો, વગેરે. 8મું સ્થાન મેળવનાર એલેક્સી નોઝડ્રિન-પ્લોટનિટ્સકીએ આ વિશે વાત કરી.

તેણે તે અલગ રીતે કર્યું. તેણે કહ્યું કે તમારી આ બધી હસ્તકલા સુવિધાઓ કામ કરતી નથી, તમારે તે કરવાની જરૂર નથી, તમારા નેટવર્કને આ બધું જાતે શીખવું જોઈએ. અને તેના બદલે, તે લર્નિંગ મોડ્યુલ્સ સાથે આવ્યો જે તમારા ડેટાને પ્રીપ્રોસેસ કરે છે. તેણે પ્રી-પ્રોસેસિંગ - પોઈન્ટ કોઓર્ડિનેટ્સ અને ટાઇમિંગ્સ વિના મૂળ ડેટા તેમાં ફેંકી દીધો.

પછી તેણે કોઓર્ડિનેટ્સના આધારે તફાવત લીધો, અને સમયના આધારે તે બધાની સરેરાશ કરી. અને તે તેના બદલે લાંબા મેટ્રિક્સ સાથે આવ્યો. તેણે 1xn કદનું મેટ્રિક્સ મેળવવા માટે તેના પર ઘણી વખત 64D કન્વોલ્યુશન લાગુ કર્યું, જ્યાં n એ પોઈન્ટની કુલ સંખ્યા છે અને 64 પરિણામી મેટ્રિક્સને કોઈપણ કન્વોલ્યુશનલ નેટવર્કના સ્તરમાં ફીડ કરવા માટે બનાવવામાં આવે છે, જે ચેનલોની સંખ્યાને સ્વીકારે છે. - 64. તેણે 64xn મેટ્રિક્સ મેળવ્યું, પછી તેમાંથી અમુક કદનું ટેન્સર બનાવવું જરૂરી હતું જેથી ચેનલોની સંખ્યા 64 જેટલી થાય. તેણે એક બનાવવા માટે 0 થી 32 ની રેન્જમાં તમામ બિંદુઓ X, Y ને સામાન્ય બનાવ્યા. 32x32 કદનું ટેન્સર. મને ખબર નથી કે તે શા માટે 32x32 ઇચ્છે છે, તે તે રીતે થયું. અને આ સંકલન પર તેણે 64xn કદના આ મેટ્રિક્સનો ટુકડો મૂક્યો. તેથી તે હમણાં જ 32x32x64 ટેન્સર સાથે સમાપ્ત થયું કે જે તમે તમારા કન્વોલ્યુશનલ ન્યુરલ નેટવર્કમાં આગળ મૂકી શકો છો. હું એટલું જ કહેવા માંગતો હતો.

સોર્સ: www.habr.com