Habré પર મશીન લર્નિંગ સ્પર્ધાઓની થીમ ચાલુ રાખીને, અમે વાચકોને વધુ બે પ્લેટફોર્મ્સ સાથે પરિચય કરાવવા માંગીએ છીએ. તેઓ ચોક્કસપણે કાગલ જેટલા વિશાળ નથી, પરંતુ તેઓ ચોક્કસપણે ધ્યાન આપવાના પાત્ર છે.

અંગત રીતે, મને ઘણા કારણોસર કાગલે બહુ ગમતું નથી:

• સૌપ્રથમ, ત્યાં સ્પર્ધાઓ ઘણીવાર ઘણા મહિનાઓ સુધી ચાલે છે, અને સક્રિય ભાગીદારી માટે ઘણા પ્રયત્નોની જરૂર પડે છે;
• બીજું, જાહેર કર્નલ (જાહેર ઉકેલો). કાગલના અનુયાયીઓ તેમની સાથે તિબેટીયન સાધુઓની શાંતિથી સારવાર કરવાની સલાહ આપે છે, પરંતુ વાસ્તવમાં તે ખૂબ જ શરમજનક છે જ્યારે તમે એક કે બે મહિનાથી કામ કરી રહ્યાં છો તે અચાનક દરેક માટે ચાંદીની થાળી પર મૂકવામાં આવે છે.

સદનસીબે, મશીન લર્નિંગ સ્પર્ધાઓ અન્ય પ્લેટફોર્મ પર યોજવામાં આવે છે, અને આમાંની કેટલીક સ્પર્ધાઓની ચર્ચા કરવામાં આવશે.

IDAO	SNA હેકાથોન 2019
સત્તાવાર ભાષા: અંગ્રેજી, આયોજકો: Yandex, Sberbank, HSE	સત્તાવાર રશિયન ભાષા, આયોજકો: Mail.ru જૂથ
ઑનલાઇન રાઉન્ડ: 15 જાન્યુઆરી - 11 ફેબ્રુઆરી, 2019; ઓન-સાઇટ ફાઇનલ: એપ્રિલ 4-6, 2019	ઑનલાઇન - 7 ફેબ્રુઆરીથી 15 માર્ચ સુધી; ઑફલાઇન - 30 માર્ચથી 1 એપ્રિલ સુધી.
લાર્જ હેડ્રોન કોલાઈડરમાં કણ વિશેના ડેટાના ચોક્કસ સેટનો ઉપયોગ કરીને (ટ્રેજેક્ટરી, મોમેન્ટમ અને અન્ય જટિલ ભૌતિક પરિમાણો), નક્કી કરો કે તે મ્યુઓન છે કે નહીં. આ નિવેદનમાંથી, 2 કાર્યો ઓળખવામાં આવ્યા હતા: - એકમાં તમારે ફક્ત તમારી આગાહી મોકલવાની હતી, - અને બીજામાં - આગાહી માટેનો સંપૂર્ણ કોડ અને મોડેલ, અને એક્ઝેક્યુશન ચાલતા સમય અને મેમરીના ઉપયોગ પર એકદમ કડક પ્રતિબંધોને આધીન હતું.	SNA હેકાથોન સ્પર્ધા માટે, ફેબ્રુઆરી-માર્ચ 2018 માટે વપરાશકર્તા સમાચાર ફીડ્સમાં ખુલ્લા જૂથોમાંથી કન્ટેન્ટ ડિસ્પ્લેના લોગ એકત્રિત કરવામાં આવ્યા હતા. ટેસ્ટ સેટમાં માર્ચના છેલ્લા અઠવાડિયે અને અડધાનો સમાવેશ થાય છે. લોગમાંની દરેક એન્ટ્રીમાં શું બતાવવામાં આવ્યું હતું અને કોને, તેમજ વપરાશકર્તાએ આ સામગ્રી પર કેવી પ્રતિક્રિયા આપી તે વિશેની માહિતી શામેલ છે: તેને રેટ કર્યું, ટિપ્પણી કરી, તેને અવગણ્યું અથવા તેને ફીડમાંથી છુપાવ્યું. SNA હેકાથોનના કાર્યોનો સાર એ છે કે સોશિયલ નેટવર્ક ઓડનોક્લાસ્નીકીના દરેક વપરાશકર્તાને તેના ફીડને ક્રમાંકિત કરવા, શક્ય તેટલી ઊંચી પોસ્ટ્સ કે જે "વર્ગ" પ્રાપ્ત કરશે. ઑનલાઇન તબક્કે, કાર્યને 3 ભાગોમાં વહેંચવામાં આવ્યું હતું: 1. વિવિધ સહયોગી લાક્ષણિકતાઓ અનુસાર પોસ્ટને ક્રમ આપો 2. તેઓમાં રહેલી છબીઓના આધારે પોસ્ટને ક્રમ આપો 3. પોસ્ટ્સને તેમાં સમાવિષ્ટ ટેક્સ્ટ અનુસાર ક્રમ આપો
જટિલ કસ્ટમ મેટ્રિક, ROC-AUC જેવું કંઈક	વપરાશકર્તા દ્વારા સરેરાશ ROC-AUC
પ્રથમ તબક્કા માટેના ઈનામો - N સ્થાનો માટે ટી-શર્ટ, બીજા તબક્કામાં જવા માટે, જ્યાં સ્પર્ધા દરમિયાન આવાસ અને ભોજન ચૂકવવામાં આવ્યું હતું બીજો તબક્કો -??? (ચોક્કસ કારણોસર, હું એવોર્ડ સમારંભમાં હાજર ન હતો અને અંતે ઇનામ શું હતા તે જાણવામાં અસમર્થ હતો). તેઓએ વિજેતા ટીમના તમામ સભ્યોને લેપટોપ આપવાનું વચન આપ્યું હતું	પ્રથમ તબક્કા માટેના ઈનામો - 100 શ્રેષ્ઠ સહભાગીઓ માટે ટી-શર્ટ, બીજા તબક્કામાં પેસેજ, જ્યાં મોસ્કોની મુસાફરી, સ્પર્ધા દરમિયાન આવાસ અને ભોજન ચૂકવવામાં આવ્યું હતું. ઉપરાંત, પ્રથમ તબક્કાના અંતમાં, સ્ટેજ 3 પર 1 કાર્યોમાં શ્રેષ્ઠ માટે ઈનામોની જાહેરાત કરવામાં આવી હતી: દરેક વ્યક્તિએ RTX 2080 TI વિડિયો કાર્ડ જીત્યું! બીજો તબક્કો એક ટીમ સ્ટેજ હતો, ટીમોમાં 2 થી 5 લોકોનો સમાવેશ થતો હતો, ઇનામ: 1 લી સ્થાન - 300 રુબેલ્સ 2 લી સ્થાન - 200 રુબેલ્સ 3 લી સ્થાન - 100 રુબેલ્સ જ્યુરી ઇનામ - 100 રુબેલ્સ
સત્તાવાર ટેલિગ્રામ જૂથ, ~190 સહભાગીઓ, અંગ્રેજીમાં સંચાર, પ્રશ્નોના જવાબ માટે ઘણા દિવસો રાહ જોવી પડી	ટેલિગ્રામમાં સત્તાવાર જૂથ, ~1500 સહભાગીઓ, સહભાગીઓ અને આયોજકો વચ્ચેના કાર્યોની સક્રિય ચર્ચા
આયોજકોએ બે મૂળભૂત ઉકેલો પૂરા પાડ્યા, સરળ અને અદ્યતન. સરળ માટે 16 GB કરતાં ઓછી RAM જરૂરી છે, અને અદ્યતન મેમરી 16 માં ફિટ થતી નથી. તે જ સમયે, થોડું આગળ જોતાં, સહભાગીઓ અદ્યતન ઉકેલને નોંધપાત્ર રીતે આગળ વધારવામાં સક્ષમ ન હતા. આ સોલ્યુશન્સ લોન્ચ કરવામાં કોઈ મુશ્કેલીઓ ન હતી. એ નોંધવું જોઈએ કે અદ્યતન ઉદાહરણમાં ઉકેલને સુધારવાનું ક્યાંથી શરૂ કરવું તે અંગેના સંકેત સાથે એક ટિપ્પણી હતી.	દરેક કાર્ય માટે મૂળભૂત આદિમ ઉકેલો પૂરા પાડવામાં આવ્યા હતા, જે સહભાગીઓ દ્વારા સરળતાથી વટાવી દેવામાં આવ્યા હતા. સ્પર્ધાના શરૂઆતના દિવસોમાં, સહભાગીઓને ઘણી મુશ્કેલીઓનો સામનો કરવો પડ્યો: સૌપ્રથમ, ડેટા અપાચે પારક્વેટ ફોર્મેટમાં આપવામાં આવ્યો હતો, અને પાયથોન અને લાકડાના પેકેજના તમામ સંયોજનો ભૂલો વિના કામ કરતા ન હતા. બીજી મુશ્કેલી મેઇલ ક્લાઉડમાંથી ચિત્રો ડાઉનલોડ કરવાની હતી; આ ક્ષણે એક જ સમયે મોટી માત્રામાં ડેટા ડાઉનલોડ કરવાની કોઈ સરળ રીત નથી. પરિણામે, આ સમસ્યાઓએ સહભાગીઓને થોડા દિવસો માટે વિલંબ કર્યો.

IDAO. પ્રથમ તબક્કો

કાર્ય મ્યુઓન/નોન-મ્યુઓન કણોને તેમની લાક્ષણિકતાઓ અનુસાર વર્ગીકૃત કરવાનું હતું. આ કાર્યની મુખ્ય વિશેષતા તાલીમ ડેટામાં વજનના સ્તંભની હાજરી હતી, જે આયોજકોએ પોતે આ લાઇનના જવાબમાં આત્મવિશ્વાસ તરીકે અર્થઘટન કર્યું હતું. સમસ્યા એ હતી કે ઘણી બધી પંક્તિઓ નકારાત્મક વજન ધરાવે છે.

સંકેત સાથેની લાઇન વિશે થોડી મિનિટો વિચાર્યા પછી (સંકેત ફક્ત વજનના સ્તંભની આ વિશેષતા તરફ ધ્યાન દોર્યું) અને આ ગ્રાફ બનાવ્યા પછી, અમે 3 વિકલ્પો તપાસવાનું નક્કી કર્યું:

1) નકારાત્મક વજન (અને તે મુજબ વજન) સાથે રેખાઓના લક્ષ્યને ઉલટાવો
2) વજનને ન્યૂનતમ મૂલ્યમાં શિફ્ટ કરો જેથી કરીને તે 0 થી શરૂ થાય
3) સ્ટ્રિંગ વજનનો ઉપયોગ કરશો નહીં

ત્રીજો વિકલ્પ સૌથી ખરાબ નીકળ્યો, પરંતુ પ્રથમ બે પરિણામમાં સુધારો કર્યો, શ્રેષ્ઠ વિકલ્પ નંબર 1 હતો, જેણે અમને તરત જ પ્રથમ કાર્યમાં વર્તમાન બીજા સ્થાને અને બીજામાં પ્રથમ સ્થાને લાવ્યું.

અમારું આગલું પગલું ગુમ થયેલ મૂલ્યો માટેના ડેટાની સમીક્ષા કરવાનું હતું. આયોજકોએ અમને પહેલાથી જ કોમ્બેડ ડેટા આપ્યો હતો, જ્યાં ઘણી ઓછી કિંમતો હતી, અને તે -9999 દ્વારા બદલવામાં આવી હતી.

અમને MatchedHit_{X,Y,Z}[N] અને MatchedHit_D{X,Y,Z}[N] કૉલમ્સમાં ખૂટતા મૂલ્યો મળ્યાં, અને માત્ર ત્યારે જ જ્યારે N=2 અથવા 3. આપણે સમજીએ છીએ તેમ, કેટલાક કણો મળ્યાં નથી. બધા 4 ડિટેક્ટર્સ પસાર કરો, અને 3જી અથવા 4ઠ્ઠી પ્લેટ પર અટકી ગયા. ડેટામાં Lextra_{X,Y}[N] કૉલમ્સ પણ છે, જે દેખીતી રીતે MatchedHit_{X,Y,Z}[N] જેવી જ વસ્તુનું વર્ણન કરે છે, પરંતુ અમુક પ્રકારના એક્સ્ટ્રાપોલેશનનો ઉપયોગ કરે છે. આ ઓછા અનુમાનોએ સૂચવ્યું કે Lextra_{X,Y}[N] ને MatchedHit_{X,Y,Z}[N] (માત્ર X અને Y કોઓર્ડિનેટ્સ માટે) માં ખૂટતા મૂલ્યો માટે બદલી શકાય છે. MatchedHit_Z[N] મધ્યમથી સારી રીતે ભરેલું હતું. આ મેનિપ્યુલેશન્સ અમને બંને કાર્યોમાં 1 લી મધ્યવર્તી સ્થાને પહોંચવાની મંજૂરી આપે છે.

પ્રથમ તબક્કામાં જીતવા માટે તેઓએ કંઈ આપ્યું ન હતું તે ધ્યાનમાં લેતા, અમે ત્યાં રોકાઈ શક્યા હોત, પરંતુ અમે ચાલુ રાખ્યું, કેટલાક સુંદર ચિત્રો દોર્યા અને નવી સુવિધાઓ સાથે આવ્યા.

ઉદાહરણ તરીકે, અમે જોયું કે જો આપણે ચાર ડિટેક્ટર પ્લેટોમાંથી દરેક સાથે કણના આંતરછેદ બિંદુઓને પ્લોટ કરીએ છીએ, તો આપણે જોઈ શકીએ છીએ કે દરેક પ્લેટ પરના બિંદુઓને 5 થી 4 ના પાસા રેશિયો સાથે 5 લંબચોરસમાં જૂથબદ્ધ કરવામાં આવ્યા છે અને કેન્દ્રમાં છે. બિંદુ (0,0), અને માં પ્રથમ લંબચોરસમાં કોઈ બિંદુઓ નથી.

પ્લેટ નંબર / લંબચોરસ પરિમાણો	1	2	3	4	5
પ્લેટ 1	500h625	1000h1250	2000h2500	4000h5000	8000h10000
પ્લેટ 2	520h650	1040h1300	2080h2600	4160h5200	8320h10400
પ્લેટ 3	560h700	1120h1400	2240h2800	4480h5600	8960h11200
પ્લેટ 4	600h750	1200h1500	2400h3000	4800h6000	9600h12000

આ પરિમાણોને નિર્ધારિત કર્યા પછી, અમે દરેક કણ માટે 4 નવી સ્પષ્ટ વિશેષતાઓ ઉમેરી - લંબચોરસની સંખ્યા જેમાં તે દરેક પ્લેટને છેદે છે.

અમે એ પણ નોંધ્યું છે કે કણો કેન્દ્રથી બાજુઓ પર છૂટાછવાયા લાગે છે અને આ સ્કેટરિંગની "ગુણવત્તા" નું કોઈક રીતે મૂલ્યાંકન કરવાનો વિચાર આવ્યો. આદર્શ રીતે, ટેક-ઓફ પોઈન્ટના આધારે અમુક પ્રકારના "આદર્શ" પેરાબોલા સાથે આવવું અને તેમાંથી વિચલનનો અંદાજ કાઢવો સંભવ છે, પરંતુ અમે અમારી જાતને "આદર્શ" સીધી રેખા સુધી મર્યાદિત કરી છે. પ્રવેશના દરેક બિંદુ માટે આવી આદર્શ સીધી રેખાઓ બાંધ્યા પછી, અમે આ સીધી રેખામાંથી દરેક કણના માર્ગના પ્રમાણભૂત વિચલનની ગણતરી કરી શક્યા. લક્ષ્ય = 1 માટે સરેરાશ વિચલન 152 હોવાથી, અને લક્ષ્ય = 0 માટે તે 390 હતું, અમે કામચલાઉ રીતે આ સુવિધાને સારી ગણી છે. અને ખરેખર, આ સુવિધા તરત જ તેને સૌથી વધુ ઉપયોગી લોકોની ટોચ પર બનાવી.

અમને આનંદ થયો અને આદર્શ સીધી રેખામાંથી દરેક કણ માટેના તમામ 4 આંતરછેદ બિંદુઓના વિચલનને વધારાના 4 લક્ષણો તરીકે ઉમેર્યા (અને તે પણ સારી રીતે કામ કર્યું).

સ્પર્ધાના વિષય પરના વૈજ્ઞાનિક લેખોની લિંક્સ, આયોજકો દ્વારા અમને આપવામાં આવે છે, તે વિચારને પ્રોત્સાહન આપે છે કે આપણે આ સમસ્યાને હલ કરવામાં પ્રથમથી દૂર છીએ અને, કદાચ, ત્યાં કોઈ વિશિષ્ટ સોફ્ટવેર છે. ગીથબ પર રીપોઝીટરી શોધ્યા પછી જ્યાં IsMuonSimple, IsMuon, IsMuonLoose પદ્ધતિઓ લાગુ કરવામાં આવી હતી, અમે તેમને નાના ફેરફારો સાથે અમારી સાઇટ પર સ્થાનાંતરિત કર્યા. પદ્ધતિઓ પોતે ખૂબ જ સરળ હતી: ઉદાહરણ તરીકે, જો ઊર્જા ચોક્કસ થ્રેશોલ્ડ કરતા ઓછી હોય, તો તે મ્યુઓન નથી, અન્યથા તે મ્યુઓન છે. આવી સરળ સુવિધાઓ દેખીતી રીતે ગ્રેડિયન્ટ બૂસ્ટિંગનો ઉપયોગ કરવાના કિસ્સામાં વધારો આપી શકતી નથી, તેથી અમે થ્રેશોલ્ડમાં બીજું નોંધપાત્ર "અંતર" ઉમેર્યું છે. આ સુવિધાઓમાં પણ થોડો સુધારો કરવામાં આવ્યો છે. કદાચ, હાલની પદ્ધતિઓનું વધુ સારી રીતે પૃથ્થકરણ કરીને, મજબૂત પદ્ધતિઓ શોધવાનું અને તેમને ચિહ્નોમાં ઉમેરવાનું શક્ય હતું.

સ્પર્ધાના અંતે, અમે બીજી સમસ્યા માટે "ઝડપી" સોલ્યુશનને સહેજ ટ્વિક કર્યું; અંતે, તે નીચેના મુદ્દાઓમાં બેઝલાઇનથી અલગ હતું:

1. નકારાત્મક વજન સાથેની હરોળમાં લક્ષ્ય ઊંધું હતું
2. MatchedHit_{X,Y,Z[N] માં ખૂટતા મૂલ્યો ભરેલા
3. ઊંડાઈ ઘટાડીને 7 કરી
4. શીખવાનો દર ઘટાડીને 0.1 કર્યો (0.19 હતો)

પરિણામે, અમે વધુ સુવિધાઓ અજમાવી (ખૂબ સફળતાપૂર્વક નથી), પસંદ કરેલ પરિમાણો અને પ્રશિક્ષિત catboost, lightgbm અને xgboost, અનુમાનોના વિવિધ મિશ્રણનો પ્રયાસ કર્યો અને ખાનગી ખોલતા પહેલા અમે વિશ્વાસપૂર્વક બીજા કાર્ય પર જીત મેળવી, અને પ્રથમ પર અમે પ્રથમ કાર્યમાં હતા. નેતાઓ

ખાનગી ખોલ્યા પછી અમે 10લા કાર્ય માટે 1મા સ્થાને અને બીજા માટે 3જા સ્થાને હતા. બધા નેતાઓ ભળી ગયા, અને ખાનગીમાં ઝડપ લિબબોર્ડ કરતાં વધુ હતી. એવું લાગે છે કે ડેટા નબળી રીતે સ્તરીકૃત હતો (અથવા ઉદાહરણ તરીકે ખાનગીમાં નકારાત્મક વજન સાથે કોઈ પંક્તિઓ ન હતી) અને આ થોડી નિરાશાજનક હતી.

SNA હેકાથોન 2019 - ટેક્સ્ટ્સ. પ્રથમ તબક્કો

કાર્ય ઓડનોક્લાસ્નીકી સોશિયલ નેટવર્ક પર વપરાશકર્તાની પોસ્ટ્સને તેમાં સમાવિષ્ટ ટેક્સ્ટના આધારે ક્રમ આપવાનું હતું; ટેક્સ્ટ ઉપરાંત, પોસ્ટની કેટલીક વધુ લાક્ષણિકતાઓ (ભાષા, માલિક, બનાવટની તારીખ અને સમય, તારીખ અને જોવાનો સમય) હતી. ).

ટેક્સ્ટ સાથે કામ કરવા માટે ક્લાસિકલ અભિગમ તરીકે, હું બે વિકલ્પોને પ્રકાશિત કરીશ:

1. દરેક શબ્દને n-પરિમાણીય વેક્ટર સ્પેસમાં મેપિંગ કરવું જેથી સમાન શબ્દોમાં સમાન વેક્ટર હોય (વધુ વાંચો અમારા લેખ), પછી કાં તો ટેક્સ્ટ માટે સરેરાશ શબ્દ શોધવા અથવા શબ્દોની સંબંધિત સ્થિતિ (CNN, LSTM/GRU) ધ્યાનમાં લેતી પદ્ધતિઓનો ઉપયોગ કરીને.
2. સંપૂર્ણ વાક્યો સાથે તરત જ કામ કરી શકે તેવા મોડલનો ઉપયોગ કરવો. ઉદાહરણ તરીકે, બર્ટ. સિદ્ધાંતમાં, આ અભિગમ વધુ સારું કામ કરવું જોઈએ.

ગ્રંથો સાથેનો આ મારો પહેલો અનુભવ હોવાથી, કોઈને શીખવવું ખોટું હશે, તેથી હું મારી જાતને શીખવીશ. સ્પર્ધાની શરૂઆતમાં હું મારી જાતને આ ટીપ્સ આપીશ:

1. તમે કંઈક શીખવવા દોડો તે પહેલાં, ડેટા જુઓ! ટેક્સ્ટ ઉપરાંત, ડેટામાં ઘણી કૉલમ્સ હતી અને તેમાંથી મારા કરતા ઘણું વધારે સ્ક્વિઝ કરવું શક્ય હતું. સૌથી સરળ બાબત એ છે કે કેટલીક કૉલમ્સ માટે સરેરાશ લક્ષ્ય એન્કોડિંગ કરવું.
2. બધા ડેટામાંથી શીખશો નહીં! ત્યાં ઘણો ડેટા હતો (લગભગ 17 મિલિયન પંક્તિઓ) અને તે બધાનો ઉપયોગ પૂર્વધારણાઓ ચકાસવા માટે જરૂરી નથી. તાલીમ અને પ્રીપ્રોસેસિંગ એકદમ ધીમું હતું, અને દેખીતી રીતે મારી પાસે વધુ રસપ્રદ પૂર્વધારણાઓ ચકાસવા માટે સમય હોત.
3. <વિવાદાસ્પદ સલાહ> કિલર મોડલ શોધવાની જરૂર નથી. મેં એલ્મો અને બર્ટને શોધવામાં લાંબો સમય વિતાવ્યો, એવી આશામાં કે તેઓ તરત જ મને ઉચ્ચ સ્થાને લઈ જશે, અને પરિણામે મેં રશિયન ભાષા માટે ફાસ્ટટેક્સ્ટ પૂર્વ-પ્રશિક્ષિત એમ્બેડિંગ્સનો ઉપયોગ કર્યો. હું એલ્મો સાથે વધુ સારી ઝડપ હાંસલ કરી શક્યો ન હતો, અને મારી પાસે હજુ પણ બર્ટ સાથે તેને શોધવાનો સમય નથી.
4. <વિવાદાસ્પદ સલાહ> એક કિલર ફીચર જોવાની જરૂર નથી. ડેટા જોઈને, મેં જોયું કે લગભગ 1 ટકા ટેક્સ્ટમાં વાસ્તવમાં ટેક્સ્ટ નથી! પરંતુ કેટલાક સંસાધનોની લિંક્સ હતી, અને મેં એક સરળ પાર્સર લખ્યું જેણે સાઇટ ખોલી અને શીર્ષક અને વર્ણન ખેંચ્યું. તે એક સારો વિચાર જેવું લાગતું હતું, પરંતુ પછી હું દૂર થઈ ગયો અને તમામ ગ્રંથો માટેની બધી લિંક્સનું વિશ્લેષણ કરવાનું નક્કી કર્યું અને ફરીથી ઘણો સમય ગુમાવ્યો. આ બધાએ અંતિમ પરિણામમાં નોંધપાત્ર સુધારો કર્યો નથી (જોકે મેં દાંડી શોધી કાઢી હતી, ઉદાહરણ તરીકે).
5. ઉત્તમ લક્ષણો કામ કરે છે. અમે Google, ઉદાહરણ તરીકે, “ટેક્સ્ટ ફીચર્સ કાગલ”, બધું વાંચીએ છીએ અને ઉમેરીએ છીએ. TF-IDF એ સુધારો પૂરો પાડ્યો છે, જેમ કે ટેક્સ્ટની લંબાઈ, શબ્દો અને વિરામચિહ્નોની સંખ્યા જેવી આંકડાકીય સુવિધાઓ.
6. જો ત્યાં તારીખ સમયની કૉલમ હોય, તો તેને ઘણી અલગ સુવિધાઓ (કલાકો, અઠવાડિયાના દિવસો, વગેરે) માં વિશ્લેષિત કરવા યોગ્ય છે. કઈ વિશેષતાઓ પ્રકાશિત કરવી જોઈએ તેનું ગ્રાફ/કેટલાક મેટ્રિક્સનો ઉપયોગ કરીને વિશ્લેષણ કરવું જોઈએ. અહીં, એક ધૂન પર, મેં બધું યોગ્ય રીતે કર્યું અને જરૂરી સુવિધાઓને પ્રકાશિત કરી, પરંતુ સામાન્ય વિશ્લેષણને નુકસાન થયું ન હોત (ઉદાહરણ તરીકે, જેમ આપણે ફાઇનલમાં કર્યું હતું).

સ્પર્ધાના પરિણામ સ્વરૂપે, મેં એક કેરા મોડેલને વર્ડ કન્વોલ્યુશન સાથે અને બીજું LSTM અને GRU પર આધારિત તાલીમ આપી. તે બંનેએ રશિયન ભાષા માટે પૂર્વ-પ્રશિક્ષિત ફાસ્ટટેક્સ્ટ એમ્બેડિંગ્સનો ઉપયોગ કર્યો (મેં અન્ય સંખ્યાબંધ એમ્બેડિંગ્સનો પ્રયાસ કર્યો, પરંતુ આ તે હતા જેણે શ્રેષ્ઠ કામ કર્યું). આગાહીઓની સરેરાશ કર્યા પછી, મેં 7 સહભાગીઓમાંથી અંતિમ 76મું સ્થાન મેળવ્યું.

પ્રથમ તબક્કા પછી તે પ્રકાશિત થયું નિકોલાઈ અનોખિનનો લેખ, જેણે દ્વિતીય સ્થાન મેળવ્યું હતું (તેણે સ્પર્ધામાંથી ભાગ લીધો હતો), અને તેના ઉકેલને અમુક તબક્કામાં પુનરાવર્તિત કરવામાં આવ્યો હતો, પરંતુ તે ક્વેરી-કી-વેલ્યુ ધ્યાન પદ્ધતિને કારણે આગળ વધ્યો હતો.

બીજો તબક્કો બરાબર અને IDAO

સ્પર્ધાઓના બીજા તબક્કા લગભગ સળંગ થયા, તેથી મેં તેમને એકસાથે જોવાનું નક્કી કર્યું.

પ્રથમ, હું અને નવી હસ્તગત ટીમ Mail.ru કંપનીની પ્રભાવશાળી ઑફિસમાં સમાપ્ત થયા, જ્યાં અમારું કાર્ય પ્રથમ તબક્કાના ત્રણ ટ્રેકના મોડલ - ટેક્સ્ટ, ચિત્રો અને સહયોગને જોડવાનું હતું. આ માટે 2 દિવસથી થોડો વધુ સમય ફાળવવામાં આવ્યો હતો, જે બહુ ઓછો નીકળ્યો હતો. વાસ્તવમાં, અમે મર્જરમાંથી કોઈ લાભ પ્રાપ્ત કર્યા વિના માત્ર પ્રથમ તબક્કાથી જ અમારા પરિણામોનું પુનરાવર્તન કરવામાં સક્ષમ હતા. અંતે, અમે 5મું સ્થાન મેળવ્યું, પરંતુ અમે ટેક્સ્ટ મોડેલનો ઉપયોગ કરવામાં અસમર્થ હતા. અન્ય સહભાગીઓના ઉકેલો જોયા પછી, એવું લાગે છે કે ટેક્સ્ટને ક્લસ્ટર કરવાનો પ્રયાસ કરવો અને તેને સહયોગ મોડેલમાં ઉમેરવાનો પ્રયાસ કરવો યોગ્ય હતો. આ તબક્કાની આડઅસર નવી છાપ હતી, કૂલ સહભાગીઓ અને આયોજકો સાથે મીટિંગ અને વાતચીત, તેમજ ઊંઘની તીવ્ર અભાવ, જેણે IDAO ના અંતિમ તબક્કાના પરિણામને અસર કરી હશે.

IDAO 2019 ના અંતિમ તબક્કાનું કાર્ય એરપોર્ટ પર Yandex ટેક્સી ડ્રાઇવરો માટેના ઓર્ડર માટે રાહ જોવાના સમયની આગાહી કરવાનું હતું. સ્ટેજ 2 પર, 3 કાર્યો = 3 એરપોર્ટ ઓળખવામાં આવ્યા હતા. દરેક એરપોર્ટ માટે, છ મહિના માટે ટેક્સીના ઓર્ડરની સંખ્યા પર મિનિટ-દર-મિનિટનો ડેટા આપવામાં આવે છે. અને ટેસ્ટ ડેટા તરીકે, છેલ્લા 2 અઠવાડિયાના ઓર્ડર પર આગામી મહિનો અને મિનિટ-દર-મિનિટનો ડેટા આપવામાં આવ્યો હતો. ત્યાં થોડો સમય હતો (1,5 દિવસ), કાર્ય એકદમ વિશિષ્ટ હતું, ટીમમાંથી ફક્ત એક જ વ્યક્તિ સ્પર્ધામાં આવ્યો - અને પરિણામે, તે અંત તરફ ઉદાસી સ્થળ હતું. રસપ્રદ વિચારોમાં બાહ્ય ડેટાનો ઉપયોગ કરવાના પ્રયાસો શામેલ છે: હવામાન, ટ્રાફિક જામ અને યાન્ડેક્ષ ટેક્સી ઓર્ડરના આંકડા. જોકે આયોજકોએ આ એરપોર્ટ્સ શું છે તે જણાવ્યું ન હતું, ઘણા સહભાગીઓએ ધાર્યું હતું કે તેઓ શેરેમેટ્યેવો, ડોમોડેડોવો અને વનુકોવો છે. જો કે સ્પર્ધા પછી આ ધારણાનું ખંડન કરવામાં આવ્યું હતું, તેમ છતાં, લક્ષણો, ઉદાહરણ તરીકે, મોસ્કોના હવામાન ડેટાએ માન્યતા અને લીડરબોર્ડ બંને પર પરિણામોમાં સુધારો કર્યો.

નિષ્કર્ષ

1. ML સ્પર્ધાઓ શાનદાર અને રસપ્રદ છે! અહીં તમને ડેટા વિશ્લેષણમાં કૌશલ્યોનો ઉપયોગ અને ઘડાયેલું મોડલ અને તકનીકોમાં જોવા મળશે અને સામાન્ય સમજ આવકાર્ય છે.
2. ML પહેલાથી જ જ્ઞાનનું એક વિશાળ શરીર છે જે ઝડપથી વધી રહ્યું છે. મેં મારી જાતને વિવિધ ક્ષેત્રો (સંકેતો, ચિત્રો, કોષ્ટકો, ટેક્સ્ટ) થી પરિચિત થવાનું લક્ષ્ય નક્કી કર્યું છે અને પહેલેથી જ સમજાયું છે કે ત્યાં કેટલું અભ્યાસ કરવાનું છે. ઉદાહરણ તરીકે, આ સ્પર્ધાઓ પછી મેં અભ્યાસ કરવાનું નક્કી કર્યું: ક્લસ્ટરિંગ એલ્ગોરિધમ્સ, ગ્રેડિયન્ટ બૂસ્ટિંગ લાઇબ્રેરીઓ સાથે કામ કરવા માટેની અદ્યતન તકનીકો (ખાસ કરીને, GPU પર CatBoost સાથે કામ કરવું), કેપ્સ્યુલ નેટવર્ક્સ, ક્વેરી-કી-વેલ્યુ ધ્યાન પદ્ધતિ.
3. એકલા કાગલે નહીં! બીજી ઘણી સ્પર્ધાઓ છે જ્યાં ઓછામાં ઓછી ટી-શર્ટ મેળવવી સહેલી છે અને અન્ય ઈનામો માટે વધુ તકો છે.
4. વાતચીત કરો! મશીન લર્નિંગ અને ડેટા એનાલિસિસના ક્ષેત્રમાં પહેલેથી જ એક મોટો સમુદાય છે, ટેલિગ્રામ, સ્લેકમાં વિષયોનું જૂથ છે અને Mail.ru, Yandex અને અન્ય કંપનીઓના ગંભીર લોકો પ્રશ્નોના જવાબ આપે છે અને નવા નિશાળીયા અને આ ક્ષેત્રમાં તેમનો માર્ગ ચાલુ રાખનારાઓને મદદ કરે છે. જ્ઞાનનું.
5. હું દરેકને સલાહ આપું છું કે જેઓ અગાઉના મુદ્દાથી પ્રેરિત હતા મુલાકાત લેવા ડેટાફેસ્ટ - મોસ્કોમાં એક મોટી ફ્રી કોન્ફરન્સ, જે 10-11 મેના રોજ યોજાશે.

સોર્સ: www.habr.com