కొన్ని నెలల క్రితం, Google నుండి మా సహోద్యోగులు సంచలనాత్మకంగా పొందిన చిత్రాల కోసం వర్గీకరణను రూపొందించడానికి పోటీని Kaggle "త్వరగా గీయండి!" Yandex డెవలపర్ రోమన్ వ్లాసోవ్‌తో కూడిన జట్టు పోటీలో నాల్గవ స్థానంలో నిలిచింది. జనవరి మెషీన్ లెర్నింగ్ శిక్షణలో, రోమన్ తన బృందం ఆలోచనలు, వర్గీకరణ యొక్క చివరి అమలు మరియు అతని ప్రత్యర్థుల ఆసక్తికరమైన అభ్యాసాలను పంచుకున్నాడు.
- అందరికి వందనాలు! నా పేరు రోమా వ్లాసోవ్, ఈ రోజు నేను మీకు క్విక్, డ్రా గురించి చెబుతాను! డూడుల్ రికగ్నిషన్ ఛాలెంజ్.
మా బృందంలో ఐదుగురు ఉన్నారు. నేను విలీనం గడువుకు ముందే చేరాను. మనం దురదృష్టవంతులం, మనం కొంచెం కదిలిపోయాము, కానీ డబ్బు స్థానం నుండి మేము కదిలించాము, మరియు వారు బంగారు స్థానం నుండి కదిలారు. మరియు మేము గౌరవప్రదమైన నాల్గవ స్థానాన్ని తీసుకున్నాము.
(పోటీ సమయంలో, ప్రతిపాదిత డేటా సెట్‌లోని ఒక భాగంలో చూపబడిన ఫలితాల ఆధారంగా రూపొందించబడిన రేటింగ్‌లో జట్లు తమను తాము గమనించుకున్నాయి. చివరి రేటింగ్, డేటాసెట్‌లోని మరొక భాగంపై రూపొందించబడింది. ఇది అలా జరుగుతుంది పోటీలో పాల్గొనేవారు నిర్దిష్ట డేటాకు వారి అల్గారిథమ్‌లను సర్దుబాటు చేయరు కాబట్టి, ఫైనల్స్‌లో, రేటింగ్‌ల మధ్య మారేటప్పుడు, స్థానాలు కొద్దిగా వణుకుతాయి (ఇంగ్లీష్ నుండి షేక్ అప్ నుండి - కలపడానికి): ఇతర డేటాపై, ఫలితం మారవచ్చు విభిన్నంగా ఉండాలి. రోమన్ జట్టు మొదటి మూడు స్థానాల్లో మొదటి స్థానంలో ఉంది. ఈ సందర్భంలో, మొదటి మూడు స్థానాల్లో డబ్బు, ద్రవ్య రేటింగ్ జోన్, మొదటి మూడు స్థానాలకు మాత్రమే నగదు బహుమతి లభించింది. షేక్-అప్ తర్వాత, జట్టు ఇప్పటికే ఉంది నాల్గవ స్థానం. అదే విధంగా, ఇతర జట్టు విజయం, బంగారు స్థానం కోల్పోయింది. - ఎడ్.)
ఎవ్జెనీ బాబాఖ్నిన్ గ్రాండ్‌మాస్టర్‌ని అందుకున్నాడు, ఇవాన్ సోసిన్ మాస్టర్‌ను అందుకున్నాడు, రోమన్ సోలోవివ్ గ్రాండ్‌మాస్టర్‌గా మిగిలిపోయాడు, అలెక్స్ పారినోవ్ మాస్టర్‌ను అందుకున్నాడు, నేను నిపుణుడిని అయ్యాను మరియు ఇప్పుడు నేను ఇప్పటికే మాస్టర్‌ని అయ్యాను.
ఈ క్విక్, డ్రా అంటే ఏమిటి? ఇది Google నుండి వచ్చిన సేవ. AIని ప్రాచుర్యంలోకి తీసుకురావాలనే లక్ష్యాన్ని Google కలిగి ఉంది మరియు ఈ సేవతో న్యూరల్ నెట్‌వర్క్‌లు ఎలా పని చేస్తాయో చూపించాలనుకుంది. మీరు అక్కడికి వెళ్లి, లెట్స్ డ్రా క్లిక్ చేయండి మరియు మీకు చెప్పబడిన చోట కొత్త పేజీ కనిపిస్తుంది: జిగ్‌జాగ్‌ని గీయండి, దీన్ని చేయడానికి మీకు 20 సెకన్ల సమయం ఉంది. మీరు 20 సెకన్లలో జిగ్‌జాగ్‌ని గీయడానికి ప్రయత్నిస్తున్నారు, ఉదాహరణకు. మీరు విజయవంతమైతే, నెట్‌వర్క్ అది జిగ్‌జాగ్ అని చెబుతుంది మరియు మీరు ముందుకు సాగండి. అలాంటి చిత్రాలు ఆరు మాత్రమే ఉన్నాయి.
మీరు గీసిన దాన్ని గుర్తించడంలో Google నెట్‌వర్క్ విఫలమైతే, టాస్క్‌పై క్రాస్ ఉంచబడుతుంది. డ్రాయింగ్ నెట్‌వర్క్ ద్వారా గుర్తించబడిందా లేదా అనేది భవిష్యత్తులో దాని అర్థం ఏమిటో తరువాత నేను మీకు చెప్తాను.
ఈ సేవ చాలా పెద్ద సంఖ్యలో వినియోగదారులను సేకరించింది మరియు వినియోగదారులు గీసిన చిత్రాలన్నీ లాగ్ చేయబడ్డాయి.
మేము దాదాపు 50 మిలియన్ చిత్రాలను సేకరించగలిగాము. దీని నుండి, మా పోటీకి రైలు మరియు పరీక్ష తేదీ ఏర్పడింది. మార్గం ద్వారా, పరీక్షలోని డేటా మొత్తం మరియు తరగతుల సంఖ్య ఒక కారణం కోసం బోల్డ్‌లో హైలైట్ చేయబడతాయి. వాటి గురించి కొంచెం తర్వాత చెబుతాను.
డేటా ఫార్మాట్ క్రింది విధంగా ఉంది. ఇవి కేవలం RGB చిత్రాలు మాత్రమే కాదు, స్థూలంగా చెప్పాలంటే, వినియోగదారు చేసిన ప్రతిదాని లాగ్. పదం మా లక్ష్యం, కంట్రీకోడ్ అనేది డూడుల్ రచయిత ఎక్కడ నుండి వచ్చాడు, టైమ్‌స్టాంప్ సమయం. గుర్తించబడిన లేబుల్ కేవలం నెట్‌వర్క్ Google నుండి చిత్రాన్ని గుర్తించిందో లేదో చూపిస్తుంది. మరియు డ్రాయింగ్ అనేది ఒక క్రమం, వినియోగదారు పాయింట్లతో గీసే వక్రరేఖ యొక్క ఉజ్జాయింపు. మరియు సమయాలు. చిత్రాన్ని గీయడం ప్రారంభించినప్పటి నుండి ఇది సమయం.
డేటా రెండు ఫార్మాట్లలో ప్రదర్శించబడింది. ఇది మొదటి ఫార్మాట్, మరియు రెండవది సరళీకృతం చేయబడింది. వారు అక్కడ నుండి సమయాలను కత్తిరించారు మరియు ఈ పాయింట్ల సెట్‌ను చిన్న పాయింట్లతో అంచనా వేశారు. దీని కోసం వారు ఉపయోగించారు . మీరు సరళ రేఖను అంచనా వేసే పెద్ద పాయింట్‌లను కలిగి ఉన్నారు, కానీ వాస్తవానికి మీరు ఈ రేఖను కేవలం రెండు పాయింట్లతో అంచనా వేయవచ్చు. ఇది అల్గోరిథం యొక్క ఆలోచన.
డేటా ఈ క్రింది విధంగా పంపిణీ చేయబడింది. ప్రతిదీ ఏకరీతిగా ఉంది, కానీ కొన్ని అవుట్‌లియర్‌లు ఉన్నాయి. మేము సమస్యను పరిష్కరించినప్పుడు, మేము దానిని చూడలేదు. ప్రధాన విషయం ఏమిటంటే, నిజంగా తక్కువ తరగతులు లేవు, మేము బరువున్న నమూనాలు మరియు డేటా ఓవర్‌సాంప్లింగ్ చేయవలసిన అవసరం లేదు.
చిత్రాలు ఎలా కనిపించాయి? ఇది "విమానం" తరగతి మరియు దాని నుండి గుర్తించబడిన మరియు గుర్తించబడని లేబుల్‌లతో ఉదాహరణలు. వారి నిష్పత్తి ఎక్కడో 1 నుండి 9 వరకు ఉంది. మీరు చూడగలిగినట్లుగా, డేటా చాలా ధ్వనించేది. ఇది ఒక విమానం అని నేను ఊహిస్తాను. మీరు గుర్తించబడలేదని చూస్తే, చాలా సందర్భాలలో అది కేవలం శబ్దం. ఎవరో "విమానం" అని వ్రాయడానికి ప్రయత్నించారు, కానీ స్పష్టంగా ఫ్రెంచ్లో.
చాలా మంది పాల్గొనేవారు గ్రిడ్‌లను తీసుకున్నారు, ఈ వరుస లైన్ల నుండి డేటాను RGB చిత్రాలుగా గీసారు మరియు వాటిని నెట్‌వర్క్‌లోకి విసిరారు. నేను ఇంచుమించు అదే విధంగా గీసాను: నేను రంగుల పాలెట్‌ను తీసుకున్నాను, మొదటి పంక్తిని ఒక రంగుతో గీసాను, అది ఈ పాలెట్ ప్రారంభంలో ఉంది, చివరి పంక్తి మరొకదానితో ఉంటుంది, ఇది పాలెట్ చివరిలో మరియు వాటి మధ్య ఉంది. నేను ఈ పాలెట్‌ని ఉపయోగించి ప్రతిచోటా ఇంటర్‌పోలేట్ చేసాను. మార్గం ద్వారా, ఇది మీరు మొదటి స్లయిడ్‌లో గీస్తే కంటే మెరుగైన ఫలితాన్ని ఇచ్చింది - కేవలం నలుపు రంగులో.
ఇవాన్ సోసిన్ వంటి ఇతర జట్టు సభ్యులు డ్రాయింగ్‌కు కొద్దిగా భిన్నమైన విధానాలను ప్రయత్నించారు. ఒక ఛానెల్‌తో అతను కేవలం బూడిద రంగు చిత్రాన్ని గీసాడు, మరొక ఛానెల్‌తో అతను ప్రతి స్ట్రోక్‌ను మొదటి నుండి చివరి వరకు, 32 నుండి 255 వరకు గ్రేడియంట్‌తో గీసాడు మరియు మూడవ ఛానెల్‌తో అతను 32 నుండి 255 వరకు అన్ని స్ట్రోక్‌లపై గ్రేడియంట్‌ని గీసాడు.
మరో ఆసక్తికరమైన విషయం ఏమిటంటే, అలెక్స్ పారినోవ్ కంట్రీకోడ్ ఉపయోగించి నెట్‌వర్క్‌కు సమాచారాన్ని అప్‌లోడ్ చేశాడు.
పోటీలో ఉపయోగించే మెట్రిక్ మీన్ యావరేజ్ ప్రెసిషన్. పోటీ కోసం ఈ మెట్రిక్ యొక్క సారాంశం ఏమిటి? మీరు మూడు అంచనాలను ఇవ్వవచ్చు మరియు ఈ మూడింటిలో సరైన అంచనా లేకుంటే, మీకు 0 వస్తుంది. సరైనది ఉంటే, దాని క్రమం పరిగణనలోకి తీసుకోబడుతుంది. మరియు లక్ష్య ఫలితం మీ అంచనా క్రమంలో భాగించబడిన 1గా లెక్కించబడుతుంది. ఉదాహరణకు, మీరు మూడు ప్రిడిక్టర్‌లను తయారు చేసారు మరియు సరైనది మొదటిది, అప్పుడు మీరు 1ని 1తో భాగించి 1 పొందండి. ప్రిడిక్టర్ సరైనది మరియు దాని క్రమం 2 అయితే, 1ని 2తో భాగిస్తే మీకు 0,5 వస్తుంది. బాగా, మొదలైనవి.
డేటా ప్రిప్రాసెసింగ్‌తో - చిత్రాలను ఎలా గీయాలి మరియు మొదలైనవి - మేము కొంచెం నిర్ణయించుకున్నాము. మేము ఏ నిర్మాణాలను ఉపయోగించాము? మేము PNASNet, SENet వంటి ఫ్యాట్ ఆర్కిటెక్చర్‌లను మరియు SE-Res-NeXt వంటి ఇప్పటికే ఉన్న క్లాసిక్ ఆర్కిటెక్చర్‌లను ఉపయోగించడానికి ప్రయత్నించాము, అవి కొత్త పోటీలలో ఎక్కువగా ప్రవేశిస్తున్నాయి. ResNet మరియు DenseNet కూడా ఉన్నాయి.
మేము దీన్ని ఎలా బోధించాము? మేము తీసుకున్న మోడల్స్ అన్నీ ఇమేజ్‌నెట్‌లో ముందే శిక్షణ పొందినవి. చాలా డేటా, 50 మిలియన్ చిత్రాలు ఉన్నప్పటికీ, మీరు ఇమేజ్‌నెట్‌లో ముందస్తు శిక్షణ పొందిన నెట్‌వర్క్‌ని తీసుకుంటే, మీరు మొదటి నుండి శిక్షణ పొందిన దానికంటే మెరుగైన ఫలితాలను చూపుతుంది.
మేము ఏ బోధనా పద్ధతులను ఉపయోగించాము? ఇది వార్మ్ రీస్టార్ట్‌లతో కోసింగ్ అన్నేలింగ్, దీని గురించి నేను కొంచెం తర్వాత మాట్లాడతాను. ఇది నా ఇటీవలి పోటీలన్నింటిలో నేను ఉపయోగించే సాంకేతికత, మరియు వాటితో మంచి కనిష్టం సాధించడానికి గ్రిడ్‌లకు బాగా శిక్షణనిస్తుంది.
తదుపరి పీఠభూమిలో అభ్యాస రేటును తగ్గించండి. మీరు నెట్‌వర్క్‌కు శిక్షణ ఇవ్వడం ప్రారంభించండి, నిర్దిష్ట అభ్యాస రేటును సెట్ చేయండి, దానిని బోధించడం కొనసాగించండి మరియు మీ నష్టం క్రమంగా ఒక నిర్దిష్ట విలువకు కలుస్తుంది. మీరు దీన్ని తనిఖీ చేయండి, ఉదాహరణకు, పది యుగాల వరకు నష్టం అస్సలు మారలేదు. మీరు మీ అభ్యాస రేటును కొంత విలువతో తగ్గించి, నేర్చుకోవడం కొనసాగించండి. ఇది మళ్లీ కొద్దిగా పడిపోతుంది, కొంత కనిష్టంగా కలుస్తుంది మరియు మీ నెట్‌వర్క్ చివరకు కలిసే వరకు మీరు మళ్లీ అభ్యాస రేటును తగ్గిస్తారు.
తదుపరిది ఆసక్తికరమైన టెక్నిక్: లెర్నింగ్ రేట్ క్షీణించవద్దు, బ్యాచ్ పరిమాణాన్ని పెంచండి. అదే పేరుతో ఒక వ్యాసం ఉంది. మీరు నెట్‌వర్క్‌కు శిక్షణ ఇచ్చినప్పుడు, మీరు అభ్యాస రేటును తగ్గించాల్సిన అవసరం లేదు, మీరు బ్యాచ్ పరిమాణాన్ని పెంచవచ్చు.
ఈ పద్ధతిని అలెక్స్ పారినోవ్ ఉపయోగించారు. అతను 408కి సమానమైన బ్యాచ్‌తో ప్రారంభించాడు మరియు అతని నెట్‌వర్క్ కొంత పీఠభూమికి చేరుకున్నప్పుడు, అతను బ్యాచ్ పరిమాణాన్ని రెట్టింపు చేశాడు.
నిజానికి, అతని బ్యాచ్ పరిమాణం ఎంత విలువకు చేరుకుందో నాకు గుర్తులేదు, కానీ ఆసక్తికరమైన విషయం ఏమిటంటే, Kaggleలో అదే టెక్నిక్‌ని ఉపయోగించిన జట్లు ఉన్నాయి, వాటి బ్యాచ్ పరిమాణం దాదాపు 10000. అలాగే, లోతైన అభ్యాసం కోసం ఆధునిక ఫ్రేమ్‌వర్క్‌లు వంటివి. PyTorch, ఉదాహరణకు, మీరు దీన్ని చాలా సులభంగా చేయడానికి అనుమతిస్తుంది. మీరు మీ బ్యాచ్‌ని రూపొందించి, దాన్ని పూర్తిగా నెట్‌వర్క్‌కు సమర్పించకుండా, మీ వీడియో కార్డ్‌కి సరిపోయేలా భాగాలుగా విభజించండి, గ్రేడియంట్‌లను లెక్కించండి మరియు మీరు మొత్తం బ్యాచ్‌కి గ్రేడియంట్‌ను లెక్కించిన తర్వాత, అప్‌డేట్ చేయండి బరువులు.
మార్గం ద్వారా, ఈ పోటీలో పెద్ద బ్యాచ్ పరిమాణాలు ఇప్పటికీ చేర్చబడ్డాయి, ఎందుకంటే డేటా చాలా ధ్వనించేది మరియు పెద్ద బ్యాచ్ పరిమాణం గ్రేడియంట్‌ను మరింత ఖచ్చితంగా అంచనా వేయడానికి మీకు సహాయపడింది.
సూడో-లేబులింగ్ కూడా ఉపయోగించబడింది, ఎక్కువగా రోమన్ సోలోవివ్ ఉపయోగించారు. అతను పరీక్ష నుండి సగం డేటాను బ్యాచ్‌లలో శాంపిల్ చేసాడు మరియు అటువంటి బ్యాచ్‌లపై గ్రిడ్‌కు శిక్షణ ఇచ్చాడు.
చిత్రాల పరిమాణం ముఖ్యమైనది, కానీ వాస్తవం ఏమిటంటే, మీకు చాలా డేటా ఉంది, మీరు చాలా కాలం పాటు శిక్షణ పొందాలి మరియు మీ చిత్రం పరిమాణం చాలా పెద్దగా ఉంటే, మీరు చాలా కాలం పాటు శిక్షణ పొందుతారు. కానీ ఇది మీ తుది వర్గీకరణ యొక్క నాణ్యతకు పెద్దగా జోడించలేదు, కాబట్టి ఇది ఒక రకమైన ట్రేడ్-ఆఫ్‌ను ఉపయోగించడం విలువైనది. మరియు మేము చాలా పెద్ద పరిమాణంలో లేని చిత్రాలను మాత్రమే ప్రయత్నించాము.
అదంతా ఎలా నేర్చుకున్నారు? మొదట, చిన్న-పరిమాణ చిత్రాలు తీయబడ్డాయి, వాటిపై అనేక యుగాలు అమలు చేయబడ్డాయి, దీనికి చాలా సమయం పట్టింది. అప్పుడు పెద్ద-పరిమాణ చిత్రాలు ఇవ్వబడ్డాయి, నెట్‌వర్క్ శిక్షణ పొందింది, ఆపై ఇంకా ఎక్కువ, ఇంకా ఎక్కువ, తద్వారా మొదటి నుండి శిక్షణ ఇవ్వకుండా మరియు ఎక్కువ సమయం వృథా చేయకూడదు.
ఆప్టిమైజర్ల గురించి. మేము SGD మరియు ఆడమ్‌లను ఉపయోగించాము. ఈ విధంగా ఒకే మోడల్‌ను పొందడం సాధ్యమైంది, ఇది పబ్లిక్ లీడర్‌బోర్డ్‌లో 0,941-0,946 వేగాన్ని ఇచ్చింది, ఇది చాలా బాగుంది.
మీరు మోడళ్లను ఏదో ఒక విధంగా సమీకరించినట్లయితే, మీరు 0,951 చుట్టూ ఎక్కడో పొందుతారు. మీరు మరో టెక్నిక్‌ని ఉపయోగిస్తే, పబ్లిక్ బోర్డ్‌లో మేము పొందినట్లుగానే మీరు 0,954 తుది స్కోర్‌ను పొందుతారు. కానీ తరువాత దాని గురించి మరింత. తరువాత మేము మోడల్‌లను ఎలా సమీకరించాము మరియు అటువంటి తుది వేగాన్ని ఎలా సాధించగలిగాము అని నేను మీకు చెప్తాను.
తర్వాత నేను వార్మ్ రీస్టార్ట్‌లతో కోసింగ్ ఎనియలింగ్ లేదా వార్మ్ రీస్టార్ట్‌లతో స్టోకాస్టిక్ గ్రేడియంట్ డీసెంట్ గురించి మాట్లాడాలనుకుంటున్నాను. స్థూలంగా చెప్పాలంటే, సూత్రప్రాయంగా, మీరు ఏదైనా ఆప్టిమైజర్‌ని ఉపయోగించవచ్చు, కానీ పాయింట్ ఇది: మీరు కేవలం ఒక నెట్‌వర్క్‌కు శిక్షణ ఇచ్చి, క్రమంగా అది కొంత కనిష్ట స్థాయికి చేరుకుంటే, అంతా ఓకే, మీకు ఒక నెట్‌వర్క్ వస్తుంది, అది కొన్ని తప్పులు చేస్తుంది, కానీ మీరు కొద్దిగా భిన్నంగా శిక్షణ ఇవ్వవచ్చు. మీరు కొంత ప్రారంభ అభ్యాస రేటును సెట్ చేస్తారు మరియు ఈ ఫార్ములా ప్రకారం క్రమంగా తగ్గిస్తారు. మీరు దానిని తగ్గించండి, మీ నెట్‌వర్క్ కొంత కనిష్ట స్థాయికి వస్తుంది, ఆపై మీరు బరువులను ఆదా చేసుకోండి మరియు శిక్షణ ప్రారంభంలో ఉన్న అభ్యాస రేటును మళ్లీ సెట్ చేయండి, తద్వారా ఈ కనిష్ట స్థాయి నుండి ఎక్కడికో పైకి వెళ్లి, మళ్లీ మీ అభ్యాస రేటును తగ్గిస్తుంది.
అందువల్ల, మీరు ఒకేసారి అనేక కనిష్టాలను సందర్శించవచ్చు, దీనిలో మీ నష్టం ప్లస్ లేదా మైనస్, అదే అవుతుంది. కానీ వాస్తవం ఏమిటంటే, ఈ బరువులు ఉన్న నెట్‌వర్క్‌లు మీ తేదీలో వేర్వేరు లోపాలను ఇస్తాయి. వాటిని సగటు చేయడం ద్వారా, మీరు కొంత రకమైన ఉజ్జాయింపుని పొందుతారు మరియు మీ వేగం ఎక్కువగా ఉంటుంది.
మేము మా నమూనాలను ఎలా సమీకరించాము అనే దాని గురించి. ప్రదర్శన ప్రారంభంలో, నేను పరీక్షలో డేటా మొత్తం మరియు తరగతుల సంఖ్యపై శ్రద్ధ వహించమని చెప్పాను. మీరు పరీక్ష సెట్‌లోని లక్ష్యాల సంఖ్యకు 1ని జోడించి, తరగతుల సంఖ్యతో భాగిస్తే, మీరు 330 సంఖ్యను పొందుతారు మరియు ఇది ఫోరమ్‌లో వ్రాయబడింది - పరీక్షలోని తరగతులు సమతుల్యంగా ఉన్నాయని. దీనిని ఉపయోగించవచ్చు.
దీని ఆధారంగా, రోమన్ సోలోవివ్ మెట్రిక్‌తో ముందుకు వచ్చారు, మేము దానిని ప్రాక్సీ స్కోర్ అని పిలిచాము, ఇది లీడర్‌బోర్డ్‌తో బాగా సంబంధం కలిగి ఉంది. విషయం ఏమిటంటే: మీరు ఒక అంచనా వేయండి, మీ ప్రిడిక్టర్లలో మొదటి 1ని తీసుకోండి మరియు ప్రతి తరగతికి సంబంధించిన వస్తువుల సంఖ్యను లెక్కించండి. తర్వాత, ప్రతి విలువ నుండి 330 తీసివేసి, ఫలితంగా వచ్చే సంపూర్ణ విలువలను జోడించండి.
కింది విలువలు పొందబడ్డాయి. ఇది ప్రోబింగ్ లీడర్‌బోర్డ్‌ను రూపొందించడానికి కాదు, స్థానికంగా ధృవీకరించడానికి మరియు మా ఎంసెట్‌ల కోసం గుణకాలను ఎంచుకోవడానికి మాకు సహాయపడింది.
సమిష్టితో మీరు అలాంటి వేగాన్ని పొందవచ్చు. నేను ఇంకా ఏమి చేయగలను? మీ పరీక్షలోని తరగతులు సమతుల్యంగా ఉన్నాయని మీరు సమాచారాన్ని ఉపయోగించారని అనుకుందాం.
బ్యాలెన్సింగ్ భిన్నంగా ఉంది. - మొదటి స్థానంలో నిలిచిన కుర్రాళ్ల నుండి బ్యాలెన్సింగ్.
ఏం చేశాం? మా బ్యాలెన్సింగ్ చాలా సులభం, దీనిని ఎవ్జెనీ బాబాఖ్నిన్ సూచించారు. మేము ముందుగా మా అంచనాలను టాప్ 1 వారీగా క్రమబద్ధీకరించాము మరియు వారి నుండి అభ్యర్థులను ఎంపిక చేసాము - తద్వారా తరగతుల సంఖ్య 330కి మించదు. కానీ కొన్ని తరగతులకు మీరు 330 కంటే తక్కువ ప్రిడిక్టర్‌లతో ముగుస్తుంది. సరే, టాప్ 2 మరియు టాప్ 3 వారీగా కూడా క్రమబద్ధీకరించుదాం , మరియు మేము అభ్యర్థులను కూడా ఎంపిక చేస్తాము.
మొదటి స్థానంలో ఉన్న బ్యాలెన్సింగ్ నుండి మన బ్యాలెన్సింగ్ ఎలా భిన్నంగా ఉంది? వారు ఒక పునరుక్తి విధానాన్ని ఉపయోగించారు, అత్యంత జనాదరణ పొందిన తరగతిని తీసుకుంటారు మరియు ఆ తరగతికి ఎక్కువ జనాదరణ పొందే వరకు ఆ తరగతికి సంభావ్యతలను కొంత తక్కువ సంఖ్యలో తగ్గించారు. మేము తదుపరి అత్యంత ప్రజాదరణ పొందిన తరగతిని తీసుకున్నాము. కాబట్టి అన్ని తరగతుల సంఖ్య సమానంగా వచ్చే వరకు వాటిని తగ్గించడం కొనసాగించారు.
రైలు నెట్‌వర్క్‌లకు అందరూ ప్లస్ లేదా మైనస్ వన్ విధానాన్ని ఉపయోగించారు, కానీ అందరూ బ్యాలెన్సింగ్‌ను ఉపయోగించలేదు. బ్యాలెన్సింగ్ ఉపయోగించి, మీరు బంగారంలోకి వెళ్ళవచ్చు మరియు మీరు అదృష్టవంతులైతే, డబ్బులోకి వెళ్ళవచ్చు.
తేదీని ప్రీప్రాసెస్ చేయడం ఎలా? ప్రతి ఒక్కరూ తేదీని, ప్లస్ లేదా మైనస్‌ను ఒకే విధంగా ముందే ప్రాసెస్ చేసారు - చేతితో తయారు చేసిన ఫీచర్‌లను తయారు చేయడం, విభిన్న స్ట్రోక్ రంగులతో టైమింగ్‌లను ఎన్‌కోడ్ చేయడానికి ప్రయత్నించడం మొదలైనవి. 8వ స్థానంలో నిలిచిన అలెక్సీ నోజ్డ్రిన్-ప్లాట్నిట్స్కీ దీని గురించి మాట్లాడాడు.
అందుకు భిన్నంగా చేశాడు. ఈ హ్యాండ్‌క్రాఫ్ట్ చేసిన మీ ఫీచర్లన్నీ పనిచేయవని, మీరు అలా చేయనవసరం లేదని, మీ నెట్‌వర్క్ దానంతట అదే నేర్చుకోవాలని చెప్పాడు. మరియు బదులుగా, అతను మీ డేటాను ముందుగా ప్రాసెస్ చేసిన లెర్నింగ్ మాడ్యూల్స్‌తో ముందుకు వచ్చాడు. అతను ప్రిప్రాసెసింగ్ లేకుండా అసలు డేటాను వాటిలోకి విసిరాడు - పాయింట్ కోఆర్డినేట్‌లు మరియు సమయాలు.
అప్పుడు అతను కోఆర్డినేట్‌ల ఆధారంగా వ్యత్యాసాన్ని తీసుకున్నాడు మరియు సమయాల ఆధారంగా అన్నింటినీ సగటు చేశాడు. మరియు అతను చాలా పొడవైన మాతృకతో వచ్చాడు. అతను 1xn పరిమాణం యొక్క మాతృకను పొందేందుకు అనేకసార్లు దానికి 64D కన్వల్యూషన్‌ను వర్తింపజేశాడు, ఇక్కడ n అనేది మొత్తం పాయింట్ల సంఖ్య, మరియు 64 అనేది ఛానెల్‌ల సంఖ్యను అంగీకరించే ఏదైనా కన్వల్యూషనల్ నెట్‌వర్క్ యొక్క లేయర్‌కు ఫలిత మాతృకను అందించడానికి రూపొందించబడింది. - 64. అతను 64xn మ్యాట్రిక్స్‌ని పొందాడు, దీని నుండి కొంత పరిమాణంలో టెన్సర్‌ను సృష్టించడం అవసరం, తద్వారా ఛానెల్‌ల సంఖ్య 64కి సమానంగా ఉంటుంది. అతను 0 నుండి 32 వరకు ఉన్న అన్ని పాయింట్లు X, Yని సాధారణీకరించాడు. పరిమాణం 32x32 యొక్క టెన్సర్. అతను 32x32 ఎందుకు కోరుకున్నాడో నాకు తెలియదు, అది అలా జరిగింది. మరియు ఈ కోఆర్డినేట్ వద్ద అతను 64xn పరిమాణంలోని ఈ మాతృక యొక్క భాగాన్ని ఉంచాడు. కనుక ఇది 32x32x64 టెన్సర్‌తో ముగిసింది, మీరు మీ కన్వల్యూషనల్ న్యూరల్ నెట్‌వర్క్‌లో మరింతగా ఉంచవచ్చు. నేను చెప్పాలనుకున్నది ఒక్కటే.
మూలం: www.habr.com