हस्तलिखित चित्रों का वर्गीकरण. यांडेक्स में रिपोर्ट करें

कुछ महीने पहले, Google के हमारे सहकर्मी संचालित कागल पर सनसनीखेज में प्राप्त छवियों के लिए एक क्लासिफायरियर बनाने की प्रतियोगिता खेल "जल्द आकर्षित!" टीम, जिसमें यांडेक्स डेवलपर रोमन व्लासोव शामिल थे, ने प्रतियोगिता में चौथा स्थान हासिल किया। जनवरी मशीन लर्निंग प्रशिक्षण में, रोमन ने अपनी टीम के विचारों, क्लासिफायर के अंतिम कार्यान्वयन और अपने विरोधियों की दिलचस्प प्रथाओं को साझा किया।

- नमस्ते! मेरा नाम रोमा व्लासोव है, आज मैं आपको क्विक, ड्रा के बारे में बताऊंगा! डूडल पहचान चुनौती।



हमारी टीम में पांच लोग थे. मैं मर्ज की समय सीमा से ठीक पहले शामिल हुआ। हम बदकिस्मत थे, हम थोड़ा हिल गए, लेकिन हम पैसे की स्थिति से हिल गए, और वे सोने की स्थिति से हिल गए। और हमने सम्मानजनक चौथा स्थान प्राप्त किया।

(प्रतियोगिता के दौरान, टीमों ने खुद को एक रेटिंग में देखा, जो प्रस्तावित डेटा सेट के एक हिस्से पर दिखाए गए परिणामों के आधार पर बनाई गई थी। अंतिम रेटिंग, बदले में, डेटासेट के दूसरे हिस्से पर बनाई गई थी। ऐसा इसलिए किया जाता है प्रतियोगिता में भाग लेने वाले अपने एल्गोरिदम को विशिष्ट डेटा के अनुसार समायोजित नहीं करते हैं। इसलिए, फाइनल में, रेटिंग के बीच स्विच करते समय, स्थिति थोड़ी हिल जाती है (अंग्रेजी शेक अप से - मिश्रण करने के लिए): अन्य डेटा पर, परिणाम खराब हो सकता है अलग होना। रोमन की टीम शीर्ष तीन में पहले स्थान पर थी। इस मामले में, शीर्ष तीन धन, मौद्रिक रेटिंग क्षेत्र है, क्योंकि केवल पहले तीन स्थानों को नकद पुरस्कार से सम्मानित किया गया था। शेक-अप के बाद, टीम पहले से ही अंदर थी चौथा स्थान। इसी तरह, दूसरी टीम ने जीत, स्वर्ण पद खो दिया। - एड।)

प्रतियोगिता इस मायने में भी महत्वपूर्ण थी कि एवगेनी बाबाखिन को ग्रैंडमास्टर मिला, इवान सोसिन को मास्टर मिला, रोमन सोलोविएव ग्रैंडमास्टर बने रहे, एलेक्स पारिनोव को मास्टर मिला, मैं एक विशेषज्ञ बन गया, और अब मैं पहले से ही एक मास्टर हूं।

यह क्विक, ड्रा क्या है? यह Google की एक सेवा है. Google का लक्ष्य AI को लोकप्रिय बनाना था और इस सेवा के साथ वह यह दिखाना चाहता था कि तंत्रिका नेटवर्क कैसे काम करते हैं। आप वहां जाएं, आइए ड्रा करें पर क्लिक करें, और एक नया पेज खुलता है जहां आपसे कहा जाता है: एक ज़िगज़ैग बनाएं, ऐसा करने के लिए आपके पास 20 सेकंड हैं। उदाहरण के लिए, आप 20 सेकंड में एक ज़िगज़ैग बनाने का प्रयास कर रहे हैं। यदि आप सफल होते हैं, तो नेटवर्क कहता है कि यह ज़िगज़ैग है और आप आगे बढ़ जाते हैं। ऐसी केवल छह तस्वीरें हैं।

यदि Google का नेटवर्क यह पहचानने में विफल रहा कि आपने क्या चित्रित किया है, तो कार्य पर एक क्रॉस लगा दिया गया था। बाद में मैं आपको बताऊंगा कि भविष्य में इसका क्या मतलब होगा कि कोई ड्राइंग नेटवर्क द्वारा मान्यता प्राप्त है या नहीं।

इस सेवा ने काफी बड़ी संख्या में उपयोगकर्ताओं को एकत्रित किया और उपयोगकर्ताओं द्वारा खींचे गए सभी चित्र लॉग किए गए।

हम लगभग 50 मिलियन छवियाँ एकत्र करने में सफल रहे। इससे, हमारी प्रतियोगिता के लिए ट्रेन और परीक्षण की तारीख बनाई गई। वैसे, परीक्षण में डेटा की मात्रा और कक्षाओं की संख्या को किसी कारण से बोल्ड में हाइलाइट किया गया है। मैं आपको उनके बारे में थोड़ी देर बाद बताऊंगा।

डेटा प्रारूप इस प्रकार था. ये केवल आरजीबी छवियां नहीं हैं, बल्कि, मोटे तौर पर कहें तो, उपयोगकर्ता द्वारा किए गए हर काम का एक लॉग है। शब्द हमारा लक्ष्य है, कंट्रीकोड वह है जहां डूडल का लेखक है, टाइमस्टैम्प समय है। मान्यता प्राप्त लेबल केवल यह दर्शाता है कि नेटवर्क ने Google से छवि को पहचाना या नहीं। और ड्राइंग स्वयं एक अनुक्रम है, एक वक्र का एक अनुमान है जिसे उपयोगकर्ता बिंदुओं के साथ खींचता है। और समय. यह चित्र बनाने की शुरुआत से लेकर अब तक का समय है।

डेटा दो प्रारूपों में प्रस्तुत किया गया। यह पहला प्रारूप है, और दूसरा सरलीकृत है। उन्होंने वहां से समय काट दिया और अंकों के इस सेट को अंकों के एक छोटे सेट के साथ अनुमानित किया। इसके लिए उन्होंने प्रयोग किया डगलस-पेकर एल्गोरिदम. आपके पास बिंदुओं का एक बड़ा समूह है जो बस एक सीधी रेखा का अनुमान लगाता है, लेकिन वास्तव में आप केवल दो बिंदुओं के साथ इस रेखा का अनुमान लगा सकते हैं। यह एल्गोरिथम का विचार है.

डेटा निम्नानुसार वितरित किया गया था। सब कुछ एक समान है, लेकिन कुछ बाहरी पहलू भी हैं। जब हमने समस्या का समाधान किया, तो हमने उस पर ध्यान नहीं दिया। मुख्य बात यह है कि ऐसी कोई कक्षाएं नहीं थीं जो वास्तव में कम थीं, हमें भारित नमूने और डेटा ओवरसैंपलिंग नहीं करनी थी।

तस्वीरें कैसी लगीं? यह "हवाई जहाज" वर्ग है और इसके उदाहरण मान्यता प्राप्त और गैर-मान्यता प्राप्त लेबल के साथ हैं। उनका अनुपात लगभग 1 से 9 के आसपास था। जैसा कि आप देख सकते हैं, डेटा काफी शोर भरा है। मुझे लगता है कि यह एक हवाई जहाज है. यदि आप बिना पहचाने हुए देखें, तो अधिकतर मामलों में यह केवल शोर ही होता है। किसी ने "हवाई जहाज़" लिखने की भी कोशिश की, लेकिन जाहिर तौर पर फ़्रेंच में।

अधिकांश प्रतिभागियों ने बस ग्रिड लिया, लाइनों के इस क्रम से आरजीबी चित्रों के रूप में डेटा खींचा, और उन्हें नेटवर्क में फेंक दिया। मैंने लगभग उसी तरह से चित्र बनाए: मैंने रंगों का एक पैलेट लिया, पहली पंक्ति एक रंग से खींची, जो इस पैलेट की शुरुआत में थी, आखिरी पंक्ति दूसरे रंग से खींची, जो पैलेट के अंत में थी, और उनके बीच में मैंने इस पैलेट का उपयोग करके हर जगह प्रक्षेप किया। वैसे, यदि आप पहली ही स्लाइड में चित्र बनाते हैं तो इससे बेहतर परिणाम मिलता है - केवल काले रंग में।

टीम के अन्य सदस्यों, जैसे कि इवान सोसिन, ने ड्राइंग के लिए थोड़ा अलग दृष्टिकोण आजमाया। एक चैनल के साथ उसने बस एक ग्रे चित्र खींचा, दूसरे चैनल के साथ उसने प्रत्येक स्ट्रोक को शुरुआत से अंत तक 32 से 255 तक एक ग्रेडिएंट के साथ खींचा, और तीसरे चैनल के साथ उसने 32 से 255 तक सभी स्ट्रोक पर एक ग्रेडिएंट खींचा।

एक और दिलचस्प बात यह है कि एलेक्स परिनोव ने कंट्रीकोड का उपयोग करके नेटवर्क पर जानकारी अपलोड की।

प्रतियोगिता में प्रयुक्त मीट्रिक औसत औसत परिशुद्धता है। प्रतिस्पर्धा के लिए इस मीट्रिक का सार क्या है? आप तीन भविष्यवाणियाँ दे सकते हैं, और यदि इन तीनों में कोई सही भविष्यवाणी नहीं है, तो आपको 0 मिलता है। यदि कोई सही है, तो उसके क्रम को ध्यान में रखा जाता है। और लक्ष्य परिणाम को आपकी भविष्यवाणी के क्रम से विभाजित करके 1 के रूप में गिना जाएगा। उदाहरण के लिए, आपने तीन भविष्यवक्ता बनाए, और पहला सही है, तो आप 1 को 1 से विभाजित करें और 1 प्राप्त करें। यदि भविष्यवक्ता सही है और उसका क्रम 2 है, तो 1 को 2 से विभाजित करें, आपको 0,5 मिलता है। खैर, आदि.

डेटा प्रीप्रोसेसिंग के साथ - चित्र कैसे बनाएं इत्यादि - हमने थोड़ा निर्णय लिया है। हमने कौन से आर्किटेक्चर का उपयोग किया? हमने PNASNet, SENet जैसे मोटे आर्किटेक्चर और SE-Res-NeXt जैसे पहले से ही क्लासिक आर्किटेक्चर का उपयोग करने की कोशिश की, वे तेजी से नई प्रतियोगिताओं में प्रवेश कर रहे हैं। ResNet और DenseNet भी थे।

हमने यह कैसे सिखाया? हमारे द्वारा लिए गए सभी मॉडल इमेजनेट पर पूर्व-प्रशिक्षित थे। हालाँकि बहुत सारा डेटा है, 50 मिलियन छवियां, लेकिन फिर भी, यदि आप इमेजनेट पर पूर्व-प्रशिक्षित नेटवर्क लेते हैं, तो यह बेहतर परिणाम दिखाता है, अगर आपने इसे केवल स्क्रैच से प्रशिक्षित किया हो।

हमने कौन सी शिक्षण तकनीकों का उपयोग किया? यह वार्म रीस्टार्ट्स के साथ कोसिंग एनीलिंग है, जिसके बारे में मैं थोड़ी देर बाद बात करूंगा। यह एक ऐसी तकनीक है जिसका उपयोग मैं अपनी हाल की लगभग सभी प्रतियोगिताओं में करता हूं, और इसके साथ यह ग्रिड को काफी अच्छी तरह से प्रशिक्षित करने, एक अच्छा न्यूनतम हासिल करने में मदद करता है।

अगला पठार पर सीखने की दर कम करें। आप नेटवर्क को प्रशिक्षित करना शुरू करते हैं, एक निश्चित सीखने की दर निर्धारित करते हैं, इसे सिखाना जारी रखते हैं, और आपका नुकसान धीरे-धीरे एक निश्चित मूल्य में परिवर्तित हो जाता है। आप इसकी जाँच करें, उदाहरण के लिए, दस युगों से हानि बिल्कुल भी नहीं बदली है। आप अपनी सीखने की दर को कुछ हद तक कम करते हैं और सीखना जारी रखते हैं। यह फिर से थोड़ा गिरता है, कुछ न्यूनतम पर एकत्रित होता है, और आप फिर से सीखने की दर को कम करते हैं, और इसी तरह, जब तक कि आपका नेटवर्क अंततः एकत्रित नहीं हो जाता।

अगली एक दिलचस्प तकनीक है: सीखने की दर को कम न करें, बैच का आकार बढ़ाएँ। इसी नाम से एक लेख है. जब आप किसी नेटवर्क को प्रशिक्षित करते हैं, तो आपको सीखने की दर कम करने की ज़रूरत नहीं होती है, आप बस बैच का आकार बढ़ा सकते हैं।

वैसे, इस तकनीक का इस्तेमाल एलेक्स पारिनोव ने किया था। उन्होंने 408 के बराबर बैच के साथ शुरुआत की, और जब उनका नेटवर्क एक निश्चित स्तर पर पहुंच गया, तो उन्होंने बैच का आकार दोगुना कर दिया, आदि।

वास्तव में, मुझे याद नहीं है कि उसके बैच का आकार किस मूल्य तक पहुंचा था, लेकिन दिलचस्प बात यह है कि कागल पर ऐसी टीमें थीं जो समान तकनीक का उपयोग करती थीं, उनके बैच का आकार लगभग 10000 था। वैसे, गहन शिक्षण के लिए आधुनिक ढांचे, जैसे उदाहरण के लिए, PyTorch आपको यह बहुत आसानी से करने की अनुमति देता है। आप अपना बैच तैयार करते हैं और इसे नेटवर्क पर सबमिट करते हैं, न कि इसकी संपूर्णता में, बल्कि इसे टुकड़ों में विभाजित करते हैं ताकि यह आपके वीडियो कार्ड में फिट हो जाए, ग्रेडिएंट की गणना करें, और पूरे बैच के लिए ग्रेडिएंट की गणना करने के बाद, अपडेट करें वजन.

वैसे, इस प्रतियोगिता में बड़े बैच आकार अभी भी शामिल थे, क्योंकि डेटा काफी शोर था, और बड़े बैच आकार ने आपको ग्रेडिएंट का अधिक सटीक अनुमान लगाने में मदद की।

छद्म-लेबलिंग का भी उपयोग किया गया था, जिसका उपयोग ज्यादातर रोमन सोलोविएव द्वारा किया गया था। उन्होंने परीक्षण से लगभग आधे डेटा का बैचों में नमूना लिया, और ऐसे बैचों पर ग्रिड को प्रशिक्षित किया।

चित्रों का आकार मायने रखता है, लेकिन तथ्य यह है कि आपके पास बहुत अधिक डेटा है, आपको लंबे समय तक प्रशिक्षित करने की आवश्यकता है, और यदि आपके चित्र का आकार काफी बड़ा है, तो आपको बहुत लंबे समय तक प्रशिक्षित करना होगा। लेकिन इससे आपके अंतिम क्लासिफायरियर की गुणवत्ता में बहुत अधिक वृद्धि नहीं हुई, इसलिए किसी प्रकार के ट्रेड-ऑफ का उपयोग करना उचित था। और हमने केवल वे तस्वीरें आज़माईं जो आकार में बहुत बड़ी नहीं थीं।

यह सब कैसे सीखा गया? सबसे पहले छोटे आकार की तस्वीरें ली गईं, उन पर कई युग चलाए गए, इसमें काफी समय लग गया। फिर बड़े आकार के चित्र दिए गए, नेटवर्क को प्रशिक्षित किया गया, फिर और भी अधिक, और भी अधिक, ताकि इसे शुरू से ही प्रशिक्षित न किया जाए और बहुत अधिक समय बर्बाद न किया जाए।

अनुकूलकों के बारे में हमने एसजीडी और एडम का इस्तेमाल किया। इस तरह से एक मॉडल प्राप्त करना संभव हो सका, जिसने सार्वजनिक लीडरबोर्ड पर 0,941-0,946 की स्पीड दी, जो काफी अच्छी है।

यदि आप किसी तरह से मॉडलों को जोड़ते हैं, तो आपको 0,951 के आसपास मिलेगा। यदि आप एक और तकनीक का उपयोग करते हैं, तो आपको सार्वजनिक बोर्ड पर 0,954 का अंतिम स्कोर मिलेगा, जैसा कि हमें मिला। लेकिन उस पर बाद में। आगे मैं आपको बताऊंगा कि हमने मॉडलों को कैसे इकट्ठा किया, और हम इतनी अंतिम गति कैसे हासिल करने में कामयाब रहे।

आगे मैं वार्म रीस्टार्ट के साथ कोसिंग एनीलिंग या वार्म रीस्टार्ट के साथ स्टोचैस्टिक ग्रेडिएंट डीसेंट के बारे में बात करना चाहूंगा। मोटे तौर पर, सिद्धांत रूप में, आप किसी भी ऑप्टिमाइज़र का उपयोग कर सकते हैं, लेकिन मुद्दा यह है: यदि आप केवल एक नेटवर्क को प्रशिक्षित करते हैं और धीरे-धीरे यह कुछ न्यूनतम में परिवर्तित हो जाता है, तो सब कुछ ठीक है, आपको एक नेटवर्क मिलेगा, यह कुछ गलतियाँ करता है, लेकिन आप इसे थोड़ा अलग तरीके से प्रशिक्षित कर सकते हैं। आप कुछ प्रारंभिक सीखने की दर निर्धारित करेंगे, और इस सूत्र के अनुसार इसे धीरे-धीरे कम करेंगे। आप इसे कम करते हैं, आपका नेटवर्क कुछ न्यूनतम पर आ जाता है, फिर आप वजन बचाते हैं, और फिर से सीखने की दर निर्धारित करते हैं जो प्रशिक्षण की शुरुआत में थी, जिससे इस न्यूनतम से कहीं ऊपर जा रहा है, और फिर से आपकी सीखने की दर कम हो जाती है।

इस प्रकार, आप एक साथ कई न्यूनतम पर जा सकते हैं, जिसमें आपका नुकसान, प्लस या माइनस, समान होगा। लेकिन तथ्य यह है कि इन भार वाले नेटवर्क आपकी तारीख पर अलग-अलग त्रुटियां देंगे। उनका औसत निकालने पर आपको एक प्रकार का अनुमान मिलेगा और आपकी गति अधिक हो जाएगी।

हमने अपने मॉडलों को कैसे इकट्ठा किया। प्रस्तुतिकरण की शुरुआत में, मैंने परीक्षण में डेटा की मात्रा और कक्षाओं की संख्या पर ध्यान देने के लिए कहा। यदि आप परीक्षण सेट में लक्ष्यों की संख्या में 1 जोड़ते हैं और कक्षाओं की संख्या से विभाजित करते हैं, तो आपको संख्या 330 मिलेगी, और यह मंच पर लिखा गया था - कि परीक्षण में कक्षाएं संतुलित हैं। इसका उपयोग किया जा सकता है.

इसके आधार पर, रोमन सोलोविएव एक मीट्रिक लेकर आए, हमने इसे प्रॉक्सी स्कोर कहा, जो लीडरबोर्ड के साथ काफी अच्छी तरह से जुड़ा हुआ था। मुद्दा यह है: आप एक भविष्यवाणी करते हैं, अपने भविष्यवक्ताओं में से शीर्ष 1 लेते हैं और प्रत्येक वर्ग के लिए वस्तुओं की संख्या गिनते हैं। इसके बाद, प्रत्येक मान से 330 घटाएं और परिणामी निरपेक्ष मान जोड़ें।

निम्नलिखित मान प्राप्त हुए. इससे हमें एक जांच लीडरबोर्ड बनाने में मदद नहीं मिली, बल्कि स्थानीय स्तर पर सत्यापन करने और हमारे समूहों के लिए गुणांक का चयन करने में मदद मिली।

एक समूह के साथ आप ऐसी गति प्राप्त कर सकते हैं। इसके अलावा मेरे द्वारा और क्या किया जा सकता है? मान लीजिए कि आपने इस जानकारी का उपयोग किया है कि आपके परीक्षण में कक्षाएं संतुलित हैं।

संतुलन अलग था. उनमें से एक का एक उदाहरण - प्रथम स्थान प्राप्त करने वाले लोगों से संतुलन।

हमने क्या किया? हमारा संतुलन काफी सरल था, यह एवगेनी बाबाखनिन ने सुझाया था। हमने सबसे पहले अपनी भविष्यवाणियों को शीर्ष 1 के आधार पर क्रमबद्ध किया और उनमें से उम्मीदवारों का चयन किया - ताकि कक्षाओं की संख्या 330 से अधिक न हो। लेकिन कुछ कक्षाओं के लिए आपको 330 से भी कम भविष्यवक्ता मिलते हैं। ठीक है, आइए शीर्ष 2 और शीर्ष 3 के आधार पर भी क्रमबद्ध करें , और हम उम्मीदवारों का चयन भी करेंगे।

हमारा संतुलन पहले स्थान के संतुलन से किस प्रकार भिन्न था? उन्होंने एक पुनरावृत्तीय दृष्टिकोण का उपयोग किया, सबसे लोकप्रिय वर्ग को लिया और उस वर्ग की संभावनाओं को कुछ छोटी संख्या से कम कर दिया जब तक कि वह वर्ग सबसे लोकप्रिय नहीं रह गया। हमने अगली सबसे लोकप्रिय कक्षा ली। इसलिए वे उन्हें तब तक कम करते रहे जब तक कि सभी वर्गों की संख्या बराबर नहीं हो गई।

सभी ने ट्रेन नेटवर्क के लिए प्लस या माइनस वन दृष्टिकोण का उपयोग किया, लेकिन सभी ने संतुलन का उपयोग नहीं किया। संतुलन का उपयोग करके, आप सोने में जा सकते हैं, और यदि आप भाग्यशाली रहे, तो पैसे में।

किसी तारीख को प्रीप्रोसेस कैसे करें? सभी ने एक ही तरह से तारीख, प्लस या माइनस को पूर्व-संसाधित किया - हस्तनिर्मित विशेषताएं बनाना, अलग-अलग स्ट्रोक रंगों के साथ समय को एन्कोड करने का प्रयास करना आदि। एलेक्सी नोज़ड्रिन-प्लॉट्निट्स्की, जिन्होंने 8 वां स्थान प्राप्त किया, ने इस बारे में बात की।

उन्होंने इसे अलग तरीके से किया. उन्होंने कहा कि ये सब आपके बनाये हुए फीचर काम नहीं करते, आपको ऐसा करने की जरूरत नहीं है, आपके नेटवर्क को ये सब खुद ही सीखना चाहिए. और इसके बजाय, वह ऐसे शिक्षण मॉड्यूल लेकर आए जो आपके डेटा को प्रीप्रोसेस करते थे। उन्होंने मूल डेटा को प्रीप्रोसेसिंग - बिंदु निर्देशांक और समय के बिना उनमें फेंक दिया।

फिर उन्होंने निर्देशांक के आधार पर अंतर लिया और समय के आधार पर इसका औसत निकाला। और वह एक काफी लंबी मैट्रिक्स लेकर आये। उन्होंने 1xn आकार का एक मैट्रिक्स प्राप्त करने के लिए इसमें कई बार 64D कनवल्शन लागू किया, जहां n अंकों की कुल संख्या है, और 64 परिणामी मैट्रिक्स को किसी भी कनवल्शनल नेटवर्क की परत पर फीड करने के लिए बनाया गया है, जो चैनलों की संख्या को स्वीकार करता है। - 64. उन्होंने एक 64xn मैट्रिक्स प्राप्त किया, फिर इससे कुछ आकार का एक टेंसर बनाना आवश्यक था ताकि चैनलों की संख्या 64 के बराबर हो। उन्होंने एक बनाने के लिए 0 से 32 तक की सीमा में सभी बिंदुओं X, Y को सामान्य किया 32x32 आकार का टेंसर। मुझे नहीं पता कि वह 32x32 क्यों चाहते थे, यह बस इसी तरह हुआ। और इस निर्देशांक पर उन्होंने 64xn आकार के इस मैट्रिक्स का एक टुकड़ा रखा। तो यह बस एक 32x32x64 टेंसर के साथ समाप्त हुआ जिसे आप अपने कनवल्शनल न्यूरल नेटवर्क में डाल सकते हैं। मैं बस इतना ही कहना चाहता था.

स्रोत: www.habr.com