इंटेल Xeon ने न्यूरल नेटवर्कला प्रशिक्षण देताना अनेक वेळा आठ टेस्ला V100 ला मागे टाकले

डिप लर्निंग न्यूरल नेटवर्क्सच्या एकाच वेळी आठ ग्राफिक्स प्रोसेसरच्या संयोजनापेक्षा सेंट्रल प्रोसेसर कार्यक्षमतेत कित्येक पटीने वेगवान होता. विज्ञान कल्पनेतून काहीतरी बाहेर आल्यासारखे वाटते, नाही का? पण राईस युनिव्हर्सिटीच्या संशोधकांनी इंटेल झिऑनचा वापर करून हे शक्य असल्याचे सिद्ध केले आहे.

सीपीयू पेक्षा डीप लर्निंग न्यूरल नेटवर्कसाठी GPUs नेहमीच जास्त उपयुक्त आहेत. हे GPU च्या आर्किटेक्चरमुळे आहे, ज्यामध्ये अनेक लहान कोर असतात जे समांतरपणे अनेक लहान कार्ये करण्यास सक्षम असतात, जे न्यूरल नेटवर्कला प्रशिक्षण देण्यासाठी आवश्यक असते. परंतु असे दिसून आले की केंद्रीय प्रोसेसर, योग्य दृष्टिकोनासह, सखोल शिक्षणामध्ये खूप प्रभावी असू शकतात.

असे नोंदवले गेले आहे की स्लाईड डीप लर्निंग अल्गोरिदम वापरताना, 44 कोर असलेला इंटेल Xeon प्रोसेसर आठ NVIDIA Tesla V3,5 संगणकीय प्रवेगकांच्या संयोजनापेक्षा 100 पट अधिक उत्पादक होता. अशा परिस्थितीत सीपीयूने केवळ GPU सोबत पकडण्याची ही कदाचित पहिलीच वेळ आहे, परंतु त्यांना मागे टाकले आहे, आणि अतिशय लक्षणीय.

विद्यापीठाने जारी केलेल्या प्रेस रीलिझमध्ये असे म्हटले आहे की SLIDE अल्गोरिदमला GPU ची आवश्यकता नाही कारण ते पूर्णपणे भिन्न दृष्टीकोन वापरते. सामान्यतः, न्यूरल नेटवर्कला प्रशिक्षण देताना, प्रशिक्षण त्रुटी बॅकप्रॉपगेशन तंत्र वापरले जाते, जे मॅट्रिक्स गुणाकार वापरते, जे GPU साठी एक आदर्श लोड आहे. दुसरीकडे, स्‍लाइड, शिकण्‍याला लुकअप प्रॉब्लेम बनवते जी हॅश टेबल वापरून सोडवली जाते.

संशोधकांच्या मते, यामुळे न्यूरल नेटवर्क्सच्या प्रशिक्षणाचा संगणकीय खर्च लक्षणीयरीत्या कमी होतो. बेसलाइन मिळवण्यासाठी, संशोधकांनी Google च्या TensorFlow लायब्ररीचा वापर करून न्यूरल नेटवर्कला प्रशिक्षण देण्यासाठी आठ टेस्ला V100 प्रवेगकांसह राइस युनिव्हर्सिटी लॅबची विद्यमान प्रणाली वापरली. प्रक्रियेला 3,5 तास लागले. त्यानंतर, एकल 44-कोर Xeon प्रोसेसर असलेल्या सिस्टीमवर SLIDE अल्गोरिदम वापरून तत्सम न्यूरल नेटवर्कला प्रशिक्षण देण्यात आले आणि त्याला फक्त 1 तास लागला.

येथे हे लक्षात घेण्यासारखे आहे की इंटेलकडे सध्या त्याच्या उत्पादन श्रेणीमध्ये 44-कोर प्रोसेसर मॉडेल नाहीत. हे शक्य आहे की संशोधकांनी काही प्रकारची सानुकूल किंवा अप्रकाशित चिप वापरली, परंतु हे संभव नाही. येथे दोन 22-कोर इंटेल Xeons असलेली प्रणाली वापरली गेली असण्याची शक्यता जास्त आहे किंवा प्रेस रिलीजमध्ये फक्त एक त्रुटी होती आणि आम्ही एका 44-कोर प्रोसेसरद्वारे प्रदान केलेल्या 22 थ्रेड्सबद्दल बोलत आहोत. परंतु कोणत्याही परिस्थितीत, हे यशापासूनच विचलित होत नाही.

अर्थात, SLIDE अल्गोरिदमला अजूनही अनेक चाचण्यांमधून जावे लागेल आणि त्याची प्रभावीता सिद्ध करावी लागेल, तसेच कोणत्याही वैशिष्ठ्य आणि त्रुटींचा अभाव आहे. तथापि, आपण आता जे पाहतो ते खूप प्रभावी आहे आणि उद्योगाच्या विकासावर खरोखरच मोठा प्रभाव पडू शकतो.

स्त्रोत: 3dnews.ru