Neyron tarmoqlarni chuqur o'rganishda markaziy protsessor bir vaqtning o'zida sakkizta grafik protsessorlarning kombinatsiyasidan bir necha barobar tezroq ishlashga ega edi. Ilmiy fantastikadan chiqqan narsaga o'xshaydi, shunday emasmi? Ammo Rays universiteti tadqiqotchilari Intel Xeon yordamida buning mumkinligini isbotladilar.
GPU'lar har doim neyron tarmoqlarni chuqur o'rganish uchun protsessorlarga qaraganda ancha mos keladi. Bu parallel ravishda ko'plab kichik vazifalarni bajarishga qodir bo'lgan ko'plab kichik yadrolardan tashkil topgan GPU arxitekturasi bilan bog'liq bo'lib, neyron tarmoqlarni o'qitish uchun aynan shu narsa talab qilinadi. Ammo ma'lum bo'lishicha, markaziy protsessorlar to'g'ri yondashuv bilan chuqur o'rganishda juda samarali bo'lishi mumkin.
MaΚΌlum qilinishicha, SLIDE chuqur oΚ»rganish algoritmidan foydalanganda 44 yadroli Intel Xeon protsessori sakkiz NVIDIA Tesla V3,5 hisoblash tezlatkichlari kombinatsiyasidan 100 barobar samaraliroq boΚ»lgan. Bu, ehtimol, birinchi marta protsessor bunday stsenariyda nafaqat GPU-ni ushladi, balki ulardan ham oshib ketdi va juda sezilarli.
Universitet tomonidan chiqarilgan press-relizda aytilishicha, SLIDE algoritmi GPU-larni talab qilmaydi, chunki u butunlay boshqacha yondashuvdan foydalanadi. Odatda, neyron tarmoqlarni o'rgatishda, GPU uchun ideal yuk bo'lgan matritsalarni ko'paytirishdan foydalanadigan o'quv xatolarining orqaga tarqalishi texnikasi qo'llaniladi. SLIDE esa o'rganishni xesh-jadvallar yordamida hal qilinadigan qidiruv muammosiga aylantiradi.
Tadqiqotchilarning fikriga ko'ra, bu neyron tarmoqlarni o'qitishning hisoblash xarajatlarini sezilarli darajada kamaytiradi. Asosiy ma'lumot olish uchun tadqiqotchilar Rays universiteti laboratoriyasining mavjud tizimidan sakkizta Tesla V100 tezlatkichlari bilan Google'ning TensorFlow kutubxonasidan foydalangan holda neyron tarmoqni o'qitish uchun foydalanishdi. Jarayon 3,5 soat davom etdi. Keyinchalik, xuddi shunday neyron tarmoq SLIDE algoritmi yordamida bitta 44 yadroli Xeon protsessorli tizimda o'qitildi va bu atigi 1 soat davom etdi.
Shuni ta'kidlash kerakki, Intel hozirda o'z mahsulot assortimentida 44 yadroli protsessor modellariga ega emas. Ehtimol, tadqiqotchilar qandaydir odatiy yoki chiqarilmagan chipdan foydalanganlar, ammo bu dargumon. Bu erda ikkita 22 yadroli Intel Xeon tizimi ishlatilgan yoki press-relizda oddiygina xatolik yuz bergan va biz bitta 44 yadroli protsessor tomonidan taqdim etilgan 22 ta ip haqida gapiramiz. Biroq, har qanday holatda, bu yutuqning o'ziga putur etkazmaydi.
Albatta, SLIDE algoritmi hali ko'p sinovlardan o'tishi va samaradorligini isbotlashi, shuningdek, hech qanday o'ziga xoslik va tuzoqlarning yo'qligini isbotlashi kerak. Biroq, biz hozir ko'rayotgan narsa juda ta'sirli va haqiqatan ham sanoatning rivojlanishiga katta ta'sir ko'rsatishi mumkin.
Manba: 3dnews.ru