عملکرد پردازنده مرکزی چندین برابر سریعتر از ترکیبی از هشت پردازنده گرافیکی همزمان در هنگام یادگیری عمیق شبکه های عصبی بود. به نظر چیزی خارج از داستان علمی تخیلی است، اینطور نیست؟ اما محققان دانشگاه رایس با استفاده از Intel Xeon ثابت کرده اند که این امکان پذیر است.
پردازنده‌های گرافیکی همیشه برای شبکه‌های عصبی یادگیری عمیق بسیار مناسب‌تر از پردازنده‌ها بوده‌اند. این به دلیل معماری پردازنده‌های گرافیکی است که از هسته‌های کوچک زیادی تشکیل شده‌اند که قادر به انجام بسیاری از وظایف کوچک به صورت موازی هستند، که دقیقاً همان چیزی است که برای آموزش شبکه‌های عصبی لازم است. اما مشخص شد که پردازنده های مرکزی با رویکرد صحیح می توانند در یادگیری عمیق بسیار موثر باشند.
گزارش شده است که هنگام استفاده از الگوریتم یادگیری عمیق SLIDE، یک پردازنده Intel Xeon با 44 هسته، 3,5 برابر بیشتر از ترکیبی از هشت شتاب دهنده محاسباتی NVIDIA Tesla V100 بهره‌وری داشت. شاید این اولین باری باشد که CPU در چنین سناریویی نه تنها به GPU می رسد، بلکه از آنها پیشی می گیرد و بسیار قابل توجه است.
یک بیانیه مطبوعاتی منتشر شده توسط دانشگاه بیان می کند که الگوریتم SLIDE به GPU نیاز ندارد زیرا از رویکرد کاملاً متفاوتی استفاده می کند. به طور معمول، هنگام آموزش شبکه های عصبی، از تکنیک انتشار خطای آموزشی استفاده می شود که از ضرب ماتریس استفاده می کند که یک بار ایده آل برای GPU است. از طرف دیگر، SLIDE یادگیری را به یک مشکل جستجو تبدیل می کند که با استفاده از جداول هش حل می شود.
به گفته محققان، این به طور قابل توجهی هزینه محاسباتی آموزش شبکه های عصبی را کاهش می دهد. برای به دست آوردن یک پایه، محققان از سیستم موجود آزمایشگاه دانشگاه رایس با هشت شتاب دهنده تسلا V100 برای آموزش شبکه عصبی با استفاده از کتابخانه TensorFlow گوگل استفاده کردند. این فرآیند 3,5 ساعت طول کشید. پس از آن، یک شبکه عصبی مشابه با استفاده از الگوریتم SLIDE بر روی سیستمی با یک پردازنده 44 هسته‌ای Xeon آموزش داده شد و تنها 1 ساعت طول کشید.
در اینجا شایان ذکر است که اینتل در حال حاضر مدل های پردازنده 44 هسته ای را در محدوده محصولات خود ندارد. این احتمال وجود دارد که محققان از نوعی تراشه سفارشی یا منتشر نشده استفاده کرده باشند، اما بعید است. به احتمال زیاد در اینجا از سیستمی با دو زئون 22 هسته ای اینتل استفاده شده است یا صرفاً یک خطا در بیانیه مطبوعاتی رخ داده است و ما در مورد 44 رشته صحبت می کنیم که توسط یک پردازنده 22 هسته ای ارائه شده است. اما در هر صورت، این چیزی از خود دستاورد کم نمی کند.
البته الگوریتم SLIDE هنوز باید تست های زیادی را پشت سر بگذارد و کارایی خود و همچنین عدم وجود هر گونه ویژگی و تله را ثابت کند. با این حال، آنچه اکنون می بینیم بسیار چشمگیر است و واقعاً می تواند تأثیر زیادی بر توسعه صنعت داشته باشد.
منبع: 3dnews.ru