ইন্টেল জিওন একটি নিউরাল নেটওয়ার্ককে প্রশিক্ষণ দেওয়ার সময় আটটি টেসলা V100-কে কয়েকবার ছাড়িয়ে গেছে

ডিপ লার্নিং নিউরাল নেটওয়ার্কের সময় একবারে আটটি গ্রাফিক্স প্রসেসরের সংমিশ্রণের চেয়ে কেন্দ্রীয় প্রসেসরটি কার্যক্ষমতায় কয়েকগুণ দ্রুত ছিল। বিজ্ঞান কল্পকাহিনীর বাইরে কিছু মনে হচ্ছে, তাই না? কিন্তু রাইস ইউনিভার্সিটির গবেষকরা Intel Xeon ব্যবহার করে প্রমাণ করেছেন যে এটা সম্ভব।

সিপিইউ-এর তুলনায় ডিপ লার্নিং নিউরাল নেটওয়ার্কের জন্য জিপিইউ সবসময়ই অনেক বেশি উপযোগী। এটি জিপিইউগুলির আর্কিটেকচারের কারণে, যা অনেকগুলি ছোট কোর নিয়ে গঠিত যা সমান্তরালভাবে অনেকগুলি ছোট কাজ সম্পাদন করতে সক্ষম, যা নিউরাল নেটওয়ার্কগুলির প্রশিক্ষণের জন্য ঠিক যা প্রয়োজন। কিন্তু এটা দেখা গেল যে কেন্দ্রীয় প্রসেসর, সঠিক পদ্ধতির সাথে, গভীর শিক্ষার ক্ষেত্রে খুব কার্যকর হতে পারে।

জানা গেছে যে SLIDE ডিপ লার্নিং অ্যালগরিদম ব্যবহার করার সময়, 44 কোর সহ একটি Intel Xeon প্রসেসর আটটি NVIDIA Tesla V3,5 কম্পিউটিং এক্সিলারেটরের সংমিশ্রণের চেয়ে 100 গুণ বেশি উত্পাদনশীল ছিল৷ এটি সম্ভবত প্রথমবার যে সিপিইউ এমন পরিস্থিতিতে কেবল জিপিইউর সাথেই ধরা পড়েনি, তবে তাদের ছাড়িয়ে গেছে এবং খুব লক্ষণীয়ভাবে।

বিশ্ববিদ্যালয়ের দ্বারা জারি করা একটি প্রেস বিজ্ঞপ্তিতে বলা হয়েছে যে SLIDE অ্যালগরিদমের জন্য GPU-এর প্রয়োজন নেই কারণ এটি সম্পূর্ণ ভিন্ন পদ্ধতি ব্যবহার করে। সাধারণত, নিউরাল নেটওয়ার্ক প্রশিক্ষণের সময়, প্রশিক্ষণ ত্রুটি ব্যাকপ্রোপাগেশন কৌশল ব্যবহার করা হয়, যা ম্যাট্রিক্স গুণন ব্যবহার করে, যা GPU-এর জন্য একটি আদর্শ লোড। অন্যদিকে, স্লাইড শেখাকে একটি লুকআপ সমস্যায় পরিণত করে যা হ্যাশ টেবিল ব্যবহার করে সমাধান করা হয়।

গবেষকদের মতে, এটি নিউরাল নেটওয়ার্কের প্রশিক্ষণের গণনামূলক খরচ উল্লেখযোগ্যভাবে হ্রাস করে। একটি বেসলাইন পেতে, গবেষকরা Google-এর TensorFlow লাইব্রেরি ব্যবহার করে একটি নিউরাল নেটওয়ার্ককে প্রশিক্ষণের জন্য আটটি টেসলা V100 অ্যাক্সিলারেটর সহ রাইস ইউনিভার্সিটির ল্যাবের বিদ্যমান সিস্টেম ব্যবহার করেছেন। প্রক্রিয়াটি 3,5 ঘন্টা সময় নেয়। পরবর্তীতে, একটি অনুরূপ নিউরাল নেটওয়ার্ককে একটি একক 44-কোর Xeon প্রসেসর সহ একটি সিস্টেমে SLIDE অ্যালগরিদম ব্যবহার করে প্রশিক্ষণ দেওয়া হয়েছিল, এবং এটি মাত্র 1 ঘন্টা সময় নেয়।

এখানে এটি লক্ষণীয় যে ইন্টেলের বর্তমানে তার পণ্য পরিসরে 44-কোর প্রসেসর মডেল নেই। এটা সম্ভব যে গবেষকরা কিছু ধরণের কাস্টম বা অপ্রকাশিত চিপ ব্যবহার করেছেন, তবে এটি অসম্ভাব্য। এখানে দুটি 22-কোর ইন্টেল জিওন সহ একটি সিস্টেম ব্যবহার করা হয়েছিল বা প্রেস রিলিজে একটি ত্রুটি ছিল এবং আমরা 44টি থ্রেডের কথা বলছি যা একটি 22-কোর প্রসেসর দ্বারা সরবরাহ করা হয়েছিল। তবে যে কোনও ক্ষেত্রে, এটি অর্জন থেকে নিজেকে বিঘ্নিত করে না।

অবশ্যই, স্লাইড অ্যালগরিদমকে এখনও অনেক পরীক্ষার মধ্য দিয়ে যেতে হবে এবং এর কার্যকারিতা প্রমাণ করতে হবে, সেইসাথে কোনও বিশেষত্ব এবং ত্রুটির অনুপস্থিতি। যাইহোক, আমরা এখন যা দেখছি তা খুবই চিত্তাকর্ষক এবং শিল্পের বিকাশে সত্যিই বড় প্রভাব ফেলতে পারে।

উত্স: 3dnews.ru