FlexGen একক GPU সিস্টেমে ChatGPT-এর মতো AI বট চালানোর জন্য একটি ইঞ্জিন

স্ট্যানফোর্ড ইউনিভার্সিটি, ইউনিভার্সিটি অফ ক্যালিফোর্নিয়া, বার্কলে, ইটিএইচ জুরিখ, গ্র্যাজুয়েট স্কুল অফ ইকোনমিক্স, কার্নেগি মেলন ইউনিভার্সিটি, সেইসাথে ইয়ানডেক্স এবং মেটা থেকে গবেষকদের একটি দল রিসোর্সে বড় ভাষার মডেল চালানোর জন্য একটি ইঞ্জিনের সোর্স কোড প্রকাশ করেছে। - সীমাবদ্ধ সিস্টেম। উদাহরণস্বরূপ, ইঞ্জিনটি 175GB ভিডিও মেমরির সাথে সজ্জিত একটি NVIDIA RTX175 গেমিং গ্রাফিক্স কার্ড সহ একটি নিয়মিত কম্পিউটারে, 3090 বিলিয়ন প্যারামিটার কভার করে একটি প্রাক-প্রশিক্ষিত OPT-24B মডেল চালানোর মাধ্যমে ChatGPT এবং Copilot-এর মতো কার্যকারিতা তৈরি করার ক্ষমতা প্রদান করে৷ কোডটি পাইথনে লেখা, পাইটর্চ ফ্রেমওয়ার্ক ব্যবহার করে এবং অ্যাপাচি 2.0 লাইসেন্সের অধীনে বিতরণ করা হয়।

এতে বট তৈরির জন্য একটি উদাহরণ স্ক্রিপ্ট রয়েছে যা আপনাকে সর্বজনীনভাবে উপলব্ধ ভাষার মডেলগুলির একটি ডাউনলোড করতে এবং অবিলম্বে যোগাযোগ শুরু করতে দেয় (উদাহরণস্বরূপ, "python apps/chatbot.py —model facebook/opt-30b — -percent 0 কমান্ডটি চালানোর মাধ্যমে) 100 100 0 100 0”)। একটি ভিত্তি হিসাবে, এটি বুককর্পাস (10 হাজার বই), সিসি-গল্প, পাইল (ওপেনসাবটাইটেল, উইকিপিডিয়া, ডিএম গণিত, হ্যাকারনিউজ, ইত্যাদি), পুশশিফ্টের সংগ্রহের উপর প্রশিক্ষণপ্রাপ্ত Facebook দ্বারা প্রকাশিত একটি বৃহৎ ভাষার মডেল ব্যবহার করার প্রস্তাব করা হয়েছে। io (Reddit ডেটার উপর ভিত্তি করে) এবং CCNewsV2 (সংবাদ সংরক্ষণাগার)। মডেলটি প্রায় 180 বিলিয়ন টোকেন (800 GB ডেটা) কভার করে। 33 NVIDIA A992 100GB GPU সহ 80 দিনের ক্লাস্টার অপারেশন মডেলটি প্রশিক্ষণের জন্য ব্যয় করা হয়েছিল।

একটি একক NVIDIA T175 GPU (4GB) সহ একটি সিস্টেমে OPT-16B মডেল চালানোর সময়, FlexGen ইঞ্জিন পূর্বে দেওয়া সমাধানগুলির তুলনায় 100 গুণ বেশি দ্রুত কর্মক্ষমতা প্রদর্শন করে, বড় ভাষার মডেলগুলির ব্যবহারকে আরও সাশ্রয়ী করে এবং তাদের চালানোর অনুমতি দেয়। ডেডিকেটেড এক্সিলারেটর ছাড়া সিস্টেম। একই সময়ে, ফ্লেক্সজেন একাধিক GPU-এর সাথে গণনার সমান্তরাল করার জন্য স্কেল করতে পারে। মডেলের আকার কমাতে, একটি মালিকানাধীন প্যারামিটার কম্প্রেশন স্কিম এবং একটি মডেল ক্যাশিং প্রক্রিয়া অতিরিক্তভাবে ব্যবহৃত হয়।

বর্তমানে, ফ্লেক্সজেন শুধুমাত্র ওপিটি ভাষার মডেলগুলিকে সমর্থন করে, তবে ভবিষ্যতে বিকাশকারীরা ব্লুমের জন্য সমর্থন যোগ করার প্রতিশ্রুতি দেয় (176 বিলিয়ন প্যারামিটার, 46টি ভাষা এবং 13টি প্রোগ্রামিং ভাষা সমর্থন করে), কোডজেন (22টি প্রোগ্রামিং ভাষায় কোড তৈরি করতে পারে) এবং GLM মডেল। FlexGen এবং OPT-30B মডেলের উপর ভিত্তি করে একটি বটের সাথে সংলাপের একটি উদাহরণ:

মানুষ: পৃথিবীর সবচেয়ে উঁচু পর্বতের নাম কি?

সহকারী: এভারেস্ট।

মানব: আমি আমাদের বার্ষিকীতে একটি ভ্রমণের পরিকল্পনা করছি। আমরা কি জিনিস করতে পারি?

সহকারী: ঠিক আছে, আপনার বার্ষিকীতে আপনি কিছু করতে পারেন। প্রথমত, আপনি কার্ড খেলতে পারেন। দ্বিতীয়ত, আপনি হাইক করতে যেতে পারেন। তৃতীয়ত, আপনি একটি যাদুঘরে যেতে পারেন।

উত্স: opennet.ru