ஸ்டான்போர்ட் பல்கலைக்கழகம், பெர்க்லியில் உள்ள கலிபோர்னியா பல்கலைக்கழகம், ETH சூரிச், பொருளாதாரப் பட்டதாரி பள்ளி, கார்னகி மெலன் பல்கலைக்கழகம் மற்றும் யாண்டெக்ஸ் மற்றும் மெட்டா ஆகியவற்றின் ஆராய்ச்சியாளர்கள் குழு, வளத்தில் பெரிய மொழி மாதிரிகளை இயக்குவதற்கான இயந்திரத்தின் மூலக் குறியீட்டை வெளியிட்டுள்ளனர். - கட்டுப்படுத்தப்பட்ட அமைப்புகள். எடுத்துக்காட்டாக, 175ஜிபி வீடியோ நினைவகத்துடன் கூடிய NVIDIA RTX175 கேமிங் கிராபிக்ஸ் அட்டையுடன் கூடிய வழக்கமான கணினியில், 3090 பில்லியன் அளவுருக்களை உள்ளடக்கிய, முன் பயிற்சி பெற்ற OPT-24B மாதிரியை இயக்குவதன் மூலம், ChatGPT மற்றும் Copilot போன்ற செயல்பாட்டை நினைவூட்டும் செயல்பாட்டை உருவாக்கும் திறனை என்ஜின் வழங்குகிறது. குறியீடு பைத்தானில் எழுதப்பட்டுள்ளது, பைடார்ச் கட்டமைப்பைப் பயன்படுத்துகிறது மற்றும் அப்பாச்சி 2.0 உரிமத்தின் கீழ் விநியோகிக்கப்படுகிறது.
பொதுவில் கிடைக்கும் மொழி மாதிரிகளில் ஒன்றைப் பதிவிறக்கி உடனடியாகத் தொடர்புகொள்ளத் தொடங்கும் போட்களை உருவாக்குவதற்கான எடுத்துக்காட்டு ஸ்கிரிப்ட் இதில் அடங்கும் (எடுத்துக்காட்டாக, “python apps/chatbot.py —model facebook/opt-30b — -percent 0 கட்டளையை இயக்குவதன் மூலம். 100 100 0 100 0” ). ஒரு தளமாக, புக்கார்பஸ் (10 ஆயிரம் புத்தகங்கள்), CC-கதைகள், பைல் (OpenSubtitles, Wikipedia, DM Mathematics, HackerNews, முதலியன), Pushshift ஆகியவற்றின் தொகுப்புகளில் பயிற்றுவிக்கப்பட்ட Facebook வெளியிடும் பெரிய மொழி மாதிரியைப் பயன்படுத்த முன்மொழியப்பட்டுள்ளது. io (Reddit தரவு அடிப்படையில்) மற்றும் CCNewsV2 (செய்தி காப்பகம்). மாடல் சுமார் 180 பில்லியன் டோக்கன்களை (800 ஜிபி டேட்டா) உள்ளடக்கியது. 33 NVIDIA A992 100GB GPUகளுடன் 80 நாட்கள் கிளஸ்டர் இயக்கத்தில் மாடலைப் பயிற்றுவிக்க செலவிடப்பட்டது.
ஒற்றை NVIDIA T175 GPU (4GB) கொண்ட கணினியில் OPT-16B மாடலை இயக்கும் போது, FlexGen இன்ஜின் முன்பு வழங்கப்பட்ட தீர்வுகளை விட 100 மடங்கு வேகமாக செயல்திறனை வெளிப்படுத்தியது, பெரிய மொழி மாடல்களைப் பயன்படுத்துவதை மிகவும் மலிவு மற்றும் அவற்றை இயக்க அனுமதிக்கிறது. பிரத்யேக முடுக்கிகள் இல்லாத அமைப்புகள். அதே நேரத்தில், FlexGen பல GPUகளுடன் கணக்கீடுகளை இணையாக அளவிட முடியும். மாதிரியின் அளவைக் குறைக்க, தனியுரிம அளவுரு சுருக்கத் திட்டம் மற்றும் மாதிரி கேச்சிங் பொறிமுறை ஆகியவை கூடுதலாகப் பயன்படுத்தப்படுகின்றன.
தற்போது, FlexGen OPT மொழி மாதிரிகளை மட்டுமே ஆதரிக்கிறது, ஆனால் எதிர்காலத்தில் டெவலப்பர்கள் BLOOM (176 பில்லியன் அளவுருக்கள், 46 மொழிகள் மற்றும் 13 நிரலாக்க மொழிகளை ஆதரிக்கிறது), CodeGen (22 நிரலாக்க மொழிகளில் குறியீட்டை உருவாக்க முடியும்) மற்றும் GLM மாதிரிகள். FlexGen மற்றும் OPT-30B மாதிரியை அடிப்படையாகக் கொண்ட ஒரு போட் உடனான உரையாடலின் எடுத்துக்காட்டு:
மனிதர்: உலகின் மிக உயரமான மலையின் பெயர் என்ன?
உதவியாளர்: எவரெஸ்ட்.
மனிதர்: எங்கள் ஆண்டுவிழாவிற்கு நான் ஒரு பயணத்தைத் திட்டமிடுகிறேன். நாம் என்னென்ன விஷயங்களைச் செய்ய முடியும்?
உதவியாளர்: சரி, உங்கள் ஆண்டுவிழாவிற்கு நீங்கள் செய்யக்கூடிய பல விஷயங்கள் உள்ளன. முதலில், நீங்கள் அட்டைகளை விளையாடலாம். இரண்டாவதாக, நீங்கள் ஒரு நடைக்கு செல்லலாம். மூன்றாவதாக, நீங்கள் ஒரு அருங்காட்சியகத்திற்குச் செல்லலாம்.
ஆதாரம்: opennet.ru