FlexGen ਸਿੰਗਲ GPU ਸਿਸਟਮਾਂ 'ਤੇ ChatGPT-ਵਰਗੇ AI ਬੋਟਾਂ ਨੂੰ ਚਲਾਉਣ ਲਈ ਇੱਕ ਇੰਜਣ ਹੈ

ਸਟੈਨਫੋਰਡ ਯੂਨੀਵਰਸਿਟੀ, ਬਰਕਲੇ ਵਿਖੇ ਕੈਲੀਫੋਰਨੀਆ ਯੂਨੀਵਰਸਿਟੀ, ਈਟੀਐਚ ਜ਼ਿਊਰਿਕ, ਗ੍ਰੈਜੂਏਟ ਸਕੂਲ ਆਫ਼ ਇਕਨਾਮਿਕਸ, ਕਾਰਨੇਗੀ ਮੇਲਨ ਯੂਨੀਵਰਸਿਟੀ, ਅਤੇ ਨਾਲ ਹੀ ਯਾਂਡੇਕਸ ਅਤੇ ਮੈਟਾ ਦੇ ਖੋਜਕਰਤਾਵਾਂ ਦੀ ਇੱਕ ਟੀਮ ਨੇ ਸਰੋਤਾਂ 'ਤੇ ਵੱਡੇ ਭਾਸ਼ਾ ਮਾਡਲਾਂ ਨੂੰ ਚਲਾਉਣ ਲਈ ਇੱਕ ਇੰਜਣ ਦਾ ਸਰੋਤ ਕੋਡ ਪ੍ਰਕਾਸ਼ਿਤ ਕੀਤਾ ਹੈ। - ਸੀਮਤ ਸਿਸਟਮ. ਉਦਾਹਰਨ ਲਈ, ਇੰਜਣ 175GB ਵੀਡੀਓ ਮੈਮੋਰੀ ਨਾਲ ਲੈਸ NVIDIA RTX175 ਗੇਮਿੰਗ ਗ੍ਰਾਫਿਕਸ ਕਾਰਡ ਵਾਲੇ ਇੱਕ ਨਿਯਮਤ ਕੰਪਿਊਟਰ 'ਤੇ, 3090 ਬਿਲੀਅਨ ਪੈਰਾਮੀਟਰਾਂ ਨੂੰ ਕਵਰ ਕਰਦੇ ਹੋਏ, ਇੱਕ ਪੂਰਵ-ਸਿਖਿਅਤ OPT-24B ਮਾਡਲ ਚਲਾ ਕੇ ਚੈਟਜੀਪੀਟੀ ਅਤੇ ਕੋਪਾਇਲਟ ਦੀ ਯਾਦ ਦਿਵਾਉਣ ਵਾਲੀ ਕਾਰਜਕੁਸ਼ਲਤਾ ਬਣਾਉਣ ਦੀ ਸਮਰੱਥਾ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ। ਕੋਡ Python ਵਿੱਚ ਲਿਖਿਆ ਗਿਆ ਹੈ, PyTorch ਫਰੇਮਵਰਕ ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ ਅਤੇ Apache 2.0 ਲਾਇਸੰਸ ਦੇ ਅਧੀਨ ਵੰਡਿਆ ਜਾਂਦਾ ਹੈ।

ਇਸ ਵਿੱਚ ਬੋਟ ਬਣਾਉਣ ਲਈ ਇੱਕ ਉਦਾਹਰਨ ਸਕ੍ਰਿਪਟ ਸ਼ਾਮਲ ਹੈ ਜੋ ਤੁਹਾਨੂੰ ਜਨਤਕ ਤੌਰ 'ਤੇ ਉਪਲਬਧ ਭਾਸ਼ਾ ਮਾਡਲਾਂ ਵਿੱਚੋਂ ਇੱਕ ਨੂੰ ਡਾਊਨਲੋਡ ਕਰਨ ਅਤੇ ਤੁਰੰਤ ਸੰਚਾਰ ਸ਼ੁਰੂ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦੀ ਹੈ (ਉਦਾਹਰਨ ਲਈ, ਕਮਾਂਡ ਚਲਾ ਕੇ “python apps/chatbot.py —model facebook/opt-30b — -percent 0 100 100 0 100 0”)। ਆਧਾਰ ਵਜੋਂ, ਬੁੱਕਕਾਰਪਸ (10 ਹਜ਼ਾਰ ਕਿਤਾਬਾਂ), ਸੀਸੀ-ਕਹਾਣੀਆਂ, ਪਾਇਲ (ਓਪਨਸਬਟਾਈਟਲਸ, ਵਿਕੀਪੀਡੀਆ, ਡੀਐਮ ਗਣਿਤ, ਹੈਕਰਨਿਊਜ਼, ਆਦਿ), ਪੁਸ਼ਸ਼ਿਫਟ ਦੇ ਸੰਗ੍ਰਹਿ 'ਤੇ ਸਿਖਲਾਈ ਪ੍ਰਾਪਤ, ਫੇਸਬੁੱਕ ਦੁਆਰਾ ਪ੍ਰਕਾਸ਼ਿਤ ਇੱਕ ਵਿਸ਼ਾਲ ਭਾਸ਼ਾ ਮਾਡਲ ਦੀ ਵਰਤੋਂ ਕਰਨ ਦਾ ਪ੍ਰਸਤਾਵ ਹੈ। io (Reddit ਡੇਟਾ 'ਤੇ ਆਧਾਰਿਤ) ਅਤੇ CCNewsV2 (ਨਿਊਜ਼ ਆਰਕਾਈਵ)। ਮਾਡਲ ਲਗਭਗ 180 ਬਿਲੀਅਨ ਟੋਕਨ (800 GB ਡੇਟਾ) ਨੂੰ ਕਵਰ ਕਰਦਾ ਹੈ। ਮਾਡਲ ਨੂੰ ਸਿਖਲਾਈ ਦੇਣ ਲਈ 33 NVIDIA A992 100GB GPU ਦੇ ਨਾਲ ਕਲੱਸਟਰ ਓਪਰੇਸ਼ਨ ਦੇ 80 ਦਿਨ ਖਰਚ ਕੀਤੇ ਗਏ ਸਨ।

ਜਦੋਂ ਇੱਕ ਸਿੰਗਲ NVIDIA T175 GPU (4GB) ਵਾਲੇ ਸਿਸਟਮ 'ਤੇ OPT-16B ਮਾਡਲ ਚਲਾਉਂਦੇ ਹੋ, ਤਾਂ FlexGen ਇੰਜਣ ਨੇ ਪਹਿਲਾਂ ਪੇਸ਼ ਕੀਤੇ ਹੱਲਾਂ ਨਾਲੋਂ 100 ਗੁਣਾ ਤੇਜ਼ ਕਾਰਜਕੁਸ਼ਲਤਾ ਦਾ ਪ੍ਰਦਰਸ਼ਨ ਕੀਤਾ, ਵੱਡੇ ਭਾਸ਼ਾ ਮਾਡਲਾਂ ਦੀ ਵਰਤੋਂ ਨੂੰ ਵਧੇਰੇ ਕਿਫਾਇਤੀ ਬਣਾਉਂਦਾ ਹੈ ਅਤੇ ਉਹਨਾਂ ਨੂੰ ਚੱਲਣ ਦੀ ਆਗਿਆ ਦਿੰਦਾ ਹੈ। ਸਮਰਪਿਤ ਐਕਸਲੇਟਰਾਂ ਤੋਂ ਬਿਨਾਂ ਸਿਸਟਮ। ਉਸੇ ਸਮੇਂ, FlexGen ਮਲਟੀਪਲ GPUs ਦੇ ਨਾਲ ਗਣਨਾਵਾਂ ਨੂੰ ਬਰਾਬਰ ਕਰਨ ਲਈ ਸਕੇਲ ਕਰ ਸਕਦਾ ਹੈ। ਮਾਡਲ ਦੇ ਆਕਾਰ ਨੂੰ ਘਟਾਉਣ ਲਈ, ਇੱਕ ਮਲਕੀਅਤ ਪੈਰਾਮੀਟਰ ਕੰਪਰੈਸ਼ਨ ਸਕੀਮ ਅਤੇ ਇੱਕ ਮਾਡਲ ਕੈਚਿੰਗ ਵਿਧੀ ਨੂੰ ਵੀ ਵਰਤਿਆ ਜਾਂਦਾ ਹੈ।

ਵਰਤਮਾਨ ਵਿੱਚ, FlexGen ਸਿਰਫ OPT ਭਾਸ਼ਾ ਮਾਡਲਾਂ ਦਾ ਸਮਰਥਨ ਕਰਦਾ ਹੈ, ਪਰ ਭਵਿੱਖ ਵਿੱਚ ਵਿਕਾਸਕਾਰ ਬਲੂਮ (176 ਬਿਲੀਅਨ ਪੈਰਾਮੀਟਰ, 46 ਭਾਸ਼ਾਵਾਂ ਅਤੇ 13 ਪ੍ਰੋਗਰਾਮਿੰਗ ਭਾਸ਼ਾਵਾਂ ਦਾ ਸਮਰਥਨ ਕਰਦੇ ਹਨ), ਕੋਡਗੇਨ (22 ਪ੍ਰੋਗਰਾਮਿੰਗ ਭਾਸ਼ਾਵਾਂ ਵਿੱਚ ਕੋਡ ਤਿਆਰ ਕਰ ਸਕਦੇ ਹਨ) ਅਤੇ GLM ਮਾਡਲ। FlexGen ਅਤੇ OPT-30B ਮਾਡਲ 'ਤੇ ਆਧਾਰਿਤ ਬੋਟ ਨਾਲ ਸੰਵਾਦ ਦੀ ਇੱਕ ਉਦਾਹਰਨ:

ਮਨੁੱਖ: ਦੁਨੀਆ ਦੇ ਸਭ ਤੋਂ ਉੱਚੇ ਪਹਾੜ ਦਾ ਨਾਮ ਕੀ ਹੈ?

ਸਹਾਇਕ: ਐਵਰੈਸਟ.

ਮਨੁੱਖੀ: ਮੈਂ ਆਪਣੀ ਵਰ੍ਹੇਗੰਢ ਲਈ ਇੱਕ ਯਾਤਰਾ ਦੀ ਯੋਜਨਾ ਬਣਾ ਰਿਹਾ ਹਾਂ। ਅਸੀਂ ਕਿਹੜੀਆਂ ਚੀਜ਼ਾਂ ਕਰ ਸਕਦੇ ਹਾਂ?

ਸਹਾਇਕ: ਠੀਕ ਹੈ, ਇੱਥੇ ਬਹੁਤ ਸਾਰੀਆਂ ਚੀਜ਼ਾਂ ਹਨ ਜੋ ਤੁਸੀਂ ਆਪਣੀ ਵਰ੍ਹੇਗੰਢ ਲਈ ਕਰ ਸਕਦੇ ਹੋ। ਪਹਿਲਾਂ, ਤੁਸੀਂ ਤਾਸ਼ ਖੇਡ ਸਕਦੇ ਹੋ। ਦੂਜਾ, ਤੁਸੀਂ ਹਾਈਕ ਲਈ ਜਾ ਸਕਦੇ ਹੋ। ਤੀਜਾ, ਤੁਸੀਂ ਅਜਾਇਬ ਘਰ ਜਾ ਸਕਦੇ ਹੋ।

ਸਰੋਤ: opennet.ru