ಫ್ಲೆಕ್ಸ್‌ಜೆನ್ ಒಂದೇ ಜಿಪಿಯು ಸಿಸ್ಟಮ್‌ಗಳಲ್ಲಿ ಚಾಟ್‌ಜಿಪಿಟಿ-ರೀತಿಯ ಎಐ ಬಾಟ್‌ಗಳನ್ನು ಚಲಾಯಿಸಲು ಎಂಜಿನ್ ಆಗಿದೆ

ಸ್ಟ್ಯಾನ್‌ಫೋರ್ಡ್ ವಿಶ್ವವಿದ್ಯಾನಿಲಯ, ಬರ್ಕ್ಲಿಯಲ್ಲಿರುವ ಕ್ಯಾಲಿಫೋರ್ನಿಯಾ ವಿಶ್ವವಿದ್ಯಾಲಯ, ETH ಜ್ಯೂರಿಚ್, ಗ್ರಾಜುಯೇಟ್ ಸ್ಕೂಲ್ ಆಫ್ ಎಕನಾಮಿಕ್ಸ್, ಕಾರ್ನೆಗೀ ಮೆಲಾನ್ ವಿಶ್ವವಿದ್ಯಾಲಯ, ಹಾಗೆಯೇ ಯಾಂಡೆಕ್ಸ್ ಮತ್ತು ಮೆಟಾದ ಸಂಶೋಧಕರ ತಂಡವು ಸಂಪನ್ಮೂಲದಲ್ಲಿ ದೊಡ್ಡ ಭಾಷಾ ಮಾದರಿಗಳನ್ನು ಚಲಾಯಿಸಲು ಎಂಜಿನ್‌ನ ಮೂಲ ಕೋಡ್ ಅನ್ನು ಪ್ರಕಟಿಸಿದೆ. - ನಿರ್ಬಂಧಿತ ವ್ಯವಸ್ಥೆಗಳು. ಉದಾಹರಣೆಗೆ, 175GB ವೀಡಿಯೊ ಮೆಮೊರಿಯನ್ನು ಹೊಂದಿದ NVIDIA RTX175 ಗೇಮಿಂಗ್ ಗ್ರಾಫಿಕ್ಸ್ ಕಾರ್ಡ್‌ನೊಂದಿಗೆ ಸಾಮಾನ್ಯ ಕಂಪ್ಯೂಟರ್‌ನಲ್ಲಿ 3090 ಶತಕೋಟಿ ನಿಯತಾಂಕಗಳನ್ನು ಒಳಗೊಂಡಿರುವ ಪೂರ್ವ-ತರಬೇತಿ ಪಡೆದ OPT-24B ಮಾದರಿಯನ್ನು ಚಾಲನೆ ಮಾಡುವ ಮೂಲಕ ChatGPT ಮತ್ತು Copilot ಅನ್ನು ನೆನಪಿಸುವ ಕಾರ್ಯವನ್ನು ರಚಿಸುವ ಸಾಮರ್ಥ್ಯವನ್ನು ಎಂಜಿನ್ ಒದಗಿಸುತ್ತದೆ. ಕೋಡ್ ಅನ್ನು ಪೈಥಾನ್‌ನಲ್ಲಿ ಬರೆಯಲಾಗಿದೆ, ಪೈಟಾರ್ಚ್ ಫ್ರೇಮ್‌ವರ್ಕ್ ಅನ್ನು ಬಳಸುತ್ತದೆ ಮತ್ತು ಅಪಾಚೆ 2.0 ಪರವಾನಗಿ ಅಡಿಯಲ್ಲಿ ವಿತರಿಸಲಾಗುತ್ತದೆ.

ಸಾರ್ವಜನಿಕವಾಗಿ ಲಭ್ಯವಿರುವ ಭಾಷಾ ಮಾದರಿಗಳಲ್ಲಿ ಒಂದನ್ನು ಡೌನ್‌ಲೋಡ್ ಮಾಡಲು ಮತ್ತು ತಕ್ಷಣವೇ ಸಂವಹನವನ್ನು ಪ್ರಾರಂಭಿಸಲು ನಿಮಗೆ ಅನುಮತಿಸುವ ಬಾಟ್‌ಗಳನ್ನು ರಚಿಸಲು ಇದು ಉದಾಹರಣೆ ಸ್ಕ್ರಿಪ್ಟ್ ಅನ್ನು ಒಳಗೊಂಡಿದೆ (ಉದಾಹರಣೆಗೆ, “python apps/chatbot.py —model facebook/opt-30b — -percent 0 ಆಜ್ಞೆಯನ್ನು ಚಲಾಯಿಸುವ ಮೂಲಕ 100 100 0 100 0" ). ಆಧಾರವಾಗಿ, ಬುಕ್‌ಕಾರ್ಪಸ್ (10 ಸಾವಿರ ಪುಸ್ತಕಗಳು), ಸಿಸಿ-ಸ್ಟೋರೀಸ್, ಪೈಲ್ (ಓಪನ್‌ಸಬ್‌ಟೈಟಲ್‌ಗಳು, ವಿಕಿಪೀಡಿಯಾ, ಡಿಎಂ ಗಣಿತ, ಹ್ಯಾಕರ್‌ನ್ಯೂಸ್, ಇತ್ಯಾದಿ), ಪುಶ್‌ಶಿಫ್ಟ್ ಸಂಗ್ರಹಗಳ ಕುರಿತು ತರಬೇತಿ ಪಡೆದ ಫೇಸ್‌ಬುಕ್ ಪ್ರಕಟಿಸಿದ ದೊಡ್ಡ ಭಾಷಾ ಮಾದರಿಯನ್ನು ಬಳಸಲು ಪ್ರಸ್ತಾಪಿಸಲಾಗಿದೆ. io (ರೆಡ್ಡಿಟ್ ಡೇಟಾ ಆಧರಿಸಿ) ಮತ್ತು CCNewsV2 (ಸುದ್ದಿ ಆರ್ಕೈವ್). ಮಾದರಿಯು ಸರಿಸುಮಾರು 180 ಶತಕೋಟಿ ಟೋಕನ್‌ಗಳನ್ನು (800 GB ಡೇಟಾ) ಒಳಗೊಳ್ಳುತ್ತದೆ. 33 NVIDIA A992 100GB GPUಗಳೊಂದಿಗೆ 80 ದಿನಗಳ ಕ್ಲಸ್ಟರ್ ಕಾರ್ಯಾಚರಣೆಯನ್ನು ಮಾದರಿಯ ತರಬೇತಿಗಾಗಿ ಖರ್ಚು ಮಾಡಲಾಗಿದೆ.

ಒಂದೇ NVIDIA T175 GPU (4GB) ಹೊಂದಿರುವ ಸಿಸ್ಟಂನಲ್ಲಿ OPT-16B ಮಾದರಿಯನ್ನು ಚಲಾಯಿಸುವಾಗ, FlexGen ಎಂಜಿನ್ ಈ ಹಿಂದೆ ನೀಡಲಾದ ಪರಿಹಾರಗಳಿಗಿಂತ 100 ಪಟ್ಟು ವೇಗವಾಗಿ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಪ್ರದರ್ಶಿಸಿತು, ದೊಡ್ಡ ಭಾಷಾ ಮಾದರಿಗಳ ಬಳಕೆಯನ್ನು ಹೆಚ್ಚು ಕೈಗೆಟುಕುವಂತೆ ಮಾಡುತ್ತದೆ ಮತ್ತು ಅವುಗಳನ್ನು ಚಲಾಯಿಸಲು ಅನುವು ಮಾಡಿಕೊಡುತ್ತದೆ. ಮೀಸಲಾದ ವೇಗವರ್ಧಕಗಳಿಲ್ಲದ ವ್ಯವಸ್ಥೆಗಳು. ಅದೇ ಸಮಯದಲ್ಲಿ, FlexGen ಬಹು GPUಗಳೊಂದಿಗೆ ಲೆಕ್ಕಾಚಾರಗಳನ್ನು ಸಮಾನಾಂತರಗೊಳಿಸಲು ಅಳೆಯಬಹುದು. ಮಾದರಿಯ ಗಾತ್ರವನ್ನು ಕಡಿಮೆ ಮಾಡಲು, ಸ್ವಾಮ್ಯದ ಪ್ಯಾರಾಮೀಟರ್ ಕಂಪ್ರೆಷನ್ ಸ್ಕೀಮ್ ಮತ್ತು ಮಾದರಿ ಹಿಡಿದಿಟ್ಟುಕೊಳ್ಳುವ ಕಾರ್ಯವಿಧಾನವನ್ನು ಹೆಚ್ಚುವರಿಯಾಗಿ ಬಳಸಲಾಗುತ್ತದೆ.

ಪ್ರಸ್ತುತ, FlexGen OPT ಭಾಷಾ ಮಾದರಿಗಳನ್ನು ಮಾತ್ರ ಬೆಂಬಲಿಸುತ್ತದೆ, ಆದರೆ ಭವಿಷ್ಯದಲ್ಲಿ ಡೆವಲಪರ್‌ಗಳು BLOOM (176 ಶತಕೋಟಿ ನಿಯತಾಂಕಗಳು, 46 ಭಾಷೆಗಳು ಮತ್ತು 13 ಪ್ರೋಗ್ರಾಮಿಂಗ್ ಭಾಷೆಗಳನ್ನು ಬೆಂಬಲಿಸುತ್ತದೆ), CodeGen (22 ಪ್ರೋಗ್ರಾಮಿಂಗ್ ಭಾಷೆಗಳಲ್ಲಿ ಕೋಡ್ ಅನ್ನು ರಚಿಸಬಹುದು) ಮತ್ತು ಬೆಂಬಲವನ್ನು ಸೇರಿಸುವುದಾಗಿ ಭರವಸೆ ನೀಡುತ್ತಾರೆ. GLM ಮಾದರಿಗಳು. ಫ್ಲೆಕ್ಸ್‌ಜೆನ್ ಮತ್ತು OPT-30B ಮಾದರಿಯ ಆಧಾರದ ಮೇಲೆ ಬೋಟ್‌ನೊಂದಿಗೆ ಸಂವಾದದ ಉದಾಹರಣೆ:

ಮಾನವ: ವಿಶ್ವದ ಅತಿ ಎತ್ತರದ ಪರ್ವತದ ಹೆಸರೇನು?

ಸಹಾಯಕ: ಎವರೆಸ್ಟ್.

ಮಾನವ: ನಾನು ನಮ್ಮ ವಾರ್ಷಿಕೋತ್ಸವಕ್ಕಾಗಿ ಪ್ರವಾಸವನ್ನು ಯೋಜಿಸುತ್ತಿದ್ದೇನೆ. ನಾವು ಯಾವ ಕೆಲಸಗಳನ್ನು ಮಾಡಬಹುದು?

ಸಹಾಯಕ: ಸರಿ, ನಿಮ್ಮ ವಾರ್ಷಿಕೋತ್ಸವಕ್ಕಾಗಿ ನೀವು ಮಾಡಬಹುದಾದ ಹಲವಾರು ಕೆಲಸಗಳಿವೆ. ಮೊದಲಿಗೆ, ನೀವು ಕಾರ್ಡ್ಗಳನ್ನು ಆಡಬಹುದು. ಎರಡನೆಯದಾಗಿ, ನೀವು ಪಾದಯಾತ್ರೆಗೆ ಹೋಗಬಹುದು. ಮೂರನೆಯದಾಗಿ, ನೀವು ವಸ್ತುಸಂಗ್ರಹಾಲಯಕ್ಕೆ ಹೋಗಬಹುದು.

ಮೂಲ: opennet.ru