ಜೆಟ್ಬ್ರೈನ್ಸ್ ಒಂದು ಮಾದರಿಯನ್ನು ತೆರೆದಿದೆ ಮೆಲ್ಲಮ್2, ಸಾಫ್ಟ್ವೇರ್ ಅಭಿವೃದ್ಧಿಗಾಗಿ AI ಪರಿಕರಗಳಲ್ಲಿ ಬಳಸಲು ವಿನ್ಯಾಸಗೊಳಿಸಲಾಗಿದೆ. ಮಾದರಿಯನ್ನು ಪರವಾನಗಿ ಅಡಿಯಲ್ಲಿ ಪ್ರಕಟಿಸಲಾಗಿದೆ. ಅಪಾಚೆ 2.0ಹಗ್ಗಿಂಗ್ ಫೇಸ್ನಲ್ಲಿ ತೂಕದ ವಸ್ತುಗಳು ಲಭ್ಯವಿದೆ. ಮೆಲ್ಲಮ್ 2 ಅನ್ನು ಮೊದಲಿನಿಂದ ತರಬೇತಿ ನೀಡಲಾಗಿದ್ದು, ಮಲ್ಟಿಮೋಡಲ್ ಕಾರ್ಯಗಳಿಗಾಗಿ ಅಲ್ಲ, ಬದಲಾಗಿ ಪಠ್ಯ ಮತ್ತು ಕೋಡ್ನೊಂದಿಗೆ ಕೆಲಸ ಮಾಡಲು ವಿನ್ಯಾಸಗೊಳಿಸಲಾಗಿದೆ ಎಂದು ಜೆಟ್ಬ್ರೈನ್ಸ್ ಒತ್ತಿಹೇಳುತ್ತದೆ: ವಿನಂತಿ ರೂಟಿಂಗ್, RAG ಪೈಪ್ಲೈನ್ಗಳು, ಸಾರಾಂಶ, ಸಹಾಯಕ ಏಜೆಂಟ್ಗಳು ಮತ್ತು ಕಂಪನಿಯ ಮೂಲಸೌಕರ್ಯದಲ್ಲಿ ಖಾಸಗಿ ನಿಯೋಜನೆ.
ಮೆಲ್ಲಮ್ 2 ಅನ್ನು ವಾಸ್ತುಶಿಲ್ಪದ ಮೇಲೆ ನಿರ್ಮಿಸಲಾಗಿದೆ ಮಿಕ್ಸ್ಚರ್ ಆಫ್ ಎಕ್ಸ್ಪರ್ಟ್ಸ್ಒಟ್ಟು ಗಾತ್ರದೊಂದಿಗೆ 12 ಬಿಲಿಯನ್ ನಿಯತಾಂಕಗಳು ಪ್ರತಿ ಟೋಕನ್ಗೆ ಸುಮಾರು 1000 ಮಾತ್ರ ಸಕ್ರಿಯಗೊಳ್ಳುತ್ತವೆ. 2.5 ಬಿಲಿಯನ್ ನಿಯತಾಂಕಗಳು, ಇದು ನಿರ್ಣಯದ ಸಮಯದಲ್ಲಿ ಕಂಪ್ಯೂಟೇಶನಲ್ ವೆಚ್ಚಗಳು ಮತ್ತು ವಿಳಂಬವನ್ನು ಕಡಿಮೆ ಮಾಡುತ್ತದೆ. ಜೆಟ್ಬ್ರೈನ್ಸ್ ಪ್ರಕಾರ, ಮಾದರಿಯ ಮಾನದಂಡದ ಕಾರ್ಯಕ್ಷಮತೆಯು ಒಂದೇ ರೀತಿಯ ಗಾತ್ರದ ಮುಕ್ತ-ಮೂಲ ಮಾದರಿಗಳಿಗೆ ಹೋಲಿಸಬಹುದು, ಆದರೆ ನಿರ್ಣಯದ ವೇಗಕ್ಕಿಂತ ಎರಡು ಪಟ್ಟು ಹೆಚ್ಚು ನೀಡುತ್ತದೆ.
ಜೆಟ್ಬ್ರೈನ್ಸ್ ಮೆಲ್ಲಮ್ 2 ಅನ್ನು ಮೂಲ ಮೆಲ್ಲಮ್ ಮಾದರಿಯ ವಿಕಸನ ಎಂದು ವಿವರಿಸುತ್ತದೆ, ಇದನ್ನು ಆರಂಭದಲ್ಲಿ ಕೋಡ್ ಪೂರ್ಣಗೊಳಿಸುವಿಕೆಗಾಗಿ ರಚಿಸಲಾಗಿತ್ತು. ಹೊಸ ಆವೃತ್ತಿಯು ಪ್ರೋಗ್ರಾಂ ಕೋಡ್ ಮತ್ತು ನೈಸರ್ಗಿಕ ಭಾಷೆ ಎರಡರೊಂದಿಗೂ ಕೆಲಸ ಮಾಡುವ ಅಗತ್ಯವಿರುವ ವಿಶಾಲ ವರ್ಗದ ಕಾರ್ಯಗಳಿಗೆ ವಿಸ್ತರಿಸುತ್ತದೆ. ಕಂಪನಿಯು ಮೆಲ್ಲಮ್ 2 ಅನ್ನು "ಕೇಂದ್ರೀಕೃತ" ಮಾದರಿಯಾಗಿ ಸ್ಥಾನೀಕರಿಸುತ್ತದೆ - ದೊಡ್ಡ, ಸಾಮಾನ್ಯ-ಉದ್ದೇಶದ LLM ಗಳಿಗೆ ಬದಲಿಯಾಗಿ ಅಲ್ಲ, ಆದರೆ ಸಂಕೀರ್ಣ AI ವ್ಯವಸ್ಥೆಗಳಲ್ಲಿ ಆಗಾಗ್ಗೆ ಮಧ್ಯಂತರ ಕಾರ್ಯಾಚರಣೆಗಳಿಗೆ ವೇಗವಾದ, ವಿಶೇಷ ಘಟಕವಾಗಿದೆ.
ಪ್ರಸ್ತಾವಿತ ಬಳಕೆಯ ಸಂದರ್ಭಗಳಲ್ಲಿ ಇವು ಸೇರಿವೆ: ಎಂದು ಕರೆಯಲಾಗುತ್ತದೆ ಮಾದರಿಗಳು ಮತ್ತು ಪರಿಕರಗಳ ನಡುವಿನ ವಿನಂತಿಗಳ ವರ್ಗೀಕರಣ ಮತ್ತು ರೂಟಿಂಗ್, RAG ವ್ಯವಸ್ಥೆಗಳಲ್ಲಿ ಸಂದರ್ಭದ ಸಂಕುಚಿತಗೊಳಿಸುವಿಕೆ ಮತ್ತು ಸಂಸ್ಕರಣೆ, ಏಜೆಂಟ್ಗಳಿಗೆ ಡೇಟಾ ತಯಾರಿಕೆ, ವೇಳಾಪಟ್ಟಿ, ಮಧ್ಯಂತರ ಫಲಿತಾಂಶಗಳ ಮೌಲ್ಯೀಕರಣ ಮತ್ತು ಬಾಹ್ಯ API ಗಳಿಗೆ ಮೂಲ ಕೋಡ್ ಅಥವಾ ಆಂತರಿಕ ಡೇಟಾವನ್ನು ಕಳುಹಿಸಲು ಸಾಧ್ಯವಾಗದ ಪರಿಸರಗಳಲ್ಲಿ ಸ್ಥಳೀಯ ಕಾರ್ಯಗತಗೊಳಿಸುವಿಕೆ.
ಅಪ್ಪಿಕೊಳ್ಳುವ ಮುಖದಲ್ಲಿ ಪ್ರಕಟಿಸಲಾಗಿದೆ ಸಂಗ್ರಹ ಮೆಲ್ಲಮ್ 2, ಇದು ಹಲವಾರು ಮಾದರಿ ರೂಪಾಂತರಗಳನ್ನು ಒಳಗೊಂಡಿದೆ: ಥಿಂಕಿಂಗ್, ಇನ್ಸ್ಟ್ರಕ್ಟ್, ಥಿಂಕಿಂಗ್-ಎಸ್ಎಫ್ಟಿ, ಇನ್ಸ್ಟ್ರಕ್ಟ್-ಎಸ್ಎಫ್ಟಿ, ಬೇಸ್, ಮತ್ತು ಬೇಸ್-ಪ್ರಿಟ್ರೈನ್. ಮಾದರಿಗಳನ್ನು ಅಪಾಚೆ 2.0 ಪರವಾನಗಿ ಅಡಿಯಲ್ಲಿ ಸೇಫ್ಟೆನ್ಸರ್ಗಳ ಸ್ವರೂಪದಲ್ಲಿ ವಿತರಿಸಲಾಗುತ್ತದೆ.
ಟ್ರಾನ್ಸ್ಫಾರ್ಮರ್ಗಳು, vLLM, SGLang, ಮತ್ತು ಡಾಕರ್ ಮಾಡೆಲ್ ರನ್ನರ್ ಮೂಲಕ ಬಳಕೆಯ ಉದಾಹರಣೆಗಳನ್ನು ಪ್ರಾರಂಭಿಸಲು ಒದಗಿಸಲಾಗಿದೆ.
ತಾಂತ್ರಿಕವಾಗಿ ಹೆಚ್ಚು ಆಸಕ್ತಿದಾಯಕವಾದದ್ದು ಮತ್ತೊಂದು ಓಪನ್ ಸೋರ್ಸ್ ಮಾದರಿಯ ಹೊರಹೊಮ್ಮುವಿಕೆ ಅಲ್ಲ, ಬದಲಿಗೆ ಜೆಟ್ಬ್ರೈನ್ಸ್ ಆಯ್ಕೆ ಮಾಡಿಕೊಂಡಿರುವ ಸ್ಥಾಪಿತ ಸ್ಥಳ. ಕಂಪನಿಯು ಅತಿದೊಡ್ಡ ಸಾಮಾನ್ಯ ಉದ್ದೇಶದ ಮಾದರಿಗಳೊಂದಿಗೆ ಸ್ಪರ್ಧಿಸುವುದರ ಮೇಲೆ ಕೇಂದ್ರೀಕರಿಸುತ್ತಿಲ್ಲ, ಬದಲಿಗೆ IDE ಗಳು, ಆಂತರಿಕ ಸಹಾಯಕರು, ಕಾರ್ಪೊರೇಟ್ RAG ವ್ಯವಸ್ಥೆಗಳು ಮತ್ತು ಏಜೆಂಟ್ ಪೈಪ್ಲೈನ್ಗಳಲ್ಲಿ ನೇರವಾಗಿ ಸಂಯೋಜಿಸಬಹುದಾದ ಕಡಿಮೆ-ವೆಚ್ಚದ ಮತ್ತು ವೇಗದ ಘಟಕಗಳ ಮೇಲೆ ಕೇಂದ್ರೀಕರಿಸುತ್ತಿದೆ. ಡೆವಲಪರ್ಗಳು ಮತ್ತು ಕಂಪನಿಗಳಿಗೆ, ಕೋಡ್, ಡೇಟಾ ಮತ್ತು ನಿರ್ಣಯ ವೆಚ್ಚಗಳ ಮೇಲೆ ನಿಯಂತ್ರಣವನ್ನು ಕಾಯ್ದುಕೊಳ್ಳುವಾಗ, ಸ್ಥಳೀಯವಾಗಿ ಅಥವಾ ತಮ್ಮದೇ ಆದ ಸರ್ವರ್ಗಳಲ್ಲಿ ಕೆಲವು AI ತರ್ಕವನ್ನು ಚಲಾಯಿಸುವ ಸಾಮರ್ಥ್ಯ ಎಂದರ್ಥ.
ಮೂಲ: linux.org.ru
