ಮೈಕ್ರೋಸಾಫ್ಟ್ ಯಂತ್ರ ಕಲಿಕೆ ಗ್ರಂಥಾಲಯದ ಮೂಲ ಸಂಕೇತಗಳು (ಸ್ಪೇಸ್ ವಿಭಜನಾ ಮರ ಮತ್ತು ಗ್ರಾಫ್) ಅಂದಾಜು ಅಲ್ಗಾರಿದಮ್‌ನ ಅನುಷ್ಠಾನದೊಂದಿಗೆ . ಗ್ರಂಥಾಲಯ ಮೈಕ್ರೋಸಾಫ್ಟ್ ಸಂಶೋಧನೆಯ ಸಂಶೋಧನಾ ವಿಭಾಗದಲ್ಲಿ ಮತ್ತು ಹುಡುಕಾಟ ತಂತ್ರಜ್ಞಾನ ಅಭಿವೃದ್ಧಿ ಕೇಂದ್ರ (ಮೈಕ್ರೋಸಾಫ್ಟ್ ಸರ್ಚ್ ಟೆಕ್ನಾಲಜಿ ಸೆಂಟರ್). ಪ್ರಾಯೋಗಿಕವಾಗಿ, ಹುಡುಕಾಟ ಪ್ರಶ್ನೆಗಳ ಸಂದರ್ಭದ ಆಧಾರದ ಮೇಲೆ ಹೆಚ್ಚು ಸೂಕ್ತವಾದ ಫಲಿತಾಂಶಗಳನ್ನು ನಿರ್ಧರಿಸಲು SPTAG ಅನ್ನು Bing ಹುಡುಕಾಟ ಎಂಜಿನ್‌ನಿಂದ ಬಳಸಲಾಗುತ್ತದೆ. ಕೋಡ್ ಅನ್ನು C ++ ನಲ್ಲಿ ಬರೆಯಲಾಗಿದೆ ಮತ್ತು MIT ಪರವಾನಗಿ ಅಡಿಯಲ್ಲಿ. ಲಿನಕ್ಸ್ ಮತ್ತು ವಿಂಡೋಸ್‌ಗಾಗಿ ಬಿಲ್ಡ್ ಬೆಂಬಲಿತವಾಗಿದೆ. ಪೈಥಾನ್ ಭಾಷೆಗೆ ಬೈಂಡಿಂಗ್ ಇದೆ.
ಸರ್ಚ್ ಇಂಜಿನ್‌ಗಳಲ್ಲಿ ವೆಕ್ಟರ್ ಶೇಖರಣೆಯನ್ನು ಬಳಸುವ ಕಲ್ಪನೆಯು ಬಹಳ ಸಮಯದಿಂದ ತೇಲುತ್ತಿದೆ ಎಂಬ ವಾಸ್ತವದ ಹೊರತಾಗಿಯೂ, ಪ್ರಾಯೋಗಿಕವಾಗಿ, ವೆಕ್ಟರ್‌ಗಳು ಮತ್ತು ಸ್ಕೇಲೆಬಿಲಿಟಿ ಮಿತಿಗಳೊಂದಿಗೆ ಕಾರ್ಯಾಚರಣೆಗಳ ಹೆಚ್ಚಿನ ಸಂಪನ್ಮೂಲ ತೀವ್ರತೆಯಿಂದ ಅವುಗಳ ಅನುಷ್ಠಾನವು ಅಡ್ಡಿಯಾಗುತ್ತದೆ. ಆಳವಾದ ಯಂತ್ರ ಕಲಿಕೆಯ ವಿಧಾನಗಳನ್ನು ಸರಿಸುಮಾರು ಹತ್ತಿರದ ನೆರೆಹೊರೆಯ ಹುಡುಕಾಟ ಅಲ್ಗಾರಿದಮ್‌ಗಳೊಂದಿಗೆ ಸಂಯೋಜಿಸುವುದು ವೆಕ್ಟರ್ ಸಿಸ್ಟಮ್‌ಗಳ ಕಾರ್ಯಕ್ಷಮತೆ ಮತ್ತು ಸ್ಕೇಲೆಬಿಲಿಟಿಯನ್ನು ದೊಡ್ಡ ಸರ್ಚ್ ಇಂಜಿನ್‌ಗಳಿಗೆ ಸ್ವೀಕಾರಾರ್ಹ ಮಟ್ಟಕ್ಕೆ ತರಲು ಸಾಧ್ಯವಾಗಿಸಿದೆ. ಉದಾಹರಣೆಗೆ, Bing ನಲ್ಲಿ, 150 ಶತಕೋಟಿಗೂ ಹೆಚ್ಚು ವೆಕ್ಟರ್ಗಳ ವೆಕ್ಟರ್ ಸೂಚ್ಯಂಕಕ್ಕಾಗಿ, ಹೆಚ್ಚು ಸೂಕ್ತವಾದ ಫಲಿತಾಂಶಗಳನ್ನು ಪಡೆಯುವ ಸಮಯವು 8 ms ಒಳಗೆ ಇರುತ್ತದೆ.
ಲೈಬ್ರರಿಯು ಸೂಚ್ಯಂಕವನ್ನು ನಿರ್ಮಿಸಲು ಮತ್ತು ವೆಕ್ಟರ್ ಹುಡುಕಾಟಗಳನ್ನು ಸಂಘಟಿಸಲು ಸಾಧನಗಳನ್ನು ಒಳಗೊಂಡಿದೆ, ಹಾಗೆಯೇ ವೆಕ್ಟರ್ಗಳ ದೊಡ್ಡ ಸಂಗ್ರಹಗಳನ್ನು ಒಳಗೊಂಡಿರುವ ವಿತರಿಸಿದ ಆನ್‌ಲೈನ್ ಹುಡುಕಾಟ ವ್ಯವಸ್ಥೆಯನ್ನು ನಿರ್ವಹಿಸುವ ಸಾಧನಗಳ ಗುಂಪನ್ನು ಒಳಗೊಂಡಿದೆ. ಕೆಳಗಿನ ಮಾಡ್ಯೂಲ್‌ಗಳು: ಇಂಡೆಕ್ಸಿಂಗ್‌ಗಾಗಿ ಸೂಚ್ಯಂಕ ಬಿಲ್ಡರ್, ಹಲವಾರು ನೋಡ್‌ಗಳ ಕ್ಲಸ್ಟರ್‌ನಲ್ಲಿ ವಿತರಿಸಲಾದ ಸೂಚ್ಯಂಕವನ್ನು ಬಳಸಿಕೊಂಡು ಹುಡುಕಲು ಶೋಧಕ, ನೋಡ್‌ಗಳಲ್ಲಿ ಹ್ಯಾಂಡ್ಲರ್‌ಗಳನ್ನು ಚಲಾಯಿಸಲು ಸರ್ವರ್, ಹಲವಾರು ಸರ್ವರ್‌ಗಳನ್ನು ಒಂದಾಗಿ ಸಂಯೋಜಿಸಲು ಅಗ್ರಿಗೇಟರ್ ಮತ್ತು ಪ್ರಶ್ನೆಗಳನ್ನು ಕಳುಹಿಸಲು ಕ್ಲೈಂಟ್. ಹೊಸ ವೆಕ್ಟರ್‌ಗಳನ್ನು ಸೂಚ್ಯಂಕಕ್ಕೆ ಸೇರಿಸುವುದು ಮತ್ತು ಫ್ಲೈನಲ್ಲಿ ವೆಕ್ಟರ್ಗಳ ಅಳಿಸುವಿಕೆಗೆ ಬೆಂಬಲವಿದೆ.
ಸಂಗ್ರಹಣೆಯಲ್ಲಿ ಸಂಸ್ಕರಿಸಿದ ಮತ್ತು ಪ್ರಸ್ತುತಪಡಿಸಲಾದ ಡೇಟಾವನ್ನು ಸಂಬಂಧಿತ ವೆಕ್ಟರ್ಗಳ ರೂಪದಲ್ಲಿ ಫಾರ್ಮ್ಯಾಟ್ ಮಾಡಲಾಗಿದೆ ಎಂದು ಲೈಬ್ರರಿ ಸೂಚಿಸುತ್ತದೆ, ಅದನ್ನು ಆಧರಿಸಿ ಹೋಲಿಸಬಹುದು (L2) ಅಥವಾ ದೂರಗಳು ಹುಡುಕಾಟ ಪ್ರಶ್ನೆಯು ಅವುಗಳ ಮತ್ತು ಮೂಲ ವೆಕ್ಟರ್ ನಡುವಿನ ಅಂತರವು ಕಡಿಮೆ ಇರುವ ವೆಕ್ಟರ್‌ಗಳನ್ನು ಹಿಂತಿರುಗಿಸುತ್ತದೆ. SPTAG ವೆಕ್ಟರ್ ಜಾಗವನ್ನು ಸಂಘಟಿಸಲು ಎರಡು ವಿಧಾನಗಳನ್ನು ಒದಗಿಸುತ್ತದೆ: SPTAG-KDT (K- ಆಯಾಮದ ಮರ (K-dimensional tree)) ಮತ್ತು ) ಮತ್ತು SPTAG-BKT (k-ಎಂದರೆ ಮರ ( ಮತ್ತು ಸಂಬಂಧಿತ ನೆರೆಹೊರೆಯ ಗ್ರಾಫ್). ಸೂಚ್ಯಂಕದೊಂದಿಗೆ ಕೆಲಸ ಮಾಡುವಾಗ ಮೊದಲ ವಿಧಾನವು ಕಡಿಮೆ ಸಂಪನ್ಮೂಲಗಳನ್ನು ಬಯಸುತ್ತದೆ, ಮತ್ತು ಎರಡನೆಯದು ವೆಕ್ಟರ್ಗಳ ದೊಡ್ಡ ಸಂಗ್ರಹಗಳಿಗಾಗಿ ಹುಡುಕಾಟ ಫಲಿತಾಂಶಗಳ ಹೆಚ್ಚಿನ ನಿಖರತೆಯನ್ನು ಪ್ರದರ್ಶಿಸುತ್ತದೆ.
ಅದೇ ಸಮಯದಲ್ಲಿ, ವೆಕ್ಟರ್ ಹುಡುಕಾಟವು ಪಠ್ಯಕ್ಕೆ ಸೀಮಿತವಾಗಿಲ್ಲ ಮತ್ತು ಮಲ್ಟಿಮೀಡಿಯಾ ಮಾಹಿತಿ ಮತ್ತು ಚಿತ್ರಗಳಿಗೆ ಅನ್ವಯಿಸಬಹುದು, ಹಾಗೆಯೇ ಸ್ವಯಂಚಾಲಿತವಾಗಿ ಶಿಫಾರಸುಗಳನ್ನು ಉತ್ಪಾದಿಸುವ ವ್ಯವಸ್ಥೆಗಳಲ್ಲಿ ಅನ್ವಯಿಸಬಹುದು. ಉದಾಹರಣೆಗೆ, ಪೈಟಾರ್ಚ್ ಫ್ರೇಮ್‌ವರ್ಕ್ ಅನ್ನು ಆಧರಿಸಿದ ಮೂಲಮಾದರಿಗಳಲ್ಲಿ ಒಂದಾದ ಚಿತ್ರಗಳಲ್ಲಿನ ವಸ್ತುಗಳ ಹೋಲಿಕೆಯ ಆಧಾರದ ಮೇಲೆ ಹುಡುಕಲು ವೆಕ್ಟರ್ ವ್ಯವಸ್ಥೆಯನ್ನು ಅಳವಡಿಸಲಾಗಿದೆ, ಪ್ರಾಣಿಗಳು, ಬೆಕ್ಕುಗಳು ಮತ್ತು ನಾಯಿಗಳ ಚಿತ್ರಗಳೊಂದಿಗೆ ಹಲವಾರು ಉಲ್ಲೇಖ ಸಂಗ್ರಹಗಳಿಂದ ಡೇಟಾವನ್ನು ಬಳಸಿ ನಿರ್ಮಿಸಲಾಗಿದೆ, ಇವುಗಳನ್ನು ವೆಕ್ಟರ್ಗಳ ಸೆಟ್‌ಗಳಾಗಿ ಪರಿವರ್ತಿಸಲಾಯಿತು. . ಹುಡುಕಾಟಕ್ಕಾಗಿ ಒಳಬರುವ ಚಿತ್ರವನ್ನು ಸ್ವೀಕರಿಸಿದಾಗ, ಅದನ್ನು ಯಂತ್ರ ಕಲಿಕೆಯ ಮಾದರಿಯನ್ನು ವೆಕ್ಟರ್ ಆಗಿ ಪರಿವರ್ತಿಸಲಾಗುತ್ತದೆ, ಅದರ ಆಧಾರದ ಮೇಲೆ SPTAG ಅಲ್ಗಾರಿದಮ್ ಅನ್ನು ಬಳಸಿಕೊಂಡು ಸೂಚ್ಯಂಕದಿಂದ ಹೆಚ್ಚು ಹೋಲುವ ವೆಕ್ಟರ್‌ಗಳನ್ನು ಆಯ್ಕೆ ಮಾಡಲಾಗುತ್ತದೆ ಮತ್ತು ಅದರ ಪರಿಣಾಮವಾಗಿ ಸಂಬಂಧಿತ ಚಿತ್ರಗಳನ್ನು ಹಿಂತಿರುಗಿಸಲಾಗುತ್ತದೆ.
ಮೂಲ: opennet.ru