ਮਾਈਕਰੋਸਾਫਟ ਨੇ ਬਿੰਗ ਵਿੱਚ ਵਰਤੀ ਗਈ ਵੈਕਟਰ ਖੋਜ ਲਾਇਬ੍ਰੇਰੀ ਨੂੰ ਓਪਨ ਸੋਰਸ ਕੀਤਾ

ਮਾਈਕ੍ਰੋਸਾਫਟ ਪ੍ਰਕਾਸ਼ਤ ਮਸ਼ੀਨ ਲਰਨਿੰਗ ਲਾਇਬ੍ਰੇਰੀ ਸਰੋਤ ਕੋਡ SPTAG (ਸਪੇਸ ਪਾਰਟੀਸ਼ਨ ਟ੍ਰੀ ਐਂਡ ਗ੍ਰਾਫ) ਲਗਭਗ ਐਲਗੋਰਿਦਮ ਨੂੰ ਲਾਗੂ ਕਰਨ ਦੇ ਨਾਲ ਨਜ਼ਦੀਕੀ ਗੁਆਂਢੀ ਖੋਜ. ਲਾਇਬ੍ਰੇਰੀ ਵਿਕਸਿਤ ਮਾਈਕਰੋਸਾਫਟ ਰਿਸਰਚ ਅਤੇ ਖੋਜ ਤਕਨਾਲੋਜੀ ਵਿਕਾਸ ਕੇਂਦਰ (ਮਾਈਕ੍ਰੋਸਾਫਟ ਖੋਜ ਤਕਨਾਲੋਜੀ ਕੇਂਦਰ) ਦੇ ਖੋਜ ਵਿਭਾਗ ਵਿੱਚ। ਅਭਿਆਸ ਵਿੱਚ, SPTAG ਦੀ ਵਰਤੋਂ Bing ਖੋਜ ਇੰਜਣ ਦੁਆਰਾ ਖੋਜ ਪ੍ਰਸ਼ਨਾਂ ਦੇ ਸੰਦਰਭ ਦੇ ਅਧਾਰ ਤੇ ਸਭ ਤੋਂ ਢੁਕਵੇਂ ਨਤੀਜਿਆਂ ਨੂੰ ਨਿਰਧਾਰਤ ਕਰਨ ਲਈ ਕੀਤੀ ਜਾਂਦੀ ਹੈ। ਕੋਡ C++ ਅਤੇ ਵਿੱਚ ਲਿਖਿਆ ਗਿਆ ਹੈ ਦੁਆਰਾ ਵੰਡਿਆ MIT ਲਾਇਸੰਸ ਦੇ ਅਧੀਨ. ਲੀਨਕਸ ਅਤੇ ਵਿੰਡੋਜ਼ ਲਈ ਬਿਲਡ ਸਮਰਥਿਤ ਹੈ। ਪਾਈਥਨ ਭਾਸ਼ਾ ਲਈ ਇੱਕ ਬਾਈਡਿੰਗ ਹੈ।

ਇਸ ਤੱਥ ਦੇ ਬਾਵਜੂਦ ਕਿ ਖੋਜ ਇੰਜਣਾਂ ਵਿੱਚ ਵੈਕਟਰ ਸਟੋਰੇਜ ਦੀ ਵਰਤੋਂ ਕਰਨ ਦਾ ਵਿਚਾਰ ਕਾਫ਼ੀ ਲੰਬੇ ਸਮੇਂ ਤੋਂ ਘੁੰਮ ਰਿਹਾ ਹੈ, ਅਭਿਆਸ ਵਿੱਚ, ਉਹਨਾਂ ਦੇ ਲਾਗੂ ਕਰਨ ਵਿੱਚ ਵੈਕਟਰਾਂ ਅਤੇ ਸਕੇਲੇਬਿਲਟੀ ਸੀਮਾਵਾਂ ਦੇ ਨਾਲ ਸੰਚਾਲਨ ਦੀ ਉੱਚ ਸੰਸਾਧਨ ਤੀਬਰਤਾ ਵਿੱਚ ਰੁਕਾਵਟ ਆਉਂਦੀ ਹੈ। ਲਗਭਗ ਨਜ਼ਦੀਕੀ ਨੇੜਲੀ ਖੋਜ ਐਲਗੋਰਿਦਮ ਦੇ ਨਾਲ ਡੂੰਘੇ ਮਸ਼ੀਨ ਸਿਖਲਾਈ ਦੇ ਤਰੀਕਿਆਂ ਨੂੰ ਜੋੜਨ ਨਾਲ ਵੈਕਟਰ ਪ੍ਰਣਾਲੀਆਂ ਦੀ ਕਾਰਗੁਜ਼ਾਰੀ ਅਤੇ ਮਾਪਯੋਗਤਾ ਨੂੰ ਵੱਡੇ ਖੋਜ ਇੰਜਣਾਂ ਲਈ ਸਵੀਕਾਰਯੋਗ ਪੱਧਰ 'ਤੇ ਲਿਆਉਣਾ ਸੰਭਵ ਹੋ ਗਿਆ ਹੈ। ਉਦਾਹਰਨ ਲਈ, Bing ਵਿੱਚ, 150 ਬਿਲੀਅਨ ਤੋਂ ਵੱਧ ਵੈਕਟਰਾਂ ਦੇ ਵੈਕਟਰ ਸੂਚਕਾਂਕ ਲਈ, ਸਭ ਤੋਂ ਢੁੱਕਵੇਂ ਨਤੀਜੇ ਪ੍ਰਾਪਤ ਕਰਨ ਦਾ ਸਮਾਂ 8 ms ਦੇ ਅੰਦਰ ਹੈ।

ਲਾਇਬ੍ਰੇਰੀ ਵਿੱਚ ਇੱਕ ਸੂਚਕਾਂਕ ਬਣਾਉਣ ਅਤੇ ਵੈਕਟਰ ਖੋਜਾਂ ਨੂੰ ਸੰਗਠਿਤ ਕਰਨ ਲਈ ਟੂਲ ਸ਼ਾਮਲ ਹੁੰਦੇ ਹਨ, ਨਾਲ ਹੀ ਵੈਕਟਰਾਂ ਦੇ ਬਹੁਤ ਵੱਡੇ ਸੰਗ੍ਰਹਿ ਨੂੰ ਕਵਰ ਕਰਨ ਵਾਲੇ ਇੱਕ ਵੰਡੀ ਔਨਲਾਈਨ ਖੋਜ ਪ੍ਰਣਾਲੀ ਨੂੰ ਕਾਇਮ ਰੱਖਣ ਲਈ ਔਜ਼ਾਰਾਂ ਦਾ ਇੱਕ ਸੈੱਟ। ਦੀ ਪੇਸ਼ਕਸ਼ ਕੀਤੀ ਹੇਠਾਂ ਦਿੱਤੇ ਮੋਡੀਊਲ: ਇੰਡੈਕਸਿੰਗ ਲਈ ਇੰਡੈਕਸ ਬਿਲਡਰ, ਕਈ ਨੋਡਾਂ ਦੇ ਕਲੱਸਟਰ ਵਿੱਚ ਵੰਡੇ ਗਏ ਸੂਚਕਾਂਕ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਖੋਜ ਕਰਨ ਲਈ ਖੋਜਕਰਤਾ, ਨੋਡਾਂ 'ਤੇ ਹੈਂਡਲਰ ਚਲਾਉਣ ਲਈ ਸਰਵਰ, ਕਈ ਸਰਵਰਾਂ ਨੂੰ ਇੱਕ ਵਿੱਚ ਜੋੜਨ ਲਈ ਐਗਰੀਗੇਟਰ, ਅਤੇ ਸਵਾਲ ਭੇਜਣ ਲਈ ਕਲਾਇੰਟ। ਸੂਚਕਾਂਕ ਵਿੱਚ ਨਵੇਂ ਵੈਕਟਰਾਂ ਨੂੰ ਸ਼ਾਮਲ ਕਰਨਾ ਅਤੇ ਫਲਾਈ 'ਤੇ ਵੈਕਟਰਾਂ ਨੂੰ ਮਿਟਾਉਣਾ ਸਮਰਥਿਤ ਹੈ।

ਲਾਇਬ੍ਰੇਰੀ ਦਾ ਮਤਲਬ ਹੈ ਕਿ ਸੰਗ੍ਰਹਿ ਵਿੱਚ ਪ੍ਰੋਸੈਸ ਕੀਤੇ ਅਤੇ ਪੇਸ਼ ਕੀਤੇ ਗਏ ਡੇਟਾ ਨੂੰ ਸੰਬੰਧਿਤ ਵੈਕਟਰਾਂ ਦੇ ਰੂਪ ਵਿੱਚ ਫਾਰਮੈਟ ਕੀਤਾ ਗਿਆ ਹੈ ਜਿਸਦੀ ਤੁਲਨਾ ਇਹਨਾਂ ਦੇ ਅਧਾਰ ਤੇ ਕੀਤੀ ਜਾ ਸਕਦੀ ਹੈ ਯੂਕਲੀਡੀਅਨ (L2) ਜਾਂ ਕੋਸਾਈਨ ਦੂਰੀਆਂ ਖੋਜ ਪੁੱਛਗਿੱਛ ਉਹਨਾਂ ਵੈਕਟਰਾਂ ਨੂੰ ਵਾਪਸ ਕਰਦੀ ਹੈ ਜਿਹਨਾਂ ਦੀ ਉਹਨਾਂ ਅਤੇ ਮੂਲ ਵੈਕਟਰ ਵਿਚਕਾਰ ਦੂਰੀ ਘੱਟ ਹੈ। SPTAG ਵੈਕਟਰ ਸਪੇਸ ਨੂੰ ਸੰਗਠਿਤ ਕਰਨ ਲਈ ਦੋ ਤਰੀਕੇ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ: SPTAG-KDT (ਕੇ-ਡਾਇਮੈਨਸ਼ਨਲ ਟ੍ਰੀ (kd-ਰੁੱਖ) ਅਤੇ ਰਿਸ਼ਤੇਦਾਰ ਆਂਢ-ਗੁਆਂਢ ਦਾ ਗ੍ਰਾਫ) ਅਤੇ SPTAG-BKT (k- ਮਤਲਬ ਰੁੱਖ (k- ਦਾ ਅਰਥ ਹੈ ਰੁੱਖ ਅਤੇ ਰਿਸ਼ਤੇਦਾਰ ਆਂਢ-ਗੁਆਂਢ ਗ੍ਰਾਫ)। ਪਹਿਲੀ ਵਿਧੀ ਨੂੰ ਸੂਚਕਾਂਕ ਦੇ ਨਾਲ ਕੰਮ ਕਰਦੇ ਸਮੇਂ ਘੱਟ ਸਰੋਤਾਂ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ, ਅਤੇ ਦੂਜਾ ਵੈਕਟਰਾਂ ਦੇ ਬਹੁਤ ਵੱਡੇ ਸੰਗ੍ਰਹਿ ਲਈ ਖੋਜ ਨਤੀਜਿਆਂ ਦੀ ਉੱਚ ਸ਼ੁੱਧਤਾ ਦਾ ਪ੍ਰਦਰਸ਼ਨ ਕਰਦਾ ਹੈ।

ਉਸੇ ਸਮੇਂ, ਵੈਕਟਰ ਖੋਜ ਟੈਕਸਟ ਤੱਕ ਸੀਮਿਤ ਨਹੀਂ ਹੈ ਅਤੇ ਮਲਟੀਮੀਡੀਆ ਜਾਣਕਾਰੀ ਅਤੇ ਚਿੱਤਰਾਂ ਦੇ ਨਾਲ-ਨਾਲ ਆਪਣੇ ਆਪ ਸਿਫ਼ਾਰਸ਼ਾਂ ਤਿਆਰ ਕਰਨ ਲਈ ਸਿਸਟਮਾਂ ਵਿੱਚ ਲਾਗੂ ਕੀਤੀ ਜਾ ਸਕਦੀ ਹੈ। ਉਦਾਹਰਨ ਲਈ, ਪਾਈਟੋਰਚ ਫਰੇਮਵਰਕ 'ਤੇ ਅਧਾਰਤ ਪ੍ਰੋਟੋਟਾਈਪਾਂ ਵਿੱਚੋਂ ਇੱਕ ਨੇ ਚਿੱਤਰਾਂ ਵਿੱਚ ਵਸਤੂਆਂ ਦੀ ਸਮਾਨਤਾ ਦੇ ਆਧਾਰ 'ਤੇ ਖੋਜ ਲਈ ਇੱਕ ਵੈਕਟਰ ਸਿਸਟਮ ਲਾਗੂ ਕੀਤਾ, ਜਾਨਵਰਾਂ, ਬਿੱਲੀਆਂ ਅਤੇ ਕੁੱਤਿਆਂ ਦੀਆਂ ਤਸਵੀਰਾਂ ਵਾਲੇ ਕਈ ਸੰਦਰਭ ਸੰਗ੍ਰਹਿ ਤੋਂ ਡੇਟਾ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਬਣਾਇਆ ਗਿਆ, ਜੋ ਵੈਕਟਰਾਂ ਦੇ ਸੈੱਟਾਂ ਵਿੱਚ ਬਦਲਿਆ ਗਿਆ ਸੀ। . ਜਦੋਂ ਕੋਈ ਇਨਕਮਿੰਗ ਚਿੱਤਰ ਖੋਜ ਲਈ ਪ੍ਰਾਪਤ ਹੁੰਦਾ ਹੈ, ਤਾਂ ਇਸ ਨੂੰ ਮਸ਼ੀਨ ਸਿਖਲਾਈ ਮਾਡਲ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਵੈਕਟਰ ਵਿੱਚ ਬਦਲਿਆ ਜਾਂਦਾ ਹੈ, ਜਿਸ ਦੇ ਆਧਾਰ 'ਤੇ SPTAG ਐਲਗੋਰਿਦਮ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ ਸੂਚਕਾਂਕ ਤੋਂ ਸਭ ਤੋਂ ਮਿਲਦੇ-ਜੁਲਦੇ ਵੈਕਟਰ ਚੁਣੇ ਜਾਂਦੇ ਹਨ ਅਤੇ ਨਤੀਜੇ ਵਜੋਂ ਸੰਬੰਧਿਤ ਚਿੱਤਰ ਵਾਪਸ ਕੀਤੇ ਜਾਂਦੇ ਹਨ।

ਸਰੋਤ: opennet.ru