ਜੀਨਾ ਏਮਬੈਡਿੰਗ ਲਈ ਓਪਨ ਸੋਰਸ ਕੋਡ, ਟੈਕਸਟ ਅਰਥ ਦੀ ਵੈਕਟਰ ਪ੍ਰਤੀਨਿਧਤਾ ਲਈ ਇੱਕ ਮਾਡਲ

ਜੀਨਾ ਨੇ Apache 2.0 ਲਾਇਸੰਸ ਦੇ ਤਹਿਤ ਵੈਕਟਰ ਟੈਕਸਟ ਪ੍ਰਤੀਨਿਧਤਾ, jina-embeddings-v2 ਲਈ ਇੱਕ ਮਸ਼ੀਨ ਲਰਨਿੰਗ ਮਾਡਲ ਓਪਨ-ਸੋਰਸ ਕੀਤਾ ਹੈ। ਮਾਡਲ ਤੁਹਾਨੂੰ ਅਸਲ ਸੰਖਿਆਵਾਂ ਦੇ ਇੱਕ ਛੋਟੇ ਕ੍ਰਮ ਵਿੱਚ 8192 ਅੱਖਰਾਂ ਸਮੇਤ, ਆਰਬਿਟਰੇਰੀ ਟੈਕਸਟ ਨੂੰ ਬਦਲਣ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ ਜੋ ਇੱਕ ਵੈਕਟਰ ਬਣਾਉਂਦੇ ਹਨ ਜਿਸਦੀ ਤੁਲਨਾ ਸਰੋਤ ਟੈਕਸਟ ਨਾਲ ਕੀਤੀ ਜਾਂਦੀ ਹੈ ਅਤੇ ਇਸਦੇ ਅਰਥ ਵਿਗਿਆਨ (ਅਰਥ) ਨੂੰ ਦੁਬਾਰਾ ਤਿਆਰ ਕਰਦਾ ਹੈ। ਜੀਨਾ ਏਮਬੈਡਿੰਗ ਪਹਿਲਾ ਓਪਨ ਮਸ਼ੀਨ ਲਰਨਿੰਗ ਮਾਡਲ ਸੀ ਜਿਸਦਾ ਓਪਨਏਆਈ ਪ੍ਰੋਜੈਕਟ (ਟੈਕਸਟ-ਏਮਬੈਡਿੰਗ-ਏਡਾ-002) ਦੇ ਮਲਕੀਅਤ ਟੈਕਸਟ ਵੈਕਟਰਾਈਜ਼ੇਸ਼ਨ ਮਾਡਲ ਦੇ ਸਮਾਨ ਪ੍ਰਦਰਸ਼ਨ ਸੀ, ਜੋ 8192 ਟੋਕਨਾਂ ਤੱਕ ਟੈਕਸਟ ਦੀ ਪ੍ਰਕਿਰਿਆ ਕਰਨ ਦੇ ਸਮਰੱਥ ਵੀ ਸੀ।

ਦੋ ਉਤਪੰਨ ਵੈਕਟਰਾਂ ਵਿਚਕਾਰ ਦੂਰੀ ਦੀ ਵਰਤੋਂ ਸਰੋਤ ਟੈਕਸਟ ਦੇ ਅਰਥ-ਵਿਵਸਥਾ ਨੂੰ ਨਿਰਧਾਰਤ ਕਰਨ ਲਈ ਕੀਤੀ ਜਾ ਸਕਦੀ ਹੈ। ਅਭਿਆਸ ਵਿੱਚ, ਤਿਆਰ ਕੀਤੇ ਵੈਕਟਰਾਂ ਦੀ ਵਰਤੋਂ ਟੈਕਸਟ ਦੀ ਸਮਾਨਤਾ ਦਾ ਵਿਸ਼ਲੇਸ਼ਣ ਕਰਨ, ਵਿਸ਼ੇ ਨਾਲ ਸਬੰਧਤ ਸਮੱਗਰੀ ਦੀ ਖੋਜ ਨੂੰ ਸੰਗਠਿਤ ਕਰਨ ਲਈ ਕੀਤੀ ਜਾ ਸਕਦੀ ਹੈ (ਅਰਥਿਕ ਨੇੜਤਾ ਦੁਆਰਾ ਰੈਂਕਿੰਗ ਨਤੀਜੇ), ਅਰਥ ਦੁਆਰਾ ਸਮੂਹ ਟੈਕਸਟ, ਸਿਫ਼ਾਰਿਸ਼ਾਂ ਤਿਆਰ ਕਰਨ (ਸਮਾਨ ਟੈਕਸਟ ਸਤਰ ਦੀ ਇੱਕ ਸੂਚੀ ਪੇਸ਼ ਕਰੋ), ਵਿਗਾੜਾਂ ਦੀ ਪਛਾਣ ਕਰੋ, ਸਾਹਿਤਕ ਚੋਰੀ ਦਾ ਪਤਾ ਲਗਾਓ ਅਤੇ ਟੈਸਟਾਂ ਦਾ ਵਰਗੀਕਰਨ ਕਰੋ। ਵਰਤੋਂ ਦੇ ਖੇਤਰਾਂ ਦੀਆਂ ਉਦਾਹਰਨਾਂ ਵਿੱਚ ਕਾਨੂੰਨੀ ਦਸਤਾਵੇਜ਼ਾਂ ਦੇ ਵਿਸ਼ਲੇਸ਼ਣ ਲਈ, ਵਪਾਰਕ ਵਿਸ਼ਲੇਸ਼ਣ ਲਈ, ਵਿਗਿਆਨਕ ਲੇਖਾਂ ਦੀ ਪ੍ਰਕਿਰਿਆ ਲਈ ਡਾਕਟਰੀ ਖੋਜ ਵਿੱਚ, ਸਾਹਿਤਕ ਆਲੋਚਨਾ ਵਿੱਚ, ਵਿੱਤੀ ਰਿਪੋਰਟਾਂ ਨੂੰ ਪਾਰਸ ਕਰਨ ਲਈ ਅਤੇ ਗੁੰਝਲਦਾਰ ਮੁੱਦਿਆਂ ਦੀ ਚੈਟਬੋਟ ਪ੍ਰੋਸੈਸਿੰਗ ਦੀ ਗੁਣਵੱਤਾ ਵਿੱਚ ਸੁਧਾਰ ਲਈ ਮਾਡਲ ਦੀ ਵਰਤੋਂ ਸ਼ਾਮਲ ਹੈ।

ਜੀਨਾ-ਏਮਬੇਡਿੰਗ ਮਾਡਲ ਦੇ ਦੋ ਸੰਸਕਰਣ ਡਾਉਨਲੋਡ ਕਰਨ ਲਈ ਉਪਲਬਧ ਹਨ (ਬੁਨਿਆਦੀ - 0.27 GB ਅਤੇ ਘਟਾਏ ਗਏ - 0.07 GB), ਜੋ ਕਿ ਗਿਆਨ ਦੇ ਵੱਖ-ਵੱਖ ਖੇਤਰਾਂ ਨੂੰ ਕਵਰ ਕਰਦੇ ਹੋਏ, ਅੰਗਰੇਜ਼ੀ ਵਿੱਚ ਟੈਕਸਟ ਕ੍ਰਮ ਦੇ 400 ਮਿਲੀਅਨ ਜੋੜਿਆਂ 'ਤੇ ਸਿਖਲਾਈ ਪ੍ਰਾਪਤ ਹਨ। ਸਿਖਲਾਈ ਦੇ ਦੌਰਾਨ, 512 ਟੋਕਨਾਂ ਦੇ ਆਕਾਰ ਵਾਲੇ ਕ੍ਰਮ ਦੀ ਵਰਤੋਂ ਕੀਤੀ ਗਈ ਸੀ, ਜੋ ਕਿ ALiBi (ਲੀਨੀਅਰ ਬਿਆਸ ਦੇ ਨਾਲ ਧਿਆਨ) ਵਿਧੀ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ 8192 ਦੇ ਆਕਾਰ ਵਿੱਚ ਐਕਸਟਰਾਪੋਲੇਟ ਕੀਤੇ ਗਏ ਸਨ।

ਮੂਲ ਮਾਡਲ ਵਿੱਚ 137 ਮਿਲੀਅਨ ਪੈਰਾਮੀਟਰ ਸ਼ਾਮਲ ਹਨ ਅਤੇ ਇੱਕ GPU ਨਾਲ ਸਟੇਸ਼ਨਰੀ ਸਿਸਟਮਾਂ 'ਤੇ ਵਰਤੋਂ ਲਈ ਤਿਆਰ ਕੀਤਾ ਗਿਆ ਹੈ। ਘਟਾਏ ਗਏ ਮਾਡਲ ਵਿੱਚ 33 ਮਿਲੀਅਨ ਪੈਰਾਮੀਟਰ ਸ਼ਾਮਲ ਹਨ, ਘੱਟ ਸ਼ੁੱਧਤਾ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ ਅਤੇ ਇਸਦਾ ਉਦੇਸ਼ ਮੋਬਾਈਲ ਡਿਵਾਈਸਾਂ ਅਤੇ ਸਿਸਟਮਾਂ 'ਤੇ ਥੋੜ੍ਹੀ ਜਿਹੀ ਮੈਮੋਰੀ ਨਾਲ ਵਰਤੋਂ ਕਰਨਾ ਹੈ। ਨੇੜਲੇ ਭਵਿੱਖ ਵਿੱਚ ਉਹ ਇੱਕ ਵੱਡੇ ਮਾਡਲ ਨੂੰ ਪ੍ਰਕਾਸ਼ਿਤ ਕਰਨ ਦੀ ਵੀ ਯੋਜਨਾ ਬਣਾ ਰਹੇ ਹਨ ਜੋ 435 ਮਿਲੀਅਨ ਪੈਰਾਮੀਟਰਾਂ ਨੂੰ ਕਵਰ ਕਰੇਗਾ। ਮਾਡਲ ਦਾ ਇੱਕ ਬਹੁ-ਭਾਸ਼ਾਈ ਸੰਸਕਰਣ ਵੀ ਵਿਕਾਸ ਵਿੱਚ ਹੈ, ਵਰਤਮਾਨ ਵਿੱਚ ਜਰਮਨ ਅਤੇ ਸਪੈਨਿਸ਼ ਲਈ ਸਮਰਥਨ 'ਤੇ ਧਿਆਨ ਕੇਂਦਰਿਤ ਕਰ ਰਿਹਾ ਹੈ। LLM ਟੂਲਕਿੱਟ ਦੁਆਰਾ ਜੀਨਾ-ਏਮਬੇਡਿੰਗ ਮਾਡਲ ਦੀ ਵਰਤੋਂ ਕਰਨ ਲਈ ਇੱਕ ਪਲੱਗਇਨ ਵੱਖਰੇ ਤੌਰ 'ਤੇ ਤਿਆਰ ਕੀਤੀ ਗਈ ਹੈ।

ਸਰੋਤ: opennet.ru