ਰੈੱਡਪਾਜਾਮਾ ਪ੍ਰੋਜੈਕਟ ਨਕਲੀ ਖੁਫੀਆ ਪ੍ਰਣਾਲੀਆਂ ਲਈ ਇੱਕ ਖੁੱਲਾ ਡੇਟਾਸੈਟ ਵਿਕਸਤ ਕਰਦਾ ਹੈ

ਇੱਕ RedPjama ਸਹਿਯੋਗੀ ਪ੍ਰੋਜੈਕਟ ਓਪਨ ਮਸ਼ੀਨ ਲਰਨਿੰਗ ਮਾਡਲਾਂ ਅਤੇ ਸਿਖਲਾਈ ਇਨਪੁਟਸ ਨੂੰ ਬਣਾਉਣ ਲਈ ਪੇਸ਼ ਕੀਤਾ ਗਿਆ ਹੈ ਜੋ ਕਿ ChatGPT ਵਰਗੇ ਵਪਾਰਕ ਉਤਪਾਦਾਂ ਨਾਲ ਮੁਕਾਬਲਾ ਕਰਨ ਵਾਲੇ ਬੁੱਧੀਮਾਨ ਸਹਾਇਕ ਬਣਾਉਣ ਲਈ ਵਰਤੇ ਜਾ ਸਕਦੇ ਹਨ। ਇਹ ਉਮੀਦ ਕੀਤੀ ਜਾਂਦੀ ਹੈ ਕਿ ਓਪਨ ਸੋਰਸ ਡੇਟਾ ਅਤੇ ਵੱਡੇ ਭਾਸ਼ਾ ਮਾਡਲਾਂ ਦੀ ਮੌਜੂਦਗੀ ਮਸ਼ੀਨ ਸਿਖਲਾਈ ਦੇ ਖੇਤਰ ਵਿੱਚ ਖੋਜ ਵਿੱਚ ਰੁੱਝੀਆਂ ਸੁਤੰਤਰ ਟੀਮਾਂ ਦੀਆਂ ਪਾਬੰਦੀਆਂ ਨੂੰ ਹਟਾ ਦੇਵੇਗੀ, ਅਤੇ ਵਿਸ਼ੇਸ਼ ਸੰਵਾਦ ਪ੍ਰਣਾਲੀਆਂ ਦੀ ਸਿਰਜਣਾ ਨੂੰ ਸਰਲ ਕਰੇਗੀ। Together, Ontocord.ai, ETH DS3Lab, Stanford CRFM, Hazy Research ਅਤੇ MILA Québec AI ਇੰਸਟੀਚਿਊਟ ਵਰਗੀਆਂ ਸੰਸਥਾਵਾਂ ਅਤੇ ਭਾਈਚਾਰਿਆਂ ਨੇ ਇਸ ਪ੍ਰੋਜੈਕਟ 'ਤੇ ਕੰਮ ਕੀਤਾ ਹੈ।

ਪਹਿਲਾ ਕਦਮ ਸੀ 1 ਟ੍ਰਿਲੀਅਨ ਟੋਕਨ RedPajama-Data-1.2T ਡੇਟਾਸੈਟ ਦਾ ਪ੍ਰਕਾਸ਼ਨ ਸੰਵਾਦ ਮਾਡਲਾਂ ਦੀ ਸਿਖਲਾਈ ਲਈ। RedPajama ਸੈੱਟ ਫੇਸਬੁੱਕ ਦੁਆਰਾ ਆਪਣੇ LLaMA ਮਾਡਲ (ਕੁੱਲ 1.25 ਟ੍ਰਿਲੀਅਨ ਟੋਕਨ) ਬਣਾਉਣ ਲਈ ਵਰਤੇ ਗਏ ਜਨਤਕ ਸਰੋਤਾਂ ਤੋਂ ਡੇਟਾ ਨੂੰ ਦੁਬਾਰਾ ਤਿਆਰ ਕਰਦਾ ਹੈ, ਪਰ ਇੱਕ ਓਪਨ ਲਾਇਸੰਸ ਦੇ ਤਹਿਤ ਸਪਲਾਈ ਕੀਤਾ ਜਾਂਦਾ ਹੈ ਜੋ ਵਰਤੋਂ ਦੇ ਦਾਇਰੇ ਨੂੰ ਸੀਮਤ ਨਹੀਂ ਕਰਦਾ ਹੈ (LLaMA ਡੇਟਾ ਅਤੇ ਮਾਡਲਾਂ ਨੂੰ ਵਿਸ਼ੇਸ਼ ਦੁਆਰਾ ਖੋਜਕਰਤਾਵਾਂ ਨੂੰ ਹੀ ਸਪਲਾਈ ਕੀਤਾ ਗਿਆ ਸੀ। ਗੈਰ-ਵਪਾਰਕ ਵਰਤੋਂ ਲਈ ਬੇਨਤੀ)। RedPajama-Data-1T ਡਾਊਨਲੋਡ ਕਰਨ ਯੋਗ ਸੈੱਟ 2.67 TB ਹੈ ਅਤੇ ਇਸ ਵਿੱਚ ਕਾਮਨ ਕ੍ਰੌਲ ਇੰਡੈਕਸਡ ਵੈੱਬ ਪੇਜਾਂ, ਵਿਕੀਪੀਡੀਆ ਆਰਕਾਈਵਜ਼, ਗਿਟਹਬ ਤੋਂ ਸਰੋਤ ਕੋਡ, ਗੁਟੇਨਬਰਗ ਲਾਇਬ੍ਰੇਰੀ ਤੋਂ ਜਨਤਕ ਕਿਤਾਬਾਂ, ArXiv ਆਰਕਾਈਵ ਤੋਂ ਵਿਗਿਆਨਕ ਲੇਖ ਅਤੇ ਸਟੈਕ ਓਵਰਫਲੋ ਅਤੇ ਹੋਰ ਸਟੈਕ ਨਾਲ ਚਰਚਾ ਸ਼ਾਮਲ ਹੈ। ਐਕਸਚੇਂਜ ਸਾਈਟਾਂ।

ਤਿਆਰ ਕੀਤੇ ਗਏ ਮਾਡਲ, ਤਿਆਰ ਕੀਤੇ ਡੇਟਾਸੈਟ ਦੇ ਆਧਾਰ 'ਤੇ ਸਿਖਲਾਈ ਦਿੱਤੇ ਗਏ ਅਤੇ ਅਲਪਾਕਾ ਅਤੇ ਓਪਨਚੈਟਕਿੱਟ ਪ੍ਰੋਜੈਕਟਾਂ ਤੋਂ ਨਿਰਦੇਸ਼-ਐਗਜ਼ੀਕਿਊਸ਼ਨ ਦੇ ਰੂਪ ਵਿੱਚ ਡਾਇਲਾਗਸ ਦੀਆਂ ਤਿਆਰ ਕੀਤੀਆਂ ਉਦਾਹਰਣਾਂ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਅਨੁਕੂਲਿਤ, ਅਗਲੇ ਕੁਝ ਹਫ਼ਤਿਆਂ ਵਿੱਚ ਬਣਾਏ ਜਾਣ ਦੀ ਯੋਜਨਾ ਹੈ। ਸਮਾਨ ਭਾਸ਼ਾ ਮਾਡਲ ਪਹਿਲਕਦਮੀਆਂ ਵਿੱਚ ਅੰਸ਼ਕ ਤੌਰ 'ਤੇ ਓਪਨ ਸੋਰਸ ਪ੍ਰੋਜੈਕਟ LLaMA, Alpaca, Vicuna, ਅਤੇ Koala ਦੇ ਨਾਲ-ਨਾਲ ਪੂਰੀ ਤਰ੍ਹਾਂ ਓਪਨ ਸੋਰਸ ਪਹਿਲਕਦਮੀਆਂ ਪਾਈਥੀਆ, ਓਪਨਚੈਟਕਿੱਟ, ਓਪਨ ਅਸਿਸਟੈਂਟ, ਅਤੇ ਡੌਲੀ ਸ਼ਾਮਲ ਹਨ।

ਇਸ ਤੋਂ ਇਲਾਵਾ, ਮਸ਼ੀਨ ਸਿਖਲਾਈ ਨਾਲ ਸਬੰਧਤ ਕਈ ਨਵੇਂ ਪ੍ਰੋਜੈਕਟ ਹਨ:

• ਮਿਨੀਜੀਪੀਟੀ-4 - ਵਿਜ਼ੂਅਲ ਜਾਣਕਾਰੀ ਨੂੰ ਧਿਆਨ ਵਿੱਚ ਰੱਖਣ ਵਾਲੀਆਂ ਸਮਰੱਥਾਵਾਂ ਦੇ ਨਾਲ ਰਵਾਇਤੀ ਗੱਲਬਾਤ ਵਾਲੇ ਚੈਟਬੋਟਸ ਦਾ ਵਿਸਤਾਰ ਕਰਦਾ ਹੈ, ਜੋ ਤੁਹਾਨੂੰ ਚਿੱਤਰਾਂ ਦਾ ਵਿਸ਼ਲੇਸ਼ਣ ਕਰਨ ਅਤੇ ਸਿਸਟਮ ਨਾਲ ਇੰਟਰੈਕਟ ਕਰਨ ਦੀ ਪ੍ਰਕਿਰਿਆ ਵਿੱਚ ਹੱਥ ਲਿਖਤ ਟੈਕਸਟ ਨੂੰ ਧਿਆਨ ਵਿੱਚ ਰੱਖਣ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ (ਉਦਾਹਰਣ ਵਜੋਂ, ਤੁਸੀਂ ਪੁੱਛ ਸਕਦੇ ਹੋ ਕਿ ਕਿਸ ਕਿਸਮ ਦੀ ਵਸਤੂ ਦਿਖਾਈ ਗਈ ਹੈ। ਤਸਵੀਰ ਵਿੱਚ, ਬੋਟ ਨੂੰ ਫੋਟੋ ਵਿੱਚ ਜੋ ਦਿਖਾਇਆ ਗਿਆ ਹੈ ਉਸ ਦੇ ਅਧਾਰ ਤੇ ਇੱਕ ਕਹਾਣੀ ਲਿਖਣ ਲਈ ਕਹੋ, ਜਾਂ ਇੱਕ ਯੋਜਨਾਬੱਧ ਸਕੈਚ ਦੇ ਅਧਾਰ ਤੇ, ਇੱਕ ਵੈਬਸਾਈਟ ਬਣਾਉਣ ਲਈ ਕਹੋ)। MiniGPT-4 ਲਾਗੂਕਰਨ Python ਵਿੱਚ ਲਿਖਿਆ ਗਿਆ ਹੈ ਅਤੇ BSD ਲਾਇਸੰਸ ਦੇ ਅਧੀਨ ਵੰਡਿਆ ਗਿਆ ਹੈ।
• Facebook ਨੇ ਇੱਕ ਟੂਲਕਿੱਟ ਅਤੇ ਇੱਕ ਸਵੈ-ਸਿਖਲਾਈ (SSL, ਸਵੈ-ਨਿਗਰਾਨੀ ਸਿੱਖਣ, ਮਨੁੱਖੀ-ਤਿਆਰ ਲੇਬਲ ਅਤੇ ਐਨੋਟੇਸ਼ਨਾਂ ਦੀ ਵਰਤੋਂ ਨਹੀਂ ਕਰਦੀ) ਪ੍ਰਕਾਸ਼ਿਤ ਕੀਤੀ ਹੈ DINOv2 ਮਸ਼ੀਨ ਵਿਜ਼ਨ ਮਾਡਲ ਸਧਾਰਨ ਵਿਜ਼ੂਅਲ ਡੇਟਾ ਪ੍ਰੋਸੈਸਿੰਗ (ਚਿੱਤਰ ਵਰਗੀਕਰਨ, ਵਿੱਚ ਵਸਤੂਆਂ ਬਾਰੇ ਜਾਣਕਾਰੀ ਕੱਢਣਾ) ਦੀਆਂ ਸਮੱਸਿਆਵਾਂ ਨੂੰ ਹੱਲ ਕਰਨ ਲਈ ਢੁਕਵਾਂ। ਚਿੱਤਰ, ਇਹ ਸਮਝਣਾ ਕਿ ਵੀਡੀਓ 'ਤੇ ਕੀ ਹੋ ਰਿਹਾ ਹੈ) ਅਤੇ ਪਿਕਸਲ ਪੱਧਰ 'ਤੇ ਹੇਰਾਫੇਰੀ (ਡੂੰਘਾਈ ਦੀ ਭਵਿੱਖਬਾਣੀ, ਵਿਭਾਜਨ)। ਮਾਡਲ ਨੂੰ 142 ਮਿਲੀਅਨ ਚਿੱਤਰਾਂ ਦੇ ਸੰਗ੍ਰਹਿ 'ਤੇ ਸਿਖਲਾਈ ਦਿੱਤੀ ਜਾਂਦੀ ਹੈ। ਲਾਗੂਕਰਨ ਪਾਈਥਨ ਵਿੱਚ ਲਿਖਿਆ ਗਿਆ ਹੈ ਅਤੇ ਇੱਕ ਕਰੀਏਟਿਵ ਕਾਮਨਜ਼ ਐਟ੍ਰਬਿਊਸ਼ਨ-ਗੈਰ-ਵਪਾਰਕ 4.0 ਲਾਇਸੰਸ ਦੇ ਅਧੀਨ ਵੰਡਿਆ ਗਿਆ ਹੈ ਜੋ ਗੈਰ-ਵਪਾਰਕ ਵਰਤੋਂ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ।
• GPT4All ਆਪਣੇ ਖੁਦ ਦੇ ਹਾਰਡਵੇਅਰ 'ਤੇ ਸਟੈਂਡ-ਅਲੋਨ ਚੈਟਬੋਟਸ ਨੂੰ ਤੇਜ਼ੀ ਨਾਲ ਲਾਂਚ ਕਰਨ ਲਈ ਇੱਕ ਟੂਲਕਿੱਟ ਹੈ (ਉਹ ਬਾਹਰੀ ਸੇਵਾਵਾਂ ਤੱਕ ਪਹੁੰਚ ਨਹੀਂ ਕਰਦੇ ਅਤੇ ਚਲਾਉਣ ਲਈ AVX2 ਸਮਰਥਨ ਵਾਲੇ CPUs ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹਨ)। GPT-J ਅਤੇ LLaMa 'ਤੇ ਆਧਾਰਿਤ ਵੱਡੇ ਭਾਸ਼ਾ ਮਾਡਲਾਂ ਨੂੰ ਕਨੈਕਟ ਕਰਨਾ ਸਮਰਥਿਤ ਹੈ। ਕੋਡ ਪਾਈਥਨ ਵਿੱਚ ਲਿਖਿਆ ਗਿਆ ਹੈ ਅਤੇ MIT ਲਾਇਸੰਸ ਦੇ ਅਧੀਨ ਵੰਡਿਆ ਗਿਆ ਹੈ।

ਸਰੋਤ: opennet.ru