ਰੀਨਫੋਰਸਮੈਂਟ ਲਰਨਿੰਗ ਜਾਂ ਵਿਕਾਸਵਾਦੀ ਰਣਨੀਤੀਆਂ? - ਦੋਵੇਂ

ਹੇ ਹਬਰ!

ਅਸੀਂ ਅਕਸਰ ਇੱਥੇ ਪਾਠਾਂ ਦੇ ਅਨੁਵਾਦ ਪੋਸਟ ਕਰਨ ਦਾ ਫੈਸਲਾ ਨਹੀਂ ਕਰਦੇ ਜੋ ਦੋ ਸਾਲ ਪੁਰਾਣੇ ਸਨ, ਬਿਨਾਂ ਕੋਡ ਦੇ ਅਤੇ ਸਪਸ਼ਟ ਤੌਰ 'ਤੇ ਅਕਾਦਮਿਕ ਸੁਭਾਅ ਦੇ - ਪਰ ਅੱਜ ਅਸੀਂ ਇੱਕ ਅਪਵਾਦ ਕਰਾਂਗੇ। ਅਸੀਂ ਉਮੀਦ ਕਰਦੇ ਹਾਂ ਕਿ ਲੇਖ ਦੇ ਸਿਰਲੇਖ ਵਿੱਚ ਪੈਦਾ ਹੋਈ ਦੁਬਿਧਾ ਸਾਡੇ ਬਹੁਤ ਸਾਰੇ ਪਾਠਕਾਂ ਨੂੰ ਚਿੰਤਤ ਕਰਦੀ ਹੈ, ਅਤੇ ਤੁਸੀਂ ਵਿਕਾਸਵਾਦੀ ਰਣਨੀਤੀਆਂ ਬਾਰੇ ਬੁਨਿਆਦੀ ਕੰਮ ਪਹਿਲਾਂ ਹੀ ਪੜ੍ਹ ਲਿਆ ਹੈ ਜਿਸ ਨਾਲ ਇਹ ਪੋਸਟ ਅਸਲ ਵਿੱਚ ਬਹਿਸ ਕਰਦੀ ਹੈ ਜਾਂ ਹੁਣ ਇਸਨੂੰ ਪੜ੍ਹੋਗੇ। ਬਿੱਲੀ ਵਿੱਚ ਤੁਹਾਡਾ ਸੁਆਗਤ ਹੈ!

ਮਾਰਚ 2017 ਵਿੱਚ, ਓਪਨਏਆਈ ਨੇ ਪੇਪਰ ਦੇ ਨਾਲ ਡੂੰਘੇ ਸਿੱਖਣ ਭਾਈਚਾਰੇ ਵਿੱਚ ਲਹਿਰਾਂ ਪੈਦਾ ਕੀਤੀਆਂ।ਰੀਨਫੋਰਸਮੈਂਟ ਲਰਨਿੰਗ ਦੇ ਸਕੇਲੇਬਲ ਵਿਕਲਪ ਵਜੋਂ ਵਿਕਾਸ ਦੀਆਂ ਰਣਨੀਤੀਆਂ" ਇਸ ਕੰਮ ਨੇ ਇਸ ਤੱਥ ਦੇ ਪੱਖ ਵਿੱਚ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਨਤੀਜਿਆਂ ਦਾ ਵਰਣਨ ਕੀਤਾ ਹੈ ਕਿ ਰੀਨਫੋਰਸਮੈਂਟ ਲਰਨਿੰਗ (ਆਰਐਲ) ਇੱਕ ਪਾੜਾ ਨਹੀਂ ਬਣ ਗਿਆ ਹੈ, ਅਤੇ ਜਦੋਂ ਗੁੰਝਲਦਾਰ ਤੰਤੂ ਨੈੱਟਵਰਕਾਂ ਨੂੰ ਸਿਖਲਾਈ ਦਿੱਤੀ ਜਾਂਦੀ ਹੈ, ਤਾਂ ਹੋਰ ਤਰੀਕਿਆਂ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰਨ ਦੀ ਸਲਾਹ ਦਿੱਤੀ ਜਾਂਦੀ ਹੈ। ਇੱਕ ਬਹਿਸ ਫਿਰ ਰੀਨਫੋਰਸਮੈਂਟ ਲਰਨਿੰਗ ਦੀ ਮਹੱਤਤਾ ਅਤੇ ਸਿੱਖਿਆ ਸਮੱਸਿਆ ਨੂੰ ਹੱਲ ਕਰਨ ਲਈ "ਲਾਜ਼ਮੀ" ਤਕਨਾਲੋਜੀ ਦੇ ਤੌਰ 'ਤੇ ਇਸ ਦੇ ਰੁਤਬੇ ਦੇ ਕਿਵੇਂ ਯੋਗ ਹੈ, ਬਾਰੇ ਸ਼ੁਰੂ ਹੋਈ। ਇੱਥੇ ਮੈਂ ਇਹ ਕਹਿਣਾ ਚਾਹੁੰਦਾ ਹਾਂ ਕਿ ਇਹਨਾਂ ਦੋ ਤਕਨਾਲੋਜੀਆਂ ਨੂੰ ਮੁਕਾਬਲੇਬਾਜ਼ੀ ਵਜੋਂ ਨਹੀਂ ਸਮਝਿਆ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ, ਜਿਨ੍ਹਾਂ ਵਿੱਚੋਂ ਇੱਕ ਸਪੱਸ਼ਟ ਤੌਰ 'ਤੇ ਦੂਜੇ ਨਾਲੋਂ ਬਿਹਤਰ ਹੈ; ਇਸ ਦੇ ਉਲਟ, ਉਹ ਆਖਰਕਾਰ ਇੱਕ ਦੂਜੇ ਦੇ ਪੂਰਕ ਹਨ। ਦਰਅਸਲ, ਜੇ ਤੁਸੀਂ ਇਸ ਬਾਰੇ ਥੋੜਾ ਜਿਹਾ ਸੋਚਦੇ ਹੋ ਕਿ ਇਸ ਨੂੰ ਬਣਾਉਣ ਲਈ ਕੀ ਲੱਗਦਾ ਹੈ ਜਨਰਲ ਏ.ਆਈ ਅਤੇ ਅਜਿਹੀਆਂ ਪ੍ਰਣਾਲੀਆਂ, ਜੋ ਆਪਣੀ ਹੋਂਦ ਦੌਰਾਨ ਸਿੱਖਣ, ਨਿਰਣੇ ਅਤੇ ਯੋਜਨਾ ਬਣਾਉਣ ਦੇ ਸਮਰੱਥ ਹੋਣਗੀਆਂ, ਫਿਰ ਅਸੀਂ ਲਗਭਗ ਨਿਸ਼ਚਤ ਤੌਰ 'ਤੇ ਇਸ ਸਿੱਟੇ 'ਤੇ ਪਹੁੰਚ ਜਾਵਾਂਗੇ ਕਿ ਇਹ ਜਾਂ ਉਸ ਸੰਯੁਕਤ ਹੱਲ ਦੀ ਲੋੜ ਹੋਵੇਗੀ। ਤਰੀਕੇ ਨਾਲ, ਇਹ ਬਿਲਕੁਲ ਇਹ ਸੰਯੁਕਤ ਹੱਲ ਸੀ ਜੋ ਕੁਦਰਤ ਕੋਲ ਆਇਆ, ਜਿਸ ਨੇ ਵਿਕਾਸ ਦੇ ਦੌਰਾਨ ਥਣਧਾਰੀ ਜੀਵਾਂ ਅਤੇ ਹੋਰ ਉੱਚ ਜਾਨਵਰਾਂ ਨੂੰ ਗੁੰਝਲਦਾਰ ਬੁੱਧੀ ਪ੍ਰਦਾਨ ਕੀਤੀ।

ਵਿਕਾਸਵਾਦੀ ਰਣਨੀਤੀਆਂ

ਓਪਨਏਆਈ ਪੇਪਰ ਦਾ ਮੁੱਖ ਥੀਸਿਸ ਇਹ ਸੀ ਕਿ, ਪਰੰਪਰਾਗਤ ਬੈਕਪ੍ਰੋਪੈਗੇਸ਼ਨ ਦੇ ਨਾਲ ਮਿਲ ਕੇ ਰੀਨਫੋਰਸਮੈਂਟ ਲਰਨਿੰਗ ਦੀ ਵਰਤੋਂ ਕਰਨ ਦੀ ਬਜਾਏ, ਉਹਨਾਂ ਨੇ "ਵਿਕਾਸਵਾਦੀ ਰਣਨੀਤੀ" (ES) ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਗੁੰਝਲਦਾਰ ਸਮੱਸਿਆਵਾਂ ਨੂੰ ਹੱਲ ਕਰਨ ਲਈ ਇੱਕ ਨਿਊਰਲ ਨੈਟਵਰਕ ਨੂੰ ਸਫਲਤਾਪੂਰਵਕ ਸਿਖਲਾਈ ਦਿੱਤੀ। ਇਸ ES ਪਹੁੰਚ ਵਿੱਚ ਵਜ਼ਨ ਦੀ ਇੱਕ ਨੈੱਟਵਰਕ-ਵਿਆਪਕ ਵੰਡ ਨੂੰ ਕਾਇਮ ਰੱਖਣਾ, ਸਮਾਨਾਂਤਰ ਵਿੱਚ ਕੰਮ ਕਰਨ ਵਾਲੇ ਕਈ ਏਜੰਟਾਂ ਨੂੰ ਸ਼ਾਮਲ ਕਰਨਾ ਅਤੇ ਇਸ ਵੰਡ ਤੋਂ ਚੁਣੇ ਗਏ ਮਾਪਦੰਡਾਂ ਦੀ ਵਰਤੋਂ ਕਰਨਾ ਸ਼ਾਮਲ ਹੈ। ਹਰੇਕ ਏਜੰਟ ਆਪਣੇ ਵਾਤਾਵਰਣ ਵਿੱਚ ਕੰਮ ਕਰਦਾ ਹੈ, ਅਤੇ ਇੱਕ ਐਪੀਸੋਡ ਦੇ ਇੱਕ ਨਿਸ਼ਚਿਤ ਸੰਖਿਆ ਜਾਂ ਪੜਾਅ ਦੇ ਪੂਰੇ ਹੋਣ 'ਤੇ, ਐਲਗੋਰਿਦਮ ਇੱਕ ਸੰਚਤ ਇਨਾਮ ਵਾਪਸ ਕਰਦਾ ਹੈ, ਜੋ ਇੱਕ ਫਿਟਨੈਸ ਸਕੋਰ ਵਜੋਂ ਦਰਸਾਇਆ ਗਿਆ ਹੈ। ਇਸ ਮੁੱਲ ਨੂੰ ਧਿਆਨ ਵਿੱਚ ਰੱਖਦੇ ਹੋਏ, ਮਾਪਦੰਡਾਂ ਦੀ ਵੰਡ ਨੂੰ ਘੱਟ ਸਫਲ ਏਜੰਟਾਂ ਤੋਂ ਵਾਂਝੇ ਕਰਦੇ ਹੋਏ, ਵਧੇਰੇ ਸਫਲ ਏਜੰਟਾਂ ਵੱਲ ਤਬਦੀਲ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ। ਸੈਂਕੜੇ ਏਜੰਟਾਂ ਦੀ ਭਾਗੀਦਾਰੀ ਨਾਲ ਅਜਿਹੀ ਕਾਰਵਾਈ ਨੂੰ ਲੱਖਾਂ ਵਾਰ ਦੁਹਰਾਉਣ ਨਾਲ, ਵਜ਼ਨ ਦੀ ਵੰਡ ਨੂੰ ਅਜਿਹੀ ਥਾਂ 'ਤੇ ਲਿਜਾਣਾ ਸੰਭਵ ਹੈ ਜੋ ਏਜੰਟਾਂ ਨੂੰ ਉਨ੍ਹਾਂ ਨੂੰ ਸੌਂਪੇ ਗਏ ਕੰਮ ਨੂੰ ਹੱਲ ਕਰਨ ਲਈ ਉੱਚ-ਗੁਣਵੱਤਾ ਨੀਤੀ ਬਣਾਉਣ ਦੀ ਇਜਾਜ਼ਤ ਦੇਵੇਗਾ। ਦਰਅਸਲ, ਲੇਖ ਵਿਚ ਪੇਸ਼ ਕੀਤੇ ਗਏ ਨਤੀਜੇ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਹਨ: ਇਹ ਦਿਖਾਇਆ ਗਿਆ ਹੈ ਕਿ ਜੇ ਤੁਸੀਂ ਸਮਾਨਾਂਤਰ ਵਿਚ ਇਕ ਹਜ਼ਾਰ ਏਜੰਟ ਚਲਾਉਂਦੇ ਹੋ, ਤਾਂ ਦੋ ਲੱਤਾਂ 'ਤੇ ਐਂਥਰੋਪੋਮੋਰਫਿਕ ਲੋਕੋਮੋਸ਼ਨ ਅੱਧੇ ਘੰਟੇ ਤੋਂ ਵੀ ਘੱਟ ਸਮੇਂ ਵਿਚ ਸਿੱਖੀ ਜਾ ਸਕਦੀ ਹੈ (ਜਦੋਂ ਕਿ ਸਭ ਤੋਂ ਉੱਨਤ ਆਰ ਐਲ ਤਰੀਕਿਆਂ ਨੂੰ ਵੀ ਜ਼ਿਆਦਾ ਖਰਚ ਕਰਨ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ। ਇਸ 'ਤੇ ਇਕ ਘੰਟੇ ਤੋਂ ਵੱਧ). ਵਧੇਰੇ ਵਿਸਤ੍ਰਿਤ ਜਾਣਕਾਰੀ ਲਈ, ਮੈਂ ਸ਼ਾਨਦਾਰ ਨੂੰ ਪੜ੍ਹਨ ਦੀ ਸਿਫਾਰਸ਼ ਕਰਦਾ ਹਾਂ ਪੋਸਟ ਪ੍ਰਯੋਗ ਦੇ ਲੇਖਕਾਂ ਤੋਂ, ਅਤੇ ਨਾਲ ਹੀ ਵਿਗਿਆਨਕ ਲੇਖ.

ਓਪਨਏਆਈ ਤੋਂ ਈਐਸ ਵਿਧੀ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ ਮਾਨਵ-ਵਿਗਿਆਨਕ ਸਿੱਧੇ ਤੁਰਨ ਨੂੰ ਸਿਖਾਉਣ ਲਈ ਵੱਖ-ਵੱਖ ਰਣਨੀਤੀਆਂ।

ਕਾਲਾ ਡਬਾ

ਇਸ ਵਿਧੀ ਦਾ ਵੱਡਾ ਫਾਇਦਾ ਇਹ ਹੈ ਕਿ ਇਸਨੂੰ ਆਸਾਨੀ ਨਾਲ ਸਮਾਨਾਂਤਰ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ। ਜਦੋਂ ਕਿ RL ਵਿਧੀਆਂ, ਜਿਵੇਂ ਕਿ A3C, ਨੂੰ ਵਰਕਰ ਥ੍ਰੈਡਸ ਅਤੇ ਪੈਰਾਮੀਟਰ ਸਰਵਰ ਵਿਚਕਾਰ ਜਾਣਕਾਰੀ ਦਾ ਆਦਾਨ-ਪ੍ਰਦਾਨ ਕਰਨ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ, ES ਨੂੰ ਸਿਰਫ਼ ਫਿਟਨੈਸ ਅਨੁਮਾਨਾਂ ਅਤੇ ਆਮ ਪੈਰਾਮੀਟਰ ਵੰਡ ਜਾਣਕਾਰੀ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ। ਇਹ ਇਸ ਸਰਲਤਾ ਦੇ ਕਾਰਨ ਹੈ ਕਿ ਇਹ ਵਿਧੀ ਸਕੇਲਿੰਗ ਸਮਰੱਥਾਵਾਂ ਦੇ ਮਾਮਲੇ ਵਿੱਚ ਆਧੁਨਿਕ RL ਵਿਧੀਆਂ ਤੋਂ ਬਹੁਤ ਅੱਗੇ ਹੈ। ਹਾਲਾਂਕਿ, ਇਹ ਸਭ ਵਿਅਰਥ ਨਹੀਂ ਹੁੰਦਾ: ਤੁਹਾਨੂੰ ਬਲੈਕ ਬਾਕਸ ਸਿਧਾਂਤ ਦੇ ਅਨੁਸਾਰ ਨੈਟਵਰਕ ਨੂੰ ਅਨੁਕੂਲ ਬਣਾਉਣਾ ਪਏਗਾ. ਇਸ ਸਥਿਤੀ ਵਿੱਚ, "ਬਲੈਕ ਬਾਕਸ" ਦਾ ਮਤਲਬ ਹੈ ਕਿ ਸਿਖਲਾਈ ਦੇ ਦੌਰਾਨ ਨੈਟਵਰਕ ਦੀ ਅੰਦਰੂਨੀ ਬਣਤਰ ਨੂੰ ਪੂਰੀ ਤਰ੍ਹਾਂ ਨਜ਼ਰਅੰਦਾਜ਼ ਕਰ ਦਿੱਤਾ ਜਾਂਦਾ ਹੈ, ਅਤੇ ਸਿਰਫ ਸਮੁੱਚੇ ਨਤੀਜੇ (ਐਪੀਸੋਡ ਲਈ ਇਨਾਮ) ਦੀ ਵਰਤੋਂ ਕੀਤੀ ਜਾਂਦੀ ਹੈ, ਅਤੇ ਇਹ ਇਸ 'ਤੇ ਨਿਰਭਰ ਕਰਦਾ ਹੈ ਕਿ ਕੀ ਕਿਸੇ ਖਾਸ ਨੈਟਵਰਕ ਦਾ ਵਜ਼ਨ ਹੋਵੇਗਾ. ਅਗਲੀਆਂ ਪੀੜ੍ਹੀਆਂ ਦੁਆਰਾ ਵਿਰਾਸਤ ਵਿੱਚ ਪ੍ਰਾਪਤ ਕੀਤਾ ਜਾਵੇਗਾ। ਅਜਿਹੀਆਂ ਸਥਿਤੀਆਂ ਵਿੱਚ ਜਿੱਥੇ ਸਾਨੂੰ ਵਾਤਾਵਰਣ ਤੋਂ ਬਹੁਤ ਜ਼ਿਆਦਾ ਫੀਡਬੈਕ ਨਹੀਂ ਮਿਲਦੀ — ਅਤੇ ਬਹੁਤ ਸਾਰੀਆਂ ਰਵਾਇਤੀ RL ਸਮੱਸਿਆਵਾਂ ਵਿੱਚ ਇਨਾਮਾਂ ਦਾ ਪ੍ਰਵਾਹ ਬਹੁਤ ਘੱਟ ਹੁੰਦਾ ਹੈ — ਸਮੱਸਿਆ ਇੱਕ "ਅੰਸ਼ਕ ਤੌਰ 'ਤੇ ਬਲੈਕ ਬਾਕਸ" ਤੋਂ "ਪੂਰੀ ਤਰ੍ਹਾਂ ਬਲੈਕ ਬਾਕਸ" ਵਿੱਚ ਜਾਂਦੀ ਹੈ। ਇਸ ਸਥਿਤੀ ਵਿੱਚ, ਤੁਸੀਂ ਉਤਪਾਦਕਤਾ ਵਿੱਚ ਮਹੱਤਵਪੂਰਨ ਵਾਧਾ ਕਰ ਸਕਦੇ ਹੋ, ਇਸ ਲਈ, ਬੇਸ਼ਕ, ਅਜਿਹਾ ਸਮਝੌਤਾ ਜਾਇਜ਼ ਹੈ. "ਜੇਕਰ ਉਹ ਬੇਚੈਨੀ ਨਾਲ ਰੌਲੇ-ਰੱਪੇ ਵਾਲੇ ਹਨ ਤਾਂ ਕਿਸ ਨੂੰ ਗਰੇਡੀਐਂਟ ਦੀ ਲੋੜ ਹੈ?" - ਇਹ ਆਮ ਰਾਏ ਹੈ.

ਹਾਲਾਂਕਿ, ਉਹਨਾਂ ਸਥਿਤੀਆਂ ਵਿੱਚ ਜਿੱਥੇ ਫੀਡਬੈਕ ਵਧੇਰੇ ਸਰਗਰਮ ਹੈ, ES ਲਈ ਚੀਜ਼ਾਂ ਗਲਤ ਹੋਣੀਆਂ ਸ਼ੁਰੂ ਹੋ ਜਾਂਦੀਆਂ ਹਨ। OpenAI ਟੀਮ ਦੱਸਦੀ ਹੈ ਕਿ ਕਿਵੇਂ ਇੱਕ ਸਧਾਰਨ MNIST ਵਰਗੀਕਰਨ ਨੈੱਟਵਰਕ ਨੂੰ ES ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਸਿਖਲਾਈ ਦਿੱਤੀ ਗਈ ਸੀ, ਅਤੇ ਇਸ ਵਾਰ ਸਿਖਲਾਈ 1000 ਗੁਣਾ ਹੌਲੀ ਸੀ। ਤੱਥ ਇਹ ਹੈ ਕਿ ਚਿੱਤਰ ਵਰਗੀਕਰਣ ਵਿੱਚ ਗਰੇਡੀਐਂਟ ਸਿਗਨਲ ਨੈਟਵਰਕ ਨੂੰ ਬਿਹਤਰ ਵਰਗੀਕਰਨ ਕਿਵੇਂ ਸਿਖਾਉਣਾ ਹੈ ਇਸ ਬਾਰੇ ਬਹੁਤ ਜਾਣਕਾਰੀ ਭਰਪੂਰ ਹੈ। ਇਸ ਤਰ੍ਹਾਂ, ਸਮੱਸਿਆ RL ਤਕਨੀਕ ਨਾਲ ਘੱਟ ਹੈ ਅਤੇ ਸ਼ੋਰ ਵਾਲੇ ਗਰੇਡੀਐਂਟ ਪੈਦਾ ਕਰਨ ਵਾਲੇ ਵਾਤਾਵਰਣਾਂ ਵਿੱਚ ਸਪਾਰਸ ਇਨਾਮਾਂ ਨਾਲ ਜ਼ਿਆਦਾ ਹੈ।

ਕੁਦਰਤ ਦਾ ਹੱਲ

ਜੇ ਅਸੀਂ ਕੁਦਰਤ ਦੀ ਉਦਾਹਰਣ ਤੋਂ ਸਿੱਖਣ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰਦੇ ਹਾਂ, ਏਆਈ ਨੂੰ ਵਿਕਸਤ ਕਰਨ ਦੇ ਤਰੀਕਿਆਂ ਬਾਰੇ ਸੋਚਦੇ ਹਾਂ, ਤਾਂ ਕੁਝ ਮਾਮਲਿਆਂ ਵਿੱਚ ਏਆਈ ਬਾਰੇ ਸੋਚਿਆ ਜਾ ਸਕਦਾ ਹੈ. ਸਮੱਸਿਆ-ਅਧਾਰਿਤ ਪਹੁੰਚ. ਆਖ਼ਰਕਾਰ, ਕੁਦਰਤ ਉਹਨਾਂ ਰੁਕਾਵਟਾਂ ਦੇ ਅੰਦਰ ਕੰਮ ਕਰਦੀ ਹੈ ਜੋ ਕੰਪਿਊਟਰ ਵਿਗਿਆਨੀਆਂ ਕੋਲ ਨਹੀਂ ਹੈ। ਇੱਕ ਰਾਏ ਹੈ ਕਿ ਕਿਸੇ ਖਾਸ ਸਮੱਸਿਆ ਨੂੰ ਹੱਲ ਕਰਨ ਲਈ ਇੱਕ ਸ਼ੁੱਧ ਸਿਧਾਂਤਕ ਪਹੁੰਚ ਅਨੁਭਵੀ ਵਿਕਲਪਾਂ ਨਾਲੋਂ ਵਧੇਰੇ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਹੱਲ ਪ੍ਰਦਾਨ ਕਰ ਸਕਦੀ ਹੈ। ਹਾਲਾਂਕਿ, ਮੈਂ ਅਜੇ ਵੀ ਸੋਚਦਾ ਹਾਂ ਕਿ ਇਹ ਜਾਂਚ ਕਰਨਾ ਲਾਭਦਾਇਕ ਹੋਵੇਗਾ ਕਿ ਕਿਵੇਂ ਕੁਝ ਰੁਕਾਵਟਾਂ (ਧਰਤੀ) ਦੇ ਅਧੀਨ ਕੰਮ ਕਰਨ ਵਾਲੀ ਗਤੀਸ਼ੀਲ ਪ੍ਰਣਾਲੀ ਨੇ ਲਚਕਦਾਰ ਅਤੇ ਗੁੰਝਲਦਾਰ ਵਿਵਹਾਰ ਦੇ ਸਮਰੱਥ ਏਜੰਟ (ਜਾਨਵਰ, ਖਾਸ ਕਰਕੇ ਥਣਧਾਰੀ) ਪੈਦਾ ਕੀਤੇ ਹਨ। ਜਦੋਂ ਕਿ ਇਹਨਾਂ ਵਿੱਚੋਂ ਕੁਝ ਪਾਬੰਦੀਆਂ ਸਿਮੂਲੇਟਡ ਡੇਟਾ ਵਿਗਿਆਨ ਸੰਸਾਰਾਂ ਵਿੱਚ ਲਾਗੂ ਨਹੀਂ ਹੁੰਦੀਆਂ ਹਨ, ਬਾਕੀ ਬਿਲਕੁਲ ਠੀਕ ਹਨ।

ਥਣਧਾਰੀ ਜੀਵਾਂ ਦੇ ਬੌਧਿਕ ਵਿਵਹਾਰ ਦੀ ਜਾਂਚ ਕਰਨ ਤੋਂ ਬਾਅਦ, ਅਸੀਂ ਦੇਖਦੇ ਹਾਂ ਕਿ ਇਹ ਦੋ ਨਜ਼ਦੀਕੀ ਆਪਸ ਵਿੱਚ ਜੁੜੀਆਂ ਪ੍ਰਕਿਰਿਆਵਾਂ ਦੇ ਗੁੰਝਲਦਾਰ ਆਪਸੀ ਪ੍ਰਭਾਵ ਦੇ ਨਤੀਜੇ ਵਜੋਂ ਬਣਦਾ ਹੈ: ਦੂਜਿਆਂ ਦੇ ਤਜ਼ਰਬਿਆਂ ਤੋਂ ਸਿੱਖਣਾ и ਕਰ ਕੇ ਸਿੱਖਣਾ. ਪਹਿਲਾਂ ਨੂੰ ਅਕਸਰ ਕੁਦਰਤੀ ਚੋਣ ਦੁਆਰਾ ਸੰਚਾਲਿਤ ਵਿਕਾਸ ਦੇ ਨਾਲ ਬਰਾਬਰ ਕੀਤਾ ਜਾਂਦਾ ਹੈ, ਪਰ ਇੱਥੇ ਮੈਂ ਐਪੀਜੇਨੇਟਿਕਸ, ਮਾਈਕ੍ਰੋਬਾਇਓਮਜ਼ ਅਤੇ ਹੋਰ ਵਿਧੀਆਂ ਨੂੰ ਧਿਆਨ ਵਿੱਚ ਰੱਖਣ ਲਈ ਇੱਕ ਵਿਆਪਕ ਸ਼ਬਦ ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹਾਂ ਜੋ ਜੈਨੇਟਿਕ ਤੌਰ 'ਤੇ ਗੈਰ-ਸੰਬੰਧਿਤ ਜੀਵਾਣੂਆਂ ਵਿਚਕਾਰ ਅਨੁਭਵਾਂ ਨੂੰ ਸਾਂਝਾ ਕਰਨ ਦੇ ਯੋਗ ਬਣਾਉਂਦੇ ਹਨ। ਦੂਜੀ ਪ੍ਰਕਿਰਿਆ, ਤਜਰਬੇ ਤੋਂ ਸਿੱਖਣਾ, ਉਹ ਸਾਰੀ ਜਾਣਕਾਰੀ ਹੈ ਜੋ ਇੱਕ ਜਾਨਵਰ ਆਪਣੀ ਸਾਰੀ ਉਮਰ ਸਿੱਖਣ ਦਾ ਪ੍ਰਬੰਧ ਕਰਦਾ ਹੈ, ਅਤੇ ਇਹ ਜਾਣਕਾਰੀ ਸਿੱਧੇ ਤੌਰ 'ਤੇ ਇਸ ਜਾਨਵਰ ਦੇ ਬਾਹਰੀ ਸੰਸਾਰ ਨਾਲ ਸੰਪਰਕ ਦੁਆਰਾ ਨਿਰਧਾਰਤ ਕੀਤੀ ਜਾਂਦੀ ਹੈ। ਇਸ ਸ਼੍ਰੇਣੀ ਵਿੱਚ ਵਸਤੂਆਂ ਦੀ ਪਛਾਣ ਕਰਨ ਲਈ ਸਿੱਖਣ ਤੋਂ ਲੈ ਕੇ ਸਿੱਖਣ ਦੀ ਪ੍ਰਕਿਰਿਆ ਵਿੱਚ ਮੌਜੂਦ ਸੰਚਾਰ ਵਿੱਚ ਮੁਹਾਰਤ ਹਾਸਲ ਕਰਨ ਤੱਕ ਸਭ ਕੁਝ ਸ਼ਾਮਲ ਹੈ।

ਮੋਟੇ ਤੌਰ 'ਤੇ, ਕੁਦਰਤ ਵਿੱਚ ਹੋਣ ਵਾਲੀਆਂ ਇਨ੍ਹਾਂ ਦੋ ਪ੍ਰਕਿਰਿਆਵਾਂ ਦੀ ਤੁਲਨਾ ਨਿਊਰਲ ਨੈਟਵਰਕ ਨੂੰ ਅਨੁਕੂਲ ਬਣਾਉਣ ਲਈ ਦੋ ਵਿਕਲਪਾਂ ਨਾਲ ਕੀਤੀ ਜਾ ਸਕਦੀ ਹੈ। ਵਿਕਾਸਵਾਦੀ ਰਣਨੀਤੀਆਂ, ਜਿੱਥੇ ਗਰੇਡੀਐਂਟਸ ਬਾਰੇ ਜਾਣਕਾਰੀ ਦੀ ਵਰਤੋਂ ਜੀਵ ਬਾਰੇ ਜਾਣਕਾਰੀ ਨੂੰ ਅਪਡੇਟ ਕਰਨ ਲਈ ਕੀਤੀ ਜਾਂਦੀ ਹੈ, ਦੂਜਿਆਂ ਦੇ ਤਜਰਬੇ ਤੋਂ ਸਿੱਖਣ ਦੇ ਨੇੜੇ ਆਉਂਦੀ ਹੈ। ਇਸੇ ਤਰ੍ਹਾਂ, ਗਰੇਡੀਐਂਟ ਵਿਧੀਆਂ, ਜਿੱਥੇ ਇੱਕ ਜਾਂ ਦੂਜੇ ਤਜਰਬੇ ਨੂੰ ਪ੍ਰਾਪਤ ਕਰਨ ਨਾਲ ਏਜੰਟ ਦੇ ਵਿਵਹਾਰ ਵਿੱਚ ਇੱਕ ਜਾਂ ਦੂਜੀ ਤਬਦੀਲੀ ਹੁੰਦੀ ਹੈ, ਇੱਕ ਦੇ ਆਪਣੇ ਤਜ਼ਰਬੇ ਤੋਂ ਸਿੱਖਣ ਦੇ ਮੁਕਾਬਲੇ ਹੁੰਦੇ ਹਨ। ਜੇ ਅਸੀਂ ਬੁੱਧੀਮਾਨ ਵਿਵਹਾਰ ਜਾਂ ਕਾਬਲੀਅਤਾਂ ਦੀਆਂ ਕਿਸਮਾਂ ਬਾਰੇ ਸੋਚਦੇ ਹਾਂ ਜੋ ਇਹਨਾਂ ਦੋਵਾਂ ਪਹੁੰਚਾਂ ਵਿੱਚੋਂ ਹਰੇਕ ਜਾਨਵਰਾਂ ਵਿੱਚ ਵਿਕਸਤ ਹੁੰਦੀਆਂ ਹਨ, ਤਾਂ ਤੁਲਨਾ ਵਧੇਰੇ ਸਪੱਸ਼ਟ ਹੋ ਜਾਂਦੀ ਹੈ। ਦੋਵਾਂ ਮਾਮਲਿਆਂ ਵਿੱਚ, "ਵਿਕਾਸਵਾਦੀ ਢੰਗ" ਪ੍ਰਤੀਕਿਰਿਆਸ਼ੀਲ ਵਿਵਹਾਰਾਂ ਦੇ ਅਧਿਐਨ ਨੂੰ ਉਤਸ਼ਾਹਿਤ ਕਰਦੇ ਹਨ ਜੋ ਇੱਕ ਨਿਸ਼ਚਿਤ ਤੰਦਰੁਸਤੀ (ਜ਼ਿੰਦਾ ਰਹਿਣ ਲਈ ਕਾਫੀ) ਵਿਕਸਿਤ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦੇ ਹਨ। ਗ਼ੁਲਾਮੀ ਤੋਂ ਤੁਰਨਾ ਜਾਂ ਬਚਣਾ ਸਿੱਖਣਾ ਬਹੁਤ ਸਾਰੇ ਮਾਮਲਿਆਂ ਵਿੱਚ ਵਧੇਰੇ "ਸਹਿਜ" ਵਿਵਹਾਰਾਂ ਦੇ ਬਰਾਬਰ ਹੁੰਦਾ ਹੈ ਜੋ ਜੈਨੇਟਿਕ ਪੱਧਰ 'ਤੇ ਬਹੁਤ ਸਾਰੇ ਜਾਨਵਰਾਂ ਵਿੱਚ "ਸਖਤ" ਹੁੰਦੇ ਹਨ। ਇਸ ਤੋਂ ਇਲਾਵਾ, ਇਹ ਉਦਾਹਰਨ ਪੁਸ਼ਟੀ ਕਰਦੀ ਹੈ ਕਿ ਵਿਕਾਸਵਾਦੀ ਢੰਗ ਉਹਨਾਂ ਮਾਮਲਿਆਂ ਵਿੱਚ ਲਾਗੂ ਹੁੰਦੇ ਹਨ ਜਿੱਥੇ ਇਨਾਮ ਸੰਕੇਤ ਬਹੁਤ ਘੱਟ ਹੁੰਦਾ ਹੈ (ਉਦਾਹਰਨ ਲਈ, ਇੱਕ ਬੱਚੇ ਦੇ ਸਫਲ ਪਾਲਣ ਪੋਸ਼ਣ ਦਾ ਤੱਥ)। ਅਜਿਹੀ ਸਥਿਤੀ ਵਿੱਚ, ਇਨਾਮ ਨੂੰ ਕਾਰਵਾਈਆਂ ਦੇ ਕਿਸੇ ਖਾਸ ਸਮੂਹ ਨਾਲ ਜੋੜਨਾ ਅਸੰਭਵ ਹੈ ਜੋ ਇਸ ਤੱਥ ਦੇ ਵਾਪਰਨ ਤੋਂ ਕਈ ਸਾਲ ਪਹਿਲਾਂ ਕੀਤੇ ਗਏ ਹੋ ਸਕਦੇ ਹਨ। ਦੂਜੇ ਪਾਸੇ, ਜੇਕਰ ਅਸੀਂ ਇੱਕ ਅਜਿਹੇ ਕੇਸ 'ਤੇ ਵਿਚਾਰ ਕਰਦੇ ਹਾਂ ਜਿਸ ਵਿੱਚ ES ਅਸਫਲ ਹੋ ਜਾਂਦਾ ਹੈ, ਅਰਥਾਤ ਚਿੱਤਰ ਵਰਗੀਕਰਨ, ਨਤੀਜੇ 100 ਤੋਂ ਵੱਧ ਸਾਲਾਂ ਵਿੱਚ ਕੀਤੇ ਗਏ ਅਣਗਿਣਤ ਵਿਵਹਾਰ ਸੰਬੰਧੀ ਮਨੋਵਿਗਿਆਨਕ ਪ੍ਰਯੋਗਾਂ ਵਿੱਚ ਪ੍ਰਾਪਤ ਜਾਨਵਰਾਂ ਦੀ ਸਿਖਲਾਈ ਦੇ ਨਤੀਜਿਆਂ ਨਾਲ ਕਮਾਲ ਦੇ ਤੁਲਨਾਤਮਕ ਹਨ।

ਜਾਨਵਰਾਂ ਤੋਂ ਸਿੱਖਣਾ

ਰੀਨਫੋਰਸਮੈਂਟ ਲਰਨਿੰਗ ਵਿੱਚ ਵਰਤੇ ਗਏ ਤਰੀਕੇ ਬਹੁਤ ਸਾਰੇ ਮਾਮਲਿਆਂ ਵਿੱਚ ਸਿੱਧੇ ਮਨੋਵਿਗਿਆਨਕ ਸਾਹਿਤ ਤੋਂ ਲਏ ਜਾਂਦੇ ਹਨ ਓਪਰੇਟ ਕੰਡੀਸ਼ਨਿੰਗ, ਅਤੇ ਓਪਰੇਟ ਕੰਡੀਸ਼ਨਿੰਗ ਦਾ ਅਧਿਐਨ ਜਾਨਵਰਾਂ ਦੇ ਮਨੋਵਿਗਿਆਨ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਕੀਤਾ ਗਿਆ ਸੀ। ਤਰੀਕੇ ਨਾਲ, ਰਿਚਰਡ ਸੂਟਨ, ਰੀਨਫੋਰਸਮੈਂਟ ਲਰਨਿੰਗ ਦੇ ਦੋ ਸੰਸਥਾਪਕਾਂ ਵਿੱਚੋਂ ਇੱਕ, ਮਨੋਵਿਗਿਆਨ ਵਿੱਚ ਬੈਚਲਰ ਡਿਗਰੀ ਹੈ। ਓਪਰੇਟ ਕੰਡੀਸ਼ਨਿੰਗ ਦੇ ਸੰਦਰਭ ਵਿੱਚ, ਜਾਨਵਰ ਇਨਾਮ ਜਾਂ ਸਜ਼ਾ ਨੂੰ ਖਾਸ ਵਿਹਾਰਕ ਪੈਟਰਨਾਂ ਨਾਲ ਜੋੜਨਾ ਸਿੱਖਦੇ ਹਨ। ਟ੍ਰੇਨਰ ਅਤੇ ਖੋਜਕਰਤਾ ਇਸ ਇਨਾਮ ਐਸੋਸੀਏਸ਼ਨ ਨੂੰ ਕਿਸੇ ਨਾ ਕਿਸੇ ਤਰੀਕੇ ਨਾਲ ਹੇਰਾਫੇਰੀ ਕਰ ਸਕਦੇ ਹਨ, ਜਾਨਵਰਾਂ ਨੂੰ ਬੁੱਧੀ ਜਾਂ ਕੁਝ ਵਿਵਹਾਰਾਂ ਦਾ ਪ੍ਰਦਰਸ਼ਨ ਕਰਨ ਲਈ ਉਕਸਾਉਂਦੇ ਹਨ। ਹਾਲਾਂਕਿ, ਓਪਰੇਟ ਕੰਡੀਸ਼ਨਿੰਗ, ਜਿਵੇਂ ਕਿ ਜਾਨਵਰਾਂ ਦੀ ਖੋਜ ਵਿੱਚ ਵਰਤੀ ਜਾਂਦੀ ਹੈ, ਉਸੇ ਕੰਡੀਸ਼ਨਿੰਗ ਦੇ ਵਧੇਰੇ ਸਪੱਸ਼ਟ ਰੂਪ ਤੋਂ ਵੱਧ ਕੁਝ ਨਹੀਂ ਹੈ ਜਿਸ ਦੇ ਅਧਾਰ 'ਤੇ ਜਾਨਵਰ ਆਪਣੀ ਸਾਰੀ ਉਮਰ ਸਿੱਖਦੇ ਹਨ। ਅਸੀਂ ਲਗਾਤਾਰ ਵਾਤਾਵਰਨ ਤੋਂ ਸਕਾਰਾਤਮਕ ਮਜ਼ਬੂਤੀ ਦੇ ਸੰਕੇਤ ਪ੍ਰਾਪਤ ਕਰਦੇ ਹਾਂ ਅਤੇ ਉਸ ਅਨੁਸਾਰ ਆਪਣੇ ਵਿਹਾਰ ਨੂੰ ਅਨੁਕੂਲ ਕਰਦੇ ਹਾਂ। ਵਾਸਤਵ ਵਿੱਚ, ਬਹੁਤ ਸਾਰੇ ਤੰਤੂ-ਵਿਗਿਆਨੀ ਅਤੇ ਬੋਧਾਤਮਕ ਵਿਗਿਆਨੀ ਮੰਨਦੇ ਹਨ ਕਿ ਮਨੁੱਖ ਅਤੇ ਹੋਰ ਜਾਨਵਰ ਅਸਲ ਵਿੱਚ ਇੱਕ ਹੋਰ ਉੱਚ ਪੱਧਰ 'ਤੇ ਕੰਮ ਕਰਦੇ ਹਨ ਅਤੇ ਸੰਭਾਵੀ ਇਨਾਮਾਂ ਦੇ ਅਧਾਰ ਤੇ ਭਵਿੱਖ ਦੀਆਂ ਸਥਿਤੀਆਂ ਵਿੱਚ ਆਪਣੇ ਵਿਵਹਾਰ ਦੇ ਨਤੀਜਿਆਂ ਦੀ ਭਵਿੱਖਬਾਣੀ ਕਰਨਾ ਸਿੱਖਦੇ ਹਨ।

ਅਨੁਭਵ ਤੋਂ ਸਿੱਖਣ ਵਿੱਚ ਪੂਰਵ-ਅਨੁਮਾਨ ਦੀ ਕੇਂਦਰੀ ਭੂਮਿਕਾ ਉੱਪਰ ਵਰਣਿਤ ਗਤੀਸ਼ੀਲਤਾ ਨੂੰ ਮਹੱਤਵਪੂਰਨ ਤਰੀਕਿਆਂ ਨਾਲ ਬਦਲਦੀ ਹੈ। ਸਿਗਨਲ ਜਿਸਨੂੰ ਪਹਿਲਾਂ ਬਹੁਤ ਘੱਟ ਮੰਨਿਆ ਜਾਂਦਾ ਸੀ (ਐਪੀਸੋਡਿਕ ਇਨਾਮ) ਬਹੁਤ ਸੰਘਣਾ ਨਿਕਲਦਾ ਹੈ। ਸਿਧਾਂਤਕ ਤੌਰ 'ਤੇ, ਸਥਿਤੀ ਕੁਝ ਇਸ ਤਰ੍ਹਾਂ ਦੀ ਹੈ: ਕਿਸੇ ਵੀ ਸਮੇਂ, ਥਣਧਾਰੀ ਦਾ ਦਿਮਾਗ ਸੰਵੇਦੀ ਉਤੇਜਨਾ ਅਤੇ ਕਿਰਿਆਵਾਂ ਦੀ ਇੱਕ ਗੁੰਝਲਦਾਰ ਧਾਰਾ ਦੇ ਅਧਾਰ ਤੇ ਨਤੀਜਿਆਂ ਦੀ ਗਣਨਾ ਕਰ ਰਿਹਾ ਹੈ, ਜਦੋਂ ਕਿ ਜਾਨਵਰ ਸਿਰਫ਼ ਇਸ ਧਾਰਾ ਵਿੱਚ ਡੁੱਬਿਆ ਹੋਇਆ ਹੈ। ਇਸ ਕੇਸ ਵਿੱਚ, ਜਾਨਵਰ ਦਾ ਅੰਤਮ ਵਿਵਹਾਰ ਇੱਕ ਮਜ਼ਬੂਤ ​​​​ਸਿਗਨਲ ਦਿੰਦਾ ਹੈ ਜੋ ਪੂਰਵ-ਅਨੁਮਾਨਾਂ ਦੇ ਸਮਾਯੋਜਨ ਅਤੇ ਵਿਵਹਾਰ ਦੇ ਵਿਕਾਸ ਦੀ ਅਗਵਾਈ ਕਰਨ ਲਈ ਵਰਤਿਆ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ. ਦਿਮਾਗ ਇਹਨਾਂ ਸਾਰੇ ਸੰਕੇਤਾਂ ਦੀ ਵਰਤੋਂ ਭਵਿੱਖ ਵਿੱਚ ਪੂਰਵ-ਅਨੁਮਾਨਾਂ (ਅਤੇ, ਇਸਦੇ ਅਨੁਸਾਰ, ਕੀਤੀਆਂ ਗਈਆਂ ਕਾਰਵਾਈਆਂ ਦੀ ਗੁਣਵੱਤਾ) ਨੂੰ ਅਨੁਕੂਲ ਬਣਾਉਣ ਲਈ ਕਰਦਾ ਹੈ। ਇਸ ਪਹੁੰਚ ਦੀ ਇੱਕ ਸੰਖੇਪ ਜਾਣਕਾਰੀ ਸ਼ਾਨਦਾਰ ਕਿਤਾਬ ਵਿੱਚ ਦਿੱਤੀ ਗਈ ਹੈ "ਸਰਫਿੰਗ ਅਨਿਸ਼ਚਿਤਤਾ"ਬੋਧਾਤਮਕ ਵਿਗਿਆਨੀ ਅਤੇ ਦਾਰਸ਼ਨਿਕ ਐਂਡੀ ਕਲਾਰਕ। ਜੇ ਅਸੀਂ ਅਜਿਹੇ ਤਰਕ ਨੂੰ ਨਕਲੀ ਏਜੰਟਾਂ ਦੀ ਸਿਖਲਾਈ ਲਈ ਐਕਸਟਰਾਪੋਲੇਟ ਕਰਦੇ ਹਾਂ, ਤਾਂ ਰੀਨਫੋਰਸਮੈਂਟ ਲਰਨਿੰਗ ਵਿੱਚ ਇੱਕ ਬੁਨਿਆਦੀ ਨੁਕਸ ਸਾਹਮਣੇ ਆਉਂਦਾ ਹੈ: ਇਸ ਪੈਰਾਡਾਈਮ ਵਿੱਚ ਵਰਤਿਆ ਗਿਆ ਸਿਗਨਲ ਉਸ ਦੀ ਤੁਲਨਾ ਵਿੱਚ ਨਿਰਾਸ਼ਾਜਨਕ ਤੌਰ 'ਤੇ ਕਮਜ਼ੋਰ ਹੈ ਜੋ ਇਹ ਹੋ ਸਕਦਾ ਹੈ (ਜਾਂ ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ)। ਅਜਿਹੇ ਮਾਮਲਿਆਂ ਵਿੱਚ ਜਿੱਥੇ ਸਿਗਨਲ ਸੰਤ੍ਰਿਪਤਾ ਨੂੰ ਵਧਾਉਣਾ ਅਸੰਭਵ ਹੈ (ਸ਼ਾਇਦ ਕਿਉਂਕਿ ਇਹ ਅੰਦਰੂਨੀ ਤੌਰ 'ਤੇ ਕਮਜ਼ੋਰ ਹੈ ਜਾਂ ਘੱਟ-ਪੱਧਰੀ ਪ੍ਰਤੀਕ੍ਰਿਆ ਨਾਲ ਜੁੜਿਆ ਹੋਇਆ ਹੈ), ਇਹ ਸ਼ਾਇਦ ਇੱਕ ਸਿਖਲਾਈ ਵਿਧੀ ਨੂੰ ਤਰਜੀਹ ਦੇਣ ਲਈ ਬਿਹਤਰ ਹੈ ਜੋ ਚੰਗੀ ਤਰ੍ਹਾਂ ਬਰਾਬਰ ਹੈ, ਉਦਾਹਰਨ ਲਈ, ES.

ਨਿਊਰਲ ਨੈੱਟਵਰਕ ਦੀ ਅਮੀਰ ਸਿਖਲਾਈ

ਥਣਧਾਰੀ ਦਿਮਾਗ ਵਿੱਚ ਮੌਜੂਦ ਉੱਚ ਤੰਤੂ ਗਤੀਵਿਧੀ ਦੇ ਸਿਧਾਂਤਾਂ 'ਤੇ ਨਿਰਮਾਣ, ਜੋ ਕਿ ਲਗਾਤਾਰ ਭਵਿੱਖਬਾਣੀਆਂ ਕਰਨ ਵਿੱਚ ਰੁੱਝਿਆ ਹੋਇਆ ਹੈ, ਹਾਲ ਹੀ ਵਿੱਚ ਰੀਨਫੋਰਸਮੈਂਟ ਲਰਨਿੰਗ ਵਿੱਚ ਤਰੱਕੀ ਕੀਤੀ ਗਈ ਹੈ, ਜੋ ਹੁਣ ਅਜਿਹੀਆਂ ਭਵਿੱਖਬਾਣੀਆਂ ਦੀ ਮਹੱਤਤਾ ਨੂੰ ਧਿਆਨ ਵਿੱਚ ਰੱਖਦੀ ਹੈ। ਮੈਂ ਤੁਰੰਤ ਤੁਹਾਡੇ ਲਈ ਦੋ ਸਮਾਨ ਕੰਮਾਂ ਦੀ ਸਿਫ਼ਾਰਸ਼ ਕਰ ਸਕਦਾ ਹਾਂ:

• ਭਵਿੱਖ ਦੀ ਭਵਿੱਖਬਾਣੀ ਕਰਕੇ ਕੰਮ ਕਰਨਾ ਸਿੱਖਣਾ
• ਨਿਰੀਖਣ ਕੀਤੇ ਸਹਾਇਕ ਕਾਰਜਾਂ ਨਾਲ ਮਜਬੂਤੀ ਦੀ ਸਿਖਲਾਈ

ਇਹਨਾਂ ਦੋਹਾਂ ਪੇਪਰਾਂ ਵਿੱਚ, ਲੇਖਕ ਭਵਿੱਖ ਵਿੱਚ ਵਾਤਾਵਰਣ ਦੀ ਸਥਿਤੀ ਬਾਰੇ ਭਵਿੱਖਬਾਣੀ ਨਤੀਜਿਆਂ ਦੇ ਨਾਲ ਆਪਣੇ ਨਿਊਰਲ ਨੈੱਟਵਰਕਾਂ ਦੀ ਖਾਸ ਮੂਲ ਨੀਤੀ ਦੀ ਪੂਰਤੀ ਕਰਦੇ ਹਨ। ਪਹਿਲੇ ਲੇਖ ਵਿੱਚ, ਪੂਰਵ-ਅਨੁਮਾਨ ਨੂੰ ਕਈ ਤਰ੍ਹਾਂ ਦੇ ਮਾਪ ਵੇਰੀਏਬਲਾਂ 'ਤੇ ਲਾਗੂ ਕੀਤਾ ਜਾਂਦਾ ਹੈ, ਅਤੇ ਦੂਜੇ ਵਿੱਚ, ਭਵਿੱਖਬਾਣੀ ਵਾਤਾਵਰਣ ਵਿੱਚ ਤਬਦੀਲੀਆਂ ਅਤੇ ਏਜੰਟ ਦੇ ਵਿਵਹਾਰ 'ਤੇ ਲਾਗੂ ਹੁੰਦੀ ਹੈ। ਦੋਵਾਂ ਮਾਮਲਿਆਂ ਵਿੱਚ, ਸਕਾਰਾਤਮਕ ਮਜ਼ਬੂਤੀ ਨਾਲ ਸੰਬੰਧਿਤ ਸਪੇਅਰ ਸਿਗਨਲ ਵਧੇਰੇ ਅਮੀਰ ਅਤੇ ਵਧੇਰੇ ਜਾਣਕਾਰੀ ਭਰਪੂਰ ਬਣ ਜਾਂਦਾ ਹੈ, ਜਿਸ ਨਾਲ ਤੇਜ਼ ਸਿੱਖਣ ਅਤੇ ਵਧੇਰੇ ਗੁੰਝਲਦਾਰ ਵਿਹਾਰਾਂ ਦੀ ਪ੍ਰਾਪਤੀ ਦੋਵਾਂ ਦੀ ਆਗਿਆ ਮਿਲਦੀ ਹੈ। ਅਜਿਹੇ ਸੁਧਾਰ ਸਿਰਫ਼ ਉਹਨਾਂ ਤਰੀਕਿਆਂ ਨਾਲ ਉਪਲਬਧ ਹਨ ਜੋ ਗਰੇਡੀਐਂਟ ਸਿਗਨਲ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹਨ, ਨਾ ਕਿ ਉਹਨਾਂ ਤਰੀਕਿਆਂ ਨਾਲ ਜੋ "ਬਲੈਕ ਬਾਕਸ" ਸਿਧਾਂਤ 'ਤੇ ਕੰਮ ਕਰਦੇ ਹਨ, ਜਿਵੇਂ ਕਿ ES।

ਇਸ ਤੋਂ ਇਲਾਵਾ, ਤਜ਼ਰਬੇ ਅਤੇ ਗਰੇਡੀਐਂਟ ਵਿਧੀਆਂ ਤੋਂ ਸਿੱਖਣਾ ਬਹੁਤ ਜ਼ਿਆਦਾ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਹੈ। ਇੱਥੋਂ ਤੱਕ ਕਿ ਉਹਨਾਂ ਮਾਮਲਿਆਂ ਵਿੱਚ ਵੀ ਜਿੱਥੇ ਰੀਨਫੋਰਸਮੈਂਟ ਲਰਨਿੰਗ ਦੀ ਵਰਤੋਂ ਕਰਨ ਨਾਲੋਂ ਤੇਜ਼ੀ ਨਾਲ ES ਵਿਧੀ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਕਿਸੇ ਖਾਸ ਸਮੱਸਿਆ ਦਾ ਅਧਿਐਨ ਕਰਨਾ ਸੰਭਵ ਸੀ, ਲਾਭ ਇਸ ਤੱਥ ਦੇ ਕਾਰਨ ਪ੍ਰਾਪਤ ਕੀਤਾ ਗਿਆ ਸੀ ਕਿ ES ਰਣਨੀਤੀ ਵਿੱਚ RL ਨਾਲੋਂ ਕਈ ਗੁਣਾ ਜ਼ਿਆਦਾ ਡੇਟਾ ਸ਼ਾਮਲ ਸੀ। ਜਾਨਵਰਾਂ ਵਿੱਚ ਸਿੱਖਣ ਦੇ ਸਿਧਾਂਤਾਂ 'ਤੇ ਇਸ ਕੇਸ ਨੂੰ ਦਰਸਾਉਂਦੇ ਹੋਏ, ਅਸੀਂ ਨੋਟ ਕਰਦੇ ਹਾਂ ਕਿ ਕਿਸੇ ਹੋਰ ਦੀ ਮਿਸਾਲ ਤੋਂ ਸਿੱਖਣ ਦਾ ਨਤੀਜਾ ਕਈ ਪੀੜ੍ਹੀਆਂ ਬਾਅਦ ਪ੍ਰਗਟ ਹੁੰਦਾ ਹੈ, ਜਦੋਂ ਕਿ ਕਈ ਵਾਰ ਆਪਣੇ ਆਪ ਦੁਆਰਾ ਅਨੁਭਵ ਕੀਤੀ ਇੱਕ ਘਟਨਾ ਜਾਨਵਰ ਲਈ ਹਮੇਸ਼ਾ ਲਈ ਸਬਕ ਸਿੱਖਣ ਲਈ ਕਾਫੀ ਹੁੰਦੀ ਹੈ। ਜਦਕਿ ਪਸੰਦ ਹੈ ਉਦਾਹਰਨਾਂ ਤੋਂ ਬਿਨਾਂ ਸਿਖਲਾਈ ਹਾਲਾਂਕਿ ਇਹ ਰਵਾਇਤੀ ਗਰੇਡੀਐਂਟ ਤਰੀਕਿਆਂ ਵਿੱਚ ਬਿਲਕੁਲ ਫਿੱਟ ਨਹੀਂ ਬੈਠਦਾ, ਇਹ ES ਨਾਲੋਂ ਬਹੁਤ ਜ਼ਿਆਦਾ ਸਮਝਦਾਰ ਹੈ। ਉਦਾਹਰਨ ਲਈ, ਅਜਿਹੇ ਪਹੁੰਚ ਹਨ ਨਿਊਰਲ ਐਪੀਸੋਡਿਕ ਕੰਟਰੋਲ, ਜਿੱਥੇ ਸਿਖਲਾਈ ਦੌਰਾਨ Q-ਮੁੱਲਾਂ ਨੂੰ ਸਟੋਰ ਕੀਤਾ ਜਾਂਦਾ ਹੈ, ਜਿਸ ਤੋਂ ਬਾਅਦ ਪ੍ਰੋਗਰਾਮ ਕਾਰਵਾਈ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ ਉਹਨਾਂ ਦੀ ਜਾਂਚ ਕਰਦਾ ਹੈ। ਨਤੀਜਾ ਇੱਕ ਗਰੇਡੀਐਂਟ ਵਿਧੀ ਹੈ ਜੋ ਤੁਹਾਨੂੰ ਇਹ ਸਿੱਖਣ ਦੀ ਆਗਿਆ ਦਿੰਦੀ ਹੈ ਕਿ ਸਮੱਸਿਆਵਾਂ ਨੂੰ ਪਹਿਲਾਂ ਨਾਲੋਂ ਬਹੁਤ ਤੇਜ਼ੀ ਨਾਲ ਕਿਵੇਂ ਹੱਲ ਕਰਨਾ ਹੈ। ਨਿਊਰਲ ਐਪੀਸੋਡਿਕ ਨਿਯੰਤਰਣ 'ਤੇ ਇੱਕ ਲੇਖ ਵਿੱਚ, ਲੇਖਕਾਂ ਨੇ ਮਨੁੱਖੀ ਹਿਪੋਕੈਂਪਸ ਦਾ ਜ਼ਿਕਰ ਕੀਤਾ ਹੈ, ਜੋ ਕਿ ਇੱਕ ਅਨੁਭਵ ਦੇ ਬਾਅਦ ਵੀ ਇੱਕ ਘਟਨਾ ਬਾਰੇ ਜਾਣਕਾਰੀ ਨੂੰ ਬਰਕਰਾਰ ਰੱਖਣ ਦੇ ਸਮਰੱਥ ਹੈ ਅਤੇ ਇਸ ਲਈ, ਖੇਡਦਾ ਹੈ। ਨਾਜ਼ੁਕ ਭੂਮਿਕਾ ਯਾਦ ਕਰਨ ਦੀ ਪ੍ਰਕਿਰਿਆ ਵਿੱਚ. ਅਜਿਹੀਆਂ ਵਿਧੀਆਂ ਲਈ ਏਜੰਟ ਦੇ ਅੰਦਰੂਨੀ ਸੰਗਠਨ ਤੱਕ ਪਹੁੰਚ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ, ਜੋ ਕਿ ਪਰਿਭਾਸ਼ਾ ਦੁਆਰਾ, ES ਪੈਰਾਡਾਈਮ ਵਿੱਚ ਅਸੰਭਵ ਹੈ।

ਇਸ ਲਈ, ਕਿਉਂ ਨਾ ਉਹਨਾਂ ਨੂੰ ਜੋੜਿਆ ਜਾਵੇ?

ਇਹ ਸੰਭਾਵਨਾ ਹੈ ਕਿ ਇਸ ਲੇਖ ਦਾ ਬਹੁਤਾ ਹਿੱਸਾ ਇਹ ਪ੍ਰਭਾਵ ਛੱਡ ਸਕਦਾ ਹੈ ਕਿ ਮੈਂ RL ਵਿਧੀਆਂ ਦੀ ਵਕਾਲਤ ਕਰ ਰਿਹਾ ਹਾਂ. ਹਾਲਾਂਕਿ, ਮੈਂ ਅਸਲ ਵਿੱਚ ਸੋਚਦਾ ਹਾਂ ਕਿ ਲੰਬੇ ਸਮੇਂ ਵਿੱਚ ਸਭ ਤੋਂ ਵਧੀਆ ਹੱਲ ਦੋਵਾਂ ਤਰੀਕਿਆਂ ਨੂੰ ਜੋੜਨਾ ਹੈ ਤਾਂ ਜੋ ਹਰੇਕ ਨੂੰ ਉਹਨਾਂ ਸਥਿਤੀਆਂ ਵਿੱਚ ਵਰਤਿਆ ਜਾ ਸਕੇ ਜਿਸ ਲਈ ਇਹ ਸਭ ਤੋਂ ਅਨੁਕੂਲ ਹੈ. ਸਪੱਸ਼ਟ ਤੌਰ 'ਤੇ, ਬਹੁਤ ਸਾਰੀਆਂ ਪ੍ਰਤੀਕਿਰਿਆਸ਼ੀਲ ਨੀਤੀਆਂ ਦੇ ਮਾਮਲੇ ਵਿੱਚ ਜਾਂ ਸਕਾਰਾਤਮਕ ਮਜ਼ਬੂਤੀ ਦੇ ਬਹੁਤ ਘੱਟ ਸੰਕੇਤਾਂ ਵਾਲੀਆਂ ਸਥਿਤੀਆਂ ਵਿੱਚ, ES ਜਿੱਤਦਾ ਹੈ, ਖਾਸ ਤੌਰ 'ਤੇ ਜੇ ਤੁਹਾਡੇ ਕੋਲ ਕੰਪਿਊਟਿੰਗ ਸ਼ਕਤੀ ਹੈ ਜਿਸ 'ਤੇ ਤੁਸੀਂ ਵੱਡੇ ਪੱਧਰ 'ਤੇ ਸਮਾਨਾਂਤਰ ਸਿਖਲਾਈ ਚਲਾ ਸਕਦੇ ਹੋ। ਦੂਜੇ ਪਾਸੇ, ਰੀਨਫੋਰਸਮੈਂਟ ਲਰਨਿੰਗ ਜਾਂ ਨਿਰੀਖਣ ਕੀਤੀ ਸਿਖਲਾਈ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ ਗਰੇਡੀਐਂਟ ਢੰਗ ਉਪਯੋਗੀ ਹੋਣਗੇ ਜਦੋਂ ਸਾਡੇ ਕੋਲ ਵਿਆਪਕ ਫੀਡਬੈਕ ਤੱਕ ਪਹੁੰਚ ਹੁੰਦੀ ਹੈ ਅਤੇ ਸਾਨੂੰ ਇਹ ਸਿੱਖਣ ਦੀ ਜ਼ਰੂਰਤ ਹੁੰਦੀ ਹੈ ਕਿ ਕਿਸੇ ਸਮੱਸਿਆ ਨੂੰ ਜਲਦੀ ਅਤੇ ਘੱਟ ਡੇਟਾ ਨਾਲ ਕਿਵੇਂ ਹੱਲ ਕਰਨਾ ਹੈ।

ਕੁਦਰਤ ਵੱਲ ਮੁੜਦੇ ਹੋਏ, ਅਸੀਂ ਦੇਖਦੇ ਹਾਂ ਕਿ ਪਹਿਲੀ ਵਿਧੀ, ਸੰਖੇਪ ਰੂਪ ਵਿੱਚ, ਦੂਜੀ ਦੀ ਨੀਂਹ ਰੱਖਦੀ ਹੈ। ਇਸੇ ਕਰਕੇ, ਵਿਕਾਸ ਦੇ ਦੌਰਾਨ, ਥਣਧਾਰੀ ਜੀਵਾਂ ਨੇ ਦਿਮਾਗ ਵਿਕਸਿਤ ਕੀਤਾ ਹੈ ਜੋ ਉਹਨਾਂ ਨੂੰ ਵਾਤਾਵਰਣ ਤੋਂ ਆਉਣ ਵਾਲੇ ਗੁੰਝਲਦਾਰ ਸੰਕੇਤਾਂ ਤੋਂ ਬਹੁਤ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਢੰਗ ਨਾਲ ਸਿੱਖਣ ਦੀ ਆਗਿਆ ਦਿੰਦਾ ਹੈ। ਇਸ ਲਈ, ਸਵਾਲ ਖੁੱਲ੍ਹਾ ਰਹਿੰਦਾ ਹੈ. ਸ਼ਾਇਦ ਵਿਕਾਸਵਾਦੀ ਰਣਨੀਤੀਆਂ ਸਾਨੂੰ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਸਿੱਖਣ ਆਰਕੀਟੈਕਚਰ ਦੀ ਖੋਜ ਕਰਨ ਵਿੱਚ ਮਦਦ ਕਰਨਗੀਆਂ ਜੋ ਗਰੇਡੀਐਂਟ ਸਿੱਖਣ ਦੇ ਤਰੀਕਿਆਂ ਲਈ ਵੀ ਉਪਯੋਗੀ ਹੋਣਗੀਆਂ। ਆਖ਼ਰਕਾਰ, ਕੁਦਰਤ ਦੁਆਰਾ ਲੱਭਿਆ ਗਿਆ ਹੱਲ ਸੱਚਮੁੱਚ ਬਹੁਤ ਸਫਲ ਹੈ.

ਸਰੋਤ: www.habr.com