ਲੀਨੀਅਰ ਰਿਗਰੈਸ਼ਨ ਅਤੇ ਇਸਦੀ ਰਿਕਵਰੀ ਲਈ ਢੰਗ

ਸਰੋਤ: ਐਕਸ ਕੇ ਸੀ ਡੀ

ਲੀਨੀਅਰ ਰਿਗਰੈਸ਼ਨ ਡੇਟਾ ਵਿਸ਼ਲੇਸ਼ਣ ਨਾਲ ਸਬੰਧਤ ਬਹੁਤ ਸਾਰੇ ਖੇਤਰਾਂ ਲਈ ਬੁਨਿਆਦੀ ਐਲਗੋਰਿਦਮ ਵਿੱਚੋਂ ਇੱਕ ਹੈ। ਇਸ ਦਾ ਕਾਰਨ ਸਪੱਸ਼ਟ ਹੈ। ਇਹ ਇੱਕ ਬਹੁਤ ਹੀ ਸਰਲ ਅਤੇ ਸਮਝਣ ਯੋਗ ਐਲਗੋਰਿਦਮ ਹੈ, ਜਿਸ ਨੇ ਕਈ ਸਾਲਾਂ ਤੋਂ, ਜੇ ਸੈਂਕੜੇ ਨਹੀਂ, ਤਾਂ ਕਈ ਸਾਲਾਂ ਤੋਂ ਇਸਦੀ ਵਿਆਪਕ ਵਰਤੋਂ ਵਿੱਚ ਯੋਗਦਾਨ ਪਾਇਆ ਹੈ। ਵਿਚਾਰ ਇਹ ਹੈ ਕਿ ਅਸੀਂ ਦੂਜੇ ਵੇਰੀਏਬਲਾਂ ਦੇ ਸੈੱਟ 'ਤੇ ਇੱਕ ਵੇਰੀਏਬਲ ਦੀ ਇੱਕ ਰੇਖਿਕ ਨਿਰਭਰਤਾ ਨੂੰ ਮੰਨਦੇ ਹਾਂ, ਅਤੇ ਫਿਰ ਇਸ ਨਿਰਭਰਤਾ ਨੂੰ ਬਹਾਲ ਕਰਨ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰਦੇ ਹਾਂ।

ਪਰ ਇਹ ਲੇਖ ਵਿਹਾਰਕ ਸਮੱਸਿਆਵਾਂ ਨੂੰ ਹੱਲ ਕਰਨ ਲਈ ਲੀਨੀਅਰ ਰਿਗਰੈਸ਼ਨ ਦੀ ਵਰਤੋਂ ਕਰਨ ਬਾਰੇ ਨਹੀਂ ਹੈ। ਇੱਥੇ ਅਸੀਂ ਇਸਦੀ ਰਿਕਵਰੀ ਲਈ ਡਿਸਟ੍ਰੀਬਿਊਟਿਡ ਐਲਗੋਰਿਦਮ ਨੂੰ ਲਾਗੂ ਕਰਨ ਦੀਆਂ ਦਿਲਚਸਪ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ 'ਤੇ ਵਿਚਾਰ ਕਰਾਂਗੇ, ਜਿਸਦਾ ਸਾਨੂੰ ਮਸ਼ੀਨ ਲਰਨਿੰਗ ਮੋਡੀਊਲ ਲਿਖਣ ਵੇਲੇ ਸਾਹਮਣਾ ਕਰਨਾ ਪਿਆ ਸੀ। ਅਪਾਚੇ ਇਗਨਾਈਟ. ਥੋੜਾ ਜਿਹਾ ਬੁਨਿਆਦੀ ਗਣਿਤ, ਮਸ਼ੀਨ ਸਿਖਲਾਈ, ਅਤੇ ਵਿਤਰਿਤ ਕੰਪਿਊਟਿੰਗ ਇਹ ਪਤਾ ਲਗਾਉਣ ਵਿੱਚ ਤੁਹਾਡੀ ਮਦਦ ਕਰ ਸਕਦੀ ਹੈ ਕਿ ਤੁਹਾਡੇ ਡੇਟਾ ਨੂੰ ਹਜ਼ਾਰਾਂ ਨੋਡਾਂ ਵਿੱਚ ਵੰਡਣ ਦੇ ਬਾਵਜੂਦ ਵੀ ਰੇਖਿਕ ਰਿਗਰੈਸ਼ਨ ਕਿਵੇਂ ਕਰਨਾ ਹੈ।

ਅਸੀਂ ਕਿਸ ਬਾਰੇ ਗੱਲ ਕਰ ਰਹੇ ਹਾਂ?

ਸਾਨੂੰ ਰੇਖਿਕ ਨਿਰਭਰਤਾ ਨੂੰ ਬਹਾਲ ਕਰਨ ਦੇ ਕੰਮ ਦਾ ਸਾਹਮਣਾ ਕਰਨਾ ਪੈ ਰਿਹਾ ਹੈ। ਇਨਪੁਟ ਡੇਟਾ ਦੇ ਰੂਪ ਵਿੱਚ, ਮੰਨੇ ਜਾਂਦੇ ਸੁਤੰਤਰ ਵੇਰੀਏਬਲਾਂ ਦੇ ਵੈਕਟਰਾਂ ਦਾ ਇੱਕ ਸੈੱਟ ਦਿੱਤਾ ਜਾਂਦਾ ਹੈ, ਜਿਨ੍ਹਾਂ ਵਿੱਚੋਂ ਹਰ ਇੱਕ ਨਿਰਭਰ ਵੇਰੀਏਬਲ ਦੇ ਇੱਕ ਨਿਸ਼ਚਿਤ ਮੁੱਲ ਨਾਲ ਜੁੜਿਆ ਹੁੰਦਾ ਹੈ। ਇਸ ਡੇਟਾ ਨੂੰ ਦੋ ਮੈਟ੍ਰਿਕਸ ਦੇ ਰੂਪ ਵਿੱਚ ਦਰਸਾਇਆ ਜਾ ਸਕਦਾ ਹੈ:

ਹੁਣ, ਕਿਉਂਕਿ ਨਿਰਭਰਤਾ ਮੰਨੀ ਜਾਂਦੀ ਹੈ, ਅਤੇ, ਇਸ ਤੋਂ ਇਲਾਵਾ, ਰੇਖਿਕ, ਅਸੀਂ ਆਪਣੀ ਧਾਰਨਾ ਨੂੰ ਮੈਟ੍ਰਿਕਸ ਦੇ ਉਤਪਾਦ ਦੇ ਰੂਪ ਵਿੱਚ ਲਿਖਾਂਗੇ (ਰਿਕਾਰਡਿੰਗ ਨੂੰ ਸਰਲ ਬਣਾਉਣ ਲਈ, ਇੱਥੇ ਅਤੇ ਹੇਠਾਂ ਇਹ ਮੰਨਿਆ ਜਾਂਦਾ ਹੈ ਕਿ ਸਮੀਕਰਨ ਦੀ ਮੁਕਤ ਮਿਆਦ ਪਿੱਛੇ ਲੁਕੀ ਹੋਈ ਹੈ। , ਅਤੇ ਮੈਟ੍ਰਿਕਸ ਦਾ ਆਖਰੀ ਕਾਲਮ ਇਕਾਈਆਂ ਸ਼ਾਮਲ ਹਨ):

ਲੀਨੀਅਰ ਸਮੀਕਰਨਾਂ ਦੀ ਇੱਕ ਪ੍ਰਣਾਲੀ ਵਾਂਗ ਬਹੁਤ ਜ਼ਿਆਦਾ ਆਵਾਜ਼ ਆਉਂਦੀ ਹੈ, ਹੈ ਨਾ? ਅਜਿਹਾ ਲਗਦਾ ਹੈ, ਪਰ ਜ਼ਿਆਦਾਤਰ ਸੰਭਾਵਨਾ ਹੈ ਕਿ ਸਮੀਕਰਨਾਂ ਦੀ ਅਜਿਹੀ ਪ੍ਰਣਾਲੀ ਦਾ ਕੋਈ ਹੱਲ ਨਹੀਂ ਹੋਵੇਗਾ. ਇਸਦਾ ਕਾਰਨ ਰੌਲਾ ਹੈ, ਜੋ ਕਿ ਲਗਭਗ ਕਿਸੇ ਵੀ ਅਸਲ ਡੇਟਾ ਵਿੱਚ ਮੌਜੂਦ ਹੈ. ਇੱਕ ਹੋਰ ਕਾਰਨ ਲੀਨੀਅਰ ਨਿਰਭਰਤਾ ਦੀ ਕਮੀ ਹੋ ਸਕਦੀ ਹੈ, ਜਿਸਦਾ ਮੁਕਾਬਲਾ ਵਾਧੂ ਵੇਰੀਏਬਲਾਂ ਨੂੰ ਪੇਸ਼ ਕਰਕੇ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ ਜੋ ਅਸਲ ਵਿੱਚ ਗੈਰ-ਰੇਖਿਕ ਤੌਰ 'ਤੇ ਨਿਰਭਰ ਕਰਦੇ ਹਨ। ਹੇਠ ਦਿੱਤੀ ਉਦਾਹਰਨ 'ਤੇ ਗੌਰ ਕਰੋ:

ਸਰੋਤ: ਵਿਕੀਪੀਡੀਆ,

ਇਹ ਲੀਨੀਅਰ ਰਿਗਰੈਸ਼ਨ ਦੀ ਇੱਕ ਸਧਾਰਨ ਉਦਾਹਰਣ ਹੈ ਜੋ ਇੱਕ ਵੇਰੀਏਬਲ (ਧੁਰੇ ਦੇ ਨਾਲ) ਦੇ ਸਬੰਧ ਨੂੰ ਦਰਸਾਉਂਦੀ ਹੈ ) ਕਿਸੇ ਹੋਰ ਵੇਰੀਏਬਲ ਤੋਂ (ਧੁਰੇ ਦੇ ਨਾਲ ). ਇਸ ਉਦਾਹਰਨ ਦੇ ਅਨੁਸਾਰੀ ਲੀਨੀਅਰ ਸਮੀਕਰਨਾਂ ਦੀ ਪ੍ਰਣਾਲੀ ਲਈ ਇੱਕ ਹੱਲ ਪ੍ਰਾਪਤ ਕਰਨ ਲਈ, ਸਾਰੇ ਬਿੰਦੂ ਇੱਕੋ ਸਿੱਧੀ ਰੇਖਾ 'ਤੇ ਹੋਣੇ ਚਾਹੀਦੇ ਹਨ। ਪਰ ਇਹ ਸੱਚ ਨਹੀਂ ਹੈ। ਪਰ ਉਹ ਰੌਲੇ ਦੇ ਕਾਰਨ (ਜਾਂ ਕਿਉਂਕਿ ਇੱਕ ਰੇਖਿਕ ਰਿਸ਼ਤੇ ਦੀ ਧਾਰਨਾ ਗਲਤ ਸੀ) ਦੇ ਕਾਰਨ ਬਿਲਕੁਲ ਉਸੇ ਸਿੱਧੀ ਲਾਈਨ 'ਤੇ ਝੂਠ ਨਹੀਂ ਬੋਲਦੇ। ਇਸ ਤਰ੍ਹਾਂ, ਅਸਲ ਡੇਟਾ ਤੋਂ ਇੱਕ ਰੇਖਿਕ ਸਬੰਧ ਨੂੰ ਬਹਾਲ ਕਰਨ ਲਈ, ਆਮ ਤੌਰ 'ਤੇ ਇੱਕ ਹੋਰ ਧਾਰਨਾ ਪੇਸ਼ ਕਰਨ ਦੀ ਜ਼ਰੂਰਤ ਹੁੰਦੀ ਹੈ: ਇਨਪੁਟ ਡੇਟਾ ਵਿੱਚ ਸ਼ੋਰ ਹੁੰਦਾ ਹੈ ਅਤੇ ਇਸ ਸ਼ੋਰ ਵਿੱਚ ਆਮ ਵੰਡ. ਤੁਸੀਂ ਸ਼ੋਰ ਵੰਡ ਦੀਆਂ ਹੋਰ ਕਿਸਮਾਂ ਬਾਰੇ ਧਾਰਨਾਵਾਂ ਬਣਾ ਸਕਦੇ ਹੋ, ਪਰ ਜ਼ਿਆਦਾਤਰ ਮਾਮਲਿਆਂ ਵਿੱਚ ਇਹ ਆਮ ਵੰਡ ਮੰਨਿਆ ਜਾਂਦਾ ਹੈ, ਜਿਸ ਬਾਰੇ ਅੱਗੇ ਚਰਚਾ ਕੀਤੀ ਜਾਵੇਗੀ।

ਵੱਧ ਤੋਂ ਵੱਧ ਸੰਭਾਵਨਾ ਵਿਧੀ

ਇਸ ਲਈ, ਅਸੀਂ ਬੇਤਰਤੀਬੇ ਆਮ ਤੌਰ 'ਤੇ ਵੰਡੇ ਹੋਏ ਸ਼ੋਰ ਦੀ ਮੌਜੂਦਗੀ ਨੂੰ ਮੰਨ ਲਿਆ ਹੈ। ਅਜਿਹੀ ਸਥਿਤੀ ਵਿੱਚ ਕੀ ਕੀਤਾ ਜਾਵੇ? ਇਸ ਕੇਸ ਲਈ ਗਣਿਤ ਵਿੱਚ ਵਿਆਪਕ ਤੌਰ 'ਤੇ ਵਰਤਿਆ ਜਾਂਦਾ ਹੈ ਅਤੇ ਵਰਤਿਆ ਜਾਂਦਾ ਹੈ ਵੱਧ ਸੰਭਾਵਨਾ ਵਿਧੀ. ਸੰਖੇਪ ਵਿੱਚ, ਇਸਦਾ ਸਾਰ ਚੋਣ ਵਿੱਚ ਹੈ ਸੰਭਾਵਨਾ ਫੰਕਸ਼ਨ ਅਤੇ ਇਸ ਤੋਂ ਬਾਅਦ ਦਾ ਅਧਿਕਤਮੀਕਰਨ।

ਅਸੀਂ ਆਮ ਸ਼ੋਰ ਨਾਲ ਡੇਟਾ ਤੋਂ ਇੱਕ ਰੇਖਿਕ ਸਬੰਧ ਨੂੰ ਬਹਾਲ ਕਰਨ ਲਈ ਵਾਪਸ ਆਉਂਦੇ ਹਾਂ। ਨੋਟ ਕਰੋ ਕਿ ਮੰਨਿਆ ਗਿਆ ਰੇਖਿਕ ਸਬੰਧ ਗਣਿਤਿਕ ਉਮੀਦ ਹੈ ਮੌਜੂਦਾ ਆਮ ਵੰਡ. ਉਸੇ ਸਮੇਂ, ਸੰਭਾਵਨਾ ਹੈ ਕਿ ਨਿਰੀਖਣਯੋਗਾਂ ਦੀ ਮੌਜੂਦਗੀ ਦੇ ਅਧੀਨ, ਇੱਕ ਜਾਂ ਕੋਈ ਹੋਰ ਮੁੱਲ ਲੈਂਦਾ ਹੈ , ਹੇਠ ਅਨੁਸਾਰ:

ਆਓ ਹੁਣ ਇਸਦੀ ਥਾਂ ਬਦਲੀਏ и ਸਾਨੂੰ ਲੋੜੀਂਦੇ ਵੇਰੀਏਬਲ ਹਨ:

ਵੈਕਟਰ ਨੂੰ ਲੱਭਣਾ ਬਾਕੀ ਹੈ , ਜਿਸ 'ਤੇ ਇਹ ਸੰਭਾਵਨਾ ਵੱਧ ਤੋਂ ਵੱਧ ਹੈ। ਅਜਿਹੇ ਫੰਕਸ਼ਨ ਨੂੰ ਵੱਧ ਤੋਂ ਵੱਧ ਕਰਨ ਲਈ, ਪਹਿਲਾਂ ਇਸਦਾ ਇੱਕ ਲਘੂਗਣਕ ਲੈਣਾ ਸੁਵਿਧਾਜਨਕ ਹੈ (ਫੰਕਸ਼ਨ ਦਾ ਲਘੂਗਣਕ ਉਸੇ ਬਿੰਦੂ 'ਤੇ ਵੱਧ ਤੋਂ ਵੱਧ ਪਹੁੰਚ ਜਾਵੇਗਾ ਜਿਵੇਂ ਕਿ ਫੰਕਸ਼ਨ ਹੀ ਹੁੰਦਾ ਹੈ):

ਜੋ, ਬਦਲੇ ਵਿੱਚ, ਹੇਠਾਂ ਦਿੱਤੇ ਫੰਕਸ਼ਨ ਨੂੰ ਘੱਟ ਕਰਨ ਲਈ ਹੇਠਾਂ ਆਉਂਦਾ ਹੈ:

ਤਰੀਕੇ ਨਾਲ, ਇਸ ਨੂੰ ਇੱਕ ਢੰਗ ਕਿਹਾ ਜਾਂਦਾ ਹੈ ਘੱਟੋ-ਘੱਟ ਵਰਗ. ਅਕਸਰ ਉਪਰੋਕਤ ਸਾਰੇ ਵਿਚਾਰਾਂ ਨੂੰ ਛੱਡ ਦਿੱਤਾ ਜਾਂਦਾ ਹੈ ਅਤੇ ਇਹ ਵਿਧੀ ਬਸ ਵਰਤੀ ਜਾਂਦੀ ਹੈ।

QR ਸੜਨ

ਉਪਰੋਕਤ ਫੰਕਸ਼ਨ ਦਾ ਘੱਟੋ-ਘੱਟ ਉਸ ਬਿੰਦੂ ਨੂੰ ਲੱਭ ਕੇ ਲੱਭਿਆ ਜਾ ਸਕਦਾ ਹੈ ਜਿਸ 'ਤੇ ਇਸ ਫੰਕਸ਼ਨ ਦਾ ਗਰੇਡੀਐਂਟ ਜ਼ੀਰੋ ਹੈ। ਅਤੇ ਗਰੇਡੀਐਂਟ ਇਸ ਤਰ੍ਹਾਂ ਲਿਖਿਆ ਜਾਵੇਗਾ:

QR ਸੜਨ ਘੱਟੋ-ਘੱਟ ਵਰਗ ਵਿਧੀ ਵਿੱਚ ਵਰਤੀ ਗਈ ਮਿਨੀਮਾਈਜ਼ੇਸ਼ਨ ਸਮੱਸਿਆ ਨੂੰ ਹੱਲ ਕਰਨ ਲਈ ਇੱਕ ਮੈਟਰਿਕਸ ਵਿਧੀ ਹੈ। ਇਸ ਸਬੰਧ ਵਿੱਚ, ਅਸੀਂ ਸਮੀਕਰਨ ਨੂੰ ਮੈਟਰਿਕਸ ਰੂਪ ਵਿੱਚ ਦੁਬਾਰਾ ਲਿਖਦੇ ਹਾਂ:

ਇਸ ਲਈ ਅਸੀਂ ਮੈਟਰਿਕਸ ਨੂੰ ਕੰਪੋਜ਼ ਕਰਦੇ ਹਾਂ ਮੈਟ੍ਰਿਕਸ ਨੂੰ и ਅਤੇ ਪਰਿਵਰਤਨ ਦੀ ਇੱਕ ਲੜੀ ਕਰੋ (ਕਿਊਆਰ ਡੀਕੰਪੋਜ਼ੀਸ਼ਨ ਐਲਗੋਰਿਦਮ ਨੂੰ ਇੱਥੇ ਨਹੀਂ ਮੰਨਿਆ ਜਾਵੇਗਾ, ਸਿਰਫ ਹੱਥ ਵਿੱਚ ਕੰਮ ਦੇ ਸਬੰਧ ਵਿੱਚ ਇਸਦੀ ਵਰਤੋਂ):

ਮੈਟਰਿਕਸ ਆਰਥੋਗੋਨਲ ਹੈ। ਇਹ ਸਾਨੂੰ ਕੰਮ ਤੋਂ ਛੁਟਕਾਰਾ ਪਾਉਣ ਦੀ ਆਗਿਆ ਦਿੰਦਾ ਹੈ :

ਅਤੇ ਜੇਕਰ ਤੁਸੀਂ ਬਦਲਦੇ ਹੋ 'ਤੇ , ਫਿਰ ਇਹ ਕੰਮ ਕਰੇਗਾ . ਇਸ ਨੂੰ ਧਿਆਨ ਵਿੱਚ ਰੱਖਦੇ ਹੋਏ ਇੱਕ ਉਪਰਲਾ ਤਿਕੋਣਾ ਮੈਟ੍ਰਿਕਸ ਹੈ, ਇਹ ਇਸ ਤਰ੍ਹਾਂ ਦਿਸਦਾ ਹੈ:

ਇਸ ਨੂੰ ਬਦਲ ਵਿਧੀ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਹੱਲ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ। ਤੱਤ ਵਜੋਂ ਸਥਿਤ ਹੈ , ਪਿਛਲਾ ਤੱਤ ਵਜੋਂ ਸਥਿਤ ਹੈ ਅਤੇ ਇਸ 'ਤੇ.

ਇੱਥੇ ਇਹ ਧਿਆਨ ਦੇਣ ਯੋਗ ਹੈ ਕਿ QR ਸੜਨ ਦੀ ਵਰਤੋਂ ਦੇ ਕਾਰਨ ਨਤੀਜਾ ਐਲਗੋਰਿਦਮ ਦੀ ਗੁੰਝਲਤਾ ਬਰਾਬਰ ਹੈ . ਇਸ ਤੋਂ ਇਲਾਵਾ, ਇਸ ਤੱਥ ਦੇ ਬਾਵਜੂਦ ਕਿ ਮੈਟ੍ਰਿਕਸ ਗੁਣਾ ਕਾਰਜ ਚੰਗੀ ਤਰ੍ਹਾਂ ਸਮਾਨਾਂਤਰ ਹੈ, ਇਸ ਐਲਗੋਰਿਦਮ ਦਾ ਇੱਕ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਵੰਡਿਆ ਸੰਸਕਰਣ ਲਿਖਣਾ ਸੰਭਵ ਨਹੀਂ ਹੈ।

ਗਰੇਡੀਐਂਟ ਡੀਸੈਂਟ

ਜਦੋਂ ਕਿਸੇ ਫੰਕਸ਼ਨ ਨੂੰ ਘੱਟ ਕਰਨ ਬਾਰੇ ਗੱਲ ਕੀਤੀ ਜਾਂਦੀ ਹੈ, ਤਾਂ ਇਹ ਹਮੇਸ਼ਾ (ਸਟੋਕੈਸਟਿਕ) ਗਰੇਡੀਐਂਟ ਡਿਸੈਂਟ ਦੀ ਵਿਧੀ ਨੂੰ ਯਾਦ ਰੱਖਣ ਯੋਗ ਹੁੰਦਾ ਹੈ। ਇਹ ਇੱਕ ਸਧਾਰਣ ਅਤੇ ਪ੍ਰਭਾਵੀ ਨਿਊਨਾਈਜ਼ੇਸ਼ਨ ਵਿਧੀ ਹੈ ਜੋ ਇੱਕ ਬਿੰਦੂ 'ਤੇ ਇੱਕ ਫੰਕਸ਼ਨ ਦੇ ਗਰੇਡੀਐਂਟ ਦੀ ਗਣਨਾ ਕਰਨ ਅਤੇ ਫਿਰ ਇਸਨੂੰ ਗਰੇਡੀਐਂਟ ਦੇ ਉਲਟ ਦਿਸ਼ਾ ਵਿੱਚ ਬਦਲਣ 'ਤੇ ਅਧਾਰਤ ਹੈ। ਅਜਿਹਾ ਹਰ ਕਦਮ ਹੱਲ ਨੂੰ ਘੱਟੋ-ਘੱਟ ਦੇ ਨੇੜੇ ਲਿਆਉਂਦਾ ਹੈ। ਗਰੇਡੀਐਂਟ ਅਜੇ ਵੀ ਉਹੀ ਦਿਖਾਈ ਦਿੰਦਾ ਹੈ:

ਇਹ ਵਿਧੀ ਗਰੇਡੀਐਂਟ ਆਪਰੇਟਰ ਦੀਆਂ ਲੀਨੀਅਰ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਦੇ ਕਾਰਨ ਚੰਗੀ ਤਰ੍ਹਾਂ ਸਮਾਨਾਂਤਰ ਅਤੇ ਵੰਡੀ ਗਈ ਹੈ। ਨੋਟ ਕਰੋ ਕਿ ਉਪਰੋਕਤ ਫਾਰਮੂਲੇ ਵਿੱਚ, ਜੋੜ ਚਿੰਨ੍ਹ ਦੇ ਹੇਠਾਂ ਸੁਤੰਤਰ ਸ਼ਬਦ ਹਨ। ਦੂਜੇ ਸ਼ਬਦਾਂ ਵਿੱਚ, ਅਸੀਂ ਸਾਰੇ ਸੂਚਕਾਂਕ ਲਈ ਸੁਤੰਤਰ ਰੂਪ ਵਿੱਚ ਗਰੇਡੀਐਂਟ ਦੀ ਗਣਨਾ ਕਰ ਸਕਦੇ ਹਾਂ ਪਹਿਲੀ ਤੱਕ , ਇਸਦੇ ਸਮਾਨਾਂਤਰ ਵਿੱਚ, ਨਾਲ ਸੂਚਕਾਂਕ ਲਈ ਗਰੇਡੀਐਂਟ ਦੀ ਗਣਨਾ ਕਰੋ ਨੂੰ . ਫਿਰ ਨਤੀਜੇ ਵਾਲੇ ਗਰੇਡੀਐਂਟ ਸ਼ਾਮਲ ਕਰੋ। ਜੋੜ ਦਾ ਨਤੀਜਾ ਉਹੀ ਹੋਵੇਗਾ ਜੇ ਅਸੀਂ ਤੁਰੰਤ ਪਹਿਲੇ ਤੋਂ . ਇਸ ਤਰ੍ਹਾਂ, ਜੇਕਰ ਡੇਟਾ ਨੂੰ ਡੇਟਾ ਦੇ ਕਈ ਟੁਕੜਿਆਂ ਵਿੱਚ ਵੰਡਿਆ ਜਾਂਦਾ ਹੈ, ਤਾਂ ਗਰੇਡੀਐਂਟ ਨੂੰ ਹਰੇਕ ਟੁਕੜੇ 'ਤੇ ਸੁਤੰਤਰ ਤੌਰ 'ਤੇ ਗਿਣਿਆ ਜਾ ਸਕਦਾ ਹੈ, ਅਤੇ ਫਿਰ ਇਹਨਾਂ ਗਣਨਾਵਾਂ ਦੇ ਨਤੀਜਿਆਂ ਨੂੰ ਅੰਤਮ ਨਤੀਜਾ ਪ੍ਰਾਪਤ ਕਰਨ ਲਈ ਜੋੜਿਆ ਜਾ ਸਕਦਾ ਹੈ:

ਲਾਗੂ ਕਰਨ ਦੇ ਦ੍ਰਿਸ਼ਟੀਕੋਣ ਤੋਂ, ਇਹ ਪੈਰਾਡਾਈਮ ਨੂੰ ਫਿੱਟ ਕਰਦਾ ਹੈ ਮੈਪਰੇਡੂ. ਗਰੇਡੀਐਂਟ ਉਤਰਨ ਦੇ ਹਰੇਕ ਪੜਾਅ 'ਤੇ, ਗਰੇਡੀਐਂਟ ਦੀ ਗਣਨਾ ਕਰਨ ਲਈ ਹਰੇਕ ਡੇਟਾ ਨੋਡ ਨੂੰ ਇੱਕ ਟਾਸਕ ਭੇਜਿਆ ਜਾਂਦਾ ਹੈ, ਫਿਰ ਗਣਨਾ ਕੀਤੇ ਗਰੇਡੀਐਂਟ ਇਕੱਠੇ ਕੀਤੇ ਜਾਂਦੇ ਹਨ, ਅਤੇ ਉਹਨਾਂ ਦੇ ਜੋੜ ਦੇ ਨਤੀਜੇ ਨੂੰ ਨਤੀਜਾ ਸੁਧਾਰਨ ਲਈ ਵਰਤਿਆ ਜਾਂਦਾ ਹੈ।

ਲਾਗੂ ਕਰਨ ਦੀ ਸੌਖ ਅਤੇ MapReduce ਪੈਰਾਡਾਈਮ ਵਿੱਚ ਲਾਗੂ ਕਰਨ ਦੀ ਯੋਗਤਾ ਦੇ ਬਾਵਜੂਦ, ਗਰੇਡੀਐਂਟ ਡਿਸੈਂਟ ਵਿੱਚ ਵੀ ਇਸ ਦੀਆਂ ਕਮੀਆਂ ਹਨ। ਖਾਸ ਤੌਰ 'ਤੇ, ਕਨਵਰਜੈਂਸ ਨੂੰ ਪ੍ਰਾਪਤ ਕਰਨ ਲਈ ਲੋੜੀਂਦੇ ਕਦਮਾਂ ਦੀ ਗਿਣਤੀ ਹੋਰ ਵਿਸ਼ੇਸ਼ ਵਿਧੀਆਂ ਦੇ ਮੁਕਾਬਲੇ ਕਾਫ਼ੀ ਜ਼ਿਆਦਾ ਹੈ।

LSQR

LSQR ਸਮੱਸਿਆ ਨੂੰ ਹੱਲ ਕਰਨ ਦਾ ਇੱਕ ਹੋਰ ਤਰੀਕਾ ਹੈ, ਜੋ ਕਿ ਲੀਨੀਅਰ ਰੀਗਰੈਸ਼ਨ ਨੂੰ ਬਹਾਲ ਕਰਨ ਅਤੇ ਲੀਨੀਅਰ ਸਮੀਕਰਨਾਂ ਦੀਆਂ ਪ੍ਰਣਾਲੀਆਂ ਨੂੰ ਹੱਲ ਕਰਨ ਲਈ ਢੁਕਵਾਂ ਹੈ। ਇਸਦੀ ਮੁੱਖ ਵਿਸ਼ੇਸ਼ਤਾ ਇਹ ਹੈ ਕਿ ਇਹ ਮੈਟ੍ਰਿਕਸ ਵਿਧੀਆਂ ਦੇ ਫਾਇਦਿਆਂ ਅਤੇ ਇੱਕ ਦੁਹਰਾਉਣ ਵਾਲੀ ਪਹੁੰਚ ਨੂੰ ਜੋੜਦਾ ਹੈ। ਇਸ ਵਿਧੀ ਦੇ ਅਮਲ ਦੋਵਾਂ ਲਾਇਬ੍ਰੇਰੀਆਂ ਵਿੱਚ ਲੱਭੇ ਜਾ ਸਕਦੇ ਹਨ ਸਾਇਪਾਈ, ਅਤੇ ਅੰਦਰ MATLAB. ਇਸ ਵਿਧੀ ਦਾ ਵੇਰਵਾ ਇੱਥੇ ਨਹੀਂ ਦਿੱਤਾ ਜਾਵੇਗਾ (ਇਹ ਲੇਖ ਵਿੱਚ ਪਾਇਆ ਜਾ ਸਕਦਾ ਹੈ LSQR: ਸਪਾਰਸ ਰੇਖਿਕ ਸਮੀਕਰਨਾਂ ਅਤੇ ਸਪਾਰਸ ਨਿਊਨਤਮ ਵਰਗਾਂ ਲਈ ਇੱਕ ਐਲਗੋਰਿਦਮ). ਇਸਦੀ ਬਜਾਏ, ਇੱਕ ਵਿਤਰਿਤ ਵਾਤਾਵਰਣ ਵਿੱਚ ਐਗਜ਼ੀਕਿਊਸ਼ਨ ਲਈ LSQR ਨੂੰ ਅਨੁਕੂਲ ਬਣਾਉਣ ਲਈ ਇੱਕ ਪਹੁੰਚ ਦਾ ਪ੍ਰਦਰਸ਼ਨ ਕੀਤਾ ਜਾਵੇਗਾ।

LSQR ਵਿਧੀ 'ਤੇ ਅਧਾਰਤ ਹੈ bidiagonalization ਵਿਧੀ. ਇਹ ਇੱਕ ਦੁਹਰਾਓ ਪ੍ਰਕਿਰਿਆ ਹੈ, ਹਰੇਕ ਦੁਹਰਾਓ ਵਿੱਚ ਹੇਠਾਂ ਦਿੱਤੇ ਕਦਮ ਹਨ:


ਪਰ ਜੇ ਅਸੀਂ ਇਹ ਮੰਨ ਲਈਏ ਕਿ ਮੈਟ੍ਰਿਕਸ ਖਿਤਿਜੀ ਤੌਰ 'ਤੇ ਵੰਡਿਆ ਜਾਂਦਾ ਹੈ, ਫਿਰ ਹਰੇਕ ਦੁਹਰਾਓ ਨੂੰ ਦੋ MapReduce ਸਟੈਪਸ ਵਜੋਂ ਦਰਸਾਇਆ ਜਾ ਸਕਦਾ ਹੈ। ਇਸ ਤਰ੍ਹਾਂ, ਹਰੇਕ ਦੁਹਰਾਅ ਦੌਰਾਨ ਡੇਟਾ ਟ੍ਰਾਂਸਫਰ ਨੂੰ ਘੱਟ ਤੋਂ ਘੱਟ ਕਰਨਾ ਸੰਭਵ ਹੈ (ਸਿਰਫ਼ ਅਣਜਾਣ ਦੀ ਸੰਖਿਆ ਦੇ ਬਰਾਬਰ ਲੰਬਾਈ ਵਾਲੇ ਵੈਕਟਰ):

ਇਹ ਉਹ ਪਹੁੰਚ ਹੈ ਜੋ ਲੀਨੀਅਰ ਰਿਗਰੈਸ਼ਨ ਨੂੰ ਲਾਗੂ ਕਰਨ ਵੇਲੇ ਵਰਤੀ ਜਾਂਦੀ ਹੈ ਅਪਾਚੇ ਇਗਨਾਈਟ ML.

ਸਿੱਟਾ

ਬਹੁਤ ਸਾਰੇ ਲੀਨੀਅਰ ਰਿਗਰੈਸ਼ਨ ਰਿਕਵਰੀ ਐਲਗੋਰਿਦਮ ਹਨ, ਪਰ ਉਹਨਾਂ ਨੂੰ ਸਾਰੀਆਂ ਸਥਿਤੀਆਂ ਵਿੱਚ ਲਾਗੂ ਨਹੀਂ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ। ਇਸ ਲਈ ਛੋਟੇ ਡੇਟਾ ਸੈੱਟਾਂ 'ਤੇ ਸਹੀ ਹੱਲ ਲਈ QR ਸੜਨ ਬਹੁਤ ਵਧੀਆ ਹੈ। ਗਰੇਡੀਐਂਟ ਡਿਸੇਂਟ ਲਾਗੂ ਕਰਨ ਲਈ ਸਧਾਰਨ ਹੈ ਅਤੇ ਤੁਹਾਨੂੰ ਇੱਕ ਅਨੁਮਾਨਿਤ ਹੱਲ ਜਲਦੀ ਲੱਭਣ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ। ਅਤੇ LSQR ਪਿਛਲੇ ਦੋ ਐਲਗੋਰਿਦਮ ਦੀਆਂ ਸਭ ਤੋਂ ਵਧੀਆ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਨੂੰ ਜੋੜਦਾ ਹੈ, ਕਿਉਂਕਿ ਇਹ ਵੰਡਿਆ ਜਾ ਸਕਦਾ ਹੈ, ਗਰੇਡੀਐਂਟ ਡਿਸੈਂਟ ਦੇ ਮੁਕਾਬਲੇ ਤੇਜ਼ੀ ਨਾਲ ਕਨਵਰਜ ਕਰਦਾ ਹੈ, ਅਤੇ ਅੰਦਾਜ਼ਨ ਹੱਲ ਲੱਭਣ ਲਈ, QR ਸੜਨ ਦੇ ਉਲਟ, ਐਲਗੋਰਿਦਮ ਨੂੰ ਜਲਦੀ ਰੋਕਣ ਦੀ ਆਗਿਆ ਦਿੰਦਾ ਹੈ।

ਸਰੋਤ: www.habr.com