ਸੁਰੱਖਿਆ ਅਤੇ ਗੋਪਨੀਯਤਾ ਲਈ ਸਕੇਲੇਬਲ ਡਾਟਾ ਵਰਗੀਕਰਨ

ਸਮੱਗਰੀ-ਅਧਾਰਿਤ ਡੇਟਾ ਵਰਗੀਕਰਨ ਇੱਕ ਖੁੱਲੀ ਸਮੱਸਿਆ ਹੈ। ਪਰੰਪਰਾਗਤ ਡਾਟਾ ਨੁਕਸਾਨ ਰੋਕਥਾਮ (DLP) ਸਿਸਟਮ ਸੰਬੰਧਿਤ ਡੇਟਾ ਨੂੰ ਫਿੰਗਰਪ੍ਰਿੰਟ ਕਰਕੇ ਅਤੇ ਫਿੰਗਰਪ੍ਰਿੰਟਿੰਗ ਲਈ ਅੰਤਮ ਬਿੰਦੂਆਂ ਦੀ ਨਿਗਰਾਨੀ ਕਰਕੇ ਇਸ ਸਮੱਸਿਆ ਨੂੰ ਹੱਲ ਕਰਦੇ ਹਨ। Facebook 'ਤੇ ਵੱਡੀ ਗਿਣਤੀ ਵਿੱਚ ਲਗਾਤਾਰ ਬਦਲਦੇ ਹੋਏ ਡਾਟਾ ਸਰੋਤਾਂ ਨੂੰ ਦੇਖਦੇ ਹੋਏ, ਇਹ ਪਹੁੰਚ ਨਾ ਸਿਰਫ਼ ਮਾਪਯੋਗ ਹੈ, ਸਗੋਂ ਇਹ ਨਿਰਧਾਰਤ ਕਰਨ ਲਈ ਵੀ ਬੇਅਸਰ ਹੈ ਕਿ ਡੇਟਾ ਕਿੱਥੇ ਰਹਿੰਦਾ ਹੈ। ਇਹ ਪੇਪਰ ਪੈਮਾਨੇ 'ਤੇ Facebook ਵਿੱਚ ਸੰਵੇਦਨਸ਼ੀਲ ਅਰਥ-ਵਿਗਿਆਨਕ ਕਿਸਮਾਂ ਦਾ ਪਤਾ ਲਗਾਉਣ ਅਤੇ ਡਾਟਾ ਸਟੋਰੇਜ ਅਤੇ ਪਹੁੰਚ ਨਿਯੰਤਰਣ ਨੂੰ ਸਵੈਚਲਿਤ ਤੌਰ 'ਤੇ ਲਾਗੂ ਕਰਨ ਲਈ ਬਣਾਏ ਗਏ ਐਂਡ-ਟੂ-ਐਂਡ ਸਿਸਟਮ 'ਤੇ ਕੇਂਦਰਿਤ ਹੈ।

ਇੱਥੇ ਵਰਣਿਤ ਪਹੁੰਚ ਸਾਡੀ ਪਹਿਲੀ ਐਂਡ-ਟੂ-ਐਂਡ ਗੋਪਨੀਯਤਾ ਪ੍ਰਣਾਲੀ ਹੈ ਜੋ Facebook 'ਤੇ ਸਾਰੇ ਡੇਟਾ ਨੂੰ ਮੈਪ ਅਤੇ ਵਰਗੀਕਰਨ ਕਰਨ ਲਈ ਡੇਟਾ ਸਿਗਨਲ, ਮਸ਼ੀਨ ਸਿਖਲਾਈ, ਅਤੇ ਰਵਾਇਤੀ ਫਿੰਗਰਪ੍ਰਿੰਟਿੰਗ ਤਕਨੀਕਾਂ ਨੂੰ ਸ਼ਾਮਲ ਕਰਕੇ ਇਸ ਸਮੱਸਿਆ ਨੂੰ ਹੱਲ ਕਰਨ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰਦੀ ਹੈ। ਵਰਣਿਤ ਸਿਸਟਮ ਇੱਕ ਉਤਪਾਦਨ ਵਾਤਾਵਰਣ ਵਿੱਚ ਚਲਾਇਆ ਜਾਂਦਾ ਹੈ, ਦਰਜਨਾਂ ਰਿਪੋਜ਼ਟਰੀਆਂ ਵਿੱਚ ਵੱਡੀ ਮਾਤਰਾ ਵਿੱਚ ਡੇਟਾ ਸਰੋਤਾਂ ਦੀ ਪ੍ਰਕਿਰਿਆ ਕਰਦੇ ਹੋਏ ਵੱਖ-ਵੱਖ ਗੋਪਨੀਯਤਾ ਕਲਾਸਾਂ ਵਿੱਚ ਔਸਤ F2 ਸਕੋਰ 0,9+ ਪ੍ਰਾਪਤ ਕਰਦਾ ਹੈ। ਮਸ਼ੀਨ ਲਰਨਿੰਗ 'ਤੇ ਆਧਾਰਿਤ ਸੁਰੱਖਿਆ ਅਤੇ ਗੋਪਨੀਯਤਾ ਲਈ ਸਕੇਲੇਬਲ ਡਾਟਾ ਵਰਗੀਕਰਨ 'ਤੇ Facebook ਦੇ ArXiv ਪੇਪਰ ਦਾ ਅਨੁਵਾਦ ਪੇਸ਼ ਕਰ ਰਿਹਾ ਹਾਂ।

ਜਾਣ ਪਛਾਣ

ਅੱਜ, ਸੰਸਥਾਵਾਂ ਵੱਖ-ਵੱਖ ਫਾਰਮੈਟਾਂ ਅਤੇ ਸਥਾਨਾਂ [1] ਵਿੱਚ ਵੱਡੀ ਮਾਤਰਾ ਵਿੱਚ ਡਾਟਾ ਇਕੱਠਾ ਅਤੇ ਸਟੋਰ ਕਰਦੀਆਂ ਹਨ, ਫਿਰ ਡੇਟਾ ਨੂੰ ਕਈ ਥਾਵਾਂ 'ਤੇ ਖਪਤ ਕੀਤਾ ਜਾਂਦਾ ਹੈ, ਕਈ ਵਾਰ ਕਾਪੀ ਜਾਂ ਕਈ ਵਾਰ ਕੈਸ਼ ਕੀਤਾ ਜਾਂਦਾ ਹੈ, ਨਤੀਜੇ ਵਜੋਂ ਕੀਮਤੀ ਅਤੇ ਸੰਵੇਦਨਸ਼ੀਲ ਵਪਾਰਕ ਜਾਣਕਾਰੀ ਬਹੁਤ ਸਾਰੇ ਐਂਟਰਪ੍ਰਾਈਜ਼ ਡੇਟਾ ਵਿੱਚ ਖਿੰਡ ਜਾਂਦੀ ਹੈ। ਸਟੋਰ. ਜਦੋਂ ਕਿਸੇ ਸੰਸਥਾ ਨੂੰ ਕੁਝ ਕਾਨੂੰਨੀ ਜਾਂ ਰੈਗੂਲੇਟਰੀ ਲੋੜਾਂ ਨੂੰ ਪੂਰਾ ਕਰਨ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ, ਜਿਵੇਂ ਕਿ ਸਿਵਲ ਕਾਰਵਾਈਆਂ ਵਿੱਚ ਨਿਯਮਾਂ ਦੀ ਪਾਲਣਾ, ਤਾਂ ਲੋੜੀਂਦੇ ਡੇਟਾ ਦੇ ਸਥਾਨ ਬਾਰੇ ਡੇਟਾ ਇਕੱਠਾ ਕਰਨਾ ਜ਼ਰੂਰੀ ਹੋ ਜਾਂਦਾ ਹੈ। ਜਦੋਂ ਇੱਕ ਗੋਪਨੀਯਤਾ ਨਿਯਮ ਕਹਿੰਦਾ ਹੈ ਕਿ ਇੱਕ ਸੰਗਠਨ ਨੂੰ ਅਣਅਧਿਕਾਰਤ ਸੰਸਥਾਵਾਂ ਨਾਲ ਨਿੱਜੀ ਜਾਣਕਾਰੀ ਸਾਂਝੀ ਕਰਦੇ ਸਮੇਂ ਸਾਰੇ ਸਮਾਜਿਕ ਸੁਰੱਖਿਆ ਨੰਬਰਾਂ (SSNs) ਨੂੰ ਮਾਸਕ ਕਰਨਾ ਚਾਹੀਦਾ ਹੈ, ਤਾਂ ਕੁਦਰਤੀ ਪਹਿਲਾ ਕਦਮ ਸੰਗਠਨ ਦੇ ਡੇਟਾ ਸਟੋਰਾਂ ਵਿੱਚ ਸਾਰੇ SSNs ਦੀ ਖੋਜ ਕਰਨਾ ਹੈ। ਅਜਿਹੀਆਂ ਸਥਿਤੀਆਂ ਵਿੱਚ, ਡੇਟਾ ਵਰਗੀਕਰਨ ਮਹੱਤਵਪੂਰਨ ਬਣ ਜਾਂਦਾ ਹੈ [1]। ਵਰਗੀਕਰਣ ਪ੍ਰਣਾਲੀ ਸੰਗਠਨਾਂ ਨੂੰ ਗੋਪਨੀਯਤਾ ਅਤੇ ਸੁਰੱਖਿਆ ਨੀਤੀਆਂ ਨੂੰ ਆਪਣੇ ਆਪ ਲਾਗੂ ਕਰਨ ਦੀ ਆਗਿਆ ਦੇਵੇਗੀ, ਜਿਵੇਂ ਕਿ ਪਹੁੰਚ ਨਿਯੰਤਰਣ ਨੀਤੀਆਂ ਨੂੰ ਸਮਰੱਥ ਬਣਾਉਣਾ, ਡੇਟਾ ਧਾਰਨਾ। Facebook ਇੱਕ ਅਜਿਹਾ ਸਿਸਟਮ ਪੇਸ਼ ਕਰ ਰਿਹਾ ਹੈ ਜੋ ਅਸੀਂ Facebook 'ਤੇ ਬਣਾਇਆ ਹੈ ਜੋ ਸੰਵੇਦਨਸ਼ੀਲ ਅਰਥ-ਵਿਗਿਆਨਕ ਡਾਟਾ ਕਿਸਮਾਂ ਨੂੰ ਖੋਜਣ ਲਈ ਮਲਟੀਪਲ ਡਾਟਾ ਸਿਗਨਲ, ਸਕੇਲੇਬਲ ਸਿਸਟਮ ਆਰਕੀਟੈਕਚਰ, ਅਤੇ ਮਸ਼ੀਨ ਲਰਨਿੰਗ ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ।

ਡੇਟਾ ਖੋਜ ਅਤੇ ਵਰਗੀਕਰਨ ਡੇਟਾ ਨੂੰ ਲੱਭਣ ਅਤੇ ਲੇਬਲਿੰਗ ਕਰਨ ਦੀ ਪ੍ਰਕਿਰਿਆ ਹੈ ਤਾਂ ਜੋ ਲੋੜ ਪੈਣ 'ਤੇ ਸੰਬੰਧਿਤ ਜਾਣਕਾਰੀ ਨੂੰ ਜਲਦੀ ਅਤੇ ਕੁਸ਼ਲਤਾ ਨਾਲ ਪ੍ਰਾਪਤ ਕੀਤਾ ਜਾ ਸਕੇ। ਵਰਤਮਾਨ ਪ੍ਰਕਿਰਿਆ ਕੁਦਰਤ ਦੀ ਬਜਾਏ ਹੱਥੀਂ ਹੈ ਅਤੇ ਇਸ ਵਿੱਚ ਸੰਬੰਧਿਤ ਕਾਨੂੰਨਾਂ ਜਾਂ ਨਿਯਮਾਂ ਦੀ ਜਾਂਚ ਕਰਨਾ, ਇਹ ਨਿਰਧਾਰਤ ਕਰਨਾ ਸ਼ਾਮਲ ਹੈ ਕਿ ਕਿਸ ਕਿਸਮ ਦੀ ਜਾਣਕਾਰੀ ਨੂੰ ਸੰਵੇਦਨਸ਼ੀਲ ਮੰਨਿਆ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ ਅਤੇ ਸੰਵੇਦਨਸ਼ੀਲਤਾ ਦੇ ਵੱਖ-ਵੱਖ ਪੱਧਰ ਕੀ ਹਨ, ਅਤੇ ਫਿਰ ਉਸ ਅਨੁਸਾਰ ਸ਼੍ਰੇਣੀਆਂ ਅਤੇ ਵਰਗੀਕਰਨ ਨੀਤੀਆਂ ਦਾ ਨਿਰਮਾਣ ਕਰਨਾ [1]। ਡੇਟਾ ਨੁਕਸਾਨ ਰੋਕਥਾਮ (DLP) ਫਿਰ ਡੇਟਾ ਨੂੰ ਫਿੰਗਰਪ੍ਰਿੰਟ ਕਰਦਾ ਹੈ ਅਤੇ ਫਿੰਗਰਪ੍ਰਿੰਟ ਪ੍ਰਾਪਤ ਕਰਨ ਲਈ ਡਾਊਨਸਟ੍ਰੀਮ ਐਂਡਪੁਆਇੰਟ ਦੀ ਨਿਗਰਾਨੀ ਕਰਦਾ ਹੈ। ਪੈਟਾਬਾਈਟ ਡੇਟਾ ਦੇ ਨਾਲ ਸੰਪੱਤੀ-ਭਾਰੀ ਵੇਅਰਹਾਊਸ ਨਾਲ ਨਜਿੱਠਣ ਵੇਲੇ, ਇਹ ਪਹੁੰਚ ਸਿਰਫ਼ ਸਕੇਲ ਨਹੀਂ ਕਰਦੀ.

ਸਾਡਾ ਟੀਚਾ ਇੱਕ ਡੇਟਾ ਵਰਗੀਕਰਣ ਪ੍ਰਣਾਲੀ ਬਣਾਉਣਾ ਹੈ ਜੋ ਡੇਟਾ ਕਿਸਮ ਜਾਂ ਫਾਰਮੈਟ 'ਤੇ ਕਿਸੇ ਵਾਧੂ ਪਾਬੰਦੀਆਂ ਦੇ ਬਿਨਾਂ, ਮਜ਼ਬੂਤ ​​ਅਤੇ ਅਸਥਾਈ ਉਪਭੋਗਤਾ ਡੇਟਾ ਦੋਵਾਂ ਲਈ ਸਕੇਲ ਕਰਦਾ ਹੈ। ਇਹ ਇੱਕ ਦਲੇਰ ਟੀਚਾ ਹੈ, ਅਤੇ ਕੁਦਰਤੀ ਤੌਰ 'ਤੇ ਇਹ ਚੁਣੌਤੀਆਂ ਦੇ ਨਾਲ ਆਉਂਦਾ ਹੈ। ਇੱਕ ਦਿੱਤਾ ਡਾਟਾ ਰਿਕਾਰਡ ਹਜ਼ਾਰਾਂ ਅੱਖਰਾਂ ਦਾ ਹੋ ਸਕਦਾ ਹੈ।

ਚਿੱਤਰ 1. ਔਨਲਾਈਨ ਅਤੇ ਔਫਲਾਈਨ ਪੂਰਵ ਅਨੁਮਾਨ ਪ੍ਰਵਾਹ

ਇਸ ਲਈ, ਸਾਨੂੰ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਦੇ ਇੱਕ ਸਾਂਝੇ ਸਮੂਹ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ ਇਸ ਨੂੰ ਕੁਸ਼ਲਤਾ ਨਾਲ ਪੇਸ਼ ਕਰਨਾ ਚਾਹੀਦਾ ਹੈ ਜੋ ਬਾਅਦ ਵਿੱਚ ਜੋੜਿਆ ਜਾ ਸਕਦਾ ਹੈ ਅਤੇ ਆਸਾਨੀ ਨਾਲ ਆਲੇ ਦੁਆਲੇ ਘੁੰਮ ਸਕਦਾ ਹੈ। ਇਹਨਾਂ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਨੂੰ ਨਾ ਸਿਰਫ਼ ਸਹੀ ਵਰਗੀਕਰਨ ਪ੍ਰਦਾਨ ਕਰਨਾ ਚਾਹੀਦਾ ਹੈ, ਸਗੋਂ ਭਵਿੱਖ ਵਿੱਚ ਨਵੀਆਂ ਡਾਟਾ ਕਿਸਮਾਂ ਨੂੰ ਆਸਾਨੀ ਨਾਲ ਜੋੜਨ ਅਤੇ ਖੋਜਣ ਲਈ ਲਚਕਤਾ ਅਤੇ ਵਿਸਤਾਰਯੋਗਤਾ ਵੀ ਪ੍ਰਦਾਨ ਕਰਨਾ ਚਾਹੀਦਾ ਹੈ। ਦੂਜਾ, ਤੁਹਾਨੂੰ ਵੱਡੇ ਔਫਲਾਈਨ ਟੇਬਲ ਨਾਲ ਨਜਿੱਠਣ ਦੀ ਲੋੜ ਹੈ. ਟਿਕਾਊ ਡੇਟਾ ਨੂੰ ਟੇਬਲਾਂ ਵਿੱਚ ਸਟੋਰ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ ਜੋ ਆਕਾਰ ਵਿੱਚ ਬਹੁਤ ਸਾਰੇ ਪੇਟਾਬਾਈਟ ਹਨ। ਇਸ ਦੇ ਨਤੀਜੇ ਵਜੋਂ ਸਕੈਨ ਦੀ ਗਤੀ ਹੌਲੀ ਹੋ ਸਕਦੀ ਹੈ। ਤੀਜਾ, ਸਾਨੂੰ ਅਸਥਿਰ ਡੇਟਾ 'ਤੇ ਸਖਤ SLA ਵਰਗੀਕਰਣ ਦੀ ਪਾਲਣਾ ਕਰਨੀ ਚਾਹੀਦੀ ਹੈ। ਇਹ ਸਿਸਟਮ ਨੂੰ ਬਹੁਤ ਕੁਸ਼ਲ, ਤੇਜ਼ ਅਤੇ ਸਹੀ ਹੋਣ ਲਈ ਮਜ਼ਬੂਰ ਕਰਦਾ ਹੈ। ਅੰਤ ਵਿੱਚ, ਸਾਨੂੰ ਰੀਅਲ-ਟਾਈਮ ਵਰਗੀਕਰਣ ਦੇ ਨਾਲ-ਨਾਲ ਇੰਟਰਨੈਟ ਵਰਤੋਂ ਦੇ ਮਾਮਲਿਆਂ ਲਈ ਅਸਥਿਰ ਡੇਟਾ ਲਈ ਘੱਟ ਲੇਟੈਂਸੀ ਡੇਟਾ ਵਰਗੀਕਰਨ ਪ੍ਰਦਾਨ ਕਰਨਾ ਚਾਹੀਦਾ ਹੈ।

ਇਹ ਪੇਪਰ ਦੱਸਦਾ ਹੈ ਕਿ ਅਸੀਂ ਉਪਰੋਕਤ ਚੁਣੌਤੀਆਂ ਨਾਲ ਕਿਵੇਂ ਨਜਿੱਠਿਆ ਅਤੇ ਇੱਕ ਤੇਜ਼ ਅਤੇ ਸਕੇਲੇਬਲ ਵਰਗੀਕਰਣ ਪ੍ਰਣਾਲੀ ਪੇਸ਼ ਕਰਦਾ ਹੈ ਜੋ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਦੇ ਇੱਕ ਸਾਂਝੇ ਸਮੂਹ ਦੇ ਅਧਾਰ 'ਤੇ ਸਾਰੀਆਂ ਕਿਸਮਾਂ, ਫਾਰਮੈਟਾਂ ਅਤੇ ਸਰੋਤਾਂ ਦੇ ਡੇਟਾ ਤੱਤਾਂ ਦਾ ਵਰਗੀਕਰਨ ਕਰਦਾ ਹੈ। ਅਸੀਂ ਸਿਸਟਮ ਆਰਕੀਟੈਕਚਰ ਦਾ ਵਿਸਤਾਰ ਕੀਤਾ ਹੈ ਅਤੇ ਔਫਲਾਈਨ ਅਤੇ ਔਨਲਾਈਨ ਡੇਟਾ ਨੂੰ ਤੇਜ਼ੀ ਨਾਲ ਸ਼੍ਰੇਣੀਬੱਧ ਕਰਨ ਲਈ ਇੱਕ ਕਸਟਮ ਮਸ਼ੀਨ ਸਿਖਲਾਈ ਮਾਡਲ ਬਣਾਇਆ ਹੈ। ਇਹ ਪੇਪਰ ਇਸ ਤਰ੍ਹਾਂ ਸੰਗਠਿਤ ਕੀਤਾ ਗਿਆ ਹੈ: ਸੈਕਸ਼ਨ 2 ਸਿਸਟਮ ਦੇ ਸਮੁੱਚੇ ਡਿਜ਼ਾਈਨ ਨੂੰ ਪੇਸ਼ ਕਰਦਾ ਹੈ। ਸੈਕਸ਼ਨ 3 ਮਸ਼ੀਨ ਲਰਨਿੰਗ ਸਿਸਟਮ ਦੇ ਹਿੱਸਿਆਂ ਦੀ ਚਰਚਾ ਕਰਦਾ ਹੈ। ਸੈਕਸ਼ਨ 4 ਅਤੇ 5 ਸੰਬੰਧਿਤ ਕੰਮ ਨੂੰ ਉਜਾਗਰ ਕਰਦੇ ਹਨ ਅਤੇ ਕੰਮ ਦੀਆਂ ਭਵਿੱਖੀ ਦਿਸ਼ਾਵਾਂ ਦੀ ਰੂਪਰੇਖਾ ਦਿੰਦੇ ਹਨ।

ਆਰਕੀਟੈਕਚਰ

ਲਗਾਤਾਰ ਅਤੇ ਫੇਸਬੁੱਕ-ਸਕੇਲ ਔਨਲਾਈਨ ਡੇਟਾ ਦੀਆਂ ਚੁਣੌਤੀਆਂ ਨਾਲ ਨਜਿੱਠਣ ਲਈ, ਵਰਗੀਕਰਨ ਪ੍ਰਣਾਲੀ ਦੀਆਂ ਦੋ ਵੱਖਰੀਆਂ ਧਾਰਾਵਾਂ ਹਨ, ਜਿਨ੍ਹਾਂ ਬਾਰੇ ਅਸੀਂ ਵਿਸਥਾਰ ਵਿੱਚ ਚਰਚਾ ਕਰਾਂਗੇ।

ਸਸਟੇਨੇਬਲ ਡੇਟਾ

ਸ਼ੁਰੂ ਵਿੱਚ, ਸਿਸਟਮ ਨੂੰ Facebook ਦੀਆਂ ਬਹੁਤ ਸਾਰੀਆਂ ਜਾਣਕਾਰੀ ਸੰਪਤੀਆਂ ਬਾਰੇ ਸਿੱਖਣਾ ਚਾਹੀਦਾ ਹੈ। ਹਰੇਕ ਰਿਪੋਜ਼ਟਰੀ ਲਈ, ਕੁਝ ਬੁਨਿਆਦੀ ਜਾਣਕਾਰੀ ਇਕੱਠੀ ਕੀਤੀ ਜਾਂਦੀ ਹੈ, ਜਿਵੇਂ ਕਿ ਡੇਟਾ ਸੈਂਟਰ ਜਿਸ ਵਿੱਚ ਉਹ ਡੇਟਾ ਹੁੰਦਾ ਹੈ, ਸਿਸਟਮ ਜਿਸ ਵਿੱਚ ਉਹ ਡੇਟਾ ਹੁੰਦਾ ਹੈ, ਅਤੇ ਖਾਸ ਡੇਟਾ ਰਿਪੋਜ਼ਟਰੀ ਵਿੱਚ ਸਥਿਤ ਸੰਪਤੀਆਂ। ਇਹ ਇੱਕ ਮੈਟਾਡੇਟਾ ਕੈਟਾਲਾਗ ਬਣਾਉਂਦਾ ਹੈ ਜੋ ਸਿਸਟਮ ਨੂੰ ਹੋਰ ਇੰਜੀਨੀਅਰਾਂ ਦੁਆਰਾ ਵਰਤੇ ਗਏ ਕਲਾਇੰਟਸ ਅਤੇ ਸਰੋਤਾਂ ਨੂੰ ਓਵਰਲੋਡ ਕੀਤੇ ਬਿਨਾਂ ਕੁਸ਼ਲਤਾ ਨਾਲ ਡਾਟਾ ਪ੍ਰਾਪਤ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ।

ਇਹ ਮੈਟਾਡੇਟਾ ਕੈਟਾਲਾਗ ਸਾਰੀਆਂ ਸਕੈਨ ਕੀਤੀਆਂ ਸੰਪਤੀਆਂ ਲਈ ਇੱਕ ਪ੍ਰਮਾਣਿਕ ​​ਸਰੋਤ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ ਅਤੇ ਤੁਹਾਨੂੰ ਵੱਖ-ਵੱਖ ਸੰਪਤੀਆਂ ਦੀ ਸਥਿਤੀ ਨੂੰ ਟਰੈਕ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ। ਇਸ ਜਾਣਕਾਰੀ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ, ਸਿਸਟਮ ਤੋਂ ਇਕੱਤਰ ਕੀਤੇ ਡੇਟਾ ਅਤੇ ਅੰਦਰੂਨੀ ਜਾਣਕਾਰੀ ਦੇ ਆਧਾਰ 'ਤੇ ਸਮਾਂ-ਸਾਰਣੀ ਦੀ ਤਰਜੀਹ ਸਥਾਪਤ ਕੀਤੀ ਜਾਂਦੀ ਹੈ, ਜਿਵੇਂ ਕਿ ਸੰਪਤੀ ਨੂੰ ਪਿਛਲੀ ਵਾਰ ਸਫਲਤਾਪੂਰਵਕ ਸਕੈਨ ਕਰਨ ਦਾ ਸਮਾਂ ਅਤੇ ਇਹ ਬਣਾਉਣ ਦਾ ਸਮਾਂ, ਨਾਲ ਹੀ ਉਸ ਸੰਪਤੀ ਲਈ ਪਿਛਲੀ ਮੈਮੋਰੀ ਅਤੇ CPU ਲੋੜਾਂ ਜੇ ਇਸ ਨੂੰ ਪਹਿਲਾਂ ਸਕੈਨ ਕੀਤਾ ਗਿਆ ਹੈ। ਫਿਰ, ਹਰੇਕ ਡੇਟਾ ਸਰੋਤ ਲਈ (ਜਿਵੇਂ ਕਿ ਸਰੋਤ ਉਪਲਬਧ ਹੁੰਦੇ ਹਨ), ਅਸਲ ਵਿੱਚ ਸਰੋਤ ਨੂੰ ਸਕੈਨ ਕਰਨ ਲਈ ਇੱਕ ਕੰਮ ਨੂੰ ਬੁਲਾਇਆ ਜਾਂਦਾ ਹੈ।

ਹਰੇਕ ਨੌਕਰੀ ਇੱਕ ਕੰਪਾਇਲ ਕੀਤੀ ਬਾਈਨਰੀ ਫਾਈਲ ਹੁੰਦੀ ਹੈ ਜੋ ਹਰੇਕ ਸੰਪਤੀ ਲਈ ਉਪਲਬਧ ਨਵੀਨਤਮ ਡੇਟਾ 'ਤੇ ਬਰਨੌਲੀ ਸੈਂਪਲਿੰਗ ਕਰਦੀ ਹੈ। ਸੰਪੱਤੀ ਨੂੰ ਵਿਅਕਤੀਗਤ ਕਾਲਮਾਂ ਵਿੱਚ ਵੰਡਿਆ ਜਾਂਦਾ ਹੈ, ਜਿੱਥੇ ਹਰੇਕ ਕਾਲਮ ਦੇ ਵਰਗੀਕਰਨ ਨਤੀਜੇ ਦੀ ਸੁਤੰਤਰ ਤੌਰ 'ਤੇ ਪ੍ਰਕਿਰਿਆ ਕੀਤੀ ਜਾਂਦੀ ਹੈ। ਇਸ ਤੋਂ ਇਲਾਵਾ, ਸਿਸਟਮ ਕਾਲਮਾਂ ਦੇ ਅੰਦਰ ਕਿਸੇ ਵੀ ਸੰਤ੍ਰਿਪਤ ਡੇਟਾ ਲਈ ਸਕੈਨ ਕਰਦਾ ਹੈ। JSON, ਐਰੇ, ਏਨਕੋਡ ਕੀਤੇ ਢਾਂਚੇ, URL, ਅਧਾਰ 64 ਸੀਰੀਅਲਾਈਜ਼ਡ ਡੇਟਾ, ਅਤੇ ਹੋਰ ਬਹੁਤ ਸਾਰੇ ਸਕੈਨ ਕੀਤੇ ਗਏ ਹਨ। ਇਹ ਸਕੈਨ ਐਗਜ਼ੀਕਿਊਸ਼ਨ ਸਮੇਂ ਨੂੰ ਮਹੱਤਵਪੂਰਣ ਰੂਪ ਵਿੱਚ ਵਧਾ ਸਕਦਾ ਹੈ ਕਿਉਂਕਿ ਇੱਕ ਸਿੰਗਲ ਟੇਬਲ ਵਿੱਚ ਇੱਕ ਬਲੌਬ ਵਿੱਚ ਹਜ਼ਾਰਾਂ ਨੇਸਟਡ ਕਾਲਮ ਹੋ ਸਕਦੇ ਹਨ। json.

ਡੇਟਾ ਸੰਪੱਤੀ ਵਿੱਚ ਚੁਣੀ ਗਈ ਹਰੇਕ ਕਤਾਰ ਲਈ, ਵਰਗੀਕਰਨ ਸਿਸਟਮ ਸਮੱਗਰੀ ਤੋਂ ਫਲੋਟ ਅਤੇ ਟੈਕਸਟ ਆਬਜੈਕਟ ਕੱਢਦਾ ਹੈ ਅਤੇ ਹਰੇਕ ਵਸਤੂ ਨੂੰ ਉਸ ਕਾਲਮ ਨਾਲ ਜੋੜਦਾ ਹੈ ਜਿੱਥੋਂ ਇਹ ਲਿਆ ਗਿਆ ਸੀ। ਫੀਚਰ ਐਕਸਟਰੈਕਸ਼ਨ ਸਟੈਪ ਦਾ ਆਉਟਪੁੱਟ ਡਾਟਾ ਸੰਪੱਤੀ ਵਿੱਚ ਮਿਲੇ ਹਰੇਕ ਕਾਲਮ ਲਈ ਸਾਰੀਆਂ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਦਾ ਨਕਸ਼ਾ ਹੈ।

ਕਿਸ ਲਈ ਸੰਕੇਤ ਹਨ?

ਗੁਣਾਂ ਦੀ ਧਾਰਨਾ ਕੁੰਜੀ ਹੈ. ਫਲੋਟ ਅਤੇ ਟੈਕਸਟ ਗੁਣਾਂ ਦੀ ਬਜਾਏ, ਅਸੀਂ ਕੱਚੇ ਸਤਰ ਦੇ ਨਮੂਨੇ ਪਾਸ ਕਰ ਸਕਦੇ ਹਾਂ ਜੋ ਸਿੱਧੇ ਤੌਰ 'ਤੇ ਹਰੇਕ ਡੇਟਾ ਸਰੋਤ ਤੋਂ ਕੱਢੇ ਜਾਂਦੇ ਹਨ। ਇਸ ਤੋਂ ਇਲਾਵਾ, ਮਸ਼ੀਨ ਸਿਖਲਾਈ ਮਾਡਲਾਂ ਨੂੰ ਸੈਂਕੜੇ ਵਿਸ਼ੇਸ਼ਤਾ ਗਣਨਾਵਾਂ ਦੀ ਬਜਾਏ ਹਰੇਕ ਨਮੂਨੇ 'ਤੇ ਸਿੱਧੇ ਤੌਰ 'ਤੇ ਸਿਖਲਾਈ ਦਿੱਤੀ ਜਾ ਸਕਦੀ ਹੈ ਜੋ ਸਿਰਫ ਨਮੂਨੇ ਦਾ ਅਨੁਮਾਨ ਲਗਾਉਣ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰਦੇ ਹਨ। ਇਸਦੇ ਕਈ ਕਾਰਨ ਹਨ:

1. ਗੋਪਨੀਯਤਾ ਪਹਿਲਾਂ: ਸਭ ਤੋਂ ਮਹੱਤਵਪੂਰਨ, ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਦਾ ਸੰਕਲਪ ਸਾਨੂੰ ਸਿਰਫ਼ ਉਹਨਾਂ ਪੈਟਰਨਾਂ ਨੂੰ ਮੈਮੋਰੀ ਵਿੱਚ ਸਟੋਰ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ ਜੋ ਅਸੀਂ ਮੁੜ ਪ੍ਰਾਪਤ ਕਰਦੇ ਹਾਂ। ਇਹ ਸੁਨਿਸ਼ਚਿਤ ਕਰਦਾ ਹੈ ਕਿ ਅਸੀਂ ਇੱਕ ਉਦੇਸ਼ ਲਈ ਨਮੂਨੇ ਸਟੋਰ ਕਰਦੇ ਹਾਂ ਅਤੇ ਉਹਨਾਂ ਨੂੰ ਕਦੇ ਵੀ ਸਾਡੇ ਆਪਣੇ ਯਤਨਾਂ ਦੁਆਰਾ ਲੌਗ ਨਹੀਂ ਕਰਦੇ ਹਾਂ। ਇਹ ਅਸਥਿਰ ਡੇਟਾ ਲਈ ਖਾਸ ਤੌਰ 'ਤੇ ਮਹੱਤਵਪੂਰਨ ਹੈ, ਕਿਉਂਕਿ ਸੇਵਾ ਨੂੰ ਪੂਰਵ-ਅਨੁਮਾਨ ਪ੍ਰਦਾਨ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ ਕੁਝ ਵਰਗੀਕਰਣ ਸਥਿਤੀ ਨੂੰ ਕਾਇਮ ਰੱਖਣਾ ਚਾਹੀਦਾ ਹੈ।
2. ਮੈਮੋਰੀ: ਕੁਝ ਨਮੂਨੇ ਹਜ਼ਾਰਾਂ ਅੱਖਰਾਂ ਦੇ ਹੋ ਸਕਦੇ ਹਨ। ਅਜਿਹੇ ਡੇਟਾ ਨੂੰ ਸਟੋਰ ਕਰਨਾ ਅਤੇ ਇਸਨੂੰ ਸਿਸਟਮ ਦੇ ਹਿੱਸਿਆਂ ਵਿੱਚ ਸੰਚਾਰਿਤ ਕਰਨਾ ਬੇਲੋੜੇ ਤੌਰ 'ਤੇ ਕਈ ਵਾਧੂ ਬਾਈਟਾਂ ਦੀ ਖਪਤ ਕਰਦਾ ਹੈ। ਦੋ ਕਾਰਕ ਸਮੇਂ ਦੇ ਨਾਲ ਜੋੜ ਸਕਦੇ ਹਨ, ਇਹ ਦੇਖਦੇ ਹੋਏ ਕਿ ਹਜ਼ਾਰਾਂ ਕਾਲਮਾਂ ਦੇ ਨਾਲ ਬਹੁਤ ਸਾਰੇ ਡੇਟਾ ਸਰੋਤ ਹਨ।
3. ਫੀਚਰ ਏਗਰੀਗੇਸ਼ਨ: ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਦੇ ਇੱਕ ਸਮੂਹ ਦੁਆਰਾ ਹਰੇਕ ਸਕੈਨ ਦੇ ਨਤੀਜਿਆਂ ਨੂੰ ਸਪਸ਼ਟ ਰੂਪ ਵਿੱਚ ਦਰਸਾਉਂਦੀਆਂ ਹਨ, ਜਿਸ ਨਾਲ ਸਿਸਟਮ ਨੂੰ ਇੱਕ ਸੁਵਿਧਾਜਨਕ ਤਰੀਕੇ ਨਾਲ ਇੱਕੋ ਡੇਟਾ ਸਰੋਤ ਦੇ ਪਿਛਲੇ ਸਕੈਨ ਦੇ ਨਤੀਜਿਆਂ ਨੂੰ ਜੋੜਿਆ ਜਾ ਸਕਦਾ ਹੈ। ਇਹ ਮਲਟੀਪਲ ਦੌੜਾਂ ਵਿੱਚ ਇੱਕ ਸਿੰਗਲ ਡੇਟਾ ਸਰੋਤ ਤੋਂ ਸਕੈਨ ਨਤੀਜਿਆਂ ਨੂੰ ਇਕੱਠਾ ਕਰਨ ਲਈ ਉਪਯੋਗੀ ਹੋ ਸਕਦਾ ਹੈ।

ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਨੂੰ ਫਿਰ ਇੱਕ ਪੂਰਵ-ਅਨੁਮਾਨ ਸੇਵਾ ਨੂੰ ਭੇਜਿਆ ਜਾਂਦਾ ਹੈ ਜਿੱਥੇ ਅਸੀਂ ਹਰੇਕ ਕਾਲਮ ਦੇ ਡੇਟਾ ਲੇਬਲਾਂ ਦੀ ਭਵਿੱਖਬਾਣੀ ਕਰਨ ਲਈ ਨਿਯਮ-ਅਧਾਰਿਤ ਵਰਗੀਕਰਨ ਅਤੇ ਮਸ਼ੀਨ ਸਿਖਲਾਈ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹਾਂ। ਸੇਵਾ ਨਿਯਮ ਵਰਗੀਕਰਣ ਅਤੇ ਮਸ਼ੀਨ ਸਿਖਲਾਈ ਦੋਵਾਂ 'ਤੇ ਨਿਰਭਰ ਕਰਦੀ ਹੈ ਅਤੇ ਹਰੇਕ ਭਵਿੱਖਬਾਣੀ ਵਸਤੂ ਤੋਂ ਦਿੱਤੀ ਗਈ ਸਭ ਤੋਂ ਵਧੀਆ ਭਵਿੱਖਬਾਣੀ ਦੀ ਚੋਣ ਕਰਦੀ ਹੈ।

ਨਿਯਮ ਕਲਾਸੀਫਾਇਰ ਮੈਨੂਅਲ ਹਿਉਰਿਸਟਿਕਸ ਹੁੰਦੇ ਹਨ, ਉਹ 0 ਤੋਂ 100 ਦੀ ਰੇਂਜ ਵਿੱਚ ਕਿਸੇ ਵਸਤੂ ਨੂੰ ਆਮ ਬਣਾਉਣ ਲਈ ਗਣਨਾਵਾਂ ਅਤੇ ਗੁਣਾਂਕ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹਨ। ਇੱਕ ਵਾਰ ਜਦੋਂ ਉਸ ਡੇਟਾ ਨਾਲ ਜੁੜੇ ਹਰੇਕ ਡੇਟਾ ਕਿਸਮ ਅਤੇ ਕਾਲਮ ਨਾਮ ਲਈ ਅਜਿਹਾ ਸ਼ੁਰੂਆਤੀ ਸਕੋਰ ਤਿਆਰ ਹੋ ਜਾਂਦਾ ਹੈ, ਤਾਂ ਇਹ ਕਿਸੇ ਵੀ "ਪ੍ਰਬੰਧ" ਵਿੱਚ ਸ਼ਾਮਲ ਨਹੀਂ ਹੁੰਦਾ ਹੈ। ਸੂਚੀਆਂ" , ਨਿਯਮ ਵਰਗੀਕਰਣ , ਸਭ ਡਾਟਾ ਕਿਸਮਾਂ ਵਿੱਚੋਂ ਸਭ ਤੋਂ ਵੱਧ ਸਧਾਰਣ ਸਕੋਰ ਚੁਣਦਾ ਹੈ।

ਵਰਗੀਕਰਨ ਦੀ ਗੁੰਝਲਦਾਰਤਾ ਦੇ ਕਾਰਨ, ਸਿਰਫ਼ ਮੈਨੂਅਲ ਹਿਉਰਿਸਟਿਕਸ 'ਤੇ ਨਿਰਭਰ ਕਰਨ ਦੇ ਨਤੀਜੇ ਵਜੋਂ ਘੱਟ ਵਰਗੀਕਰਨ ਦੀ ਸ਼ੁੱਧਤਾ ਹੁੰਦੀ ਹੈ, ਖਾਸ ਕਰਕੇ ਗੈਰ-ਸੰਗਠਿਤ ਡੇਟਾ ਲਈ। ਇਸ ਕਾਰਨ ਕਰਕੇ, ਅਸੀਂ ਗੈਰ-ਸੰਗਠਿਤ ਡੇਟਾ ਜਿਵੇਂ ਕਿ ਉਪਭੋਗਤਾ ਸਮੱਗਰੀ ਅਤੇ ਪਤੇ ਦੇ ਵਰਗੀਕਰਨ ਨਾਲ ਕੰਮ ਕਰਨ ਲਈ ਇੱਕ ਮਸ਼ੀਨ ਸਿਖਲਾਈ ਪ੍ਰਣਾਲੀ ਵਿਕਸਿਤ ਕੀਤੀ ਹੈ। ਮਸ਼ੀਨ ਲਰਨਿੰਗ ਨੇ ਮੈਨੂਅਲ ਹਿਉਰਿਸਟਿਕਸ ਤੋਂ ਦੂਰ ਜਾਣਾ ਅਤੇ ਵਾਧੂ ਡੇਟਾ ਸਿਗਨਲ (ਜਿਵੇਂ ਕਿ ਕਾਲਮ ਦੇ ਨਾਮ, ਡੇਟਾ ਪ੍ਰੋਵੇਨੈਂਸ) ਨੂੰ ਲਾਗੂ ਕਰਨਾ, ਖੋਜ ਦੀ ਸ਼ੁੱਧਤਾ ਵਿੱਚ ਮਹੱਤਵਪੂਰਨ ਸੁਧਾਰ ਕਰਨਾ ਸੰਭਵ ਬਣਾਇਆ ਹੈ। ਅਸੀਂ ਬਾਅਦ ਵਿੱਚ ਸਾਡੇ ਮਸ਼ੀਨ ਲਰਨਿੰਗ ਆਰਕੀਟੈਕਚਰ ਵਿੱਚ ਡੂੰਘਾਈ ਨਾਲ ਡੁਬਕੀ ਲਵਾਂਗੇ।

ਪੂਰਵ-ਅਨੁਮਾਨ ਸੇਵਾ ਸਕੈਨ ਦੇ ਸਮੇਂ ਅਤੇ ਸਥਿਤੀ ਦੇ ਸੰਬੰਧ ਵਿੱਚ ਮੈਟਾਡੇਟਾ ਦੇ ਨਾਲ ਹਰੇਕ ਕਾਲਮ ਲਈ ਨਤੀਜਿਆਂ ਨੂੰ ਸਟੋਰ ਕਰਦੀ ਹੈ। ਕੋਈ ਵੀ ਖਪਤਕਾਰ ਅਤੇ ਡਾਊਨਸਟ੍ਰੀਮ ਪ੍ਰਕਿਰਿਆਵਾਂ ਜੋ ਇਸ ਡੇਟਾ 'ਤੇ ਨਿਰਭਰ ਕਰਦੀਆਂ ਹਨ, ਰੋਜ਼ਾਨਾ ਪ੍ਰਕਾਸ਼ਿਤ ਡੇਟਾਸੈਟ ਤੋਂ ਇਸਨੂੰ ਪੜ੍ਹ ਸਕਦੀਆਂ ਹਨ। ਇਹ ਸੈੱਟ ਇਹਨਾਂ ਸਾਰੀਆਂ ਸਕੈਨ ਨੌਕਰੀਆਂ, ਜਾਂ ਰੀਅਲ-ਟਾਈਮ ਡੇਟਾ ਕੈਟਾਲਾਗ API ਦੇ ਨਤੀਜਿਆਂ ਨੂੰ ਇਕੱਠਾ ਕਰਦਾ ਹੈ। ਪ੍ਰਕਾਸ਼ਿਤ ਪੂਰਵ-ਅਨੁਮਾਨ ਗੋਪਨੀਯਤਾ ਅਤੇ ਸੁਰੱਖਿਆ ਨੀਤੀਆਂ ਦੇ ਆਟੋਮੈਟਿਕ ਲਾਗੂ ਕਰਨ ਦੀ ਨੀਂਹ ਹਨ।

ਅੰਤ ਵਿੱਚ, ਪੂਰਵ-ਅਨੁਮਾਨ ਸੇਵਾ ਦੁਆਰਾ ਸਾਰਾ ਡੇਟਾ ਲਿਖਣ ਅਤੇ ਸਾਰੇ ਪੂਰਵ-ਅਨੁਮਾਨਾਂ ਨੂੰ ਸਟੋਰ ਕੀਤੇ ਜਾਣ ਤੋਂ ਬਾਅਦ, ਸਾਡਾ ਡੇਟਾ ਕੈਟਾਲਾਗ API ਰੀਅਲ ਟਾਈਮ ਵਿੱਚ ਸਰੋਤ ਲਈ ਸਾਰੇ ਡੇਟਾ ਕਿਸਮ ਦੀ ਭਵਿੱਖਬਾਣੀ ਵਾਪਸ ਕਰ ਸਕਦਾ ਹੈ। ਹਰ ਰੋਜ਼ ਸਿਸਟਮ ਹਰੇਕ ਸੰਪਤੀ ਲਈ ਸਾਰੇ ਨਵੀਨਤਮ ਪੂਰਵ-ਅਨੁਮਾਨਾਂ ਵਾਲਾ ਇੱਕ ਡੇਟਾਸੈਟ ਪ੍ਰਕਾਸ਼ਿਤ ਕਰਦਾ ਹੈ।

ਅਸਥਿਰ ਡਾਟਾ

ਜਦੋਂ ਕਿ ਉਪਰੋਕਤ ਪ੍ਰਕਿਰਿਆ ਸਥਿਰ ਸੰਪਤੀਆਂ ਲਈ ਤਿਆਰ ਕੀਤੀ ਗਈ ਹੈ, ਗੈਰ-ਸਥਾਈ ਆਵਾਜਾਈ ਨੂੰ ਵੀ ਕਿਸੇ ਸੰਸਥਾ ਦੇ ਡੇਟਾ ਦਾ ਹਿੱਸਾ ਮੰਨਿਆ ਜਾਂਦਾ ਹੈ ਅਤੇ ਮਹੱਤਵਪੂਰਨ ਹੋ ਸਕਦਾ ਹੈ। ਇਸ ਕਾਰਨ ਕਰਕੇ, ਸਿਸਟਮ ਕਿਸੇ ਵੀ ਰੁਕ-ਰੁਕ ਕੇ ਆਵਾਜਾਈ ਲਈ ਰੀਅਲ-ਟਾਈਮ ਵਰਗੀਕਰਣ ਪੂਰਵ-ਅਨੁਮਾਨ ਤਿਆਰ ਕਰਨ ਲਈ ਇੱਕ ਔਨਲਾਈਨ API ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ। ਰੀਅਲ-ਟਾਈਮ ਪੂਰਵ-ਅਨੁਮਾਨ ਪ੍ਰਣਾਲੀ ਦਾ ਵਿਆਪਕ ਤੌਰ 'ਤੇ ਆਊਟਬਾਉਂਡ ਟ੍ਰੈਫਿਕ, ਮਸ਼ੀਨ ਲਰਨਿੰਗ ਮਾਡਲਾਂ ਅਤੇ ਵਿਗਿਆਪਨਕਰਤਾ ਡੇਟਾ ਵਿੱਚ ਆਉਣ ਵਾਲੇ ਟ੍ਰੈਫਿਕ ਨੂੰ ਸ਼੍ਰੇਣੀਬੱਧ ਕਰਨ ਵਿੱਚ ਵਰਤਿਆ ਜਾਂਦਾ ਹੈ।

ਇੱਥੇ API ਦੋ ਮੁੱਖ ਆਰਗੂਮੈਂਟਾਂ ਲੈਂਦਾ ਹੈ: ਗਰੁੱਪਿੰਗ ਕੁੰਜੀ ਅਤੇ ਕੱਚਾ ਡੇਟਾ ਜਿਸਦਾ ਅਨੁਮਾਨ ਲਗਾਇਆ ਜਾਣਾ ਹੈ। ਸੇਵਾ ਉਹੀ ਵਸਤੂ ਪ੍ਰਾਪਤੀ ਕਰਦੀ ਹੈ ਜਿਵੇਂ ਕਿ ਉੱਪਰ ਦੱਸਿਆ ਗਿਆ ਹੈ ਅਤੇ ਇੱਕੋ ਕੁੰਜੀ ਲਈ ਆਬਜੈਕਟਾਂ ਨੂੰ ਇਕੱਠੇ ਸਮੂਹਿਕ ਕਰਦਾ ਹੈ। ਇਹ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਅਸਫਲਤਾ ਰਿਕਵਰੀ ਲਈ ਸਥਿਰਤਾ ਕੈਸ਼ ਵਿੱਚ ਵੀ ਸਮਰਥਿਤ ਹਨ। ਹਰੇਕ ਗਰੁੱਪਿੰਗ ਕੁੰਜੀ ਲਈ, ਸੇਵਾ ਇਹ ਸੁਨਿਸ਼ਚਿਤ ਕਰਦੀ ਹੈ ਕਿ ਇਸ ਨੇ ਉੱਪਰ ਦੱਸੀ ਪ੍ਰਕਿਰਿਆ ਦੀ ਪਾਲਣਾ ਕਰਦੇ ਹੋਏ, ਭਵਿੱਖਬਾਣੀ ਸੇਵਾ ਨੂੰ ਕਾਲ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ ਕਾਫ਼ੀ ਨਮੂਨੇ ਦੇਖੇ ਹਨ।

ਅਨੁਕੂਲਨ

ਕੁਝ ਸਟੋਰੇਜਾਂ ਨੂੰ ਸਕੈਨ ਕਰਨ ਲਈ, ਅਸੀਂ ਗਰਮ ਸਟੋਰੇਜ [2] ਤੋਂ ਪੜ੍ਹਨ ਨੂੰ ਅਨੁਕੂਲ ਬਣਾਉਣ ਲਈ ਲਾਇਬ੍ਰੇਰੀਆਂ ਅਤੇ ਤਕਨੀਕਾਂ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹਾਂ ਅਤੇ ਇਹ ਯਕੀਨੀ ਬਣਾਉਣ ਲਈ ਕਿ ਸਮਾਨ ਸਟੋਰੇਜ ਤੱਕ ਪਹੁੰਚ ਕਰਨ ਵਾਲੇ ਦੂਜੇ ਉਪਭੋਗਤਾਵਾਂ ਦੁਆਰਾ ਕੋਈ ਰੁਕਾਵਟ ਨਹੀਂ ਆਉਂਦੀ ਹੈ।

ਬਹੁਤ ਵੱਡੀਆਂ ਟੇਬਲਾਂ (50+ ਪੇਟਾਬਾਈਟ) ਲਈ, ਸਾਰੇ ਅਨੁਕੂਲਨ ਅਤੇ ਮੈਮੋਰੀ ਕੁਸ਼ਲਤਾ ਦੇ ਬਾਵਜੂਦ, ਸਿਸਟਮ ਮੈਮੋਰੀ ਖਤਮ ਹੋਣ ਤੋਂ ਪਹਿਲਾਂ ਹਰ ਚੀਜ਼ ਨੂੰ ਸਕੈਨ ਅਤੇ ਗਣਨਾ ਕਰਨ ਲਈ ਕੰਮ ਕਰਦਾ ਹੈ। ਆਖ਼ਰਕਾਰ, ਸਕੈਨ ਦੀ ਗਣਨਾ ਪੂਰੀ ਤਰ੍ਹਾਂ ਮੈਮੋਰੀ ਵਿੱਚ ਕੀਤੀ ਜਾਂਦੀ ਹੈ ਅਤੇ ਸਕੈਨ ਦੌਰਾਨ ਸਟੋਰ ਨਹੀਂ ਕੀਤੀ ਜਾਂਦੀ। ਜੇਕਰ ਵੱਡੀਆਂ ਟੇਬਲਾਂ ਵਿੱਚ ਹਜ਼ਾਰਾਂ ਕਾਲਮ ਹੁੰਦੇ ਹਨ ਜਿਨ੍ਹਾਂ ਵਿੱਚ ਡੇਟਾ ਦੇ ਗੈਰ-ਸੰਗਠਿਤ ਕਲੰਪ ਹੁੰਦੇ ਹਨ, ਤਾਂ ਪੂਰੀ ਸਾਰਣੀ ਵਿੱਚ ਪੂਰਵ-ਅਨੁਮਾਨਾਂ ਕਰਨ ਵੇਲੇ ਨਾਕਾਫ਼ੀ ਮੈਮੋਰੀ ਸਰੋਤਾਂ ਕਾਰਨ ਕੰਮ ਅਸਫਲ ਹੋ ਸਕਦਾ ਹੈ। ਇਸ ਦੇ ਨਤੀਜੇ ਵਜੋਂ ਕਵਰੇਜ ਘੱਟ ਜਾਵੇਗੀ। ਇਸਦਾ ਮੁਕਾਬਲਾ ਕਰਨ ਲਈ, ਅਸੀਂ ਸਿਸਟਮ ਨੂੰ ਸਕੈਨ ਸਪੀਡ ਨੂੰ ਪ੍ਰੌਕਸੀ ਵਜੋਂ ਵਰਤਣ ਲਈ ਅਨੁਕੂਲ ਬਣਾਇਆ ਹੈ ਕਿ ਸਿਸਟਮ ਮੌਜੂਦਾ ਵਰਕਲੋਡ ਨੂੰ ਕਿੰਨੀ ਚੰਗੀ ਤਰ੍ਹਾਂ ਸੰਭਾਲਦਾ ਹੈ। ਅਸੀਂ ਮੈਮੋਰੀ ਸਮੱਸਿਆਵਾਂ ਨੂੰ ਦੇਖਣ ਅਤੇ ਵਿਸ਼ੇਸ਼ਤਾ ਦੇ ਨਕਸ਼ੇ ਦੀ ਪੂਰਵ-ਅਨੁਮਾਨ ਨਾਲ ਗਣਨਾ ਕਰਨ ਲਈ ਇੱਕ ਪੂਰਵ-ਅਨੁਮਾਨੀ ਵਿਧੀ ਦੇ ਤੌਰ ਤੇ ਗਤੀ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹਾਂ। ਉਸੇ ਸਮੇਂ, ਅਸੀਂ ਆਮ ਨਾਲੋਂ ਘੱਟ ਡਾਟਾ ਵਰਤਦੇ ਹਾਂ।

ਡਾਟਾ ਸਿਗਨਲ

ਇੱਕ ਵਰਗੀਕਰਨ ਸਿਸਟਮ ਡੇਟਾ ਤੋਂ ਸਿਗਨਲਾਂ ਜਿੰਨਾ ਹੀ ਵਧੀਆ ਹੈ। ਇੱਥੇ ਅਸੀਂ ਵਰਗੀਕਰਣ ਪ੍ਰਣਾਲੀ ਦੁਆਰਾ ਵਰਤੇ ਜਾਣ ਵਾਲੇ ਸਾਰੇ ਸੰਕੇਤਾਂ ਨੂੰ ਵੇਖਾਂਗੇ।

• ਸਮੱਗਰੀ ਆਧਾਰਿਤ: ਬੇਸ਼ੱਕ, ਪਹਿਲਾ ਅਤੇ ਸਭ ਤੋਂ ਮਹੱਤਵਪੂਰਨ ਸੰਕੇਤ ਸਮੱਗਰੀ ਹੈ। ਬਰਨੌਲੀ ਸੈਂਪਲਿੰਗ ਹਰੇਕ ਡੇਟਾ ਸੰਪੱਤੀ 'ਤੇ ਕੀਤੀ ਜਾਂਦੀ ਹੈ ਜਿਸ ਨੂੰ ਅਸੀਂ ਡੇਟਾ ਸਮੱਗਰੀ ਦੇ ਅਧਾਰ ਤੇ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਨੂੰ ਸਕੈਨ ਅਤੇ ਐਕਸਟਰੈਕਟ ਕਰਦੇ ਹਾਂ। ਸਮੱਗਰੀ ਤੋਂ ਬਹੁਤ ਸਾਰੇ ਸੰਕੇਤ ਆਉਂਦੇ ਹਨ. ਫਲੋਟਿੰਗ ਆਬਜੈਕਟ ਦੀ ਕੋਈ ਵੀ ਗਿਣਤੀ ਸੰਭਵ ਹੈ, ਜੋ ਕਿ ਇੱਕ ਖਾਸ ਨਮੂਨਾ ਕਿਸਮ ਨੂੰ ਕਿੰਨੀ ਵਾਰ ਦੇਖਿਆ ਗਿਆ ਹੈ ਦੀ ਗਣਨਾ ਨੂੰ ਦਰਸਾਉਂਦਾ ਹੈ। ਉਦਾਹਰਨ ਲਈ, ਸਾਡੇ ਕੋਲ ਇੱਕ ਨਮੂਨੇ ਵਿੱਚ ਦੇਖੀਆਂ ਗਈਆਂ ਈਮੇਲਾਂ ਦੀ ਸੰਖਿਆ ਦੇ ਸੰਕੇਤ ਹੋ ਸਕਦੇ ਹਨ, ਜਾਂ ਇੱਕ ਨਮੂਨੇ ਵਿੱਚ ਕਿੰਨੇ ਇਮੋਜੀ ਦੇਖੇ ਗਏ ਹਨ। ਇਹ ਵਿਸ਼ੇਸ਼ਤਾ ਗਣਨਾਵਾਂ ਨੂੰ ਵੱਖ-ਵੱਖ ਸਕੈਨਾਂ ਵਿੱਚ ਆਮ ਅਤੇ ਇਕੱਠਾ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ।
• ਡੇਟਾ ਪ੍ਰੋਵੇਨੈਂਸ: ਇੱਕ ਮਹੱਤਵਪੂਰਨ ਸਿਗਨਲ ਜੋ ਮਦਦ ਕਰ ਸਕਦਾ ਹੈ ਜਦੋਂ ਸਮੱਗਰੀ ਮੂਲ ਸਾਰਣੀ ਤੋਂ ਬਦਲ ਗਈ ਹੈ। ਇੱਕ ਆਮ ਉਦਾਹਰਨ ਹੈਸ਼ਡ ਡੇਟਾ ਹੈ। ਜਦੋਂ ਚਾਈਲਡ ਟੇਬਲ ਵਿੱਚ ਡੇਟਾ ਹੈਸ਼ ਕੀਤਾ ਜਾਂਦਾ ਹੈ, ਤਾਂ ਇਹ ਅਕਸਰ ਪੇਰੈਂਟ ਟੇਬਲ ਤੋਂ ਆਉਂਦਾ ਹੈ, ਜਿੱਥੇ ਇਹ ਸਪਸ਼ਟ ਰਹਿੰਦਾ ਹੈ। ਵੰਸ਼ਾਵਲੀ ਡੇਟਾ ਕੁਝ ਖਾਸ ਕਿਸਮਾਂ ਦੇ ਡੇਟਾ ਨੂੰ ਵਰਗੀਕ੍ਰਿਤ ਕਰਨ ਵਿੱਚ ਮਦਦ ਕਰਦਾ ਹੈ ਜਦੋਂ ਉਹਨਾਂ ਨੂੰ ਸਪਸ਼ਟ ਰੂਪ ਵਿੱਚ ਨਹੀਂ ਪੜ੍ਹਿਆ ਜਾਂਦਾ ਹੈ ਜਾਂ ਇੱਕ ਅੱਪਸਟ੍ਰੀਮ ਟੇਬਲ ਤੋਂ ਬਦਲਿਆ ਜਾਂਦਾ ਹੈ।
• ਐਨੋਟੇਸ਼ਨ: ਇੱਕ ਹੋਰ ਉੱਚ-ਗੁਣਵੱਤਾ ਸਿਗਨਲ ਜੋ ਗੈਰ-ਸੰਗਠਿਤ ਡੇਟਾ ਦੀ ਪਛਾਣ ਕਰਨ ਵਿੱਚ ਮਦਦ ਕਰਦਾ ਹੈ। ਵਾਸਤਵ ਵਿੱਚ, ਐਨੋਟੇਸ਼ਨ ਅਤੇ ਪ੍ਰੋਵੇਨੈਂਸ ਡੇਟਾ ਵੱਖ-ਵੱਖ ਡੇਟਾ ਸੰਪਤੀਆਂ ਵਿੱਚ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਦਾ ਪ੍ਰਚਾਰ ਕਰਨ ਲਈ ਇਕੱਠੇ ਕੰਮ ਕਰ ਸਕਦੇ ਹਨ। ਐਨੋਟੇਸ਼ਨਾਂ ਗੈਰ-ਸੰਗਠਿਤ ਡੇਟਾ ਦੇ ਸਰੋਤ ਦੀ ਪਛਾਣ ਕਰਨ ਵਿੱਚ ਮਦਦ ਕਰਦੀਆਂ ਹਨ, ਜਦੋਂ ਕਿ ਵੰਸ਼ ਡੇਟਾ ਸਾਰੀ ਰਿਪੋਜ਼ਟਰੀ ਵਿੱਚ ਉਸ ਡੇਟਾ ਦੇ ਪ੍ਰਵਾਹ ਨੂੰ ਟਰੈਕ ਕਰਨ ਵਿੱਚ ਮਦਦ ਕਰ ਸਕਦਾ ਹੈ।
• ਡਾਟਾ ਇੰਜੈਕਸ਼ਨ ਇੱਕ ਤਕਨੀਕ ਹੈ ਜਿੱਥੇ ਵਿਸ਼ੇਸ਼, ਨਾ-ਪੜ੍ਹਨਯੋਗ ਅੱਖਰ ਜਾਣ-ਪਛਾਣ ਵਾਲੇ ਡੇਟਾ ਕਿਸਮਾਂ ਦੇ ਜਾਣੇ-ਪਛਾਣੇ ਸਰੋਤਾਂ ਵਿੱਚ ਜਾਣ-ਬੁੱਝ ਕੇ ਪੇਸ਼ ਕੀਤੇ ਜਾਂਦੇ ਹਨ। ਫਿਰ, ਜਦੋਂ ਵੀ ਅਸੀਂ ਸਮਾਨ ਨਾ-ਪੜ੍ਹਨਯੋਗ ਅੱਖਰ ਕ੍ਰਮ ਨਾਲ ਸਮਗਰੀ ਨੂੰ ਸਕੈਨ ਕਰਦੇ ਹਾਂ, ਤਾਂ ਅਸੀਂ ਇਹ ਅੰਦਾਜ਼ਾ ਲਗਾ ਸਕਦੇ ਹਾਂ ਕਿ ਸਮੱਗਰੀ ਉਸ ਜਾਣੇ-ਪਛਾਣੇ ਡੇਟਾ ਕਿਸਮ ਤੋਂ ਆਉਂਦੀ ਹੈ। ਇਹ ਐਨੋਟੇਸ਼ਨਾਂ ਦੇ ਸਮਾਨ ਇੱਕ ਹੋਰ ਗੁਣਾਤਮਕ ਡੇਟਾ ਸਿਗਨਲ ਹੈ। ਸਿਵਾਏ ਕਿ ਸਮੱਗਰੀ-ਆਧਾਰਿਤ ਖੋਜ ਦਾਖਲ ਕੀਤੇ ਡੇਟਾ ਨੂੰ ਖੋਜਣ ਵਿੱਚ ਮਦਦ ਕਰਦੀ ਹੈ।

ਮਾਪਣ ਮੈਟ੍ਰਿਕਸ

ਇੱਕ ਮਹੱਤਵਪੂਰਨ ਹਿੱਸਾ ਮੈਟ੍ਰਿਕਸ ਨੂੰ ਮਾਪਣ ਲਈ ਇੱਕ ਸਖ਼ਤ ਵਿਧੀ ਹੈ। ਵਰਗੀਕਰਨ ਸੁਧਾਰ ਦੁਹਰਾਅ ਲਈ ਮੁੱਖ ਮੈਟ੍ਰਿਕਸ ਹਰ ਲੇਬਲ ਦੀ ਸ਼ੁੱਧਤਾ ਅਤੇ ਯਾਦ ਹਨ, ਜਿਸ ਵਿੱਚ F2 ਸਕੋਰ ਸਭ ਤੋਂ ਮਹੱਤਵਪੂਰਨ ਹੈ।

ਇਹਨਾਂ ਮੈਟ੍ਰਿਕਸ ਦੀ ਗਣਨਾ ਕਰਨ ਲਈ, ਡੇਟਾ ਸੰਪਤੀਆਂ ਨੂੰ ਲੇਬਲ ਕਰਨ ਲਈ ਇੱਕ ਸੁਤੰਤਰ ਕਾਰਜਪ੍ਰਣਾਲੀ ਦੀ ਲੋੜ ਹੈ ਜੋ ਸਿਸਟਮ ਤੋਂ ਸੁਤੰਤਰ ਹੈ, ਪਰ ਇਸਦੇ ਨਾਲ ਸਿੱਧੀ ਤੁਲਨਾ ਲਈ ਵਰਤੀ ਜਾ ਸਕਦੀ ਹੈ। ਹੇਠਾਂ ਅਸੀਂ ਵਰਣਨ ਕਰਦੇ ਹਾਂ ਕਿ ਅਸੀਂ Facebook ਤੋਂ ਜ਼ਮੀਨੀ ਸੱਚਾਈ ਨੂੰ ਕਿਵੇਂ ਇਕੱਠਾ ਕਰਦੇ ਹਾਂ ਅਤੇ ਆਪਣੀ ਵਰਗੀਕਰਨ ਪ੍ਰਣਾਲੀ ਨੂੰ ਸਿਖਲਾਈ ਦੇਣ ਲਈ ਇਸਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹਾਂ।

ਭਰੋਸੇਯੋਗ ਡੇਟਾ ਦਾ ਸੰਗ੍ਰਹਿ

ਅਸੀਂ ਹੇਠਾਂ ਸੂਚੀਬੱਧ ਹਰੇਕ ਸਰੋਤ ਤੋਂ ਭਰੋਸੇਯੋਗ ਡੇਟਾ ਨੂੰ ਆਪਣੀ ਸਾਰਣੀ ਵਿੱਚ ਇਕੱਠਾ ਕਰਦੇ ਹਾਂ। ਹਰੇਕ ਸਾਰਣੀ ਉਸ ਖਾਸ ਸਰੋਤ ਤੋਂ ਨਵੀਨਤਮ ਨਿਰੀਖਣ ਕੀਤੇ ਮੁੱਲਾਂ ਨੂੰ ਇਕੱਠਾ ਕਰਨ ਲਈ ਜ਼ਿੰਮੇਵਾਰ ਹੈ। ਹਰੇਕ ਸਰੋਤ ਵਿੱਚ ਇਹ ਯਕੀਨੀ ਬਣਾਉਣ ਲਈ ਡਾਟਾ ਗੁਣਵੱਤਾ ਜਾਂਚ ਹੁੰਦੀ ਹੈ ਕਿ ਹਰੇਕ ਸਰੋਤ ਲਈ ਨਿਰੀਖਣ ਕੀਤੇ ਮੁੱਲ ਉੱਚ ਗੁਣਵੱਤਾ ਵਾਲੇ ਹਨ ਅਤੇ ਨਵੀਨਤਮ ਡਾਟਾ ਕਿਸਮ ਦੇ ਲੇਬਲ ਸ਼ਾਮਲ ਹਨ।

• ਲੌਗਿੰਗ ਪਲੇਟਫਾਰਮ ਸੰਰਚਨਾ: Hive ਟੇਬਲ ਵਿੱਚ ਕੁਝ ਖੇਤਰ ਇੱਕ ਖਾਸ ਕਿਸਮ ਦੇ ਡੇਟਾ ਨਾਲ ਭਰੇ ਜਾਂਦੇ ਹਨ। ਇਸ ਡੇਟਾ ਦੀ ਵਰਤੋਂ ਅਤੇ ਪ੍ਰਸਾਰ ਸੱਚਾਈ ਦੇ ਭਰੋਸੇਯੋਗ ਸਰੋਤ ਵਜੋਂ ਕੰਮ ਕਰਦਾ ਹੈ।
• ਮੈਨੁਅਲ ਲੇਬਲਿੰਗ: ਸਿਸਟਮ ਨੂੰ ਬਣਾਈ ਰੱਖਣ ਵਾਲੇ ਡਿਵੈਲਪਰਾਂ ਦੇ ਨਾਲ-ਨਾਲ ਬਾਹਰੀ ਲੇਬਲਰਾਂ ਨੂੰ ਕਾਲਮਾਂ ਨੂੰ ਲੇਬਲ ਕਰਨ ਲਈ ਸਿਖਲਾਈ ਦਿੱਤੀ ਜਾਂਦੀ ਹੈ। ਇਹ ਆਮ ਤੌਰ 'ਤੇ ਵੇਅਰਹਾਊਸ ਵਿੱਚ ਹਰ ਕਿਸਮ ਦੇ ਡੇਟਾ ਲਈ ਵਧੀਆ ਕੰਮ ਕਰਦਾ ਹੈ, ਅਤੇ ਕੁਝ ਗੈਰ-ਸੰਗਠਿਤ ਡੇਟਾ, ਜਿਵੇਂ ਕਿ ਸੁਨੇਹਾ ਡੇਟਾ ਜਾਂ ਉਪਭੋਗਤਾ ਸਮੱਗਰੀ ਲਈ ਸੱਚਾਈ ਦਾ ਪ੍ਰਾਇਮਰੀ ਸਰੋਤ ਹੋ ਸਕਦਾ ਹੈ।
• ਪੇਰੈਂਟ ਟੇਬਲਾਂ ਦੇ ਕਾਲਮਾਂ ਨੂੰ ਕੁਝ ਖਾਸ ਡੇਟਾ ਵਾਲੇ ਵਜੋਂ ਚਿੰਨ੍ਹਿਤ ਜਾਂ ਐਨੋਟੇਟ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ, ਅਤੇ ਅਸੀਂ ਉਸ ਡੇਟਾ ਨੂੰ ਬੱਚਿਆਂ ਦੀਆਂ ਟੇਬਲਾਂ ਵਿੱਚ ਟਰੈਕ ਕਰ ਸਕਦੇ ਹਾਂ।
• ਐਗਜ਼ੀਕਿਊਸ਼ਨ ਦੇ ਥ੍ਰੈਡਸ ਨੂੰ ਪ੍ਰਾਪਤ ਕਰਨਾ: ਫੇਸਬੁੱਕ ਵਿੱਚ ਐਗਜ਼ੀਕਿਊਸ਼ਨ ਦੇ ਥ੍ਰੈਡਸ ਖਾਸ ਕਿਸਮ ਦੇ ਡੇਟਾ ਨੂੰ ਲੈ ਕੇ ਜਾਂਦੇ ਹਨ। ਸਾਡੇ ਸਕੈਨਰ ਨੂੰ ਸਰਵਿਸ ਆਰਕੀਟੈਕਚਰ ਦੇ ਤੌਰ 'ਤੇ ਵਰਤਦੇ ਹੋਏ, ਅਸੀਂ ਉਹਨਾਂ ਸਟ੍ਰੀਮਾਂ ਦਾ ਨਮੂਨਾ ਲੈ ਸਕਦੇ ਹਾਂ ਜਿਨ੍ਹਾਂ ਕੋਲ ਡਾਟਾ ਕਿਸਮਾਂ ਹਨ ਅਤੇ ਉਹਨਾਂ ਨੂੰ ਸਿਸਟਮ ਰਾਹੀਂ ਭੇਜ ਸਕਦੇ ਹਾਂ। ਸਿਸਟਮ ਇਸ ਡੇਟਾ ਨੂੰ ਸਟੋਰ ਨਾ ਕਰਨ ਦਾ ਵਾਅਦਾ ਕਰਦਾ ਹੈ।
• ਨਮੂਨਾ ਟੇਬਲ: ਵੱਡੇ ਹਾਈਵ ਟੇਬਲ, ਜੋ ਕਿ ਪੂਰੇ ਡੇਟਾ ਕਾਰਪਸ ਨੂੰ ਰੱਖਣ ਲਈ ਜਾਣੀਆਂ ਜਾਂਦੀਆਂ ਹਨ, ਨੂੰ ਸਿਖਲਾਈ ਡੇਟਾ ਵਜੋਂ ਵੀ ਵਰਤਿਆ ਜਾ ਸਕਦਾ ਹੈ ਅਤੇ ਇੱਕ ਸੇਵਾ ਵਜੋਂ ਸਕੈਨਰ ਰਾਹੀਂ ਪਾਸ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ। ਇਹ ਡਾਟਾ ਕਿਸਮਾਂ ਦੀ ਪੂਰੀ ਰੇਂਜ ਵਾਲੀਆਂ ਟੇਬਲਾਂ ਲਈ ਬਹੁਤ ਵਧੀਆ ਹੈ, ਤਾਂ ਜੋ ਬੇਤਰਤੀਬੇ ਤੌਰ 'ਤੇ ਕਾਲਮ ਦਾ ਨਮੂਨਾ ਲੈਣਾ ਉਸ ਡੇਟਾ ਕਿਸਮ ਦੇ ਪੂਰੇ ਸਮੂਹ ਦਾ ਨਮੂਨਾ ਲੈਣ ਦੇ ਬਰਾਬਰ ਹੈ।
• ਸਿੰਥੈਟਿਕ ਡਾਟਾ: ਅਸੀਂ ਲਾਇਬ੍ਰੇਰੀਆਂ ਦੀ ਵਰਤੋਂ ਵੀ ਕਰ ਸਕਦੇ ਹਾਂ ਜੋ ਫਲਾਈ 'ਤੇ ਡਾਟਾ ਤਿਆਰ ਕਰਦੀਆਂ ਹਨ। ਇਹ ਸਧਾਰਨ, ਜਨਤਕ ਡੇਟਾ ਕਿਸਮਾਂ ਜਿਵੇਂ ਕਿ ਪਤਾ ਜਾਂ GPS ਲਈ ਵਧੀਆ ਕੰਮ ਕਰਦਾ ਹੈ।
• ਡੇਟਾ ਸਟੀਵਰਡਸ: ਗੋਪਨੀਯਤਾ ਪ੍ਰੋਗਰਾਮ ਆਮ ਤੌਰ 'ਤੇ ਡੇਟਾ ਦੇ ਟੁਕੜਿਆਂ ਨੂੰ ਨੀਤੀਆਂ ਨੂੰ ਹੱਥੀਂ ਨਿਰਧਾਰਤ ਕਰਨ ਲਈ ਡੇਟਾ ਪ੍ਰਬੰਧਕਾਂ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹਨ। ਇਹ ਸੱਚਾਈ ਦੇ ਬਹੁਤ ਹੀ ਸਹੀ ਸਰੋਤ ਵਜੋਂ ਕੰਮ ਕਰਦਾ ਹੈ।

ਅਸੀਂ ਸੱਚਾਈ ਦੇ ਹਰ ਵੱਡੇ ਸਰੋਤ ਨੂੰ ਉਸ ਸਾਰੇ ਡੇਟਾ ਦੇ ਨਾਲ ਇੱਕ ਕਾਰਪਸ ਵਿੱਚ ਜੋੜਦੇ ਹਾਂ। ਵੈਧਤਾ ਦੇ ਨਾਲ ਸਭ ਤੋਂ ਵੱਡੀ ਚੁਣੌਤੀ ਇਹ ਯਕੀਨੀ ਬਣਾਉਣਾ ਹੈ ਕਿ ਇਹ ਡੇਟਾ ਵੇਅਰਹਾਊਸ ਦਾ ਪ੍ਰਤੀਨਿਧ ਹੈ. ਨਹੀਂ ਤਾਂ, ਵਰਗੀਕਰਨ ਇੰਜਣ ਓਵਰਟ੍ਰੇਨ ਹੋ ਸਕਦੇ ਹਨ। ਇਸਦਾ ਮੁਕਾਬਲਾ ਕਰਨ ਲਈ, ਉਪਰੋਕਤ ਸਾਰੇ ਸਰੋਤਾਂ ਨੂੰ ਸਿਖਲਾਈ ਦੇ ਮਾਡਲਾਂ ਜਾਂ ਮੈਟ੍ਰਿਕਸ ਦੀ ਗਣਨਾ ਕਰਨ ਵੇਲੇ ਸੰਤੁਲਨ ਨੂੰ ਯਕੀਨੀ ਬਣਾਉਣ ਲਈ ਵਰਤਿਆ ਜਾਂਦਾ ਹੈ। ਇਸ ਤੋਂ ਇਲਾਵਾ, ਮਨੁੱਖੀ ਲੇਬਲਰ ਰਿਪੋਜ਼ਟਰੀ ਵਿੱਚ ਵੱਖ-ਵੱਖ ਕਾਲਮਾਂ ਦਾ ਸਮਾਨ ਰੂਪ ਵਿੱਚ ਨਮੂਨਾ ਲੈਂਦੇ ਹਨ ਅਤੇ ਉਸ ਅਨੁਸਾਰ ਡੇਟਾ ਨੂੰ ਲੇਬਲ ਕਰਦੇ ਹਨ ਤਾਂ ਜੋ ਜ਼ਮੀਨੀ ਸੱਚਾਈ ਦਾ ਸੰਗ੍ਰਹਿ ਨਿਰਪੱਖ ਰਹੇ।

ਨਿਰੰਤਰ ਏਕੀਕਰਣ

ਤੇਜ਼ ਦੁਹਰਾਓ ਅਤੇ ਸੁਧਾਰ ਨੂੰ ਯਕੀਨੀ ਬਣਾਉਣ ਲਈ, ਸਿਸਟਮ ਦੀ ਕਾਰਗੁਜ਼ਾਰੀ ਨੂੰ ਅਸਲ ਸਮੇਂ ਵਿੱਚ ਮਾਪਣਾ ਮਹੱਤਵਪੂਰਨ ਹੈ। ਅਸੀਂ ਅੱਜ ਸਿਸਟਮ ਦੇ ਵਿਰੁੱਧ ਹਰੇਕ ਵਰਗੀਕਰਣ ਸੁਧਾਰ ਨੂੰ ਮਾਪ ਸਕਦੇ ਹਾਂ, ਇਸਲਈ ਅਸੀਂ ਡੇਟਾ ਦੇ ਅਧਾਰ 'ਤੇ ਭਵਿੱਖ ਦੇ ਸੁਧਾਰਾਂ ਦੀ ਰਣਨੀਤੀ ਨਾਲ ਮਾਰਗਦਰਸ਼ਨ ਕਰ ਸਕਦੇ ਹਾਂ। ਇੱਥੇ ਅਸੀਂ ਦੇਖਦੇ ਹਾਂ ਕਿ ਸਿਸਟਮ ਫੀਡਬੈਕ ਲੂਪ ਨੂੰ ਕਿਵੇਂ ਪੂਰਾ ਕਰਦਾ ਹੈ ਜੋ ਵੈਧ ਡੇਟਾ ਦੁਆਰਾ ਪ੍ਰਦਾਨ ਕੀਤਾ ਜਾਂਦਾ ਹੈ।

ਜਦੋਂ ਸਮਾਂ-ਸਾਰਣੀ ਪ੍ਰਣਾਲੀ ਇੱਕ ਅਜਿਹੀ ਸੰਪੱਤੀ ਦਾ ਸਾਹਮਣਾ ਕਰਦੀ ਹੈ ਜਿਸਦਾ ਇੱਕ ਭਰੋਸੇਯੋਗ ਸਰੋਤ ਤੋਂ ਲੇਬਲ ਹੁੰਦਾ ਹੈ, ਤਾਂ ਅਸੀਂ ਦੋ ਕਾਰਜ ਨਿਯਤ ਕਰਦੇ ਹਾਂ। ਪਹਿਲਾਂ ਸਾਡੇ ਉਤਪਾਦਨ ਸਕੈਨਰ ਅਤੇ ਇਸ ਤਰ੍ਹਾਂ ਸਾਡੀ ਉਤਪਾਦਨ ਸਮਰੱਥਾਵਾਂ ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ। ਦੂਜਾ ਕੰਮ ਨਵੀਨਤਮ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਦੇ ਨਾਲ ਨਵੀਨਤਮ ਬਿਲਡ ਸਕੈਨਰ ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ। ਹਰੇਕ ਕੰਮ ਆਪਣੀ ਸਾਰਣੀ ਵਿੱਚ ਆਪਣਾ ਆਉਟਪੁੱਟ ਲਿਖਦਾ ਹੈ, ਵਰਗੀਕਰਨ ਦੇ ਨਤੀਜਿਆਂ ਦੇ ਨਾਲ ਵਰਜਨਾਂ ਨੂੰ ਟੈਗ ਕਰਦਾ ਹੈ।

ਇਸ ਤਰ੍ਹਾਂ ਅਸੀਂ ਰੀਲੀਜ਼ ਉਮੀਦਵਾਰ ਦੇ ਵਰਗੀਕਰਨ ਨਤੀਜਿਆਂ ਅਤੇ ਰੀਅਲ ਟਾਈਮ ਵਿੱਚ ਉਤਪਾਦਨ ਮਾਡਲ ਦੀ ਤੁਲਨਾ ਕਰਦੇ ਹਾਂ।

ਜਦੋਂ ਕਿ ਡੇਟਾਸੇਟਸ RC ਅਤੇ PROD ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਦੀ ਤੁਲਨਾ ਕਰਦੇ ਹਨ, ਪੂਰਵ-ਅਨੁਮਾਨ ਸੇਵਾ ਦੇ ML ਵਰਗੀਕਰਨ ਇੰਜਣ ਦੀਆਂ ਬਹੁਤ ਸਾਰੀਆਂ ਭਿੰਨਤਾਵਾਂ ਲੌਗ ਕੀਤੀਆਂ ਜਾਂਦੀਆਂ ਹਨ। ਸਭ ਤੋਂ ਹਾਲ ਹੀ ਵਿੱਚ ਬਣਾਇਆ ਗਿਆ ਮਸ਼ੀਨ ਸਿਖਲਾਈ ਮਾਡਲ, ਉਤਪਾਦਨ ਵਿੱਚ ਮੌਜੂਦਾ ਮਾਡਲ, ਅਤੇ ਕੋਈ ਵੀ ਪ੍ਰਯੋਗਾਤਮਕ ਮਾਡਲ। ਇਹੀ ਪਹੁੰਚ ਸਾਨੂੰ ਮਾਡਲ ਦੇ ਵੱਖ-ਵੱਖ ਸੰਸਕਰਣਾਂ (ਸਾਡੇ ਨਿਯਮ ਵਰਗੀਕਰਣ ਲਈ ਅਗਿਆਨੀ) ਅਤੇ ਰੀਅਲ ਟਾਈਮ ਵਿੱਚ ਮੈਟ੍ਰਿਕਸ ਦੀ ਤੁਲਨਾ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦੀ ਹੈ। ਇਹ ਇਹ ਨਿਰਧਾਰਤ ਕਰਨਾ ਆਸਾਨ ਬਣਾਉਂਦਾ ਹੈ ਕਿ ਇੱਕ ML ਪ੍ਰਯੋਗ ਕਦੋਂ ਉਤਪਾਦਨ ਵਿੱਚ ਜਾਣ ਲਈ ਤਿਆਰ ਹੈ।

ਹਰ ਰਾਤ, ਉਸ ਦਿਨ ਲਈ ਗਿਣੀਆਂ ਗਈਆਂ RC ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ML ਸਿਖਲਾਈ ਪਾਈਪਲਾਈਨ ਨੂੰ ਭੇਜੀਆਂ ਜਾਂਦੀਆਂ ਹਨ, ਜਿੱਥੇ ਮਾਡਲ ਨੂੰ ਨਵੀਨਤਮ RC ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ 'ਤੇ ਸਿਖਲਾਈ ਦਿੱਤੀ ਜਾਂਦੀ ਹੈ ਅਤੇ ਜ਼ਮੀਨੀ ਸੱਚ ਡੇਟਾਸੈਟ ਦੇ ਵਿਰੁੱਧ ਇਸਦੀ ਕਾਰਗੁਜ਼ਾਰੀ ਦਾ ਮੁਲਾਂਕਣ ਕੀਤਾ ਜਾਂਦਾ ਹੈ।

ਹਰ ਸਵੇਰ, ਮਾਡਲ ਸਿਖਲਾਈ ਨੂੰ ਪੂਰਾ ਕਰਦਾ ਹੈ ਅਤੇ ਆਪਣੇ ਆਪ ਹੀ ਇੱਕ ਪ੍ਰਯੋਗਾਤਮਕ ਮਾਡਲ ਵਜੋਂ ਪ੍ਰਕਾਸ਼ਿਤ ਹੁੰਦਾ ਹੈ। ਇਹ ਪ੍ਰਯੋਗਾਤਮਕ ਸੂਚੀ ਵਿੱਚ ਆਪਣੇ ਆਪ ਹੀ ਸ਼ਾਮਲ ਹੋ ਜਾਂਦਾ ਹੈ।

ਕੁਝ ਨਤੀਜੇ

100 ਤੋਂ ਵੱਧ ਵੱਖ-ਵੱਖ ਕਿਸਮਾਂ ਦੇ ਡੇਟਾ ਨੂੰ ਉੱਚ ਸ਼ੁੱਧਤਾ ਨਾਲ ਲੇਬਲ ਕੀਤਾ ਗਿਆ ਹੈ। ਚੰਗੀ ਤਰ੍ਹਾਂ ਬਣਤਰ ਵਾਲੀਆਂ ਕਿਸਮਾਂ ਜਿਵੇਂ ਕਿ ਈਮੇਲਾਂ ਅਤੇ ਫ਼ੋਨ ਨੰਬਰਾਂ ਨੂੰ 2 ਤੋਂ ਵੱਧ f0,95 ਸਕੋਰ ਨਾਲ ਸ਼੍ਰੇਣੀਬੱਧ ਕੀਤਾ ਗਿਆ ਹੈ। ਮੁਫਤ ਡਾਟਾ ਕਿਸਮਾਂ ਜਿਵੇਂ ਕਿ ਉਪਭੋਗਤਾ ਦੁਆਰਾ ਤਿਆਰ ਸਮੱਗਰੀ ਅਤੇ ਨਾਮ ਵੀ ਬਹੁਤ ਵਧੀਆ ਪ੍ਰਦਰਸ਼ਨ ਕਰਦੇ ਹਨ, F2 ਸਕੋਰ 0,85 ਤੋਂ ਵੱਧ ਹਨ।

ਸਥਾਈ ਅਤੇ ਅਸਥਿਰ ਡੇਟਾ ਦੇ ਵਿਅਕਤੀਗਤ ਕਾਲਮਾਂ ਦੀ ਇੱਕ ਵੱਡੀ ਗਿਣਤੀ ਨੂੰ ਰੋਜ਼ਾਨਾ ਸਾਰੀਆਂ ਰਿਪੋਜ਼ਟਰੀਆਂ ਵਿੱਚ ਸ਼੍ਰੇਣੀਬੱਧ ਕੀਤਾ ਜਾਂਦਾ ਹੈ। 500 ਤੋਂ ਵੱਧ ਡਾਟਾ ਵੇਅਰਹਾਊਸਾਂ ਵਿੱਚ ਰੋਜ਼ਾਨਾ 10 ਤੋਂ ਵੱਧ ਟੈਰਾਬਾਈਟ ਸਕੈਨ ਕੀਤੇ ਜਾਂਦੇ ਹਨ। ਇਹਨਾਂ ਵਿੱਚੋਂ ਜ਼ਿਆਦਾਤਰ ਰਿਪੋਜ਼ਟਰੀਆਂ ਵਿੱਚ 98% ਤੋਂ ਵੱਧ ਕਵਰੇਜ ਹੈ।

ਸਮੇਂ ਦੇ ਨਾਲ, ਵਰਗੀਕਰਨ ਬਹੁਤ ਕੁਸ਼ਲ ਹੋ ਗਿਆ ਹੈ, ਇੱਕ ਨਿਰੰਤਰ ਔਫਲਾਈਨ ਸਟ੍ਰੀਮ ਵਿੱਚ ਵਰਗੀਕਰਨ ਦੀਆਂ ਨੌਕਰੀਆਂ ਨੂੰ ਹਰੇਕ ਕਾਲਮ ਲਈ ਪੂਰਵ-ਅਨੁਮਾਨਾਂ ਦੀ ਗਣਨਾ ਕਰਨ ਲਈ ਕਿਸੇ ਸੰਪਤੀ ਨੂੰ ਸਕੈਨ ਕਰਨ ਤੋਂ ਔਸਤਨ 35 ਸਕਿੰਟ ਦਾ ਸਮਾਂ ਲੱਗਦਾ ਹੈ।

ਚੌਲ. 2. ਆਰਸੀ ਆਬਜੈਕਟ ਕਿਵੇਂ ਤਿਆਰ ਕੀਤੇ ਜਾਂਦੇ ਹਨ ਅਤੇ ਮਾਡਲ ਨੂੰ ਭੇਜੇ ਜਾਂਦੇ ਹਨ, ਇਹ ਸਮਝਣ ਲਈ ਨਿਰੰਤਰ ਏਕੀਕਰਣ ਪ੍ਰਵਾਹ ਦਾ ਵਰਣਨ ਕਰਨ ਵਾਲਾ ਚਿੱਤਰ।

ਚਿੱਤਰ 3. ਮਸ਼ੀਨ ਲਰਨਿੰਗ ਕੰਪੋਨੈਂਟ ਦਾ ਉੱਚ-ਪੱਧਰੀ ਚਿੱਤਰ।

ਮਸ਼ੀਨ ਲਰਨਿੰਗ ਸਿਸਟਮ ਕੰਪੋਨੈਂਟ

ਪਿਛਲੇ ਭਾਗ ਵਿੱਚ, ਅਸੀਂ ਸਮੁੱਚੇ ਸਿਸਟਮ ਆਰਕੀਟੈਕਚਰ, ਹਾਈਲਾਈਟਿੰਗ ਸਕੇਲ, ਓਪਟੀਮਾਈਜੇਸ਼ਨ, ਅਤੇ ਔਫਲਾਈਨ ਅਤੇ ਔਨਲਾਈਨ ਡੇਟਾ ਪ੍ਰਵਾਹ ਵਿੱਚ ਡੂੰਘੀ ਡੁਬਕੀ ਲਈ। ਇਸ ਭਾਗ ਵਿੱਚ, ਅਸੀਂ ਪੂਰਵ ਅਨੁਮਾਨ ਸੇਵਾ ਨੂੰ ਵੇਖਾਂਗੇ ਅਤੇ ਮਸ਼ੀਨ ਸਿਖਲਾਈ ਪ੍ਰਣਾਲੀ ਦਾ ਵਰਣਨ ਕਰਾਂਗੇ ਜੋ ਪੂਰਵ ਅਨੁਮਾਨ ਸੇਵਾ ਨੂੰ ਸ਼ਕਤੀ ਪ੍ਰਦਾਨ ਕਰਦੀ ਹੈ।

100 ਤੋਂ ਵੱਧ ਡਾਟਾ ਕਿਸਮਾਂ ਅਤੇ ਕੁਝ ਗੈਰ-ਸੰਗਠਿਤ ਸਮਗਰੀ ਜਿਵੇਂ ਕਿ ਸੁਨੇਹਾ ਡੇਟਾ ਅਤੇ ਉਪਭੋਗਤਾ ਸਮੱਗਰੀ ਦੇ ਨਾਲ, ਪੂਰੀ ਤਰ੍ਹਾਂ ਮੈਨੂਅਲ ਹੇਰਿਸਟਿਕਸ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ ਸਬਪੈਰਾਮੈਟ੍ਰਿਕ ਵਰਗੀਕਰਣ ਸ਼ੁੱਧਤਾ ਵਿੱਚ ਨਤੀਜਾ ਹੁੰਦਾ ਹੈ, ਖਾਸ ਤੌਰ 'ਤੇ ਗੈਰ-ਸੰਗਠਿਤ ਡੇਟਾ ਲਈ। ਇਸ ਕਾਰਨ ਕਰਕੇ, ਅਸੀਂ ਗੈਰ-ਸੰਗਠਿਤ ਡੇਟਾ ਦੀਆਂ ਗੁੰਝਲਾਂ ਨਾਲ ਨਜਿੱਠਣ ਲਈ ਇੱਕ ਮਸ਼ੀਨ ਸਿਖਲਾਈ ਪ੍ਰਣਾਲੀ ਵੀ ਵਿਕਸਤ ਕੀਤੀ ਹੈ। ਮਸ਼ੀਨ ਲਰਨਿੰਗ ਦੀ ਵਰਤੋਂ ਕਰਨ ਨਾਲ ਤੁਸੀਂ ਮੈਨੂਅਲ ਹਿਉਰਿਸਟਿਕਸ ਤੋਂ ਦੂਰ ਜਾਣਾ ਸ਼ੁਰੂ ਕਰ ਸਕਦੇ ਹੋ ਅਤੇ ਸ਼ੁੱਧਤਾ ਨੂੰ ਬਿਹਤਰ ਬਣਾਉਣ ਲਈ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਅਤੇ ਵਾਧੂ ਡੇਟਾ ਸਿਗਨਲਾਂ (ਉਦਾਹਰਨ ਲਈ, ਕਾਲਮ ਨਾਮ, ਡੇਟਾ ਮੂਲ) ਨਾਲ ਕੰਮ ਕਰ ਸਕਦੇ ਹੋ।

ਲਾਗੂ ਕੀਤਾ ਮਾਡਲ ਵੈਕਟਰ ਪ੍ਰਸਤੁਤੀਆਂ [3] ਦਾ ਅਧਿਐਨ ਸੰਘਣੀ ਅਤੇ ਸਪਾਰਸ ਵਸਤੂਆਂ ਉੱਤੇ ਵੱਖਰੇ ਤੌਰ 'ਤੇ ਕਰਦਾ ਹੈ। ਇਹਨਾਂ ਨੂੰ ਫਿਰ ਇੱਕ ਵੈਕਟਰ ਬਣਾਉਣ ਲਈ ਜੋੜਿਆ ਜਾਂਦਾ ਹੈ, ਜੋ ਅੰਤਮ ਨਤੀਜਾ ਪੈਦਾ ਕਰਨ ਲਈ ਬੈਚ ਸਧਾਰਣਕਰਨ [4] ਅਤੇ ਗੈਰ-ਰੇਖਿਕਤਾ ਕਦਮਾਂ ਦੀ ਇੱਕ ਲੜੀ ਵਿੱਚੋਂ ਲੰਘਦਾ ਹੈ। ਅੰਤਮ ਨਤੀਜਾ ਹਰੇਕ ਲੇਬਲ ਲਈ [0-1] ਦੇ ਵਿਚਕਾਰ ਇੱਕ ਫਲੋਟਿੰਗ ਪੁਆਇੰਟ ਨੰਬਰ ਹੈ, ਜੋ ਕਿ ਸੰਭਾਵਨਾ ਨੂੰ ਦਰਸਾਉਂਦਾ ਹੈ ਕਿ ਉਦਾਹਰਨ ਉਸ ਸੰਵੇਦਨਸ਼ੀਲਤਾ ਕਿਸਮ ਨਾਲ ਸਬੰਧਤ ਹੈ। ਮਾਡਲ ਲਈ PyTorch ਦੀ ਵਰਤੋਂ ਕਰਨ ਨਾਲ ਸਾਨੂੰ ਤੇਜ਼ੀ ਨਾਲ ਅੱਗੇ ਵਧਣ ਦੀ ਇਜਾਜ਼ਤ ਦਿੱਤੀ ਗਈ, ਜਿਸ ਨਾਲ ਟੀਮ ਤੋਂ ਬਾਹਰਲੇ ਡਿਵੈਲਪਰਾਂ ਨੂੰ ਤੇਜ਼ੀ ਨਾਲ ਬਦਲਾਅ ਕਰਨ ਅਤੇ ਜਾਂਚ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੱਤੀ ਗਈ।

ਆਰਕੀਟੈਕਚਰ ਨੂੰ ਡਿਜ਼ਾਈਨ ਕਰਦੇ ਸਮੇਂ, ਸਪਾਰਸ (ਉਦਾਹਰਨ ਲਈ ਟੈਕਸਟ) ਅਤੇ ਸੰਘਣੀ (ਜਿਵੇਂ ਸੰਖਿਆਤਮਕ) ਵਸਤੂਆਂ ਨੂੰ ਉਹਨਾਂ ਦੇ ਅੰਦਰੂਨੀ ਅੰਤਰਾਂ ਦੇ ਕਾਰਨ ਵੱਖਰੇ ਤੌਰ 'ਤੇ ਮਾਡਲ ਕਰਨਾ ਮਹੱਤਵਪੂਰਨ ਸੀ। ਫਾਈਨਲ ਆਰਕੀਟੈਕਚਰ ਲਈ, ਸਿੱਖਣ ਦੀ ਦਰ, ਬੈਚ ਆਕਾਰ, ਅਤੇ ਹੋਰ ਹਾਈਪਰਪੈਰਾਮੀਟਰਾਂ ਲਈ ਅਨੁਕੂਲ ਮੁੱਲ ਲੱਭਣ ਲਈ ਪੈਰਾਮੀਟਰ ਸਵੀਪ ਕਰਨਾ ਵੀ ਮਹੱਤਵਪੂਰਨ ਸੀ। ਆਪਟੀਮਾਈਜ਼ਰ ਦੀ ਚੋਣ ਵੀ ਇੱਕ ਮਹੱਤਵਪੂਰਨ ਹਾਈਪਰਪੈਰਾਮੀਟਰ ਸੀ। ਅਸੀਂ ਪਾਇਆ ਹੈ ਕਿ ਇੱਕ ਪ੍ਰਸਿੱਧ ਆਪਟੀਮਾਈਜ਼ਰ ਆਦਮਅਕਸਰ ਓਵਰਫਿਟਿੰਗ ਵੱਲ ਖੜਦਾ ਹੈ, ਜਦੋਂ ਕਿ ਨਾਲ ਇੱਕ ਮਾਡਲ ਠੱਗੀ ਹੋਰ ਸਥਿਰ. ਇੱਥੇ ਵਾਧੂ ਸੂਖਮਤਾਵਾਂ ਸਨ ਜੋ ਸਾਨੂੰ ਸਿੱਧੇ ਮਾਡਲ ਵਿੱਚ ਸ਼ਾਮਲ ਕਰਨੀਆਂ ਸਨ। ਉਦਾਹਰਨ ਲਈ, ਸਥਿਰ ਨਿਯਮ ਜੋ ਇਹ ਯਕੀਨੀ ਬਣਾਉਂਦੇ ਹਨ ਕਿ ਮਾਡਲ ਇੱਕ ਨਿਰਣਾਇਕ ਪੂਰਵ-ਅਨੁਮਾਨ ਬਣਾਉਂਦਾ ਹੈ ਜਦੋਂ ਇੱਕ ਵਿਸ਼ੇਸ਼ਤਾ ਦਾ ਕੋਈ ਖਾਸ ਮੁੱਲ ਹੁੰਦਾ ਹੈ। ਇਹ ਸਥਿਰ ਨਿਯਮ ਸਾਡੇ ਗਾਹਕਾਂ ਦੁਆਰਾ ਪਰਿਭਾਸ਼ਿਤ ਕੀਤੇ ਗਏ ਹਨ। ਅਸੀਂ ਪਾਇਆ ਕਿ ਇਹਨਾਂ ਨੂੰ ਸਿੱਧੇ ਮਾਡਲ ਵਿੱਚ ਸ਼ਾਮਲ ਕਰਨ ਦੇ ਨਤੀਜੇ ਵਜੋਂ ਇਹਨਾਂ ਵਿਸ਼ੇਸ਼ ਕਿਨਾਰਿਆਂ ਦੇ ਕੇਸਾਂ ਨੂੰ ਸੰਭਾਲਣ ਲਈ ਇੱਕ ਪੋਸਟ-ਪ੍ਰੋਸੈਸਿੰਗ ਕਦਮ ਨੂੰ ਲਾਗੂ ਕਰਨ ਦੇ ਉਲਟ, ਇੱਕ ਵਧੇਰੇ ਸਵੈ-ਨਿਰਭਰ ਅਤੇ ਮਜ਼ਬੂਤ ​​ਆਰਕੀਟੈਕਚਰ ਵਿੱਚ ਨਤੀਜਾ ਨਿਕਲਿਆ। ਇਹ ਵੀ ਨੋਟ ਕਰੋ ਕਿ ਇਹ ਨਿਯਮ ਸਿਖਲਾਈ ਦੌਰਾਨ ਅਸਮਰੱਥ ਹੁੰਦੇ ਹਨ ਤਾਂ ਜੋ ਗਰੇਡੀਐਂਟ ਉਤਰਨ ਸਿਖਲਾਈ ਪ੍ਰਕਿਰਿਆ ਵਿੱਚ ਦਖਲ ਨਾ ਪਵੇ।

ਸਮੱਸਿਆਵਾਂ

ਚੁਣੌਤੀਆਂ ਵਿੱਚੋਂ ਇੱਕ ਉੱਚ-ਗੁਣਵੱਤਾ, ਭਰੋਸੇਮੰਦ ਡੇਟਾ ਇਕੱਠਾ ਕਰਨਾ ਸੀ। ਮਾਡਲ ਨੂੰ ਹਰੇਕ ਕਲਾਸ ਲਈ ਵਿਸ਼ਵਾਸ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ ਤਾਂ ਜੋ ਇਹ ਵਸਤੂਆਂ ਅਤੇ ਲੇਬਲਾਂ ਵਿਚਕਾਰ ਸਬੰਧਾਂ ਨੂੰ ਸਿੱਖ ਸਕੇ। ਪਿਛਲੇ ਭਾਗ ਵਿੱਚ, ਅਸੀਂ ਸਿਸਟਮ ਮਾਪ ਅਤੇ ਮਾਡਲ ਸਿਖਲਾਈ ਦੋਵਾਂ ਲਈ ਡੇਟਾ ਇਕੱਤਰ ਕਰਨ ਦੇ ਤਰੀਕਿਆਂ ਬਾਰੇ ਚਰਚਾ ਕੀਤੀ ਸੀ। ਵਿਸ਼ਲੇਸ਼ਣ ਨੇ ਦਿਖਾਇਆ ਕਿ ਸਾਡੇ ਗੋਦਾਮ ਵਿੱਚ ਕ੍ਰੈਡਿਟ ਕਾਰਡ ਅਤੇ ਬੈਂਕ ਖਾਤਾ ਨੰਬਰ ਵਰਗੀਆਂ ਡੇਟਾ ਕਲਾਸਾਂ ਬਹੁਤ ਆਮ ਨਹੀਂ ਹਨ। ਇਹ ਮਾਡਲਾਂ ਨੂੰ ਸਿਖਲਾਈ ਦੇਣ ਲਈ ਭਰੋਸੇਮੰਦ ਡੇਟਾ ਦੀ ਵੱਡੀ ਮਾਤਰਾ ਨੂੰ ਇਕੱਠਾ ਕਰਨਾ ਮੁਸ਼ਕਲ ਬਣਾਉਂਦਾ ਹੈ। ਇਸ ਮੁੱਦੇ ਨੂੰ ਹੱਲ ਕਰਨ ਲਈ, ਅਸੀਂ ਇਹਨਾਂ ਕਲਾਸਾਂ ਲਈ ਸਿੰਥੈਟਿਕ ਜ਼ਮੀਨੀ ਸੱਚ ਡਾਟਾ ਪ੍ਰਾਪਤ ਕਰਨ ਲਈ ਪ੍ਰਕਿਰਿਆਵਾਂ ਵਿਕਸਿਤ ਕੀਤੀਆਂ ਹਨ। ਅਸੀਂ ਸੰਵੇਦਨਸ਼ੀਲ ਕਿਸਮਾਂ ਲਈ ਅਜਿਹਾ ਡੇਟਾ ਤਿਆਰ ਕਰਦੇ ਹਾਂ ਜਿਸ ਵਿੱਚ ਸ਼ਾਮਲ ਹਨ ਐੱਸ.ਐੱਸ.ਐੱਨ, ਕ੍ਰੈਡਿਟ ਕਾਰਡ ਨੰਬਰ и IBAN-ਨੰਬਰ ਜਿਨ੍ਹਾਂ ਲਈ ਮਾਡਲ ਪਹਿਲਾਂ ਭਵਿੱਖਬਾਣੀ ਨਹੀਂ ਕਰ ਸਕਦਾ ਸੀ। ਇਹ ਪਹੁੰਚ ਸੰਵੇਦਨਸ਼ੀਲ ਡੇਟਾ ਕਿਸਮਾਂ ਨੂੰ ਅਸਲ ਸੰਵੇਦਨਸ਼ੀਲ ਡੇਟਾ ਨੂੰ ਲੁਕਾਉਣ ਨਾਲ ਜੁੜੇ ਗੋਪਨੀਯਤਾ ਜੋਖਮਾਂ ਤੋਂ ਬਿਨਾਂ ਪ੍ਰਕਿਰਿਆ ਕਰਨ ਦੀ ਆਗਿਆ ਦਿੰਦੀ ਹੈ।

ਜ਼ਮੀਨੀ ਸੱਚਾਈ ਦੇ ਮੁੱਦਿਆਂ ਤੋਂ ਇਲਾਵਾ, ਓਪਨ ਆਰਕੀਟੈਕਚਰਲ ਮੁੱਦੇ ਹਨ ਜਿਨ੍ਹਾਂ 'ਤੇ ਅਸੀਂ ਕੰਮ ਕਰ ਰਹੇ ਹਾਂ, ਜਿਵੇਂ ਕਿ ਇਕੱਲਤਾ ਨੂੰ ਬਦਲੋ и ਛੇਤੀ ਸਟਾਪ. ਤਬਦੀਲੀ ਆਈਸੋਲੇਸ਼ਨ ਇਹ ਯਕੀਨੀ ਬਣਾਉਣ ਲਈ ਮਹੱਤਵਪੂਰਨ ਹੈ ਕਿ ਜਦੋਂ ਨੈੱਟਵਰਕ ਦੇ ਵੱਖ-ਵੱਖ ਹਿੱਸਿਆਂ ਵਿੱਚ ਵੱਖ-ਵੱਖ ਤਬਦੀਲੀਆਂ ਕੀਤੀਆਂ ਜਾਂਦੀਆਂ ਹਨ, ਤਾਂ ਪ੍ਰਭਾਵ ਨੂੰ ਖਾਸ ਵਰਗਾਂ ਲਈ ਅਲੱਗ ਕੀਤਾ ਜਾਂਦਾ ਹੈ ਅਤੇ ਸਮੁੱਚੀ ਪੂਰਵ ਅਨੁਮਾਨ ਪ੍ਰਦਰਸ਼ਨ 'ਤੇ ਵਿਆਪਕ ਪ੍ਰਭਾਵ ਨਹੀਂ ਪੈਂਦਾ ਹੈ। ਜਲਦੀ ਰੋਕਣ ਦੇ ਮਾਪਦੰਡ ਨੂੰ ਸੁਧਾਰਨਾ ਵੀ ਮਹੱਤਵਪੂਰਨ ਹੈ ਤਾਂ ਜੋ ਅਸੀਂ ਸਿਖਲਾਈ ਪ੍ਰਕਿਰਿਆ ਨੂੰ ਸਾਰੀਆਂ ਕਲਾਸਾਂ ਲਈ ਇੱਕ ਸਥਿਰ ਬਿੰਦੂ 'ਤੇ ਰੋਕ ਸਕੀਏ, ਨਾ ਕਿ ਅਜਿਹੇ ਬਿੰਦੂ 'ਤੇ ਜਿੱਥੇ ਕੁਝ ਕਲਾਸਾਂ ਓਵਰਟ੍ਰੇਨ ਕਰਦੀਆਂ ਹਨ ਅਤੇ ਹੋਰ ਨਹੀਂ ਕਰਦੀਆਂ।

ਵਿਸ਼ੇਸ਼ਤਾ ਦੀ ਮਹੱਤਤਾ

ਜਦੋਂ ਇੱਕ ਮਾਡਲ ਵਿੱਚ ਇੱਕ ਨਵੀਂ ਵਿਸ਼ੇਸ਼ਤਾ ਪੇਸ਼ ਕੀਤੀ ਜਾਂਦੀ ਹੈ, ਤਾਂ ਅਸੀਂ ਮਾਡਲ 'ਤੇ ਇਸਦੇ ਸਮੁੱਚੇ ਪ੍ਰਭਾਵ ਨੂੰ ਜਾਣਨਾ ਚਾਹੁੰਦੇ ਹਾਂ। ਅਸੀਂ ਇਹ ਵੀ ਯਕੀਨੀ ਬਣਾਉਣਾ ਚਾਹੁੰਦੇ ਹਾਂ ਕਿ ਭਵਿੱਖਬਾਣੀਆਂ ਮਨੁੱਖੀ ਵਿਆਖਿਆਯੋਗ ਹਨ ਤਾਂ ਜੋ ਅਸੀਂ ਇਹ ਸਮਝ ਸਕੀਏ ਕਿ ਹਰੇਕ ਕਿਸਮ ਦੇ ਡੇਟਾ ਲਈ ਕਿਹੜੀਆਂ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਵਰਤੀਆਂ ਜਾ ਰਹੀਆਂ ਹਨ। ਇਸ ਉਦੇਸ਼ ਲਈ ਅਸੀਂ ਵਿਕਸਤ ਅਤੇ ਪੇਸ਼ ਕੀਤਾ ਹੈ ਕਲਾਸ ਦੁਆਰਾ PyTorch ਮਾਡਲ ਲਈ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਦੀ ਮਹੱਤਤਾ। ਨੋਟ ਕਰੋ ਕਿ ਇਹ ਸਮੁੱਚੀ ਵਿਸ਼ੇਸ਼ਤਾ ਮਹੱਤਤਾ ਤੋਂ ਵੱਖਰਾ ਹੈ, ਜੋ ਕਿ ਆਮ ਤੌਰ 'ਤੇ ਸਮਰਥਿਤ ਹੁੰਦਾ ਹੈ, ਕਿਉਂਕਿ ਇਹ ਸਾਨੂੰ ਇਹ ਨਹੀਂ ਦੱਸਦਾ ਹੈ ਕਿ ਕਿਸੇ ਵਿਸ਼ੇਸ਼ ਸ਼੍ਰੇਣੀ ਲਈ ਕਿਹੜੀਆਂ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਮਹੱਤਵਪੂਰਨ ਹਨ। ਅਸੀਂ ਵਸਤੂ ਨੂੰ ਮੁੜ ਵਿਵਸਥਿਤ ਕਰਨ ਤੋਂ ਬਾਅਦ ਭਵਿੱਖਬਾਣੀ ਗਲਤੀ ਵਿੱਚ ਵਾਧੇ ਦੀ ਗਣਨਾ ਕਰਕੇ ਕਿਸੇ ਵਸਤੂ ਦੇ ਮਹੱਤਵ ਨੂੰ ਮਾਪਦੇ ਹਾਂ। ਇੱਕ ਵਿਸ਼ੇਸ਼ਤਾ "ਮਹੱਤਵਪੂਰਨ" ਹੁੰਦੀ ਹੈ ਜਦੋਂ ਮੁੱਲਾਂ ਨੂੰ ਸਵੈਪ ਕਰਨਾ ਮਾਡਲ ਦੀ ਗਲਤੀ ਨੂੰ ਵਧਾਉਂਦਾ ਹੈ ਕਿਉਂਕਿ ਇਸ ਸਥਿਤੀ ਵਿੱਚ ਮਾਡਲ ਆਪਣੀ ਭਵਿੱਖਬਾਣੀ ਕਰਨ ਲਈ ਵਿਸ਼ੇਸ਼ਤਾ 'ਤੇ ਭਰੋਸਾ ਕਰ ਰਿਹਾ ਸੀ। ਇੱਕ ਵਿਸ਼ੇਸ਼ਤਾ "ਗੈਰ-ਮਹੱਤਵਪੂਰਨ" ਹੁੰਦੀ ਹੈ ਜਦੋਂ ਇਸਦੇ ਮੁੱਲਾਂ ਨੂੰ ਬਦਲਣਾ ਮਾਡਲ ਦੀ ਗਲਤੀ ਨੂੰ ਬਦਲਿਆ ਨਹੀਂ ਛੱਡਦਾ, ਕਿਉਂਕਿ ਇਸ ਕੇਸ ਵਿੱਚ ਮਾਡਲ ਨੇ ਇਸਨੂੰ ਅਣਡਿੱਠ ਕੀਤਾ [5]।

ਹਰੇਕ ਕਲਾਸ ਲਈ ਵਿਸ਼ੇਸ਼ਤਾ ਦੀ ਮਹੱਤਤਾ ਸਾਨੂੰ ਮਾਡਲ ਨੂੰ ਵਿਆਖਿਆਯੋਗ ਬਣਾਉਣ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦੀ ਹੈ ਤਾਂ ਜੋ ਅਸੀਂ ਦੇਖ ਸਕੀਏ ਕਿ ਲੇਬਲ ਦੀ ਭਵਿੱਖਬਾਣੀ ਕਰਦੇ ਸਮੇਂ ਮਾਡਲ ਕੀ ਦੇਖ ਰਿਹਾ ਹੈ। ਉਦਾਹਰਨ ਲਈ, ਜਦੋਂ ਅਸੀਂ ਵਿਸ਼ਲੇਸ਼ਣ ਕਰਦੇ ਹਾਂ ADDR, ਫਿਰ ਅਸੀਂ ਗਾਰੰਟੀ ਦਿੰਦੇ ਹਾਂ ਕਿ ਪਤੇ ਨਾਲ ਸੰਬੰਧਿਤ ਚਿੰਨ੍ਹ, ਜਿਵੇਂ ਕਿ ਐਡਰੈੱਸਲਾਈਨਸਕਾਉਂਟ, ਹਰੇਕ ਕਲਾਸ ਲਈ ਵਿਸ਼ੇਸ਼ਤਾ ਮਹੱਤਵ ਸਾਰਣੀ ਵਿੱਚ ਉੱਚ ਦਰਜੇ 'ਤੇ ਹੈ ਤਾਂ ਜੋ ਸਾਡੀ ਮਨੁੱਖੀ ਅਨੁਭਵ ਮਾਡਲ ਦੁਆਰਾ ਸਿੱਖੀਆਂ ਗਈਆਂ ਗੱਲਾਂ ਨਾਲ ਚੰਗੀ ਤਰ੍ਹਾਂ ਮੇਲ ਖਾਂਦਾ ਹੋਵੇ।

ਪੜਤਾਲ

ਸਫਲਤਾ ਲਈ ਇੱਕ ਸਿੰਗਲ ਮੈਟ੍ਰਿਕ ਨੂੰ ਪਰਿਭਾਸ਼ਿਤ ਕਰਨਾ ਮਹੱਤਵਪੂਰਨ ਹੈ. ਅਸੀਂ ਚੁਣਿਆ F2 - ਰੀਕਾਲ ਅਤੇ ਸ਼ੁੱਧਤਾ ਵਿਚਕਾਰ ਸੰਤੁਲਨ (ਰੀਕਾਲ ਪੱਖਪਾਤ ਥੋੜ੍ਹਾ ਵੱਡਾ ਹੈ)। ਸਟੀਕਤਾ ਨਾਲੋਂ ਗੋਪਨੀਯਤਾ ਦੀ ਵਰਤੋਂ ਦੇ ਕੇਸ ਲਈ ਯਾਦ ਕਰਨਾ ਵਧੇਰੇ ਮਹੱਤਵਪੂਰਨ ਹੈ ਕਿਉਂਕਿ ਟੀਮ ਲਈ ਇਹ ਮਹੱਤਵਪੂਰਨ ਹੈ ਕਿ ਉਹ ਕਿਸੇ ਵੀ ਸੰਵੇਦਨਸ਼ੀਲ ਡੇਟਾ ਨੂੰ ਨਾ ਗੁਆਏ (ਜਦੋਂ ਕਿ ਵਾਜਬ ਸ਼ੁੱਧਤਾ ਯਕੀਨੀ ਬਣਾਉਂਦੇ ਹੋਏ)। ਸਾਡੇ ਮਾਡਲ ਦਾ ਅਸਲ F2 ਪ੍ਰਦਰਸ਼ਨ ਮੁਲਾਂਕਣ ਇਸ ਪੇਪਰ ਦੇ ਦਾਇਰੇ ਤੋਂ ਬਾਹਰ ਹੈ। ਹਾਲਾਂਕਿ, ਧਿਆਨ ਨਾਲ ਟਿਊਨਿੰਗ ਨਾਲ ਅਸੀਂ ਸਭ ਤੋਂ ਮਹੱਤਵਪੂਰਨ ਸੰਵੇਦਨਸ਼ੀਲ ਕਲਾਸਾਂ ਲਈ ਉੱਚ (0,9+) F2 ਸਕੋਰ ਪ੍ਰਾਪਤ ਕਰ ਸਕਦੇ ਹਾਂ।

ਸੰਬੰਧਿਤ ਕੰਮ

ਵੱਖ-ਵੱਖ ਤਰੀਕਿਆਂ ਜਿਵੇਂ ਕਿ ਪੈਟਰਨ ਮੈਚਿੰਗ, ਦਸਤਾਵੇਜ਼ ਸਮਾਨਤਾ ਖੋਜ ਅਤੇ ਵੱਖ-ਵੱਖ ਮਸ਼ੀਨ ਸਿਖਲਾਈ ਵਿਧੀਆਂ (ਬਾਏਸੀਅਨ, ਫੈਸਲੇ ਦੇ ਰੁੱਖ, ਕੇ-ਨੇੜਲੇ ਗੁਆਂਢੀ ਅਤੇ ਕਈ ਹੋਰ) [6] ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ ਗੈਰ-ਸੰਗਠਿਤ ਦਸਤਾਵੇਜ਼ਾਂ ਦੇ ਸਵੈਚਲਿਤ ਵਰਗੀਕਰਨ ਲਈ ਬਹੁਤ ਸਾਰੇ ਐਲਗੋਰਿਦਮ ਹਨ। ਇਹਨਾਂ ਵਿੱਚੋਂ ਕਿਸੇ ਨੂੰ ਵੀ ਵਰਗੀਕਰਨ ਦੇ ਹਿੱਸੇ ਵਜੋਂ ਵਰਤਿਆ ਜਾ ਸਕਦਾ ਹੈ। ਹਾਲਾਂਕਿ, ਸਮੱਸਿਆ ਮਾਪਯੋਗਤਾ ਹੈ. ਇਸ ਲੇਖ ਵਿੱਚ ਵਰਗੀਕਰਨ ਪਹੁੰਚ ਲਚਕਤਾ ਅਤੇ ਪ੍ਰਦਰਸ਼ਨ ਪ੍ਰਤੀ ਪੱਖਪਾਤੀ ਹੈ। ਇਹ ਸਾਨੂੰ ਭਵਿੱਖ ਵਿੱਚ ਨਵੀਆਂ ਕਲਾਸਾਂ ਦਾ ਸਮਰਥਨ ਕਰਨ ਅਤੇ ਲੇਟੈਂਸੀ ਨੂੰ ਘੱਟ ਰੱਖਣ ਦੀ ਆਗਿਆ ਦਿੰਦਾ ਹੈ।

ਡਾਟਾ ਫਿੰਗਰਪ੍ਰਿੰਟਿੰਗ 'ਤੇ ਵੀ ਕਾਫੀ ਕੰਮ ਹੁੰਦਾ ਹੈ। ਉਦਾਹਰਨ ਲਈ, [7] ਵਿੱਚ ਲੇਖਕਾਂ ਨੇ ਇੱਕ ਅਜਿਹਾ ਹੱਲ ਦੱਸਿਆ ਹੈ ਜੋ ਸੰਵੇਦਨਸ਼ੀਲ ਡਾਟਾ ਲੀਕ ਨੂੰ ਹਾਸਲ ਕਰਨ ਦੀ ਸਮੱਸਿਆ 'ਤੇ ਕੇਂਦਰਿਤ ਹੈ। ਅੰਤਰੀਵ ਧਾਰਨਾ ਇਹ ਹੈ ਕਿ ਡੇਟਾ ਨੂੰ ਜਾਣੇ-ਪਛਾਣੇ ਸੰਵੇਦਨਸ਼ੀਲ ਡੇਟਾ ਦੇ ਸਮੂਹ ਨਾਲ ਮੇਲਣ ਲਈ ਫਿੰਗਰਪ੍ਰਿੰਟ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ। [8] ਵਿੱਚ ਲੇਖਕ ਗੋਪਨੀਯਤਾ ਲੀਕ ਹੋਣ ਦੀ ਇੱਕ ਸਮਾਨ ਸਮੱਸਿਆ ਦਾ ਵਰਣਨ ਕਰਦੇ ਹਨ, ਪਰ ਉਹਨਾਂ ਦਾ ਹੱਲ ਇੱਕ ਖਾਸ ਐਂਡਰੌਇਡ ਆਰਕੀਟੈਕਚਰ 'ਤੇ ਅਧਾਰਤ ਹੈ ਅਤੇ ਸਿਰਫ ਤਾਂ ਹੀ ਵਰਗੀਕ੍ਰਿਤ ਹੈ ਜੇਕਰ ਉਪਭੋਗਤਾ ਦੀਆਂ ਕਾਰਵਾਈਆਂ ਦੇ ਨਤੀਜੇ ਵਜੋਂ ਨਿੱਜੀ ਜਾਣਕਾਰੀ ਸਾਂਝੀ ਕੀਤੀ ਜਾਂਦੀ ਹੈ ਜਾਂ ਜੇਕਰ ਅੰਡਰਲਾਈੰਗ ਐਪਲੀਕੇਸ਼ਨ ਉਪਭੋਗਤਾ ਡੇਟਾ ਨੂੰ ਲੀਕ ਕਰਦੀ ਹੈ। ਇੱਥੇ ਸਥਿਤੀ ਕੁਝ ਵੱਖਰੀ ਹੈ ਕਿਉਂਕਿ ਉਪਭੋਗਤਾ ਡੇਟਾ ਬਹੁਤ ਜ਼ਿਆਦਾ ਗੈਰ-ਸੰਗਠਿਤ ਵੀ ਹੋ ਸਕਦਾ ਹੈ। ਇਸ ਲਈ, ਸਾਨੂੰ ਫਿੰਗਰਪ੍ਰਿੰਟਿੰਗ ਨਾਲੋਂ ਵਧੇਰੇ ਗੁੰਝਲਦਾਰ ਤਕਨੀਕ ਦੀ ਜ਼ਰੂਰਤ ਹੈ.

ਅੰਤ ਵਿੱਚ, ਕੁਝ ਕਿਸਮਾਂ ਦੇ ਸੰਵੇਦਨਸ਼ੀਲ ਡੇਟਾ ਲਈ ਡੇਟਾ ਦੀ ਕਮੀ ਨਾਲ ਸਿੱਝਣ ਲਈ, ਅਸੀਂ ਸਿੰਥੈਟਿਕ ਡੇਟਾ ਪੇਸ਼ ਕੀਤਾ। ਡਾਟਾ ਵਧਾਉਣ 'ਤੇ ਸਾਹਿਤ ਦਾ ਇੱਕ ਵੱਡਾ ਹਿੱਸਾ ਹੈ, ਉਦਾਹਰਨ ਲਈ, [9] ਵਿੱਚ ਲੇਖਕਾਂ ਨੇ ਸਿਖਲਾਈ ਦੌਰਾਨ ਸ਼ੋਰ ਟੀਕੇ ਦੀ ਭੂਮਿਕਾ ਦੀ ਪੜਚੋਲ ਕੀਤੀ ਅਤੇ ਨਿਰੀਖਣ ਕੀਤੀ ਸਿਖਲਾਈ ਵਿੱਚ ਸਕਾਰਾਤਮਕ ਨਤੀਜੇ ਦੇਖੇ। ਗੋਪਨੀਯਤਾ ਪ੍ਰਤੀ ਸਾਡੀ ਪਹੁੰਚ ਵੱਖਰੀ ਹੈ ਕਿਉਂਕਿ ਰੌਲੇ-ਰੱਪੇ ਵਾਲੇ ਡੇਟਾ ਨੂੰ ਪੇਸ਼ ਕਰਨਾ ਉਲਟ ਹੋ ਸਕਦਾ ਹੈ, ਅਤੇ ਅਸੀਂ ਇਸ ਦੀ ਬਜਾਏ ਉੱਚ-ਗੁਣਵੱਤਾ ਵਾਲੇ ਸਿੰਥੈਟਿਕ ਡੇਟਾ 'ਤੇ ਧਿਆਨ ਕੇਂਦਰਤ ਕਰਦੇ ਹਾਂ।

ਸਿੱਟਾ

ਇਸ ਪੇਪਰ ਵਿੱਚ, ਅਸੀਂ ਇੱਕ ਸਿਸਟਮ ਪੇਸ਼ ਕੀਤਾ ਹੈ ਜੋ ਡੇਟਾ ਦੇ ਇੱਕ ਹਿੱਸੇ ਨੂੰ ਵਰਗੀਕ੍ਰਿਤ ਕਰ ਸਕਦਾ ਹੈ। ਇਹ ਸਾਨੂੰ ਗੋਪਨੀਯਤਾ ਅਤੇ ਸੁਰੱਖਿਆ ਨੀਤੀਆਂ ਨੂੰ ਲਾਗੂ ਕਰਨ ਲਈ ਸਿਸਟਮ ਬਣਾਉਣ ਦੀ ਆਗਿਆ ਦਿੰਦਾ ਹੈ। ਅਸੀਂ ਦਿਖਾਇਆ ਹੈ ਕਿ ਸਕੇਲੇਬਲ ਬੁਨਿਆਦੀ ਢਾਂਚਾ, ਨਿਰੰਤਰ ਏਕੀਕਰਣ, ਮਸ਼ੀਨ ਸਿਖਲਾਈ ਅਤੇ ਉੱਚ-ਗੁਣਵੱਤਾ ਡੇਟਾ ਭਰੋਸਾ ਸਾਡੀਆਂ ਬਹੁਤ ਸਾਰੀਆਂ ਗੋਪਨੀਯਤਾ ਪਹਿਲਕਦਮੀਆਂ ਦੀ ਸਫਲਤਾ ਵਿੱਚ ਮੁੱਖ ਭੂਮਿਕਾ ਨਿਭਾਉਂਦੇ ਹਨ।

ਭਵਿੱਖ ਦੇ ਕੰਮ ਲਈ ਬਹੁਤ ਸਾਰੀਆਂ ਦਿਸ਼ਾਵਾਂ ਹਨ. ਇਸ ਵਿੱਚ ਗੈਰ-ਸਕੀਮਤ ਡੇਟਾ (ਫਾਈਲਾਂ) ਲਈ ਸਹਾਇਤਾ ਪ੍ਰਦਾਨ ਕਰਨਾ, ਨਾ ਸਿਰਫ਼ ਡੇਟਾ ਕਿਸਮ ਦਾ ਵਰਗੀਕਰਨ ਕਰਨਾ, ਸਗੋਂ ਸੰਵੇਦਨਸ਼ੀਲਤਾ ਪੱਧਰ ਵੀ ਸ਼ਾਮਲ ਹੋ ਸਕਦਾ ਹੈ, ਅਤੇ ਸਹੀ ਸਿੰਥੈਟਿਕ ਉਦਾਹਰਣਾਂ ਤਿਆਰ ਕਰਕੇ ਸਿਖਲਾਈ ਦੌਰਾਨ ਸਵੈ-ਨਿਗਰਾਨੀ ਸਿਖਲਾਈ ਦੀ ਵਰਤੋਂ ਕਰਨਾ ਸ਼ਾਮਲ ਹੋ ਸਕਦਾ ਹੈ। ਜੋ, ਬਦਲੇ ਵਿੱਚ, ਮਾਡਲ ਨੂੰ ਸਭ ਤੋਂ ਵੱਡੀ ਰਕਮ ਦੁਆਰਾ ਨੁਕਸਾਨ ਨੂੰ ਘਟਾਉਣ ਵਿੱਚ ਮਦਦ ਕਰੇਗਾ। ਭਵਿੱਖ ਦਾ ਕੰਮ ਜਾਂਚ ਦੇ ਵਰਕਫਲੋ 'ਤੇ ਵੀ ਧਿਆਨ ਕੇਂਦਰਿਤ ਕਰ ਸਕਦਾ ਹੈ, ਜਿੱਥੇ ਅਸੀਂ ਖੋਜ ਤੋਂ ਪਰੇ ਜਾਂਦੇ ਹਾਂ ਅਤੇ ਵੱਖ-ਵੱਖ ਗੋਪਨੀਯਤਾ ਉਲੰਘਣਾਵਾਂ ਦਾ ਮੂਲ ਕਾਰਨ ਵਿਸ਼ਲੇਸ਼ਣ ਪ੍ਰਦਾਨ ਕਰਦੇ ਹਾਂ। ਇਹ ਸੰਵੇਦਨਸ਼ੀਲਤਾ ਵਿਸ਼ਲੇਸ਼ਣ ਵਰਗੇ ਮਾਮਲਿਆਂ ਵਿੱਚ ਮਦਦ ਕਰੇਗਾ (ਜਿਵੇਂ ਕਿ ਡੇਟਾ ਕਿਸਮ ਦੀ ਗੋਪਨੀਯਤਾ ਸੰਵੇਦਨਸ਼ੀਲਤਾ ਜ਼ਿਆਦਾ ਹੈ (ਉਦਾਹਰਨ ਲਈ ਉਪਭੋਗਤਾ IP) ਜਾਂ ਘੱਟ (ਉਦਾਹਰਨ ਲਈ Facebook ਅੰਦਰੂਨੀ IP))।

ਪੁਸਤਕ ਸੂਚੀ

1. ਡੇਵਿਡ ਬੇਨ-ਡੇਵਿਡ, ਤਾਮਰ ਡੋਮਨੀ, ਅਤੇ ਅਬੀਗੈਲ ਤਾਰੇਮ। ਸਿਮੈਨਟਿਕ ਵੈੱਬ ਤਕਨਾਲੋਜੀਆਂ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ ਐਂਟਰਪ੍ਰਾਈਜ਼ ਡੇਟਾ ਵਰਗੀਕਰਨ। ਪੀਟਰ F.Ï ਪਟੇਲ-ਸ਼ਨਾਈਡਰ, ਯੂ ਪੈਨ, ਪਾਸਕਲ ਹਿਟਜ਼ਲਰ, ਪੀਟਰ ਮੀਕਾ, ਲੇਈ ਝਾਂਗ, ਜੇਫ ਜ਼ੈੱਡ ਪੈਨ, ਇਆਨ ਹੌਰੌਕਸ, ਅਤੇ ਬਿਰਟੇ ਗਲੀਮ, ਸੰਪਾਦਕਾਂ ਵਿੱਚ, ਸਿਮੈਨਟਿਕ ਵੈੱਬ - ISWC 2010, ਪੰਨੇ 66–81, ਬਰਲਿਨ, ਹੀਡਲਬਰਗ, 2010. ਸਪ੍ਰਿੰਗਰ ਬਰਲਿਨ ਹੀਡਲਬਰਗ।
2. ਸੁਬਰਾਮਣੀਅਮ ਮੁਰਲੀਧਰ, ਵਿਅਟ ਲੋਇਡ, ਸਬਿਆਸਾਚੀ ਰਾਏ, ਕੋਰੀ ਹਿੱਲ, ਅਰਨੈਸਟ ਲਿਨ, ਵੇਵਿਨ ਲਿਊ, ਸਤਦਰੂ ਪਾਨ, ਸ਼ਿਵ ਸ਼ੰਕਰ, ਵਿਸ਼ਵਨਾਥ ਸ਼ਿਵਕੁਮਾਰ, ਲਿਨਪੇਂਗ ਤਾਂਗ, ਅਤੇ ਸੰਜੀਵ ਕੁਮਾਰ। f4: Facebook ਦਾ ਗਰਮ BLOB ਸਟੋਰੇਜ ਸਿਸਟਮ। ਵਿੱਚ ਓਪਰੇਟਿੰਗ ਸਿਸਟਮ ਡਿਜ਼ਾਈਨ ਅਤੇ ਲਾਗੂ ਕਰਨ 'ਤੇ 11ਵਾਂ USENIX ਸਿੰਪੋਜ਼ੀਅਮ (OSDI 14), ਪੰਨੇ 383–398, Broomfield, CO, ਅਕਤੂਬਰ 2014. USENIX ਐਸੋਸੀਏਸ਼ਨ।
3. ਟੌਮਸ ਮਿਕੋਲੋਵ, ਇਲਿਆ ਸੁਟਸਕੇਵਰ, ਕਾਈ ਚੇਨ, ਗ੍ਰੇਗ ਐਸ ਕੋਰਾਡੋ, ਅਤੇ ਜੇਫ ਡੀਨ। ਸ਼ਬਦਾਂ ਅਤੇ ਵਾਕਾਂਸ਼ਾਂ ਅਤੇ ਉਹਨਾਂ ਦੀ ਰਚਨਾਤਮਕਤਾ ਦੇ ਵਿਤਰਿਤ ਪ੍ਰਸਤੁਤੀਆਂ। C. J. C. Burges, L. Bottou, M. Welling, Z. Ghahramani, ਅਤੇ K. Q. Weinberger, ਸੰਪਾਦਕਾਂ ਵਿੱਚ, ਨਿਊਰਲ ਇਨਫਰਮੇਸ਼ਨ ਪ੍ਰੋਸੈਸਿੰਗ ਪ੍ਰਣਾਲੀਆਂ ਵਿੱਚ ਤਰੱਕੀ 26, ਸਫ਼ੇ 3111–3119। ਕਰਾਨ ਐਸੋਸੀਏਟਸ, ਇੰਕ., 2013.
4. ਸਰਗੇਈ ਇਓਫੇ ਅਤੇ ਕ੍ਰਿਸ਼ਚੀਅਨ ਸੇਜੇਡੀ। ਬੈਚ ਸਧਾਰਣਕਰਨ: ਅੰਦਰੂਨੀ ਕੋਵੇਰੀਏਟ ਸ਼ਿਫਟ ਨੂੰ ਘਟਾ ਕੇ ਡੂੰਘੇ ਨੈੱਟਵਰਕ ਸਿਖਲਾਈ ਨੂੰ ਤੇਜ਼ ਕਰਨਾ। ਫਰਾਂਸਿਸ ਬਾਕ ਅਤੇ ਡੇਵਿਡ ਬਲੇਈ, ਸੰਪਾਦਕਾਂ ਵਿੱਚ, ਮਸ਼ੀਨ ਲਰਨਿੰਗ 'ਤੇ 32ਵੀਂ ਅੰਤਰਰਾਸ਼ਟਰੀ ਕਾਨਫਰੰਸ ਦੀ ਕਾਰਵਾਈ, ਵਾਲੀਅਮ 37 ਦਾ ਮਸ਼ੀਨ ਲਰਨਿੰਗ ਖੋਜ ਦੀ ਕਾਰਵਾਈ, ਪੰਨੇ 448–456, ਲਿਲੀ, ਫਰਾਂਸ, 07–09 ਜੁਲਾਈ 2015. PMLR.
5. ਲੀਓ ਬ੍ਰੀਮੈਨ. ਬੇਤਰਤੀਬ ਜੰਗਲ. ਮਾਚ. ਸਿੱਖੋ., 45(1):5–32, ਅਕਤੂਬਰ 2001।
6. ਥਿਰ ਨ ਪਾਇਉ ॥ ਡਾਟਾ ਮਾਈਨਿੰਗ ਵਿੱਚ ਵਰਗੀਕਰਨ ਤਕਨੀਕਾਂ ਦਾ ਸਰਵੇਖਣ।
7. ਐਕਸ. ਸ਼ੂ, ਡੀ. ਯਾਓ, ਅਤੇ ਈ. ਬਰਟੀਨੋ। ਸੰਵੇਦਨਸ਼ੀਲ ਡੇਟਾ ਐਕਸਪੋਜ਼ਰ ਦੀ ਗੋਪਨੀਯਤਾ-ਰੱਖਿਅਤ ਖੋਜ। ਸੂਚਨਾ ਫੋਰੈਂਸਿਕ ਅਤੇ ਸੁਰੱਖਿਆ 'ਤੇ IEEE ਲੈਣ-ਦੇਣ, 10(5):1092–1103, 2015.
8. ਜ਼ੈਮਿਨ ਯਾਂਗ, ਮਿਨ ਯਾਂਗ, ਯੁਆਨ ਝਾਂਗ, ਗੁਓਫੇਈ ਗੁ, ਪੇਂਗ ਨਿੰਗ, ਅਤੇ ਜ਼ਿਆਓਯਾਂਗ ਵਾਂਗ। ਨਿਯੁਕਤੀਕਾਰ: ਗੋਪਨੀਯਤਾ ਲੀਕੇਜ ਖੋਜ ਲਈ ਐਂਡਰੌਇਡ ਵਿੱਚ ਸੰਵੇਦਨਸ਼ੀਲ ਡੇਟਾ ਟ੍ਰਾਂਸਮਿਸ਼ਨ ਦਾ ਵਿਸ਼ਲੇਸ਼ਣ ਕਰਨਾ। ਪੰਨੇ 1043–1054, 11 2013।
9. ਕਿਝੇ ਜ਼ੀ, ਜ਼ਿਹਾਂਗ ਦਾਈ, ਐਡੁਆਰਡ ਐਚ. ਹੋਵੀ, ਮਿਨਹ-ਥਾਂਗ ਲੁਓਂਗ, ਅਤੇ ਕੁਓਕ ਵੀ. ਲੇ। ਨਿਰੀਖਣ ਕੀਤਾ ਡਾਟਾ ਵਾਧਾ।

SkillFactory ਔਨਲਾਈਨ ਕੋਰਸ ਲੈ ਕੇ ਹੁਨਰ ਅਤੇ ਤਨਖ਼ਾਹ ਦੇ ਮਾਮਲੇ ਵਿੱਚ ਸ਼ੁਰੂ ਤੋਂ ਜਾਂ ਲੈਵਲ ਅੱਪ ਨੂੰ ਕਿਵੇਂ ਪ੍ਰਾਪਤ ਕਰਨਾ ਹੈ ਇਸ ਬਾਰੇ ਵੇਰਵੇ ਲੱਭੋ:

• ਸਕਰੈਚ ਤੋਂ ਡਾਟਾ ਸਾਇੰਸ ਦੇ ਪੇਸ਼ੇ ਨੂੰ ਪੜ੍ਹਾਉਣਾ (12 ਮਹੀਨੇ)
• ਮਸ਼ੀਨ ਲਰਨਿੰਗ ਕੋਰਸ (12 ਹਫ਼ਤੇ)
• ਐਡਵਾਂਸਡ ਕੋਰਸ "ਮਸ਼ੀਨ ਲਰਨਿੰਗ ਪ੍ਰੋ + ਡੀਪ ਲਰਨਿੰਗ" (20 ਹਫ਼ਤੇ)
• ਕੋਰਸ "ਡੇਟਾ ਵਿਗਿਆਨ ਲਈ ਗਣਿਤ ਅਤੇ ਮਸ਼ੀਨ ਸਿਖਲਾਈ" (20 ਹਫ਼ਤੇ)

ਹੋਰ ਕੋਰਸ

• ਵੈੱਬ ਵਿਕਾਸ ਕੋਰਸ ਲਈ ਪਾਈਥਨ (9 ਮਹੀਨੇ)
• ਪੇਸ਼ੇ ਵੈੱਬ ਡਿਵੈਲਪਰ (8 ਮਹੀਨੇ)
• ਕਿਸੇ ਵੀ ਸ਼ੁਰੂਆਤੀ ਪੱਧਰ 'ਤੇ ਵਿਸ਼ਲੇਸ਼ਕ ਪੇਸ਼ੇ (9 ਮਹੀਨੇ)
• DevOps ਕੋਰਸ (12 ਮਹੀਨੇ)
• ਪੇਸ਼ੇ ਤੋਂ ਜਾਵਾ ਡਿਵੈਲਪਰ (18 ਮਹੀਨੇ)
• JavaScript ਕੋਰਸ (12 ਮਹੀਨੇ)
• ਸ਼ੁਰੂ ਤੋਂ ਪੇਸ਼ੇ UX ਡਿਜ਼ਾਈਨਰ (9 ਮਹੀਨੇ)
• ਪੇਸ਼ੇ ਵੈੱਬ ਡਿਜ਼ਾਈਨਰ (7 ਮਹੀਨੇ)

ਸਰੋਤ: www.habr.com