ਸਾਈਟ 'ਤੇ ਘੁਸਪੈਠੀਆਂ ਦਾ ਮੁਕਾਬਲਾ ਕਰਨ ਲਈ ਇੱਕ ਆਟੋਮੈਟਿਕ ਸਿਸਟਮ ਦੀ ਸਿਰਜਣਾ (ਧੋਖਾਧੜੀ)

ਪਿਛਲੇ ਲਗਭਗ ਛੇ ਮਹੀਨਿਆਂ ਤੋਂ, ਮੈਂ ਇਸਦੇ ਲਈ ਬਿਨਾਂ ਕਿਸੇ ਸ਼ੁਰੂਆਤੀ ਬੁਨਿਆਦੀ ਢਾਂਚੇ ਦੇ ਧੋਖਾਧੜੀ (ਧੋਖਾਧੜੀ, ਧੋਖਾਧੜੀ, ਆਦਿ) ਦਾ ਮੁਕਾਬਲਾ ਕਰਨ ਲਈ ਇੱਕ ਪ੍ਰਣਾਲੀ ਤਿਆਰ ਕਰ ਰਿਹਾ ਹਾਂ। ਅੱਜ ਦੇ ਵਿਚਾਰ ਜੋ ਸਾਨੂੰ ਸਾਡੇ ਸਿਸਟਮ ਵਿੱਚ ਮਿਲੇ ਅਤੇ ਲਾਗੂ ਕੀਤੇ ਗਏ ਹਨ, ਉਹ ਬਹੁਤ ਸਾਰੀਆਂ ਧੋਖਾਧੜੀ ਵਾਲੀਆਂ ਗਤੀਵਿਧੀਆਂ ਦਾ ਪਤਾ ਲਗਾਉਣ ਅਤੇ ਵਿਸ਼ਲੇਸ਼ਣ ਕਰਨ ਵਿੱਚ ਸਾਡੀ ਮਦਦ ਕਰਦੇ ਹਨ। ਇਸ ਲੇਖ ਵਿੱਚ, ਮੈਂ ਉਨ੍ਹਾਂ ਸਿਧਾਂਤਾਂ ਬਾਰੇ ਗੱਲ ਕਰਨਾ ਚਾਹਾਂਗਾ ਜਿਨ੍ਹਾਂ ਦੀ ਅਸੀਂ ਪਾਲਣਾ ਕੀਤੀ ਹੈ ਅਤੇ ਅਸੀਂ ਤਕਨੀਕੀ ਹਿੱਸੇ ਵਿੱਚ ਜਾਣ ਤੋਂ ਬਿਨਾਂ, ਸਾਡੇ ਸਿਸਟਮ ਦੀ ਮੌਜੂਦਾ ਸਥਿਤੀ ਨੂੰ ਪ੍ਰਾਪਤ ਕਰਨ ਲਈ ਕੀ ਕੀਤਾ ਹੈ।

ਸਾਡੇ ਸਿਸਟਮ ਦੇ ਅਸੂਲ

ਜਦੋਂ ਤੁਸੀਂ "ਆਟੋਮੈਟਿਕ" ਅਤੇ "ਫਰਾਡ" ਵਰਗੇ ਸ਼ਬਦ ਸੁਣਦੇ ਹੋ ਤਾਂ ਤੁਸੀਂ ਸੰਭਾਵਤ ਤੌਰ 'ਤੇ ਮਸ਼ੀਨ ਲਰਨਿੰਗ, Apache Spark, Hadoop, Python, Airflow, ਅਤੇ Apache Foundation ਈਕੋਸਿਸਟਮ ਅਤੇ ਡੇਟਾ ਸਾਇੰਸ ਖੇਤਰ ਵਿੱਚ ਹੋਰ ਤਕਨੀਕਾਂ ਬਾਰੇ ਸੋਚਣਾ ਸ਼ੁਰੂ ਕਰ ਦਿੰਦੇ ਹੋ। ਮੈਨੂੰ ਲਗਦਾ ਹੈ ਕਿ ਇਹਨਾਂ ਸਾਧਨਾਂ ਦੀ ਵਰਤੋਂ ਕਰਨ ਦਾ ਇੱਕ ਪਹਿਲੂ ਹੈ ਜਿਸਦਾ ਆਮ ਤੌਰ 'ਤੇ ਜ਼ਿਕਰ ਨਹੀਂ ਕੀਤਾ ਜਾਂਦਾ ਹੈ: ਤੁਹਾਡੇ ਦੁਆਰਾ ਉਹਨਾਂ ਦੀ ਵਰਤੋਂ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ ਉਹਨਾਂ ਨੂੰ ਤੁਹਾਡੇ ਐਂਟਰਪ੍ਰਾਈਜ਼ ਸਿਸਟਮ ਵਿੱਚ ਕੁਝ ਪੂਰਵ-ਸ਼ਰਤਾਂ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ। ਸੰਖੇਪ ਵਿੱਚ, ਤੁਹਾਨੂੰ ਇੱਕ ਐਂਟਰਪ੍ਰਾਈਜ਼ ਡੇਟਾ ਪਲੇਟਫਾਰਮ ਦੀ ਜ਼ਰੂਰਤ ਹੈ ਜਿਸ ਵਿੱਚ ਇੱਕ ਡੇਟਾ ਝੀਲ ਅਤੇ ਸਟੋਰੇਜ ਸ਼ਾਮਲ ਹੈ। ਪਰ ਉਦੋਂ ਕੀ ਜੇ ਤੁਹਾਡੇ ਕੋਲ ਅਜਿਹਾ ਪਲੇਟਫਾਰਮ ਨਹੀਂ ਹੈ ਅਤੇ ਫਿਰ ਵੀ ਇਸ ਅਭਿਆਸ ਨੂੰ ਵਿਕਸਤ ਕਰਨ ਦੀ ਲੋੜ ਹੈ? ਹੇਠਾਂ ਦਿੱਤੇ ਸਿਧਾਂਤ, ਜਿਨ੍ਹਾਂ ਦਾ ਮੈਂ ਹੇਠਾਂ ਵਰਣਨ ਕਰਦਾ ਹਾਂ, ਨੇ ਸਾਨੂੰ ਉਸ ਬਿੰਦੂ ਤੱਕ ਪਹੁੰਚਣ ਵਿੱਚ ਮਦਦ ਕੀਤੀ ਹੈ ਜਿੱਥੇ ਅਸੀਂ ਕੰਮ ਕਰਨ ਵਾਲੇ ਨੂੰ ਲੱਭਣ ਦੀ ਬਜਾਏ ਆਪਣੇ ਵਿਚਾਰਾਂ ਨੂੰ ਬਿਹਤਰ ਬਣਾਉਣ 'ਤੇ ਧਿਆਨ ਦੇ ਸਕਦੇ ਹਾਂ। ਹਾਲਾਂਕਿ, ਇਹ ਪ੍ਰੋਜੈਕਟ ਦਾ "ਪਠਾਰ" ਨਹੀਂ ਹੈ। ਤਕਨੀਕੀ ਅਤੇ ਉਤਪਾਦ ਦੇ ਦ੍ਰਿਸ਼ਟੀਕੋਣ ਤੋਂ ਯੋਜਨਾ ਵਿੱਚ ਹੋਰ ਬਹੁਤ ਸਾਰੀਆਂ ਚੀਜ਼ਾਂ ਹਨ।

ਸਿਧਾਂਤ 1: ਵਪਾਰਕ ਮੁੱਲ ਪਹਿਲਾਂ

ਅਸੀਂ ਆਪਣੀਆਂ ਸਾਰੀਆਂ ਕੋਸ਼ਿਸ਼ਾਂ ਵਿੱਚ "ਵਪਾਰਕ ਮੁੱਲ" ਨੂੰ ਸਭ ਤੋਂ ਅੱਗੇ ਰੱਖਦੇ ਹਾਂ। ਆਮ ਤੌਰ 'ਤੇ, ਕੋਈ ਵੀ ਆਟੋਮੈਟਿਕ ਵਿਸ਼ਲੇਸ਼ਣ ਪ੍ਰਣਾਲੀ ਉੱਚ ਪੱਧਰੀ ਆਟੋਮੇਸ਼ਨ ਅਤੇ ਤਕਨੀਕੀ ਜਟਿਲਤਾ ਵਾਲੇ ਗੁੰਝਲਦਾਰ ਪ੍ਰਣਾਲੀਆਂ ਦੇ ਸਮੂਹ ਨਾਲ ਸਬੰਧਤ ਹੁੰਦੀ ਹੈ। ਇੱਕ ਸੰਪੂਰਨ ਹੱਲ ਬਣਾਉਣ ਵਿੱਚ ਬਹੁਤ ਸਮਾਂ ਲੱਗੇਗਾ ਜੇਕਰ ਤੁਸੀਂ ਇਸਨੂੰ ਸਕ੍ਰੈਚ ਤੋਂ ਬਣਾਉਂਦੇ ਹੋ. ਅਸੀਂ ਵਪਾਰਕ ਮੁੱਲ ਨੂੰ ਪਹਿਲਾਂ ਅਤੇ ਤਕਨੀਕੀ ਪਰਿਪੱਕਤਾ ਨੂੰ ਦੂਜਾ ਰੱਖਣ ਦਾ ਫੈਸਲਾ ਕੀਤਾ ਹੈ। ਅਸਲ ਜੀਵਨ ਵਿੱਚ, ਇਸਦਾ ਮਤਲਬ ਹੈ ਕਿ ਅਸੀਂ ਉੱਨਤ ਤਕਨਾਲੋਜੀ ਨੂੰ ਇੱਕ ਸਿਧਾਂਤ ਵਜੋਂ ਸਵੀਕਾਰ ਨਹੀਂ ਕਰਦੇ ਹਾਂ। ਅਸੀਂ ਉਸ ਤਕਨਾਲੋਜੀ ਦੀ ਚੋਣ ਕਰਦੇ ਹਾਂ ਜੋ ਇਸ ਸਮੇਂ ਸਾਡੇ ਲਈ ਸਭ ਤੋਂ ਵਧੀਆ ਕੰਮ ਕਰਦੀ ਹੈ। ਸਮੇਂ ਦੇ ਨਾਲ, ਇਹ ਲੱਗ ਸਕਦਾ ਹੈ ਕਿ ਸਾਨੂੰ ਕੁਝ ਮਾਡਿਊਲ ਦੁਬਾਰਾ ਲਾਗੂ ਕਰਨੇ ਪੈਣਗੇ। ਇਹ ਉਹ ਸਮਝੌਤਾ ਹੈ ਜੋ ਅਸੀਂ ਸਵੀਕਾਰ ਕੀਤਾ ਹੈ।

ਸਿਧਾਂਤ 2: ਵਧੀ ਹੋਈ ਬੁੱਧੀ

ਮੈਂ ਸੱਟਾ ਲਗਾਉਂਦਾ ਹਾਂ ਕਿ ਜ਼ਿਆਦਾਤਰ ਲੋਕ ਜੋ ਮਸ਼ੀਨ ਸਿਖਲਾਈ ਹੱਲਾਂ ਨੂੰ ਵਿਕਸਤ ਕਰਨ ਵਿੱਚ ਡੂੰਘਾਈ ਨਾਲ ਸ਼ਾਮਲ ਨਹੀਂ ਹਨ, ਸ਼ਾਇਦ ਸੋਚਦੇ ਹਨ ਕਿ ਮਨੁੱਖੀ ਬਦਲਾਵ ਦਾ ਟੀਚਾ ਹੈ। ਵਾਸਤਵ ਵਿੱਚ, ਮਸ਼ੀਨ ਸਿਖਲਾਈ ਹੱਲ ਸੰਪੂਰਨ ਤੋਂ ਬਹੁਤ ਦੂਰ ਹਨ ਅਤੇ ਸਿਰਫ਼ ਕੁਝ ਖੇਤਰਾਂ ਵਿੱਚ ਹੀ ਬਦਲਣਾ ਸੰਭਵ ਹੈ। ਅਸੀਂ ਕਈ ਕਾਰਨਾਂ ਕਰਕੇ ਇਸ ਵਿਚਾਰ ਨੂੰ ਸ਼ੁਰੂ ਤੋਂ ਹੀ ਛੱਡ ਦਿੱਤਾ: ਧੋਖਾਧੜੀ ਵਾਲੀ ਗਤੀਵਿਧੀ 'ਤੇ ਅਸੰਤੁਲਿਤ ਡੇਟਾ ਅਤੇ ਮਸ਼ੀਨ ਸਿਖਲਾਈ ਮਾਡਲਾਂ ਲਈ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਦੀ ਇੱਕ ਵਿਸਤ੍ਰਿਤ ਸੂਚੀ ਪ੍ਰਦਾਨ ਕਰਨ ਵਿੱਚ ਅਸਮਰੱਥਾ। ਇਸ ਦੇ ਉਲਟ, ਅਸੀਂ ਵਧੇ ਹੋਏ ਖੁਫੀਆ ਵਿਕਲਪ ਦੀ ਚੋਣ ਕੀਤੀ। ਇਹ ਨਕਲੀ ਬੁੱਧੀ ਦੀ ਇੱਕ ਵਿਕਲਪਿਕ ਧਾਰਨਾ ਹੈ ਜੋ AI ਦੀ ਸਹਾਇਕ ਭੂਮਿਕਾ 'ਤੇ ਕੇਂਦ੍ਰਿਤ ਹੈ, ਇਸ ਤੱਥ 'ਤੇ ਜ਼ੋਰ ਦਿੰਦੀ ਹੈ ਕਿ ਬੋਧਾਤਮਕ ਤਕਨਾਲੋਜੀਆਂ ਮਨੁੱਖੀ ਬੁੱਧੀ ਨੂੰ ਵਧਾਉਣ ਲਈ ਤਿਆਰ ਕੀਤੀਆਂ ਗਈਆਂ ਹਨ, ਨਾ ਕਿ ਇਸਨੂੰ ਬਦਲਣ ਲਈ। [1]

ਇਸ ਨੂੰ ਧਿਆਨ ਵਿੱਚ ਰੱਖਦੇ ਹੋਏ, ਸ਼ੁਰੂ ਤੋਂ ਹੀ ਇੱਕ ਸੰਪੂਰਨ ਮਸ਼ੀਨ ਸਿਖਲਾਈ ਹੱਲ ਵਿਕਸਿਤ ਕਰਨ ਲਈ ਬਹੁਤ ਜ਼ਿਆਦਾ ਮਿਹਨਤ ਦੀ ਲੋੜ ਹੋਵੇਗੀ ਜੋ ਸਾਡੇ ਕਾਰੋਬਾਰ ਲਈ ਮੁੱਲ ਬਣਾਉਣ ਵਿੱਚ ਦੇਰੀ ਕਰੇਗਾ। ਅਸੀਂ ਆਪਣੇ ਡੋਮੇਨ ਮਾਹਰਾਂ ਦੇ ਮਾਰਗਦਰਸ਼ਨ ਵਿੱਚ ਮਸ਼ੀਨ ਸਿਖਲਾਈ ਦੇ ਇੱਕ ਵਾਰ-ਵਾਰ ਵਧ ਰਹੇ ਪਹਿਲੂ ਦੇ ਨਾਲ ਇੱਕ ਸਿਸਟਮ ਬਣਾਉਣ ਦਾ ਫੈਸਲਾ ਕੀਤਾ ਹੈ। ਅਜਿਹੀ ਪ੍ਰਣਾਲੀ ਨੂੰ ਵਿਕਸਤ ਕਰਨ ਦਾ ਔਖਾ ਹਿੱਸਾ ਇਹ ਹੈ ਕਿ ਇਸ ਨੂੰ ਸਾਡੇ ਵਿਸ਼ਲੇਸ਼ਕਾਂ ਨੂੰ ਕੇਸ ਅਧਿਐਨ ਪ੍ਰਦਾਨ ਕਰਨਾ ਪੈਂਦਾ ਹੈ ਨਾ ਕਿ ਇਹ ਇੱਕ ਧੋਖਾਧੜੀ ਵਾਲੀ ਗਤੀਵਿਧੀ ਹੈ ਜਾਂ ਨਹੀਂ। ਆਮ ਤੌਰ 'ਤੇ, ਗਾਹਕਾਂ ਦੇ ਵਿਵਹਾਰ ਵਿੱਚ ਕੋਈ ਵੀ ਵਿਗਾੜ ਇੱਕ ਸ਼ੱਕੀ ਕੇਸ ਹੈ ਜਿਸਦੀ ਮਾਹਿਰਾਂ ਨੂੰ ਜਾਂਚ ਕਰਨ ਅਤੇ ਕਿਸੇ ਤਰ੍ਹਾਂ ਜਵਾਬ ਦੇਣ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ। ਇਹਨਾਂ ਦਰਜ ਕੀਤੇ ਕੇਸਾਂ ਵਿੱਚੋਂ ਸਿਰਫ਼ ਕੁਝ ਹੀ ਅਸਲ ਵਿੱਚ ਧੋਖਾਧੜੀ ਵਜੋਂ ਸ਼੍ਰੇਣੀਬੱਧ ਕੀਤੇ ਜਾ ਸਕਦੇ ਹਨ।

ਸਿਧਾਂਤ 3: ਰਿਚ ਇਨਸਾਈਟਸ ਪਲੇਟਫਾਰਮ

ਸਾਡੇ ਸਿਸਟਮ ਦਾ ਸਭ ਤੋਂ ਔਖਾ ਹਿੱਸਾ ਸਿਸਟਮ ਦੇ ਵਰਕਫਲੋ ਦਾ ਅੰਤ-ਤੋਂ-ਅੰਤ ਤਸਦੀਕ ਹੈ। ਵਿਸ਼ਲੇਸ਼ਕਾਂ ਅਤੇ ਡਿਵੈਲਪਰਾਂ ਨੂੰ ਵਿਸ਼ਲੇਸ਼ਣ ਲਈ ਵਰਤੇ ਗਏ ਸਾਰੇ ਮੈਟ੍ਰਿਕਸ ਦੇ ਨਾਲ ਇਤਿਹਾਸਕ ਡੇਟਾਸੈਟਾਂ ਨੂੰ ਆਸਾਨੀ ਨਾਲ ਪ੍ਰਾਪਤ ਕਰਨਾ ਚਾਹੀਦਾ ਹੈ। ਇਸ ਤੋਂ ਇਲਾਵਾ, ਡੇਟਾ ਪਲੇਟਫਾਰਮ ਨੂੰ ਮੌਜੂਦਾ ਸੂਚਕਾਂ ਦੇ ਇੱਕ ਨਵੇਂ ਸੈੱਟ ਦੇ ਨਾਲ ਪੂਰਕ ਕਰਨ ਦਾ ਇੱਕ ਆਸਾਨ ਤਰੀਕਾ ਪ੍ਰਦਾਨ ਕਰਨਾ ਚਾਹੀਦਾ ਹੈ। ਉਹ ਪ੍ਰਕਿਰਿਆਵਾਂ ਜੋ ਅਸੀਂ ਬਣਾਉਂਦੇ ਹਾਂ, ਅਤੇ ਇਹ ਸਿਰਫ਼ ਸੌਫਟਵੇਅਰ ਪ੍ਰਕਿਰਿਆਵਾਂ ਨਹੀਂ ਹਨ, ਨੂੰ ਪਿਛਲੀਆਂ ਮਿਆਦਾਂ ਦੀ ਮੁੜ ਗਣਨਾ ਕਰਨਾ, ਨਵੇਂ ਮੈਟ੍ਰਿਕਸ ਜੋੜਨਾ ਅਤੇ ਡੇਟਾ ਪੂਰਵ ਅਨੁਮਾਨ ਨੂੰ ਬਦਲਣਾ ਆਸਾਨ ਬਣਾਉਣਾ ਚਾਹੀਦਾ ਹੈ। ਅਸੀਂ ਇਸ ਨੂੰ ਸਾਡੇ ਉਤਪਾਦਨ ਪ੍ਰਣਾਲੀ ਦੁਆਰਾ ਤਿਆਰ ਕੀਤੇ ਸਾਰੇ ਡੇਟਾ ਨੂੰ ਇਕੱਠਾ ਕਰਕੇ ਪ੍ਰਾਪਤ ਕਰ ਸਕਦੇ ਹਾਂ। ਅਜਿਹੇ 'ਚ ਡਾਟਾ ਹੌਲੀ-ਹੌਲੀ ਰੁਕਾਵਟ ਬਣ ਜਾਵੇਗਾ। ਸਾਨੂੰ ਡਾਟਾ ਦੀ ਵੱਧ ਰਹੀ ਮਾਤਰਾ ਨੂੰ ਸਟੋਰ ਕਰਨ ਅਤੇ ਇਸਦੀ ਸੁਰੱਖਿਆ ਕਰਨ ਦੀ ਲੋੜ ਹੋਵੇਗੀ। ਅਜਿਹੀ ਸਥਿਤੀ ਵਿੱਚ, ਡੇਟਾ ਸਮੇਂ ਦੇ ਨਾਲ ਵੱਧ ਤੋਂ ਵੱਧ ਅਪ੍ਰਸੰਗਿਕ ਹੋ ਜਾਵੇਗਾ, ਪਰ ਫਿਰ ਵੀ ਇਸਨੂੰ ਪ੍ਰਬੰਧਿਤ ਕਰਨ ਲਈ ਸਾਡੇ ਯਤਨਾਂ ਦੀ ਲੋੜ ਹੈ। ਸਾਡੇ ਲਈ, ਡੇਟਾ ਹੋਰਡਿੰਗ ਦਾ ਕੋਈ ਮਤਲਬ ਨਹੀਂ ਸੀ, ਅਤੇ ਅਸੀਂ ਇੱਕ ਵੱਖਰੀ ਪਹੁੰਚ ਵਰਤਣ ਦਾ ਫੈਸਲਾ ਕੀਤਾ। ਅਸੀਂ ਉਹਨਾਂ ਟੀਚੇ ਵਾਲੀਆਂ ਸੰਸਥਾਵਾਂ ਦੇ ਆਲੇ ਦੁਆਲੇ ਰੀਅਲ-ਟਾਈਮ ਡਾਟਾ ਵੇਅਰਹਾਊਸਾਂ ਨੂੰ ਸੰਗਠਿਤ ਕਰਨ ਦਾ ਫੈਸਲਾ ਕੀਤਾ ਹੈ ਜਿਨ੍ਹਾਂ ਨੂੰ ਅਸੀਂ ਵਰਗੀਕ੍ਰਿਤ ਕਰਨਾ ਚਾਹੁੰਦੇ ਹਾਂ, ਅਤੇ ਸਿਰਫ਼ ਉਹ ਡਾਟਾ ਸਟੋਰ ਕਰਨਾ ਹੈ ਜੋ ਸਾਨੂੰ ਸਭ ਤੋਂ ਤਾਜ਼ਾ ਅਤੇ ਅੱਪ-ਟੂ-ਡੇਟ ਮਿਆਦਾਂ ਦੀ ਜਾਂਚ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ। ਇਸ ਕੋਸ਼ਿਸ਼ ਦੇ ਨਾਲ ਚੁਣੌਤੀ ਇਹ ਹੈ ਕਿ ਸਾਡਾ ਸਿਸਟਮ ਮਲਟੀਪਲ ਡਾਟਾ ਸਟੋਰਾਂ ਅਤੇ ਸਾਫਟਵੇਅਰ ਮਾਡਿਊਲਾਂ ਨਾਲ ਵਿਭਿੰਨ ਹੈ ਜਿਸ ਲਈ ਇਕਸਾਰ ਤਰੀਕੇ ਨਾਲ ਕੰਮ ਕਰਨ ਲਈ ਸਾਵਧਾਨੀਪੂਰਵਕ ਯੋਜਨਾ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ।

ਸਾਡੇ ਸਿਸਟਮ ਦੇ ਡਿਜ਼ਾਈਨ ਸੰਕਲਪ

ਸਾਡੇ ਸਿਸਟਮ ਵਿੱਚ ਸਾਡੇ ਕੋਲ ਚਾਰ ਮੁੱਖ ਭਾਗ ਹਨ: ਇੱਕ ਇੰਜੈਸ਼ਨ ਸਿਸਟਮ, ਇੱਕ ਕੰਪਿਊਟੇਸ਼ਨਲ ਸਿਸਟਮ, ਇੱਕ BI ਵਿਸ਼ਲੇਸ਼ਣ, ਅਤੇ ਇੱਕ ਟਰੈਕਿੰਗ ਸਿਸਟਮ। ਉਹ ਖਾਸ ਅਲੱਗ-ਥਲੱਗ ਉਦੇਸ਼ਾਂ ਦੀ ਪੂਰਤੀ ਕਰਦੇ ਹਨ, ਅਤੇ ਅਸੀਂ ਉਹਨਾਂ ਨੂੰ ਕੁਝ ਵਿਕਾਸ ਪਹੁੰਚਾਂ ਦੀ ਪਾਲਣਾ ਕਰਕੇ ਅਲੱਗ-ਥਲੱਗ ਰੱਖਦੇ ਹਾਂ।

ਕੰਟਰੈਕਟ ਅਧਾਰਤ ਡਿਜ਼ਾਈਨ

ਸਭ ਤੋਂ ਪਹਿਲਾਂ, ਅਸੀਂ ਸਹਿਮਤ ਹੋਏ ਕਿ ਕੰਪੋਨੈਂਟਸ ਨੂੰ ਸਿਰਫ ਕੁਝ ਖਾਸ ਡਾਟਾ ਢਾਂਚੇ (ਇਕਰਾਰਨਾਮੇ) 'ਤੇ ਭਰੋਸਾ ਕਰਨਾ ਚਾਹੀਦਾ ਹੈ ਜੋ ਉਹਨਾਂ ਵਿਚਕਾਰ ਪਾਸ ਕੀਤੇ ਜਾਂਦੇ ਹਨ। ਇਹ ਉਹਨਾਂ ਵਿਚਕਾਰ ਏਕੀਕ੍ਰਿਤ ਕਰਨਾ ਅਤੇ ਭਾਗਾਂ ਦੀ ਇੱਕ ਖਾਸ ਰਚਨਾ (ਅਤੇ ਆਦੇਸ਼) ਨੂੰ ਲਾਗੂ ਨਹੀਂ ਕਰਨਾ ਆਸਾਨ ਬਣਾਉਂਦਾ ਹੈ। ਉਦਾਹਰਨ ਲਈ, ਕੁਝ ਮਾਮਲਿਆਂ ਵਿੱਚ ਇਹ ਸਾਨੂੰ ਚੇਤਾਵਨੀ ਟਰੈਕਿੰਗ ਸਿਸਟਮ ਨਾਲ ਸਿੱਧੇ ਤੌਰ 'ਤੇ ਪ੍ਰਾਪਤ ਕਰਨ ਵਾਲੇ ਸਿਸਟਮ ਨੂੰ ਜੋੜਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ। ਅਜਿਹੇ ਵਿੱਚ, ਇਹ ਸਹਿਮਤੀ ਨੋਟੀਫਿਕੇਸ਼ਨ ਇਕਰਾਰਨਾਮੇ ਦੇ ਅਨੁਸਾਰ ਕੀਤਾ ਜਾਵੇਗਾ. ਇਸਦਾ ਮਤਲਬ ਹੈ ਕਿ ਦੋਵੇਂ ਭਾਗਾਂ ਨੂੰ ਇਕਰਾਰਨਾਮੇ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਏਕੀਕ੍ਰਿਤ ਕੀਤਾ ਜਾਵੇਗਾ ਜੋ ਕੋਈ ਹੋਰ ਭਾਗ ਵਰਤ ਸਕਦਾ ਹੈ। ਅਸੀਂ ਇਨਪੁਟ ਸਿਸਟਮ ਤੋਂ ਟਰੈਕਿੰਗ ਸਿਸਟਮ ਵਿੱਚ ਚੇਤਾਵਨੀਆਂ ਨੂੰ ਜੋੜਨ ਲਈ ਇੱਕ ਵਾਧੂ ਇਕਰਾਰਨਾਮਾ ਨਹੀਂ ਜੋੜਾਂਗੇ। ਇਸ ਪਹੁੰਚ ਲਈ ਪੂਰਵ-ਨਿਰਧਾਰਤ ਘੱਟੋ-ਘੱਟ ਸੰਖਿਆ ਦੇ ਇਕਰਾਰਨਾਮੇ ਦੀ ਵਰਤੋਂ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ ਅਤੇ ਸਿਸਟਮ ਅਤੇ ਸੰਚਾਰ ਨੂੰ ਸਰਲ ਬਣਾਉਂਦਾ ਹੈ। ਅਸਲ ਵਿੱਚ, ਅਸੀਂ "ਕੰਟਰੈਕਟ ਫਸਟ ਡਿਜ਼ਾਈਨ" ਨਾਮਕ ਇੱਕ ਪਹੁੰਚ ਅਪਣਾ ਰਹੇ ਹਾਂ ਅਤੇ ਇਸਨੂੰ ਸਟ੍ਰੀਮਿੰਗ ਕੰਟਰੈਕਟਸ ਵਿੱਚ ਲਾਗੂ ਕਰ ਰਹੇ ਹਾਂ। [2]

ਹਰ ਥਾਂ ਸਟ੍ਰੀਮਿੰਗ

ਸਿਸਟਮ ਵਿੱਚ ਰਾਜ ਨੂੰ ਸੰਭਾਲਣਾ ਅਤੇ ਪ੍ਰਬੰਧਨ ਕਰਨਾ ਲਾਜ਼ਮੀ ਤੌਰ 'ਤੇ ਇਸਦੇ ਲਾਗੂ ਕਰਨ ਵਿੱਚ ਪੇਚੀਦਗੀਆਂ ਪੈਦਾ ਕਰੇਗਾ। ਆਮ ਤੌਰ 'ਤੇ, ਰਾਜ ਕਿਸੇ ਵੀ ਹਿੱਸੇ ਤੋਂ ਪਹੁੰਚਯੋਗ ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ, ਇਹ ਇਕਸਾਰ ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ ਅਤੇ ਸਾਰੇ ਹਿੱਸਿਆਂ ਵਿੱਚ ਸਭ ਤੋਂ ਨਵੀਨਤਮ ਮੁੱਲ ਪ੍ਰਦਾਨ ਕਰਨਾ ਚਾਹੀਦਾ ਹੈ, ਅਤੇ ਇਹ ਸਹੀ ਮੁੱਲਾਂ ਦੇ ਨਾਲ ਭਰੋਸੇਯੋਗ ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ। ਇਸ ਤੋਂ ਇਲਾਵਾ, ਨਵੀਨਤਮ ਸਥਿਤੀ ਪ੍ਰਾਪਤ ਕਰਨ ਲਈ ਨਿਰੰਤਰ ਸਟੋਰੇਜ ਲਈ ਕਾਲਾਂ ਕਰਨ ਨਾਲ I/O ਦੀ ਮਾਤਰਾ ਅਤੇ ਸਾਡੀ ਰੀਅਲ-ਟਾਈਮ ਪਾਈਪਲਾਈਨਾਂ ਵਿੱਚ ਵਰਤੇ ਗਏ ਐਲਗੋਰਿਦਮ ਦੀ ਗੁੰਝਲਤਾ ਵਿੱਚ ਵਾਧਾ ਹੋਵੇਗਾ। ਇਸਦੇ ਕਾਰਨ, ਅਸੀਂ ਸਟੇਟ ਸਟੋਰੇਜ ਨੂੰ, ਜੇਕਰ ਸੰਭਵ ਹੋਵੇ, ਸਾਡੇ ਸਿਸਟਮ ਤੋਂ ਪੂਰੀ ਤਰ੍ਹਾਂ ਹਟਾਉਣ ਦਾ ਫੈਸਲਾ ਕੀਤਾ ਹੈ। ਇਸ ਪਹੁੰਚ ਦੀ ਲੋੜ ਹੈ ਕਿ ਸਾਰੇ ਲੋੜੀਂਦੇ ਡੇਟਾ ਨੂੰ ਪ੍ਰਸਾਰਿਤ ਡੇਟਾ ਯੂਨਿਟ (ਸੁਨੇਹੇ) ਵਿੱਚ ਸ਼ਾਮਲ ਕੀਤਾ ਜਾਵੇ। ਉਦਾਹਰਨ ਲਈ, ਜੇਕਰ ਸਾਨੂੰ ਕੁਝ ਨਿਰੀਖਣਾਂ ਦੀ ਕੁੱਲ ਸੰਖਿਆ ਦੀ ਗਣਨਾ ਕਰਨ ਦੀ ਲੋੜ ਹੈ (ਕੁਝ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਵਾਲੇ ਓਪਰੇਸ਼ਨਾਂ ਜਾਂ ਕੇਸਾਂ ਦੀ ਗਿਣਤੀ), ਅਸੀਂ ਇਸਨੂੰ ਮੈਮੋਰੀ ਵਿੱਚ ਗਣਨਾ ਕਰਦੇ ਹਾਂ ਅਤੇ ਅਜਿਹੇ ਮੁੱਲਾਂ ਦੀ ਇੱਕ ਧਾਰਾ ਪੈਦਾ ਕਰਦੇ ਹਾਂ। ਨਿਰਭਰ ਮੋਡੀਊਲ ਸਟਰੀਮ ਨੂੰ ਇਕਾਈਆਂ ਦੁਆਰਾ ਵੰਡਣ ਅਤੇ ਨਵੀਨਤਮ ਮੁੱਲਾਂ 'ਤੇ ਕੰਮ ਕਰਨ ਲਈ ਵਿਭਾਗੀਕਰਨ ਅਤੇ ਬੈਚਿੰਗ ਦੀ ਵਰਤੋਂ ਕਰਨਗੇ। ਇਸ ਪਹੁੰਚ ਨੇ ਅਜਿਹੇ ਡੇਟਾ ਲਈ ਨਿਰੰਤਰ ਡਿਸਕ ਸਟੋਰੇਜ ਦੀ ਜ਼ਰੂਰਤ ਨੂੰ ਖਤਮ ਕਰ ਦਿੱਤਾ ਹੈ। ਸਾਡਾ ਸਿਸਟਮ ਕਾਫਕਾ ਨੂੰ ਇੱਕ ਸੁਨੇਹਾ ਦਲਾਲ ਵਜੋਂ ਵਰਤਦਾ ਹੈ ਅਤੇ ਇਸਨੂੰ KSQL ਦੇ ਨਾਲ ਇੱਕ ਡੇਟਾਬੇਸ ਵਜੋਂ ਵਰਤਿਆ ਜਾ ਸਕਦਾ ਹੈ। [3] ਪਰ ਇਸਦੀ ਵਰਤੋਂ ਨਾਲ ਸਾਡੇ ਹੱਲ ਨੂੰ ਕਾਫਕਾ ਨਾਲ ਮਜ਼ਬੂਤੀ ਨਾਲ ਜੋੜਿਆ ਜਾਵੇਗਾ, ਅਤੇ ਅਸੀਂ ਇਸਨੂੰ ਨਾ ਵਰਤਣ ਦਾ ਫੈਸਲਾ ਕੀਤਾ। ਸਾਡੇ ਦੁਆਰਾ ਚੁਣੀ ਗਈ ਪਹੁੰਚ ਸਾਨੂੰ ਸਿਸਟਮ ਵਿੱਚ ਵੱਡੀਆਂ ਅੰਦਰੂਨੀ ਤਬਦੀਲੀਆਂ ਦੇ ਬਿਨਾਂ ਕਾਫਕਾ ਨੂੰ ਇੱਕ ਹੋਰ ਸੰਦੇਸ਼ ਦਲਾਲ ਨਾਲ ਬਦਲਣ ਦੀ ਆਗਿਆ ਦਿੰਦੀ ਹੈ।

ਇਸ ਧਾਰਨਾ ਦਾ ਇਹ ਮਤਲਬ ਨਹੀਂ ਹੈ ਕਿ ਅਸੀਂ ਡਿਸਕ ਸਟੋਰੇਜ ਅਤੇ ਡੇਟਾਬੇਸ ਦੀ ਵਰਤੋਂ ਨਹੀਂ ਕਰਦੇ ਹਾਂ। ਸਿਸਟਮ ਦੀ ਕਾਰਗੁਜ਼ਾਰੀ ਦੀ ਜਾਂਚ ਅਤੇ ਵਿਸ਼ਲੇਸ਼ਣ ਕਰਨ ਲਈ, ਸਾਨੂੰ ਡਿਸਕ 'ਤੇ ਇੱਕ ਮਹੱਤਵਪੂਰਨ ਮਾਤਰਾ ਵਿੱਚ ਡਾਟਾ ਸਟੋਰ ਕਰਨ ਦੀ ਲੋੜ ਹੈ, ਜੋ ਕਿ ਵੱਖ-ਵੱਖ ਸੂਚਕਾਂ ਅਤੇ ਸਥਿਤੀਆਂ ਨੂੰ ਦਰਸਾਉਂਦੀ ਹੈ। ਇੱਥੇ ਮਹੱਤਵਪੂਰਨ ਨੁਕਤਾ ਇਹ ਹੈ ਕਿ ਅਸਲ-ਸਮੇਂ ਦੇ ਐਲਗੋਰਿਦਮ ਅਜਿਹੇ ਡੇਟਾ 'ਤੇ ਨਿਰਭਰ ਨਹੀਂ ਕਰਦੇ ਹਨ। ਜ਼ਿਆਦਾਤਰ ਮਾਮਲਿਆਂ ਵਿੱਚ, ਅਸੀਂ ਔਫਲਾਈਨ ਵਿਸ਼ਲੇਸ਼ਣ, ਡੀਬੱਗਿੰਗ, ਅਤੇ ਖਾਸ ਕੇਸਾਂ ਅਤੇ ਨਤੀਜਿਆਂ ਦੀ ਟਰੈਕਿੰਗ ਲਈ ਸੁਰੱਖਿਅਤ ਕੀਤੇ ਡੇਟਾ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹਾਂ ਜੋ ਸਿਸਟਮ ਪੈਦਾ ਕਰਦਾ ਹੈ।

ਸਾਡੇ ਸਿਸਟਮ ਦੀਆਂ ਸਮੱਸਿਆਵਾਂ

ਕੁਝ ਸਮੱਸਿਆਵਾਂ ਹਨ ਜੋ ਅਸੀਂ ਇੱਕ ਨਿਸ਼ਚਿਤ ਪੱਧਰ ਤੱਕ ਹੱਲ ਕੀਤੀਆਂ ਹਨ, ਪਰ ਉਹਨਾਂ ਨੂੰ ਵਧੇਰੇ ਸੋਚ-ਸਮਝ ਕੇ ਹੱਲ ਕਰਨ ਦੀ ਲੋੜ ਹੈ। ਹੁਣ ਲਈ, ਮੈਂ ਇੱਥੇ ਉਹਨਾਂ ਦਾ ਜ਼ਿਕਰ ਕਰਨਾ ਚਾਹਾਂਗਾ, ਕਿਉਂਕਿ ਹਰੇਕ ਆਈਟਮ ਦਾ ਆਪਣਾ ਲੇਖ ਹੈ.

• ਸਾਨੂੰ ਅਜੇ ਵੀ ਪ੍ਰਕਿਰਿਆਵਾਂ ਅਤੇ ਨੀਤੀਆਂ ਨੂੰ ਪਰਿਭਾਸ਼ਿਤ ਕਰਨ ਦੀ ਲੋੜ ਹੈ ਜੋ ਸਾਡੇ ਸਵੈਚਲਿਤ ਵਿਸ਼ਲੇਸ਼ਣ, ਖੋਜ ਅਤੇ ਡੇਟਾ ਦੀ ਖੋਜ ਲਈ ਅਰਥਪੂਰਨ ਅਤੇ ਸੰਬੰਧਿਤ ਡੇਟਾ ਤਿਆਰ ਕਰਨ ਵਿੱਚ ਮਦਦ ਕਰਦੀਆਂ ਹਨ।
• ਸਿਸਟਮ ਨੂੰ ਆਟੋਮੈਟਿਕ ਟਿਊਨਿੰਗ ਕਰਨ ਦੀ ਪ੍ਰਕਿਰਿਆ ਵਿੱਚ ਇੱਕ ਵਿਅਕਤੀ ਦੁਆਰਾ ਵਿਸ਼ਲੇਸ਼ਣ ਦੇ ਨਤੀਜਿਆਂ ਦੀ ਜਾਣ-ਪਛਾਣ ਇਸ ਨੂੰ ਨਵੀਨਤਮ ਡੇਟਾ ਨਾਲ ਅਪਡੇਟ ਕਰਨ ਲਈ. ਇਹ ਨਾ ਸਿਰਫ਼ ਸਾਡੇ ਮਾਡਲ ਲਈ ਇੱਕ ਅੱਪਡੇਟ ਹੈ, ਸਗੋਂ ਸਾਡੀਆਂ ਪ੍ਰਕਿਰਿਆਵਾਂ ਲਈ ਇੱਕ ਅੱਪਡੇਟ ਹੈ ਅਤੇ ਸਾਡੇ ਡੇਟਾ ਦੀ ਬਿਹਤਰ ਸਮਝ ਹੈ।
• IF-ELSE ਅਤੇ ML ਦੀ ਨਿਰਣਾਇਕ ਪਹੁੰਚ ਵਿਚਕਾਰ ਸੰਤੁਲਨ ਲੱਭਣਾ। ਕਿਸੇ ਨੇ ਕਿਹਾ: "ML ਹਤਾਸ਼ ਲਈ ਇੱਕ ਸਾਧਨ ਹੈ." ਇਸਦਾ ਮਤਲਬ ਇਹ ਹੈ ਕਿ ਤੁਸੀਂ ML ਦੀ ਵਰਤੋਂ ਕਰਨਾ ਚਾਹੋਗੇ ਜਦੋਂ ਤੁਸੀਂ ਹੁਣ ਇਹ ਨਹੀਂ ਸਮਝਦੇ ਹੋ ਕਿ ਆਪਣੇ ਐਲਗੋਰਿਦਮ ਨੂੰ ਕਿਵੇਂ ਅਨੁਕੂਲ ਬਣਾਉਣਾ ਅਤੇ ਸੁਧਾਰ ਕਰਨਾ ਹੈ। ਦੂਜੇ ਪਾਸੇ, ਨਿਰਣਾਇਕ ਪਹੁੰਚ ਉਹਨਾਂ ਵਿਗਾੜਾਂ ਦਾ ਪਤਾ ਲਗਾਉਣ ਦੀ ਆਗਿਆ ਨਹੀਂ ਦਿੰਦੀ ਜੋ ਪਹਿਲਾਂ ਨਹੀਂ ਸਨ।
• ਸਾਨੂੰ ਡੇਟਾ ਵਿੱਚ ਮੈਟ੍ਰਿਕਸ ਦੇ ਵਿਚਕਾਰ ਸਾਡੀਆਂ ਅਨੁਮਾਨਾਂ ਜਾਂ ਸਬੰਧਾਂ ਦੀ ਜਾਂਚ ਕਰਨ ਲਈ ਇੱਕ ਆਸਾਨ ਤਰੀਕੇ ਦੀ ਲੋੜ ਹੈ।
• ਸਿਸਟਮ ਵਿੱਚ ਸਹੀ ਸਕਾਰਾਤਮਕ ਨਤੀਜਿਆਂ ਦੇ ਕਈ ਪੱਧਰ ਹੋਣੇ ਚਾਹੀਦੇ ਹਨ। ਧੋਖਾਧੜੀ ਦੇ ਕੇਸ ਉਹਨਾਂ ਸਾਰੇ ਮਾਮਲਿਆਂ ਦਾ ਸਿਰਫ ਇੱਕ ਹਿੱਸਾ ਹਨ ਜੋ ਸਿਸਟਮ ਲਈ ਸਕਾਰਾਤਮਕ ਮੰਨੇ ਜਾ ਸਕਦੇ ਹਨ। ਉਦਾਹਰਨ ਲਈ, ਵਿਸ਼ਲੇਸ਼ਕ ਸਮੀਖਿਆ ਲਈ ਸਾਰੇ ਸ਼ੱਕੀ ਕੇਸ ਪ੍ਰਾਪਤ ਕਰਨਾ ਚਾਹੁੰਦੇ ਹਨ, ਅਤੇ ਉਹਨਾਂ ਵਿੱਚੋਂ ਸਿਰਫ ਇੱਕ ਛੋਟਾ ਜਿਹਾ ਹਿੱਸਾ ਹੀ ਧੋਖਾਧੜੀ ਵਾਲਾ ਹੈ। ਸਿਸਟਮ ਨੂੰ ਸਾਰੇ ਮਾਮਲਿਆਂ ਵਿੱਚ ਵਿਸ਼ਲੇਸ਼ਕਾਂ ਨੂੰ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਢੰਗ ਨਾਲ ਪ੍ਰਦਾਨ ਕਰਨਾ ਚਾਹੀਦਾ ਹੈ, ਭਾਵੇਂ ਇਹ ਅਸਲ ਧੋਖਾਧੜੀ ਹੈ ਜਾਂ ਸਿਰਫ਼ ਸ਼ੱਕੀ ਵਿਵਹਾਰ ਹੈ।
• ਡੇਟਾ ਪਲੇਟਫਾਰਮ ਨੂੰ ਫਲਾਈ 'ਤੇ ਬਣਾਈਆਂ ਅਤੇ ਗਣਨਾਵਾਂ ਦੇ ਨਾਲ ਇਤਿਹਾਸਕ ਡੇਟਾਸੈਟਾਂ ਨੂੰ ਮੁੜ ਪ੍ਰਾਪਤ ਕਰਨ ਦੇ ਯੋਗ ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ।
• ਘੱਟੋ-ਘੱਟ ਤਿੰਨ ਵੱਖ-ਵੱਖ ਵਾਤਾਵਰਣਾਂ ਵਿੱਚ ਸਿਸਟਮ ਦੇ ਕਿਸੇ ਵੀ ਹਿੱਸੇ ਦੀ ਸਧਾਰਨ ਅਤੇ ਆਟੋਮੈਟਿਕ ਤੈਨਾਤੀ: ਉਤਪਾਦਨ, ਪ੍ਰਯੋਗਾਤਮਕ (ਬੀਟਾ), ਅਤੇ ਡਿਵੈਲਪਰਾਂ ਲਈ।
• ਅਤੇ ਆਖਰੀ ਪਰ ਘੱਟੋ ਘੱਟ ਨਹੀਂ. ਸਾਨੂੰ ਇੱਕ ਵਿਆਪਕ ਬੈਂਚਮਾਰਕਿੰਗ ਪਲੇਟਫਾਰਮ ਬਣਾਉਣ ਦੀ ਜ਼ਰੂਰਤ ਹੈ ਜਿਸ 'ਤੇ ਅਸੀਂ ਆਪਣੇ ਮਾਡਲਾਂ ਦਾ ਵਿਸ਼ਲੇਸ਼ਣ ਕਰ ਸਕਦੇ ਹਾਂ। [4]

ਹਵਾਲੇ

1. ਆਗਮੈਂਟਡ ਇੰਟੈਲੀਜੈਂਸ ਕੀ ਹੈ?
2. ਇੱਕ API-ਪਹਿਲੀ ਡਿਜ਼ਾਈਨ ਵਿਧੀ ਨੂੰ ਲਾਗੂ ਕਰਨਾ
3. ਕਾਫਕਾ "ਇਵੈਂਟ ਸਟ੍ਰੀਮਿੰਗ ਡੇਟਾਬੇਸ" ਵਿੱਚ ਬਦਲ ਰਿਹਾ ਹੈ
4. AUC—ROC ਕਰਵ ਨੂੰ ਸਮਝਣਾ

ਸਰੋਤ: www.habr.com