ਫਰਵਰੀ-ਮਾਰਚ 2019 ਵਿੱਚ, ਸੋਸ਼ਲ ਨੈਟਵਰਕ ਫੀਡ ਨੂੰ ਰੈਂਕ ਦੇਣ ਲਈ ਇੱਕ ਮੁਕਾਬਲਾ ਆਯੋਜਿਤ ਕੀਤਾ ਗਿਆ ਸੀ SNA ਹੈਕਾਥਨ 2019, ਜਿਸ ਵਿੱਚ ਸਾਡੀ ਟੀਮ ਨੇ ਪਹਿਲਾ ਸਥਾਨ ਪ੍ਰਾਪਤ ਕੀਤਾ। ਲੇਖ ਵਿਚ ਮੈਂ ਮੁਕਾਬਲੇ ਦੇ ਸੰਗਠਨ ਬਾਰੇ ਗੱਲ ਕਰਾਂਗਾ, ਅਸੀਂ ਜਿਨ੍ਹਾਂ ਤਰੀਕਿਆਂ ਦੀ ਕੋਸ਼ਿਸ਼ ਕੀਤੀ ਹੈ, ਅਤੇ ਵੱਡੇ ਡੇਟਾ 'ਤੇ ਸਿਖਲਾਈ ਲਈ ਕੈਟਬੂਸਟ ਸੈਟਿੰਗਾਂ.

SNA ਹੈਕਾਥਨ

ਇਹ ਤੀਜੀ ਵਾਰ ਹੈ ਜਦੋਂ ਇਸ ਨਾਂ ਹੇਠ ਹੈਕਾਥੌਨ ਦਾ ਆਯੋਜਨ ਕੀਤਾ ਗਿਆ ਹੈ। ਇਹ ਸੋਸ਼ਲ ਨੈਟਵਰਕ ok.ru ਦੁਆਰਾ ਆਯੋਜਿਤ ਕੀਤਾ ਗਿਆ ਹੈ, ਕ੍ਰਮਵਾਰ, ਕਾਰਜ ਅਤੇ ਡੇਟਾ ਸਿੱਧੇ ਇਸ ਸੋਸ਼ਲ ਨੈਟਵਰਕ ਨਾਲ ਸੰਬੰਧਿਤ ਹਨ.
ਇਸ ਮਾਮਲੇ ਵਿੱਚ SNA (ਸੋਸ਼ਲ ਨੈੱਟਵਰਕ ਵਿਸ਼ਲੇਸ਼ਣ) ਨੂੰ ਇੱਕ ਸਮਾਜਿਕ ਗ੍ਰਾਫ਼ ਦੇ ਵਿਸ਼ਲੇਸ਼ਣ ਵਜੋਂ ਨਹੀਂ, ਸਗੋਂ ਇੱਕ ਸੋਸ਼ਲ ਨੈੱਟਵਰਕ ਦੇ ਵਿਸ਼ਲੇਸ਼ਣ ਵਜੋਂ ਵਧੇਰੇ ਸਹੀ ਢੰਗ ਨਾਲ ਸਮਝਿਆ ਜਾਂਦਾ ਹੈ।

• 2014 ਵਿੱਚ, ਕੰਮ ਕਿਸੇ ਪੋਸਟ ਨੂੰ ਮਿਲਣ ਵਾਲੇ ਪਸੰਦਾਂ ਦੀ ਸੰਖਿਆ ਦੀ ਭਵਿੱਖਬਾਣੀ ਕਰਨਾ ਸੀ।
• 2016 ਵਿੱਚ - VVZ ਟਾਸਕ (ਸ਼ਾਇਦ ਤੁਸੀਂ ਜਾਣੂ ਹੋ), ਸਮਾਜਿਕ ਗ੍ਰਾਫ ਦੇ ਵਿਸ਼ਲੇਸ਼ਣ ਦੇ ਨੇੜੇ.
• 2019 ਵਿੱਚ, ਉਪਭੋਗਤਾ ਦੀ ਫੀਡ ਨੂੰ ਇਸ ਸੰਭਾਵਨਾ ਦੇ ਅਧਾਰ ਤੇ ਰੈਂਕਿੰਗ ਕਰਨਾ ਕਿ ਉਪਭੋਗਤਾ ਪੋਸਟ ਨੂੰ ਪਸੰਦ ਕਰੇਗਾ।

ਮੈਂ 2014 ਬਾਰੇ ਨਹੀਂ ਕਹਿ ਸਕਦਾ, ਪਰ 2016 ਅਤੇ 2019 ਵਿੱਚ, ਡੇਟਾ ਵਿਸ਼ਲੇਸ਼ਣ ਯੋਗਤਾਵਾਂ ਤੋਂ ਇਲਾਵਾ, ਵੱਡੇ ਡੇਟਾ ਨਾਲ ਕੰਮ ਕਰਨ ਵਿੱਚ ਹੁਨਰ ਦੀ ਵੀ ਲੋੜ ਸੀ। ਮੈਨੂੰ ਲੱਗਦਾ ਹੈ ਕਿ ਇਹ ਮਸ਼ੀਨ ਲਰਨਿੰਗ ਅਤੇ ਵੱਡੀਆਂ ਡਾਟਾ ਪ੍ਰੋਸੈਸਿੰਗ ਸਮੱਸਿਆਵਾਂ ਦਾ ਸੁਮੇਲ ਸੀ ਜਿਸਨੇ ਮੈਨੂੰ ਇਹਨਾਂ ਮੁਕਾਬਲਿਆਂ ਵੱਲ ਆਕਰਸ਼ਿਤ ਕੀਤਾ, ਅਤੇ ਇਹਨਾਂ ਖੇਤਰਾਂ ਵਿੱਚ ਮੇਰੇ ਅਨੁਭਵ ਨੇ ਮੈਨੂੰ ਜਿੱਤਣ ਵਿੱਚ ਮਦਦ ਕੀਤੀ।

mlbootcamp

2019 ਵਿੱਚ, ਮੁਕਾਬਲਾ ਪਲੇਟਫਾਰਮ 'ਤੇ ਆਯੋਜਿਤ ਕੀਤਾ ਗਿਆ ਸੀ https://mlbootcamp.ru.

ਇਹ ਮੁਕਾਬਲਾ 7 ਫਰਵਰੀ ਨੂੰ ਔਨਲਾਈਨ ਸ਼ੁਰੂ ਹੋਇਆ ਸੀ ਅਤੇ ਇਸ ਵਿੱਚ 3 ਕੰਮ ਸਨ। ਕੋਈ ਵੀ ਸਾਈਟ 'ਤੇ ਰਜਿਸਟਰ ਕਰ ਸਕਦਾ ਹੈ, ਡਾਊਨਲੋਡ ਕਰ ਸਕਦਾ ਹੈ ਬੇਸਲਾਈਨ ਅਤੇ ਆਪਣੀ ਕਾਰ ਨੂੰ ਕੁਝ ਘੰਟਿਆਂ ਲਈ ਲੋਡ ਕਰੋ। 15 ਮਾਰਚ ਨੂੰ ਔਨਲਾਈਨ ਸਟੇਜ ਦੇ ਅੰਤ ਵਿੱਚ, ਹਰੇਕ ਸ਼ੋਅ ਜੰਪਿੰਗ ਈਵੈਂਟ ਦੇ ਸਿਖਰਲੇ 15 ਨੂੰ ਔਫਲਾਈਨ ਪੜਾਅ ਲਈ Mail.ru ਦਫਤਰ ਵਿੱਚ ਬੁਲਾਇਆ ਗਿਆ ਸੀ, ਜੋ ਕਿ 30 ਮਾਰਚ ਤੋਂ 1 ਅਪ੍ਰੈਲ ਤੱਕ ਹੋਇਆ ਸੀ।

ਉਦੇਸ਼

ਸਰੋਤ ਡੇਟਾ ਉਪਭੋਗਤਾ ID (userId) ਅਤੇ ਪੋਸਟ ID (objectId) ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ। ਜੇਕਰ ਉਪਭੋਗਤਾ ਨੂੰ ਇੱਕ ਪੋਸਟ ਦਿਖਾਇਆ ਗਿਆ ਸੀ, ਤਾਂ ਡੇਟਾ ਵਿੱਚ userId, objectId, ਇਸ ਪੋਸਟ (ਫੀਡਬੈਕ) ਲਈ ਉਪਭੋਗਤਾ ਦੀਆਂ ਪ੍ਰਤੀਕਿਰਿਆਵਾਂ ਅਤੇ ਤਸਵੀਰਾਂ ਅਤੇ ਟੈਕਸਟ ਦੇ ਵੱਖ-ਵੱਖ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਜਾਂ ਲਿੰਕਾਂ ਦਾ ਇੱਕ ਸਮੂਹ ਸ਼ਾਮਲ ਹੁੰਦਾ ਹੈ।

ਯੂਜਰ ਆਈਡੀ	ਵਸਤੂ ਆਈ.ਡੀ	ਮਾਲਕ ਆਈ.ਡੀ	ਸੁਝਾਅ	ਚਿੱਤਰ
3555	22	5677	[ਪਸੰਦ ਕੀਤਾ, ਕਲਿੱਕ ਕੀਤਾ]	[ਹੈਸ਼1]
12842	55	32144	[ਨਾਪਸੰਦ]	[ਹੈਸ਼2, ਹੈਸ਼3]
13145	35	5677	[ਕਲਿੱਕ ਕੀਤਾ, ਸਾਂਝਾ ਕੀਤਾ]	[ਹੈਸ਼2]

ਟੈਸਟ ਡੇਟਾ ਸੈੱਟ ਵਿੱਚ ਇੱਕ ਸਮਾਨ ਢਾਂਚਾ ਸ਼ਾਮਲ ਹੈ, ਪਰ ਫੀਡਬੈਕ ਖੇਤਰ ਗੁੰਮ ਹੈ। ਕੰਮ ਫੀਡਬੈਕ ਖੇਤਰ ਵਿੱਚ 'ਪਸੰਦ' ਪ੍ਰਤੀਕ੍ਰਿਆ ਦੀ ਮੌਜੂਦਗੀ ਦੀ ਭਵਿੱਖਬਾਣੀ ਕਰਨਾ ਹੈ।
ਸਬਮਿਸ਼ਨ ਫਾਈਲ ਦੀ ਹੇਠ ਲਿਖੀ ਬਣਤਰ ਹੈ:

ਯੂਜਰ ਆਈਡੀ	ਕ੍ਰਮਬੱਧ ਸੂਚੀ[objectId]
123	78,13,54,22
128	35,61,55
131	35,68,129,11

ਮੀਟ੍ਰਿਕ ਉਪਭੋਗਤਾਵਾਂ ਲਈ ਔਸਤ ROC AUC ਹੈ।

ਡੇਟਾ ਦਾ ਵਧੇਰੇ ਵਿਸਤ੍ਰਿਤ ਵੇਰਵਾ 'ਤੇ ਪਾਇਆ ਜਾ ਸਕਦਾ ਹੈ ਕੌਂਸਲ ਦੀ ਵੈੱਬਸਾਈਟ. ਤੁਸੀਂ ਟੈਸਟਾਂ ਅਤੇ ਤਸਵੀਰਾਂ ਸਮੇਤ, ਉੱਥੇ ਡਾਟਾ ਵੀ ਡਾਊਨਲੋਡ ਕਰ ਸਕਦੇ ਹੋ।

ਆਨਲਾਈਨ ਪੜਾਅ

ਔਨਲਾਈਨ ਪੜਾਅ 'ਤੇ, ਕੰਮ ਨੂੰ 3 ਭਾਗਾਂ ਵਿੱਚ ਵੰਡਿਆ ਗਿਆ ਸੀ

• ਸਹਿਯੋਗੀ ਸਿਸਟਮ - ਚਿੱਤਰਾਂ ਅਤੇ ਟੈਕਸਟ ਨੂੰ ਛੱਡ ਕੇ ਸਾਰੀਆਂ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਸ਼ਾਮਲ ਹਨ;
• ਚਿੱਤਰ - ਸਿਰਫ ਚਿੱਤਰਾਂ ਬਾਰੇ ਜਾਣਕਾਰੀ ਸ਼ਾਮਲ ਕਰਦਾ ਹੈ;
• ਟੈਕਸਟ - ਸਿਰਫ਼ ਟੈਕਸਟ ਬਾਰੇ ਜਾਣਕਾਰੀ ਸ਼ਾਮਲ ਕਰਦਾ ਹੈ।

ਔਫਲਾਈਨ ਪੜਾਅ

ਔਫਲਾਈਨ ਪੜਾਅ 'ਤੇ, ਡੇਟਾ ਵਿੱਚ ਸਾਰੀਆਂ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਸ਼ਾਮਲ ਸਨ, ਜਦੋਂ ਕਿ ਟੈਕਸਟ ਅਤੇ ਚਿੱਤਰ ਬਹੁਤ ਘੱਟ ਸਨ। ਡੇਟਾਸੈਟ ਵਿੱਚ 1,5 ਗੁਣਾ ਜ਼ਿਆਦਾ ਕਤਾਰਾਂ ਸਨ, ਜਿਨ੍ਹਾਂ ਵਿੱਚੋਂ ਪਹਿਲਾਂ ਹੀ ਬਹੁਤ ਸਾਰੀਆਂ ਸਨ।

ਸਮੱਸਿਆ ਦਾ ਹੱਲ

ਕਿਉਂਕਿ ਮੈਂ ਕੰਮ 'ਤੇ CV ਕਰਦਾ ਹਾਂ, ਇਸ ਲਈ ਮੈਂ "ਚਿੱਤਰਾਂ" ਟਾਸਕ ਨਾਲ ਇਸ ਮੁਕਾਬਲੇ ਵਿੱਚ ਆਪਣੀ ਯਾਤਰਾ ਸ਼ੁਰੂ ਕੀਤੀ। ਪ੍ਰਦਾਨ ਕੀਤਾ ਗਿਆ ਡੇਟਾ ਯੂਜ਼ਰ ਆਈਡੀ, ਆਬਜੈਕਟ ਆਈਡੀ, ਮਾਲਕ ਆਈਡੀ (ਉਹ ਸਮੂਹ ਜਿਸ ਵਿੱਚ ਪੋਸਟ ਪ੍ਰਕਾਸ਼ਿਤ ਕੀਤੀ ਗਈ ਸੀ), ਪੋਸਟ ਬਣਾਉਣ ਅਤੇ ਪ੍ਰਦਰਸ਼ਿਤ ਕਰਨ ਲਈ ਟਾਈਮਸਟੈਂਪ, ਅਤੇ, ਬੇਸ਼ਕ, ਇਸ ਪੋਸਟ ਲਈ ਚਿੱਤਰ।
ਟਾਈਮਸਟੈਂਪਾਂ ਦੇ ਆਧਾਰ 'ਤੇ ਕਈ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਤਿਆਰ ਕਰਨ ਤੋਂ ਬਾਅਦ, ਅਗਲਾ ਵਿਚਾਰ ਇਮੇਜਨੈੱਟ 'ਤੇ ਪ੍ਰੀ-ਟ੍ਰੇਂਡ ਨਿਊਰੋਨ ਦੀ ਅੰਤਮ ਪਰਤ ਨੂੰ ਲੈਣਾ ਅਤੇ ਇਹਨਾਂ ਏਮਬੈਡਿੰਗਾਂ ਨੂੰ ਬੂਸਟ ਕਰਨ ਲਈ ਭੇਜਣਾ ਸੀ।

ਨਤੀਜੇ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਨਹੀਂ ਸਨ. ਇਮੇਜਨੈੱਟ ਨਿਊਰੋਨ ਤੋਂ ਏਮਬੈਡਿੰਗ ਅਪ੍ਰਸੰਗਿਕ ਹਨ, ਮੈਂ ਸੋਚਿਆ, ਮੈਨੂੰ ਆਪਣਾ ਖੁਦ ਦਾ ਆਟੋਏਨਕੋਡਰ ਬਣਾਉਣ ਦੀ ਲੋੜ ਹੈ।

ਇਸ ਵਿੱਚ ਬਹੁਤ ਸਮਾਂ ਲੱਗਿਆ ਅਤੇ ਨਤੀਜਾ ਨਹੀਂ ਸੁਧਰਿਆ।

ਫੀਚਰ ਪੀੜ੍ਹੀ

ਚਿੱਤਰਾਂ ਨਾਲ ਕੰਮ ਕਰਨ ਵਿੱਚ ਬਹੁਤ ਸਮਾਂ ਲੱਗਦਾ ਹੈ, ਇਸ ਲਈ ਮੈਂ ਕੁਝ ਸੌਖਾ ਕਰਨ ਦਾ ਫੈਸਲਾ ਕੀਤਾ।
ਜਿਵੇਂ ਕਿ ਤੁਸੀਂ ਤੁਰੰਤ ਦੇਖ ਸਕਦੇ ਹੋ, ਡੇਟਾਸੇਟ ਵਿੱਚ ਕਈ ਸਪੱਸ਼ਟ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਹਨ, ਅਤੇ ਬਹੁਤ ਜ਼ਿਆਦਾ ਪਰੇਸ਼ਾਨ ਨਾ ਹੋਣ ਲਈ, ਮੈਂ ਹੁਣੇ ਕੈਟਬੂਸਟ ਲਿਆ ਹੈ. ਹੱਲ ਸ਼ਾਨਦਾਰ ਸੀ, ਬਿਨਾਂ ਕਿਸੇ ਸੈਟਿੰਗ ਦੇ ਮੈਂ ਤੁਰੰਤ ਲੀਡਰਬੋਰਡ ਦੀ ਪਹਿਲੀ ਲਾਈਨ 'ਤੇ ਪਹੁੰਚ ਗਿਆ.

ਇੱਥੇ ਬਹੁਤ ਸਾਰਾ ਡੇਟਾ ਹੈ ਅਤੇ ਇਹ ਪੈਰਕੇਟ ਫਾਰਮੈਟ ਵਿੱਚ ਰੱਖਿਆ ਗਿਆ ਹੈ, ਇਸ ਲਈ ਬਿਨਾਂ ਦੋ ਵਾਰ ਸੋਚੇ, ਮੈਂ ਸਕੇਲਾ ਲਿਆ ਅਤੇ ਸਭ ਕੁਝ ਸਪਾਰਕ ਵਿੱਚ ਲਿਖਣਾ ਸ਼ੁਰੂ ਕਰ ਦਿੱਤਾ।

ਸਭ ਤੋਂ ਸਰਲ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਜਿਨ੍ਹਾਂ ਨੇ ਚਿੱਤਰ ਏਮਬੈਡਿੰਗਾਂ ਨਾਲੋਂ ਵੱਧ ਵਾਧਾ ਦਿੱਤਾ ਹੈ:

• ਡੇਟਾ ਵਿੱਚ ਕਿੰਨੀ ਵਾਰ objectId, userId ਅਤੇ ਮਾਲਕ ਆਈਡੀ ਦਿਖਾਈ ਦਿੱਤੀ (ਪ੍ਰਸਿੱਧਤਾ ਨਾਲ ਸਬੰਧਿਤ ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ);
• ਯੂਜ਼ਰ ਆਈਡੀ ਨੇ ਮਾਲਕ ਆਈਡੀ ਤੋਂ ਕਿੰਨੀਆਂ ਪੋਸਟਾਂ ਦੇਖੀਆਂ ਹਨ (ਸਮੂਹ ਵਿੱਚ ਉਪਭੋਗਤਾ ਦੀ ਦਿਲਚਸਪੀ ਨਾਲ ਸਬੰਧਤ ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ);
• ਮਾਲਕ ਆਈਡੀ ਤੋਂ ਕਿੰਨੇ ਵਿਲੱਖਣ ਉਪਭੋਗਤਾ ਆਈਡੀ ਨੇ ਪੋਸਟਾਂ ਵੇਖੀਆਂ (ਸਮੂਹ ਦੇ ਦਰਸ਼ਕਾਂ ਦੇ ਆਕਾਰ ਨੂੰ ਦਰਸਾਉਂਦਾ ਹੈ)।

ਟਾਈਮਸਟੈਂਪਾਂ ਤੋਂ ਦਿਨ ਦਾ ਸਮਾਂ ਪ੍ਰਾਪਤ ਕਰਨਾ ਸੰਭਵ ਸੀ ਜਿਸ 'ਤੇ ਉਪਭੋਗਤਾ ਨੇ ਫੀਡ ਦੇਖਿਆ (ਸਵੇਰ/ਦੁਪਹਿਰ/ਸ਼ਾਮ/ਰਾਤ)। ਇਹਨਾਂ ਸ਼੍ਰੇਣੀਆਂ ਨੂੰ ਜੋੜ ਕੇ, ਤੁਸੀਂ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਨੂੰ ਬਣਾਉਣਾ ਜਾਰੀ ਰੱਖ ਸਕਦੇ ਹੋ:

• ਯੂਜ਼ਰ ਆਈਡੀ ਨੇ ਸ਼ਾਮ ਨੂੰ ਕਿੰਨੀ ਵਾਰ ਲੌਗਇਨ ਕੀਤਾ;
• ਕਿਸ ਸਮੇਂ ਇਹ ਪੋਸਟ ਅਕਸਰ ਦਿਖਾਈ ਜਾਂਦੀ ਹੈ (objectId) ਆਦਿ।

ਇਸ ਸਭ ਨੇ ਹੌਲੀ-ਹੌਲੀ ਮੈਟ੍ਰਿਕਸ ਵਿੱਚ ਸੁਧਾਰ ਕੀਤਾ। ਪਰ ਸਿਖਲਾਈ ਡੇਟਾਸੈਟ ਦਾ ਆਕਾਰ ਲਗਭਗ 20M ਰਿਕਾਰਡ ਹੈ, ਇਸਲਈ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਨੂੰ ਜੋੜਨ ਨਾਲ ਸਿਖਲਾਈ ਬਹੁਤ ਹੌਲੀ ਹੋ ਜਾਂਦੀ ਹੈ।

ਮੈਂ ਡੇਟਾ ਦੀ ਵਰਤੋਂ ਕਰਨ ਲਈ ਆਪਣੀ ਪਹੁੰਚ 'ਤੇ ਮੁੜ ਵਿਚਾਰ ਕੀਤਾ ਹੈ। ਹਾਲਾਂਕਿ ਡੇਟਾ ਸਮੇਂ-ਨਿਰਭਰ ਹੈ, ਮੈਂ "ਭਵਿੱਖ ਵਿੱਚ" ਕੋਈ ਸਪੱਸ਼ਟ ਜਾਣਕਾਰੀ ਲੀਕ ਨਹੀਂ ਵੇਖੀ, ਫਿਰ ਵੀ, ਸਿਰਫ ਇਸ ਸਥਿਤੀ ਵਿੱਚ, ਮੈਂ ਇਸਨੂੰ ਇਸ ਤਰ੍ਹਾਂ ਤੋੜਿਆ:

ਸਾਨੂੰ ਪ੍ਰਦਾਨ ਕੀਤੇ ਗਏ ਸਿਖਲਾਈ ਸੈੱਟ (ਫਰਵਰੀ ਅਤੇ ਮਾਰਚ ਦੇ 2 ਹਫ਼ਤੇ) ਨੂੰ 2 ਭਾਗਾਂ ਵਿੱਚ ਵੰਡਿਆ ਗਿਆ ਸੀ।
ਮਾਡਲ ਨੂੰ ਪਿਛਲੇ N ਦਿਨਾਂ ਦੇ ਡੇਟਾ 'ਤੇ ਸਿਖਲਾਈ ਦਿੱਤੀ ਗਈ ਸੀ। ਉੱਪਰ ਦੱਸੇ ਗਏ ਸਮੂਹਾਂ ਨੂੰ ਟੈਸਟ ਸਮੇਤ ਸਾਰੇ ਡੇਟਾ 'ਤੇ ਬਣਾਇਆ ਗਿਆ ਸੀ। ਉਸੇ ਸਮੇਂ, ਡੇਟਾ ਪ੍ਰਗਟ ਹੋਇਆ ਹੈ ਜਿਸ 'ਤੇ ਟੀਚਾ ਵੇਰੀਏਬਲ ਦੇ ਵੱਖ-ਵੱਖ ਏਨਕੋਡਿੰਗ ਬਣਾਉਣਾ ਸੰਭਵ ਹੈ. ਸਭ ਤੋਂ ਸਰਲ ਪਹੁੰਚ ਕੋਡ ਦੀ ਮੁੜ ਵਰਤੋਂ ਕਰਨਾ ਹੈ ਜੋ ਪਹਿਲਾਂ ਹੀ ਨਵੀਆਂ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਬਣਾ ਰਿਹਾ ਹੈ, ਅਤੇ ਸਿਰਫ਼ ਇਸ ਨੂੰ ਡੇਟਾ ਫੀਡ ਕਰਨਾ ਹੈ ਜਿਸ 'ਤੇ ਇਸ ਨੂੰ ਸਿਖਲਾਈ ਨਹੀਂ ਦਿੱਤੀ ਜਾਵੇਗੀ ਅਤੇ ਨਿਸ਼ਾਨਾ = 1.

ਇਸ ਤਰ੍ਹਾਂ, ਸਾਡੇ ਕੋਲ ਸਮਾਨ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਹਨ:

• ਯੂਜ਼ਰ ਆਈਡੀ ਨੇ ਕਿੰਨੀ ਵਾਰ ਗਰੁੱਪ ਮਾਲਕ ਆਈਡੀ ਵਿੱਚ ਇੱਕ ਪੋਸਟ ਦੇਖੀ ਹੈ;
• ਕਿੰਨੀ ਵਾਰ ਯੂਜ਼ਰ ਆਈਡੀ ਨੇ ਗਰੁੱਪ ਮਾਲਕ ਆਈਡੀ ਵਿੱਚ ਪੋਸਟ ਨੂੰ ਪਸੰਦ ਕੀਤਾ;
• ਉਹਨਾਂ ਪੋਸਟਾਂ ਦੀ ਪ੍ਰਤੀਸ਼ਤ ਜੋ userId ਨੂੰ ਮਾਲਕ ਆਈਡੀ ਤੋਂ ਪਸੰਦ ਆਈ।

ਭਾਵ, ਇਹ ਨਿਕਲਿਆ ਮਤਲਬ ਟੀਚਾ ਇੰਕੋਡਿੰਗ ਵੱਖ-ਵੱਖ ਸ਼੍ਰੇਣੀਆਂ ਦੀਆਂ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਦੇ ਸੰਜੋਗਾਂ ਲਈ ਡੇਟਾਸੈਟ ਦੇ ਹਿੱਸੇ 'ਤੇ। ਸਿਧਾਂਤ ਵਿੱਚ, ਕੈਟਬੂਸਟ ਟਾਰਗੇਟ ਏਨਕੋਡਿੰਗ ਵੀ ਬਣਾਉਂਦਾ ਹੈ ਅਤੇ ਇਸ ਦ੍ਰਿਸ਼ਟੀਕੋਣ ਤੋਂ ਕੋਈ ਲਾਭ ਨਹੀਂ ਹੁੰਦਾ, ਪਰ, ਉਦਾਹਰਣ ਵਜੋਂ, ਇਸ ਸਮੂਹ ਵਿੱਚ ਪੋਸਟਾਂ ਨੂੰ ਪਸੰਦ ਕਰਨ ਵਾਲੇ ਵਿਲੱਖਣ ਉਪਭੋਗਤਾਵਾਂ ਦੀ ਗਿਣਤੀ ਕਰਨਾ ਸੰਭਵ ਹੋ ਗਿਆ ਹੈ। ਉਸੇ ਸਮੇਂ, ਮੁੱਖ ਟੀਚਾ ਪ੍ਰਾਪਤ ਕੀਤਾ ਗਿਆ ਸੀ - ਮੇਰੇ ਡੇਟਾਸੈਟ ਨੂੰ ਕਈ ਵਾਰ ਘਟਾ ਦਿੱਤਾ ਗਿਆ ਸੀ, ਅਤੇ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਨੂੰ ਬਣਾਉਣਾ ਜਾਰੀ ਰੱਖਣਾ ਸੰਭਵ ਸੀ.

ਜਦੋਂ ਕਿ ਕੈਟਬੂਸਟ ਸਿਰਫ ਪਸੰਦੀਦਾ ਪ੍ਰਤੀਕ੍ਰਿਆ ਦੇ ਅਧਾਰ 'ਤੇ ਏਨਕੋਡਿੰਗ ਬਣਾ ਸਕਦਾ ਹੈ, ਫੀਡਬੈਕ ਦੀਆਂ ਹੋਰ ਪ੍ਰਤੀਕ੍ਰਿਆਵਾਂ ਹਨ: ਮੁੜ-ਸਾਂਝਾ, ਨਾਪਸੰਦ, ਨਾਪਸੰਦ, ਕਲਿੱਕ, ਅਣਡਿੱਠ, ਏਨਕੋਡਿੰਗ ਜਿਸ ਲਈ ਹੱਥੀਂ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ। ਮੈਂ ਸਾਰੀਆਂ ਕਿਸਮਾਂ ਦੇ ਸਮੂਹਾਂ ਦੀ ਮੁੜ ਗਣਨਾ ਕੀਤੀ ਅਤੇ ਘੱਟ ਮਹੱਤਤਾ ਵਾਲੀਆਂ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਨੂੰ ਹਟਾ ਦਿੱਤਾ ਤਾਂ ਜੋ ਡੇਟਾਸੈਟ ਨੂੰ ਵਧਾਇਆ ਨਾ ਜਾ ਸਕੇ।

ਉਸ ਸਮੇਂ ਤੱਕ ਮੈਂ ਵੱਡੇ ਫਰਕ ਨਾਲ ਪਹਿਲੇ ਸਥਾਨ 'ਤੇ ਸੀ। ਸਿਰਫ ਇੱਕ ਚੀਜ਼ ਜੋ ਉਲਝਣ ਵਾਲੀ ਸੀ ਉਹ ਸੀ ਕਿ ਚਿੱਤਰ ਏਮਬੈਡਿੰਗ ਨੇ ਲਗਭਗ ਕੋਈ ਵਾਧਾ ਨਹੀਂ ਦਿਖਾਇਆ. ਬਿੱਲੀ ਨੂੰ ਸਭ ਕੁਝ ਦੇਣ ਦਾ ਵਿਚਾਰ ਆਇਆ। ਅਸੀਂ Kmeans ਚਿੱਤਰਾਂ ਨੂੰ ਕਲੱਸਟਰ ਕਰਦੇ ਹਾਂ ਅਤੇ ਇੱਕ ਨਵੀਂ ਵਿਸ਼ੇਸ਼ ਵਿਸ਼ੇਸ਼ਤਾ imageCat ਪ੍ਰਾਪਤ ਕਰਦੇ ਹਾਂ।

KMeans ਤੋਂ ਪ੍ਰਾਪਤ ਕਲੱਸਟਰਾਂ ਦੇ ਦਸਤੀ ਫਿਲਟਰਿੰਗ ਅਤੇ ਮਿਲਾਉਣ ਤੋਂ ਬਾਅਦ ਇੱਥੇ ਕੁਝ ਕਲਾਸਾਂ ਹਨ।

imageCat ਦੇ ਅਧਾਰ ਤੇ ਅਸੀਂ ਤਿਆਰ ਕਰਦੇ ਹਾਂ:

• ਨਵੀਆਂ ਸ਼੍ਰੇਣੀਆਂ ਦੀਆਂ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ:
  • ਯੂਜ਼ਰ ਆਈਡੀ ਦੁਆਰਾ ਕਿਹੜੀ ਚਿੱਤਰਕੈਟ ਨੂੰ ਅਕਸਰ ਦੇਖਿਆ ਜਾਂਦਾ ਸੀ;
  • ਕਿਹੜੀ ਚਿੱਤਰ ਕੈਟ ਅਕਸਰ ਮਾਲਕ ਆਈਡੀ ਦਿਖਾਉਂਦੀ ਹੈ;
  • ਯੂਜ਼ਰ ਆਈਡੀ ਦੁਆਰਾ ਕਿਹੜੀ ਚਿੱਤਰਕੈਟ ਨੂੰ ਸਭ ਤੋਂ ਵੱਧ ਪਸੰਦ ਕੀਤਾ ਗਿਆ ਸੀ;
• ਵੱਖ-ਵੱਖ ਕਾਊਂਟਰ:
  • ਯੂਜ਼ਰ ਆਈਡੀ 'ਤੇ ਕਿੰਨੇ ਵਿਲੱਖਣ ਚਿੱਤਰ ਕੈਟ ਨੇ ਦੇਖਿਆ;
  • ਉੱਪਰ ਦੱਸੇ ਅਨੁਸਾਰ ਲਗਭਗ 15 ਸਮਾਨ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਅਤੇ ਟਾਰਗੇਟ ਏਨਕੋਡਿੰਗ।

ਟੈਕਸਟ

ਚਿੱਤਰ ਮੁਕਾਬਲੇ ਦੇ ਨਤੀਜੇ ਮੇਰੇ ਲਈ ਅਨੁਕੂਲ ਸਨ ਅਤੇ ਮੈਂ ਟੈਕਸਟ 'ਤੇ ਆਪਣਾ ਹੱਥ ਅਜ਼ਮਾਉਣ ਦਾ ਫੈਸਲਾ ਕੀਤਾ। ਮੈਂ ਪਹਿਲਾਂ ਟੈਕਸਟਾਂ ਨਾਲ ਜ਼ਿਆਦਾ ਕੰਮ ਨਹੀਂ ਕੀਤਾ ਹੈ ਅਤੇ, ਮੂਰਖਤਾ ਨਾਲ, ਮੈਂ ਦਿਨ ਨੂੰ tf-idf ਅਤੇ svd 'ਤੇ ਮਾਰਿਆ. ਫਿਰ ਮੈਂ doc2vec ਨਾਲ ਬੇਸਲਾਈਨ ਦੇਖਿਆ, ਜੋ ਬਿਲਕੁਲ ਉਹੀ ਕਰਦਾ ਹੈ ਜੋ ਮੈਨੂੰ ਚਾਹੀਦਾ ਹੈ। doc2vec ਪੈਰਾਮੀਟਰਾਂ ਨੂੰ ਥੋੜ੍ਹਾ ਐਡਜਸਟ ਕਰਨ ਤੋਂ ਬਾਅਦ, ਮੈਨੂੰ ਟੈਕਸਟ ਏਮਬੈਡਿੰਗ ਮਿਲੀ।

ਅਤੇ ਫਿਰ ਮੈਂ ਚਿੱਤਰਾਂ ਲਈ ਕੋਡ ਦੀ ਮੁੜ ਵਰਤੋਂ ਕੀਤੀ, ਜਿਸ ਵਿੱਚ ਮੈਂ ਚਿੱਤਰ ਏਮਬੈਡਿੰਗਾਂ ਨੂੰ ਟੈਕਸਟ ਏਮਬੈਡਿੰਗਾਂ ਨਾਲ ਬਦਲ ਦਿੱਤਾ। ਨਤੀਜੇ ਵਜੋਂ, ਮੈਂ ਟੈਕਸਟ ਮੁਕਾਬਲੇ ਵਿੱਚ ਦੂਜਾ ਸਥਾਨ ਪ੍ਰਾਪਤ ਕੀਤਾ।

ਸਹਿਯੋਗੀ ਸਿਸਟਮ

ਇੱਕ ਮੁਕਾਬਲਾ ਬਾਕੀ ਸੀ ਜਿਸਨੂੰ ਮੈਂ ਅਜੇ ਤੱਕ ਇੱਕ ਸੋਟੀ ਨਾਲ "ਪੋਕ" ਨਹੀਂ ਕੀਤਾ ਸੀ, ਅਤੇ ਲੀਡਰਬੋਰਡ 'ਤੇ AUC ਦੁਆਰਾ ਨਿਰਣਾ ਕਰਦੇ ਹੋਏ, ਇਸ ਖਾਸ ਮੁਕਾਬਲੇ ਦੇ ਨਤੀਜਿਆਂ ਦਾ ਔਫਲਾਈਨ ਪੜਾਅ 'ਤੇ ਸਭ ਤੋਂ ਵੱਧ ਪ੍ਰਭਾਵ ਹੋਣਾ ਚਾਹੀਦਾ ਸੀ।
ਮੈਂ ਉਹਨਾਂ ਸਾਰੀਆਂ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਨੂੰ ਲਿਆ ਜੋ ਸਰੋਤ ਡੇਟਾ ਵਿੱਚ ਸਨ, ਸ਼੍ਰੇਣੀਬੱਧ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਨੂੰ ਚੁਣਿਆ ਅਤੇ ਚਿੱਤਰਾਂ ਦੇ ਆਧਾਰ 'ਤੇ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਨੂੰ ਛੱਡ ਕੇ, ਚਿੱਤਰਾਂ ਲਈ ਸਮਾਨ ਸੰਗ੍ਰਹਿ ਦੀ ਗਣਨਾ ਕੀਤੀ। ਬੱਸ ਇਸਨੂੰ ਕੈਟਬੂਸਟ ਵਿੱਚ ਪਾਉਣ ਨਾਲ ਮੈਂ ਦੂਜੇ ਸਥਾਨ 'ਤੇ ਪਹੁੰਚ ਗਿਆ।

ਕੈਟਬੂਸਟ ਓਪਟੀਮਾਈਜੇਸ਼ਨ ਦੇ ਪਹਿਲੇ ਕਦਮ

ਇੱਕ ਪਹਿਲੇ ਅਤੇ ਦੋ ਦੂਜੇ ਸਥਾਨਾਂ ਨੇ ਮੈਨੂੰ ਖੁਸ਼ ਕੀਤਾ, ਪਰ ਇੱਕ ਸਮਝ ਸੀ ਕਿ ਮੈਂ ਕੁਝ ਖਾਸ ਨਹੀਂ ਕੀਤਾ ਸੀ, ਜਿਸਦਾ ਮਤਲਬ ਹੈ ਕਿ ਮੈਂ ਸਥਿਤੀ ਦੇ ਨੁਕਸਾਨ ਦੀ ਉਮੀਦ ਕਰ ਸਕਦਾ ਸੀ.

ਮੁਕਾਬਲੇ ਦਾ ਕੰਮ ਉਪਭੋਗਤਾ ਦੇ ਅੰਦਰ ਪੋਸਟਾਂ ਨੂੰ ਦਰਜਾਬੰਦੀ ਕਰਨਾ ਹੈ, ਅਤੇ ਇਹ ਸਾਰਾ ਸਮਾਂ ਮੈਂ ਵਰਗੀਕਰਨ ਦੀ ਸਮੱਸਿਆ ਨੂੰ ਹੱਲ ਕਰ ਰਿਹਾ ਸੀ, ਯਾਨੀ, ਗਲਤ ਮੈਟ੍ਰਿਕ ਨੂੰ ਅਨੁਕੂਲ ਬਣਾਉਣਾ.

ਮੈਂ ਤੁਹਾਨੂੰ ਇੱਕ ਸਧਾਰਨ ਉਦਾਹਰਣ ਦਿੰਦਾ ਹਾਂ:

ਯੂਜਰ ਆਈਡੀ	ਵਸਤੂ ਆਈ.ਡੀ	ਭਵਿੱਖਬਾਣੀ	ਜ਼ਮੀਨੀ ਸੱਚ
1	10	0.9	1
1	11	0.8	1
1	12	0.7	1
1	13	0.6	1
1	14	0.5	0
2	15	0.4	0
2	16	0.3	1

ਆਉ ਇੱਕ ਛੋਟੀ ਜਿਹੀ ਪੁਨਰ ਵਿਵਸਥਾ ਕਰੀਏ

ਯੂਜਰ ਆਈਡੀ	ਵਸਤੂ ਆਈ.ਡੀ	ਭਵਿੱਖਬਾਣੀ	ਜ਼ਮੀਨੀ ਸੱਚ
1	10	0.9	1
1	11	0.8	1
1	12	0.7	1
1	13	0.6	0
2	16	0.5	1
2	15	0.4	0
1	14	0.3	1

ਅਸੀਂ ਹੇਠਾਂ ਦਿੱਤੇ ਨਤੀਜੇ ਪ੍ਰਾਪਤ ਕਰਦੇ ਹਾਂ:

ਮਾਡਲ	AUC	ਯੂਜ਼ਰ1 ਏ.ਯੂ.ਸੀ	ਯੂਜ਼ਰ2 ਏ.ਯੂ.ਸੀ	ਮਤਲਬ AUC
ਵਿਕਲਪ 1	0,8	1,0	0,0	0,5
ਵਿਕਲਪ 2	0,7	0,75	1,0	0,875

ਜਿਵੇਂ ਕਿ ਤੁਸੀਂ ਦੇਖ ਸਕਦੇ ਹੋ, ਸਮੁੱਚੀ AUC ਮੈਟ੍ਰਿਕ ਨੂੰ ਸੁਧਾਰਨ ਦਾ ਮਤਲਬ ਇਹ ਨਹੀਂ ਹੈ ਕਿ ਉਪਭੋਗਤਾ ਦੇ ਅੰਦਰ ਔਸਤ AUC ਮੈਟ੍ਰਿਕ ਨੂੰ ਸੁਧਾਰਿਆ ਜਾਵੇ।

ਕੈਟਬੂਸਟ ਰੈਂਕਿੰਗ ਮੈਟ੍ਰਿਕਸ ਨੂੰ ਅਨੁਕੂਲ ਬਣਾਉਣਾ ਜਾਣਦਾ ਹੈ ਬਕਸੇ ਤੋਂ ਮੈਂ ਰੈਂਕਿੰਗ ਮੈਟ੍ਰਿਕਸ ਬਾਰੇ ਪੜ੍ਹਿਆ, ਸਫਲਤਾ ਦੀਆਂ ਕਹਾਣੀਆਂ ਕੈਟਬੂਸਟ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਸਮੇਂ ਅਤੇ ਰਾਤ ਭਰ ਸਿਖਲਾਈ ਦੇਣ ਲਈ YetiRankPairwise ਸੈੱਟ ਕਰੋ। ਨਤੀਜਾ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਨਹੀਂ ਸੀ. ਇਹ ਫੈਸਲਾ ਕਰਦੇ ਹੋਏ ਕਿ ਮੈਂ ਘੱਟ ਸਿਖਲਾਈ ਪ੍ਰਾਪਤ ਸੀ, ਮੈਂ ਗਲਤੀ ਫੰਕਸ਼ਨ ਨੂੰ QueryRMSE ਵਿੱਚ ਬਦਲ ਦਿੱਤਾ, ਜੋ ਕਿ ਕੈਟਬੂਸਟ ਦਸਤਾਵੇਜ਼ਾਂ ਦੁਆਰਾ ਨਿਰਣਾ ਕਰਦੇ ਹੋਏ, ਤੇਜ਼ੀ ਨਾਲ ਕਨਵਰਜ ਕਰਦਾ ਹੈ। ਅੰਤ ਵਿੱਚ, ਮੈਨੂੰ ਵਰਗੀਕਰਣ ਲਈ ਸਿਖਲਾਈ ਦੇਣ ਵੇਲੇ ਉਹੀ ਨਤੀਜੇ ਮਿਲੇ, ਪਰ ਇਹਨਾਂ ਦੋ ਮਾਡਲਾਂ ਦੇ ਜੋੜਾਂ ਨੇ ਇੱਕ ਚੰਗਾ ਵਾਧਾ ਕੀਤਾ, ਜਿਸ ਨੇ ਮੈਨੂੰ ਤਿੰਨੋਂ ਮੁਕਾਬਲਿਆਂ ਵਿੱਚ ਪਹਿਲੇ ਸਥਾਨ 'ਤੇ ਲਿਆਇਆ।

"ਸਹਿਯੋਗੀ ਪ੍ਰਣਾਲੀਆਂ" ਮੁਕਾਬਲੇ ਦੇ ਔਨਲਾਈਨ ਪੜਾਅ ਦੇ ਸਮਾਪਤੀ ਤੋਂ 5 ਮਿੰਟ ਪਹਿਲਾਂ, ਸਰਗੇਈ ਸ਼ਾਲਨੋਵ ਨੇ ਮੈਨੂੰ ਦੂਜੇ ਸਥਾਨ 'ਤੇ ਲੈ ਆਂਦਾ। ਅਸੀਂ ਇਕੱਠੇ ਅਗਲੇ ਰਸਤੇ ਤੁਰ ਪਏ।

ਔਫਲਾਈਨ ਪੜਾਅ ਲਈ ਤਿਆਰੀ ਕਰ ਰਿਹਾ ਹੈ

ਸਾਨੂੰ ਇੱਕ RTX 2080 TI ਵੀਡੀਓ ਕਾਰਡ ਨਾਲ ਔਨਲਾਈਨ ਪੜਾਅ ਵਿੱਚ ਜਿੱਤ ਦੀ ਗਾਰੰਟੀ ਦਿੱਤੀ ਗਈ ਸੀ, ਪਰ 300 ਰੂਬਲ ਦਾ ਮੁੱਖ ਇਨਾਮ ਅਤੇ, ਸੰਭਾਵਤ ਤੌਰ 'ਤੇ, ਅੰਤਮ ਪਹਿਲੇ ਸਥਾਨ ਨੇ ਸਾਨੂੰ ਇਹਨਾਂ 000 ਹਫ਼ਤਿਆਂ ਲਈ ਕੰਮ ਕਰਨ ਲਈ ਮਜਬੂਰ ਕੀਤਾ।

ਜਿਵੇਂ ਕਿ ਇਹ ਨਿਕਲਿਆ, ਸਰਗੇਈ ਨੇ ਕੈਟਬੂਸਟ ਦੀ ਵਰਤੋਂ ਵੀ ਕੀਤੀ. ਅਸੀਂ ਵਿਚਾਰਾਂ ਅਤੇ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਦਾ ਆਦਾਨ-ਪ੍ਰਦਾਨ ਕੀਤਾ, ਅਤੇ ਮੈਂ ਇਸ ਬਾਰੇ ਸਿੱਖਿਆ ਅੰਨਾ ਵੇਰੋਨਿਕਾ ਡੋਰੋਗੁਸ਼ ਦੁਆਰਾ ਰਿਪੋਰਟ ਜਿਸ ਵਿੱਚ ਮੇਰੇ ਬਹੁਤ ਸਾਰੇ ਸਵਾਲਾਂ ਦੇ ਜਵਾਬ ਸਨ, ਅਤੇ ਉਹ ਵੀ ਜੋ ਮੇਰੇ ਕੋਲ ਉਸ ਸਮੇਂ ਤੱਕ ਨਹੀਂ ਸਨ।

ਰਿਪੋਰਟ ਦੇਖਣ ਨਾਲ ਮੈਨੂੰ ਇਹ ਵਿਚਾਰ ਆਇਆ ਕਿ ਸਾਨੂੰ ਸਾਰੇ ਮਾਪਦੰਡਾਂ ਨੂੰ ਡਿਫੌਲਟ ਮੁੱਲ 'ਤੇ ਵਾਪਸ ਕਰਨ ਦੀ ਲੋੜ ਹੈ, ਅਤੇ ਸੈਟਿੰਗਾਂ ਨੂੰ ਬਹੁਤ ਧਿਆਨ ਨਾਲ ਅਤੇ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਦੇ ਇੱਕ ਸੈੱਟ ਨੂੰ ਫਿਕਸ ਕਰਨ ਤੋਂ ਬਾਅਦ ਹੀ ਕਰਨਾ ਚਾਹੀਦਾ ਹੈ। ਹੁਣ ਇੱਕ ਸਿਖਲਾਈ ਵਿੱਚ ਲਗਭਗ 15 ਘੰਟੇ ਲੱਗਦੇ ਹਨ, ਪਰ ਇੱਕ ਮਾਡਲ ਰੈਂਕਿੰਗ ਦੇ ਨਾਲ ਮਿਲ ਕੇ ਪ੍ਰਾਪਤ ਕੀਤੀ ਗਈ ਗਤੀ ਨਾਲੋਂ ਬਿਹਤਰ ਗਤੀ ਪ੍ਰਾਪਤ ਕਰਨ ਵਿੱਚ ਕਾਮਯਾਬ ਰਿਹਾ.

ਫੀਚਰ ਪੀੜ੍ਹੀ

ਸਹਿਯੋਗੀ ਪ੍ਰਣਾਲੀਆਂ ਦੇ ਮੁਕਾਬਲੇ ਵਿੱਚ, ਮਾਡਲ ਲਈ ਮਹੱਤਵਪੂਰਨ ਵਜੋਂ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਦੀ ਇੱਕ ਵੱਡੀ ਗਿਣਤੀ ਦਾ ਮੁਲਾਂਕਣ ਕੀਤਾ ਜਾਂਦਾ ਹੈ। ਉਦਾਹਰਣ ਲਈ, auditweights_spark_svd - ਸਭ ਤੋਂ ਮਹੱਤਵਪੂਰਨ ਚਿੰਨ੍ਹ, ਪਰ ਇਸਦਾ ਮਤਲਬ ਕੀ ਹੈ ਇਸ ਬਾਰੇ ਕੋਈ ਜਾਣਕਾਰੀ ਨਹੀਂ ਹੈ. ਮੈਂ ਸੋਚਿਆ ਕਿ ਮਹੱਤਵਪੂਰਨ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਦੇ ਆਧਾਰ 'ਤੇ ਵੱਖ-ਵੱਖ ਸਮੂਹਾਂ ਦੀ ਗਿਣਤੀ ਕਰਨਾ ਲਾਭਦਾਇਕ ਹੋਵੇਗਾ। ਉਦਾਹਰਨ ਲਈ, ਔਸਤ ਆਡਿਟਵੇਟ_ਸਪਾਰਕ_ਐਸਵੀਡੀ ਉਪਭੋਗਤਾ ਦੁਆਰਾ, ਸਮੂਹ ਦੁਆਰਾ, ਵਸਤੂ ਦੁਆਰਾ। ਉਸੇ ਡੇਟਾ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਗਣਨਾ ਕੀਤੀ ਜਾ ਸਕਦੀ ਹੈ ਜਿਸ 'ਤੇ ਕੋਈ ਸਿਖਲਾਈ ਨਹੀਂ ਦਿੱਤੀ ਜਾਂਦੀ ਹੈ ਅਤੇ ਟੀਚਾ = 1, ਯਾਨੀ ਔਸਤ auditweights_spark_svd ਉਪਭੋਗਤਾ ਦੁਆਰਾ ਉਸ ਨੂੰ ਪਸੰਦ ਕੀਤੀਆਂ ਵਸਤੂਆਂ ਦੁਆਰਾ। ਤੋਂ ਇਲਾਵਾ ਮਹੱਤਵਪੂਰਨ ਸੰਕੇਤ auditweights_spark_svd, ਕਈ ਸਨ. ਇੱਥੇ ਉਹਨਾਂ ਵਿੱਚੋਂ ਕੁਝ ਹਨ:

• auditweightsCtrGender
• ਆਡਿਟਵੇਟCtrHigh
• userOwnerCounterCreateLikes

ਉਦਾਹਰਨ ਲਈ, ਔਸਤ auditweightsCtrGender ਯੂਜ਼ਰ ਆਈਡੀ ਦੇ ਅਨੁਸਾਰ ਇਹ ਔਸਤ ਮੁੱਲ ਵਾਂਗ, ਇੱਕ ਮਹੱਤਵਪੂਰਨ ਵਿਸ਼ੇਸ਼ਤਾ ਬਣ ਗਈ userOwnerCounterCreateLikes userId+ownerId ਦੁਆਰਾ। ਇਸ ਨਾਲ ਤੁਹਾਨੂੰ ਪਹਿਲਾਂ ਹੀ ਇਹ ਸੋਚਣਾ ਚਾਹੀਦਾ ਹੈ ਕਿ ਤੁਹਾਨੂੰ ਖੇਤਾਂ ਦੇ ਅਰਥਾਂ ਨੂੰ ਸਮਝਣ ਦੀ ਲੋੜ ਹੈ।

ਵੀ ਮਹੱਤਵਪੂਰਨ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਸਨ auditweightsLikesCount и ਆਡਿਟਵੇਟਸ਼ੋਅਸਕਾਉਂਟ. ਇੱਕ ਨੂੰ ਦੂਜੇ ਨਾਲ ਵੰਡਣਾ, ਇੱਕ ਹੋਰ ਵੀ ਮਹੱਤਵਪੂਰਨ ਵਿਸ਼ੇਸ਼ਤਾ ਪ੍ਰਾਪਤ ਕੀਤੀ ਗਈ ਸੀ.

ਡਾਟਾ ਲੀਕ

ਮੁਕਾਬਲਾ ਅਤੇ ਉਤਪਾਦਨ ਮਾਡਲਿੰਗ ਬਹੁਤ ਵੱਖਰੇ ਕੰਮ ਹਨ। ਡੇਟਾ ਤਿਆਰ ਕਰਦੇ ਸਮੇਂ, ਸਾਰੇ ਵੇਰਵਿਆਂ ਨੂੰ ਧਿਆਨ ਵਿੱਚ ਰੱਖਣਾ ਅਤੇ ਟੈਸਟ ਵਿੱਚ ਟੀਚੇ ਦੇ ਵੇਰੀਏਬਲ ਬਾਰੇ ਕੁਝ ਗੈਰ-ਮਾਮੂਲੀ ਜਾਣਕਾਰੀ ਦੇਣਾ ਬਹੁਤ ਮੁਸ਼ਕਲ ਹੁੰਦਾ ਹੈ। ਜੇਕਰ ਅਸੀਂ ਇੱਕ ਉਤਪਾਦਨ ਹੱਲ ਬਣਾ ਰਹੇ ਹਾਂ, ਤਾਂ ਅਸੀਂ ਮਾਡਲ ਨੂੰ ਸਿਖਲਾਈ ਦੇਣ ਵੇਲੇ ਡਾਟਾ ਲੀਕ ਦੀ ਵਰਤੋਂ ਕਰਨ ਤੋਂ ਬਚਣ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰਾਂਗੇ। ਪਰ ਜੇਕਰ ਅਸੀਂ ਮੁਕਾਬਲਾ ਜਿੱਤਣਾ ਚਾਹੁੰਦੇ ਹਾਂ, ਤਾਂ ਡੇਟਾ ਲੀਕ ਸਭ ਤੋਂ ਵਧੀਆ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਹਨ।

ਡੇਟਾ ਦਾ ਅਧਿਐਨ ਕਰਨ ਤੋਂ ਬਾਅਦ, ਤੁਸੀਂ ਦੇਖ ਸਕਦੇ ਹੋ ਕਿ ਆਬਜੈਕਟ ਆਈਡੀ ਮੁੱਲਾਂ ਦੇ ਅਨੁਸਾਰ auditweightsLikesCount и ਆਡਿਟਵੇਟਸ਼ੋਅਸਕਾਉਂਟ ਪਰਿਵਰਤਨ, ਜਿਸਦਾ ਮਤਲਬ ਹੈ ਕਿ ਇਹਨਾਂ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਦੇ ਅਧਿਕਤਮ ਮੁੱਲਾਂ ਦਾ ਅਨੁਪਾਤ ਡਿਸਪਲੇ ਦੇ ਸਮੇਂ ਅਨੁਪਾਤ ਨਾਲੋਂ ਪੋਸਟ ਪਰਿਵਰਤਨ ਨੂੰ ਬਹੁਤ ਵਧੀਆ ਦਰਸਾਏਗਾ।

ਪਹਿਲੀ ਲੀਕ ਸਾਨੂੰ ਮਿਲੀ ਹੈ auditweightsLikesCountMax/auditweightsShowsCountMax.
ਪਰ ਜੇ ਅਸੀਂ ਡੇਟਾ ਨੂੰ ਵਧੇਰੇ ਧਿਆਨ ਨਾਲ ਵੇਖੀਏ ਤਾਂ ਕੀ ਹੋਵੇਗਾ? ਆਉ ਸ਼ੋਅ ਦੀ ਮਿਤੀ ਦੁਆਰਾ ਕ੍ਰਮਬੱਧ ਕਰੀਏ ਅਤੇ ਪ੍ਰਾਪਤ ਕਰੀਏ:

ਵਸਤੂ ਆਈ.ਡੀ	ਯੂਜਰ ਆਈਡੀ	ਆਡਿਟਵੇਟਸ਼ੋਅਸਕਾਉਂਟ	auditweightsLikesCount	ਨਿਸ਼ਾਨਾ (ਪਸੰਦ ਹੈ)
1	1	12	3	ਸ਼ਾਇਦ ਨਹੀਂ
1	2	15	3	ਸ਼ਾਇਦ ਹਾਂ
1	3	16	4

ਮੈਨੂੰ ਹੈਰਾਨੀ ਹੋਈ ਜਦੋਂ ਮੈਨੂੰ ਪਹਿਲੀ ਅਜਿਹੀ ਉਦਾਹਰਣ ਮਿਲੀ ਅਤੇ ਇਹ ਸਾਹਮਣੇ ਆਇਆ ਕਿ ਮੇਰੀ ਭਵਿੱਖਬਾਣੀ ਪੂਰੀ ਨਹੀਂ ਹੋਈ। ਪਰ, ਇਸ ਤੱਥ ਨੂੰ ਧਿਆਨ ਵਿੱਚ ਰੱਖਦੇ ਹੋਏ ਕਿ ਆਬਜੈਕਟ ਦੇ ਅੰਦਰ ਇਹਨਾਂ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਦੇ ਵੱਧ ਤੋਂ ਵੱਧ ਮੁੱਲਾਂ ਵਿੱਚ ਵਾਧਾ ਹੋਇਆ ਹੈ, ਅਸੀਂ ਆਲਸੀ ਨਹੀਂ ਸੀ ਅਤੇ ਖੋਜਣ ਦਾ ਫੈਸਲਾ ਕੀਤਾ. auditweightsShowsCountNext и auditweightsLikesCountNext, ਭਾਵ, ਸਮੇਂ ਦੇ ਅਗਲੇ ਪਲ 'ਤੇ ਮੁੱਲ। ਇੱਕ ਵਿਸ਼ੇਸ਼ਤਾ ਜੋੜ ਕੇ
(auditweightsShowsCountNext-auditweightsShowsCount)/(auditweightsLikesCount-auditweightsLikesCountNext) ਅਸੀਂ ਤੇਜ਼ੀ ਨਾਲ ਇੱਕ ਤਿੱਖੀ ਛਾਲ ਮਾਰੀ।
ਲਈ ਹੇਠਾਂ ਦਿੱਤੇ ਮੁੱਲਾਂ ਨੂੰ ਲੱਭ ਕੇ ਸਮਾਨ ਲੀਕਾਂ ਦੀ ਵਰਤੋਂ ਕੀਤੀ ਜਾ ਸਕਦੀ ਹੈ userOwnerCounterCreateLikes userId+ownerId ਦੇ ਅੰਦਰ ਅਤੇ, ਉਦਾਹਰਨ ਲਈ, auditweightsCtrGender objectId+userGender ਦੇ ਅੰਦਰ। ਸਾਨੂੰ ਲੀਕ ਦੇ ਨਾਲ 6 ਮਿਲਦੇ-ਜੁਲਦੇ ਖੇਤਰ ਮਿਲੇ ਹਨ ਅਤੇ ਉਹਨਾਂ ਤੋਂ ਵੱਧ ਤੋਂ ਵੱਧ ਜਾਣਕਾਰੀ ਕੱਢੀ ਗਈ ਹੈ।

ਉਸ ਸਮੇਂ ਤੱਕ, ਅਸੀਂ ਸਹਿਯੋਗੀ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਤੋਂ ਵੱਧ ਤੋਂ ਵੱਧ ਜਾਣਕਾਰੀ ਨੂੰ ਨਿਚੋੜ ਲਿਆ ਸੀ, ਪਰ ਚਿੱਤਰ ਅਤੇ ਟੈਕਸਟ ਮੁਕਾਬਲਿਆਂ ਵਿੱਚ ਵਾਪਸ ਨਹੀਂ ਆਏ। ਮੇਰੇ ਕੋਲ ਇਹ ਜਾਂਚ ਕਰਨ ਦਾ ਇੱਕ ਵਧੀਆ ਵਿਚਾਰ ਸੀ: ਚਿੱਤਰਾਂ ਜਾਂ ਟੈਕਸਟ ਦੇ ਅਧਾਰ ਤੇ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਸੰਬੰਧਿਤ ਮੁਕਾਬਲਿਆਂ ਵਿੱਚ ਕਿੰਨੀਆਂ ਦਿੰਦੀਆਂ ਹਨ?

ਚਿੱਤਰ ਅਤੇ ਟੈਕਸਟ ਮੁਕਾਬਲਿਆਂ ਵਿੱਚ ਕੋਈ ਲੀਕ ਨਹੀਂ ਸਨ, ਪਰ ਉਸ ਸਮੇਂ ਤੱਕ ਮੈਂ ਡਿਫੌਲਟ ਕੈਟਬੂਸਟ ਪੈਰਾਮੀਟਰ ਵਾਪਸ ਕਰ ਦਿੱਤੇ ਸਨ, ਕੋਡ ਨੂੰ ਸਾਫ਼ ਕੀਤਾ ਸੀ ਅਤੇ ਕੁਝ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਸ਼ਾਮਲ ਕੀਤੀਆਂ ਸਨ। ਕੁੱਲ ਸੀ:

ਫੈਸਲੇ ਦਾ	ਜਲਦੀ ਹੀ
ਚਿੱਤਰਾਂ ਦੇ ਨਾਲ ਅਧਿਕਤਮ	0.6411
ਅਧਿਕਤਮ ਕੋਈ ਚਿੱਤਰ ਨਹੀਂ	0.6297
ਦੂਜੇ ਸਥਾਨ ਦਾ ਨਤੀਜਾ	0.6295

ਫੈਸਲੇ ਦਾ	ਜਲਦੀ ਹੀ
ਟੈਕਸਟ ਦੇ ਨਾਲ ਅਧਿਕਤਮ	0.666
ਟੈਕਸਟ ਤੋਂ ਬਿਨਾਂ ਅਧਿਕਤਮ	0.660
ਦੂਜੇ ਸਥਾਨ ਦਾ ਨਤੀਜਾ	0.656

ਫੈਸਲੇ ਦਾ	ਜਲਦੀ ਹੀ
ਸਹਿਯੋਗੀ ਵਿੱਚ ਵੱਧ ਤੋਂ ਵੱਧ	0.745
ਦੂਜੇ ਸਥਾਨ ਦਾ ਨਤੀਜਾ	0.723

ਇਹ ਸਪੱਸ਼ਟ ਹੋ ਗਿਆ ਕਿ ਅਸੀਂ ਟੈਕਸਟ ਅਤੇ ਚਿੱਤਰਾਂ ਵਿੱਚੋਂ ਬਹੁਤ ਕੁਝ ਨਿਚੋੜਨ ਦੇ ਯੋਗ ਨਹੀਂ ਸੀ, ਅਤੇ ਕੁਝ ਸਭ ਤੋਂ ਦਿਲਚਸਪ ਵਿਚਾਰਾਂ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰਨ ਤੋਂ ਬਾਅਦ, ਅਸੀਂ ਉਹਨਾਂ ਨਾਲ ਕੰਮ ਕਰਨਾ ਬੰਦ ਕਰ ਦਿੱਤਾ।

ਸਹਿਯੋਗੀ ਪ੍ਰਣਾਲੀਆਂ ਵਿੱਚ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਦੀ ਅਗਲੀ ਪੀੜ੍ਹੀ ਨੇ ਵਾਧਾ ਨਹੀਂ ਕੀਤਾ, ਅਤੇ ਅਸੀਂ ਦਰਜਾਬੰਦੀ ਸ਼ੁਰੂ ਕੀਤੀ। ਔਨਲਾਈਨ ਪੜਾਅ 'ਤੇ, ਵਰਗੀਕਰਣ ਅਤੇ ਦਰਜਾਬੰਦੀ ਦੇ ਜੋੜ ਨੇ ਮੈਨੂੰ ਇੱਕ ਛੋਟਾ ਜਿਹਾ ਵਾਧਾ ਦਿੱਤਾ, ਜਿਵੇਂ ਕਿ ਇਹ ਨਿਕਲਿਆ ਕਿਉਂਕਿ ਮੈਂ ਵਰਗੀਕਰਨ ਨੂੰ ਘੱਟ ਸਿਖਲਾਈ ਦਿੱਤੀ ਸੀ। ਕੋਈ ਵੀ ਤਰੁੱਟੀ ਫੰਕਸ਼ਨ, ਜਿਸ ਵਿੱਚ YetiRanlPairwise, LogLoss (0,745 ਬਨਾਮ 0,725) ਦੇ ਨਤੀਜੇ ਦੇ ਨੇੜੇ ਕਿਤੇ ਵੀ ਪੈਦਾ ਨਹੀਂ ਹੋਇਆ। QueryCrossEntropy ਲਈ ਅਜੇ ਵੀ ਉਮੀਦ ਸੀ, ਜਿਸ ਨੂੰ ਲਾਂਚ ਨਹੀਂ ਕੀਤਾ ਜਾ ਸਕਿਆ।

ਔਫਲਾਈਨ ਪੜਾਅ

ਔਫਲਾਈਨ ਪੜਾਅ 'ਤੇ, ਡੇਟਾ ਢਾਂਚਾ ਇੱਕੋ ਜਿਹਾ ਰਿਹਾ, ਪਰ ਇਸ ਵਿੱਚ ਮਾਮੂਲੀ ਬਦਲਾਅ ਸਨ:

• ਪਛਾਣਕਰਤਾ userId, objectId, ownerId ਮੁੜ-ਰੈਂਡਮਾਈਜ਼ ਕੀਤੇ ਗਏ ਸਨ;
• ਕਈ ਚਿੰਨ੍ਹ ਹਟਾ ਦਿੱਤੇ ਗਏ ਸਨ ਅਤੇ ਕਈਆਂ ਦਾ ਨਾਮ ਬਦਲਿਆ ਗਿਆ ਸੀ;
• ਡਾਟਾ ਲਗਭਗ 1,5 ਗੁਣਾ ਵਧਿਆ ਹੈ।

ਸੂਚੀਬੱਧ ਮੁਸ਼ਕਲਾਂ ਤੋਂ ਇਲਾਵਾ, ਇੱਕ ਵੱਡਾ ਪਲੱਸ ਸੀ: ਟੀਮ ਨੂੰ ਇੱਕ RTX 2080TI ਵਾਲਾ ਇੱਕ ਵੱਡਾ ਸਰਵਰ ਦਿੱਤਾ ਗਿਆ ਸੀ। ਮੈਂ ਲੰਬੇ ਸਮੇਂ ਤੋਂ htop ਦਾ ਅਨੰਦ ਲਿਆ ਹੈ।

ਇੱਥੇ ਸਿਰਫ ਇੱਕ ਵਿਚਾਰ ਸੀ - ਜੋ ਪਹਿਲਾਂ ਤੋਂ ਮੌਜੂਦ ਹੈ ਉਸਨੂੰ ਦੁਬਾਰਾ ਪੈਦਾ ਕਰਨਾ। ਸਰਵਰ 'ਤੇ ਵਾਤਾਵਰਣ ਨੂੰ ਸਥਾਪਤ ਕਰਨ ਲਈ ਕੁਝ ਘੰਟੇ ਬਿਤਾਉਣ ਤੋਂ ਬਾਅਦ, ਅਸੀਂ ਹੌਲੀ-ਹੌਲੀ ਇਹ ਤਸਦੀਕ ਕਰਨਾ ਸ਼ੁਰੂ ਕਰ ਦਿੱਤਾ ਕਿ ਨਤੀਜੇ ਦੁਬਾਰਾ ਪੈਦਾ ਕਰਨ ਯੋਗ ਸਨ। ਮੁੱਖ ਸਮੱਸਿਆ ਜਿਸ ਦਾ ਅਸੀਂ ਸਾਹਮਣਾ ਕਰ ਰਹੇ ਹਾਂ ਉਹ ਹੈ ਡੇਟਾ ਵਾਲੀਅਮ ਵਿੱਚ ਵਾਧਾ. ਅਸੀਂ ਲੋਡ ਨੂੰ ਥੋੜਾ ਘਟਾਉਣ ਦਾ ਫੈਸਲਾ ਕੀਤਾ ਹੈ ਅਤੇ catboost ਪੈਰਾਮੀਟਰ ctr_complexity=1 ਸੈੱਟ ਕੀਤਾ ਹੈ। ਇਹ ਸਪੀਡ ਨੂੰ ਥੋੜਾ ਘਟਾਉਂਦਾ ਹੈ, ਪਰ ਮੇਰੇ ਮਾਡਲ ਨੇ ਕੰਮ ਕਰਨਾ ਸ਼ੁਰੂ ਕੀਤਾ, ਨਤੀਜਾ ਚੰਗਾ ਸੀ - 0,733. ਸਰਗੇਈ ਨੇ ਮੇਰੇ ਤੋਂ ਉਲਟ, ਡੇਟਾ ਨੂੰ 2 ਭਾਗਾਂ ਵਿੱਚ ਵੰਡਿਆ ਨਹੀਂ ਅਤੇ ਸਾਰੇ ਡੇਟਾ 'ਤੇ ਸਿਖਲਾਈ ਦਿੱਤੀ, ਹਾਲਾਂਕਿ ਇਸ ਨੇ ਔਨਲਾਈਨ ਪੜਾਅ 'ਤੇ ਵਧੀਆ ਨਤੀਜੇ ਦਿੱਤੇ, ਔਫਲਾਈਨ ਪੜਾਅ 'ਤੇ ਬਹੁਤ ਸਾਰੀਆਂ ਮੁਸ਼ਕਲਾਂ ਸਨ. ਜੇ ਅਸੀਂ ਉਹਨਾਂ ਸਾਰੀਆਂ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਨੂੰ ਲਿਆ ਜੋ ਅਸੀਂ ਤਿਆਰ ਕੀਤੀਆਂ ਹਨ ਅਤੇ ਉਹਨਾਂ ਨੂੰ ਕੈਟਬੂਸਟ ਵਿੱਚ ਧੱਕਣ ਦੀ ਕੋਸ਼ਿਸ਼ ਕੀਤੀ ਹੈ, ਤਾਂ ਔਨਲਾਈਨ ਪੜਾਅ 'ਤੇ ਕੁਝ ਵੀ ਕੰਮ ਨਹੀਂ ਕਰੇਗਾ। ਸਰਗੇਈ ਨੇ ਟਾਈਪ ਓਪਟੀਮਾਈਜੇਸ਼ਨ ਕੀਤੀ, ਉਦਾਹਰਨ ਲਈ, float64 ਕਿਸਮਾਂ ਨੂੰ float32 ਵਿੱਚ ਬਦਲਣਾ। ਇਸ ਲੇਖ ਵਿਚ ਤੁਸੀਂ ਪਾਂਡਾ ਵਿੱਚ ਮੈਮੋਰੀ ਓਪਟੀਮਾਈਜੇਸ਼ਨ ਬਾਰੇ ਜਾਣਕਾਰੀ ਪ੍ਰਾਪਤ ਕਰ ਸਕਦੇ ਹੋ। ਨਤੀਜੇ ਵਜੋਂ, ਸਰਗੇਈ ਨੇ ਸਾਰੇ ਡੇਟਾ ਦੀ ਵਰਤੋਂ ਕਰਕੇ CPU 'ਤੇ ਸਿਖਲਾਈ ਦਿੱਤੀ ਅਤੇ ਲਗਭਗ 0,735 ਪ੍ਰਾਪਤ ਕੀਤੇ।

ਇਹ ਨਤੀਜੇ ਜਿੱਤਣ ਲਈ ਕਾਫ਼ੀ ਸਨ, ਪਰ ਅਸੀਂ ਆਪਣੀ ਅਸਲ ਗਤੀ ਨੂੰ ਛੁਪਾਇਆ ਅਤੇ ਇਹ ਯਕੀਨੀ ਨਹੀਂ ਹੋ ਸਕੇ ਕਿ ਹੋਰ ਟੀਮਾਂ ਅਜਿਹਾ ਨਹੀਂ ਕਰ ਰਹੀਆਂ ਸਨ।

ਆਖਰੀ ਦਮ ਤੱਕ ਲੜੋ

ਕੈਟਬੂਸਟ ਟਿਊਨਿੰਗ

ਸਾਡਾ ਹੱਲ ਪੂਰੀ ਤਰ੍ਹਾਂ ਦੁਬਾਰਾ ਤਿਆਰ ਕੀਤਾ ਗਿਆ ਸੀ, ਅਸੀਂ ਟੈਕਸਟ ਡੇਟਾ ਅਤੇ ਚਿੱਤਰਾਂ ਦੀਆਂ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਨੂੰ ਜੋੜਿਆ, ਇਸਲਈ ਜੋ ਬਚਿਆ ਉਹ ਕੈਟਬੂਸਟ ਪੈਰਾਮੀਟਰਾਂ ਨੂੰ ਟਿਊਨ ਕਰਨਾ ਸੀ। ਸਰਗੇਈ ਨੇ CPU 'ਤੇ ਥੋੜ੍ਹੇ ਜਿਹੇ ਦੁਹਰਾਓ ਨਾਲ ਸਿਖਲਾਈ ਦਿੱਤੀ, ਅਤੇ ਮੈਂ ctr_complexity=1 ਨਾਲ ਸਿਖਲਾਈ ਦਿੱਤੀ। ਇੱਕ ਦਿਨ ਬਾਕੀ ਸੀ, ਅਤੇ ਜੇਕਰ ਤੁਸੀਂ ਸਿਰਫ਼ ਦੁਹਰਾਓ ਜੋੜਦੇ ਹੋ ਜਾਂ ctr_complexity ਵਿੱਚ ਵਾਧਾ ਕਰਦੇ ਹੋ, ਤਾਂ ਸਵੇਰ ਤੱਕ ਤੁਸੀਂ ਇੱਕ ਹੋਰ ਵੀ ਵਧੀਆ ਗਤੀ ਪ੍ਰਾਪਤ ਕਰ ਸਕਦੇ ਹੋ ਅਤੇ ਸਾਰਾ ਦਿਨ ਚੱਲ ਸਕਦੇ ਹੋ।

ਔਫਲਾਈਨ ਪੜਾਅ 'ਤੇ, ਸਾਈਟ 'ਤੇ ਸਭ ਤੋਂ ਵਧੀਆ ਹੱਲ ਨਾ ਚੁਣ ਕੇ ਸਪੀਡਾਂ ਨੂੰ ਬਹੁਤ ਆਸਾਨੀ ਨਾਲ ਲੁਕਾਇਆ ਜਾ ਸਕਦਾ ਹੈ। ਅਸੀਂ ਸਬਮਿਸ਼ਨ ਬੰਦ ਹੋਣ ਤੋਂ ਪਹਿਲਾਂ ਆਖਰੀ ਮਿੰਟਾਂ ਵਿੱਚ ਲੀਡਰਬੋਰਡ ਵਿੱਚ ਸਖ਼ਤ ਤਬਦੀਲੀਆਂ ਦੀ ਉਮੀਦ ਕੀਤੀ ਸੀ ਅਤੇ ਨਾ ਰੁਕਣ ਦਾ ਫੈਸਲਾ ਕੀਤਾ ਸੀ।

ਅੰਨਾ ਦੇ ਵੀਡੀਓ ਤੋਂ, ਮੈਂ ਸਿੱਖਿਆ ਕਿ ਮਾਡਲ ਦੀ ਗੁਣਵੱਤਾ ਵਿੱਚ ਸੁਧਾਰ ਕਰਨ ਲਈ, ਹੇਠਾਂ ਦਿੱਤੇ ਮਾਪਦੰਡਾਂ ਨੂੰ ਚੁਣਨਾ ਸਭ ਤੋਂ ਵਧੀਆ ਹੈ:

• ਸਿੱਖਣ_ਦਰ - ਡਿਫੌਲਟ ਮੁੱਲ ਦੀ ਗਣਨਾ ਡੇਟਾਸੈਟ ਦੇ ਆਕਾਰ ਦੇ ਅਧਾਰ 'ਤੇ ਕੀਤੀ ਜਾਂਦੀ ਹੈ। ਸਿੱਖਣ_ਦੀ ਦਰ ਵਧਾਉਣ ਲਈ ਦੁਹਰਾਓ ਦੀ ਗਿਣਤੀ ਵਧਾਉਣ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ।
• l2_leaf_reg — ਰੈਗੂਲਰਾਈਜ਼ੇਸ਼ਨ ਗੁਣਾਂਕ, ਡਿਫੌਲਟ ਮੁੱਲ 3, ਤਰਜੀਹੀ ਤੌਰ 'ਤੇ 2 ਤੋਂ 30 ਤੱਕ ਚੁਣੋ। ਮੁੱਲ ਘਟਾਉਣ ਨਾਲ ਓਵਰਫਿਟ ਵਿੱਚ ਵਾਧਾ ਹੁੰਦਾ ਹੈ।
• ਬੈਗਿੰਗ_ਤਾਪਮਾਨ - ਨਮੂਨੇ ਵਿੱਚ ਵਸਤੂਆਂ ਦੇ ਵਜ਼ਨ ਵਿੱਚ ਰੈਂਡਮਾਈਜ਼ੇਸ਼ਨ ਜੋੜਦਾ ਹੈ। ਪੂਰਵ-ਨਿਰਧਾਰਤ ਮੁੱਲ 1 ਹੈ, ਜਿੱਥੇ ਵਜ਼ਨ ਇੱਕ ਘਾਤ ਅੰਕੀ ਵੰਡ ਤੋਂ ਲਏ ਜਾਂਦੇ ਹਨ। ਮੁੱਲ ਘਟਣ ਨਾਲ ਓਵਰਫਿਟ ਵਿੱਚ ਵਾਧਾ ਹੁੰਦਾ ਹੈ।
• ਬੇਤਰਤੀਬ_ਤਾਕਤ - ਇੱਕ ਖਾਸ ਦੁਹਰਾਅ 'ਤੇ ਸਪਲਿਟਸ ਦੀ ਚੋਣ ਨੂੰ ਪ੍ਰਭਾਵਿਤ ਕਰਦਾ ਹੈ। ਬੇਤਰਤੀਬ_ਸਮਰੱਥਾ ਜਿੰਨੀ ਉੱਚੀ ਹੋਵੇਗੀ, ਘੱਟ ਮਹੱਤਵ ਵਾਲੇ ਵੰਡਣ ਦੀ ਸੰਭਾਵਨਾ ਵੱਧ ਹੋਵੇਗੀ। ਹਰ ਬਾਅਦ ਦੇ ਦੁਹਰਾਓ 'ਤੇ, ਬੇਤਰਤੀਬਤਾ ਘਟਦੀ ਹੈ। ਮੁੱਲ ਘਟਣ ਨਾਲ ਓਵਰਫਿਟ ਵਿੱਚ ਵਾਧਾ ਹੁੰਦਾ ਹੈ।

ਦੂਜੇ ਪੈਰਾਮੀਟਰਾਂ ਦਾ ਅੰਤਮ ਨਤੀਜੇ 'ਤੇ ਬਹੁਤ ਘੱਟ ਪ੍ਰਭਾਵ ਹੁੰਦਾ ਹੈ, ਇਸਲਈ ਮੈਂ ਉਹਨਾਂ ਨੂੰ ਚੁਣਨ ਦੀ ਕੋਸ਼ਿਸ਼ ਨਹੀਂ ਕੀਤੀ। ctr_complexity=1 ਦੇ ਨਾਲ ਮੇਰੇ GPU ਡੇਟਾਸੈਟ 'ਤੇ ਸਿਖਲਾਈ ਦੇ ਇੱਕ ਦੁਹਰਾਅ ਵਿੱਚ 20 ਮਿੰਟ ਲੱਗ ਗਏ, ਅਤੇ ਘਟਾਏ ਗਏ ਡੇਟਾਸੈਟ 'ਤੇ ਚੁਣੇ ਗਏ ਮਾਪਦੰਡ ਪੂਰੇ ਡੇਟਾਸੈਟ ਦੇ ਅਨੁਕੂਲ ਮਾਪਦੰਡਾਂ ਤੋਂ ਥੋੜੇ ਵੱਖਰੇ ਸਨ। ਅੰਤ ਵਿੱਚ, ਮੈਂ 30% ਡੇਟਾ ਤੇ ਲਗਭਗ 10 ਦੁਹਰਾਓ, ਅਤੇ ਫਿਰ ਸਾਰੇ ਡੇਟਾ ਤੇ ਲਗਭਗ 10 ਹੋਰ ਦੁਹਰਾਓ ਕੀਤੇ। ਇਹ ਇਸ ਤਰ੍ਹਾਂ ਕੁਝ ਨਿਕਲਿਆ:

• ਸਿੱਖਣ_ਦਰ ਮੈਂ ਡਿਫੌਲਟ ਤੋਂ 40% ਵਧਿਆ ਹੈ;
• l2_leaf_reg ਇਸ ਨੂੰ ਉਸੇ ਹੀ ਛੱਡ ਦਿੱਤਾ;
• ਬੈਗਿੰਗ_ਤਾਪਮਾਨ и ਬੇਤਰਤੀਬ_ਤਾਕਤ 0,8 ਤੱਕ ਘਟਾ ਦਿੱਤਾ ਗਿਆ ਹੈ।

ਅਸੀਂ ਇਹ ਸਿੱਟਾ ਕੱਢ ਸਕਦੇ ਹਾਂ ਕਿ ਮਾਡਲ ਨੂੰ ਡਿਫੌਲਟ ਪੈਰਾਮੀਟਰਾਂ ਨਾਲ ਸਿਖਲਾਈ ਦਿੱਤੀ ਗਈ ਸੀ.

ਜਦੋਂ ਮੈਂ ਲੀਡਰਬੋਰਡ 'ਤੇ ਨਤੀਜਾ ਦੇਖਿਆ ਤਾਂ ਮੈਂ ਬਹੁਤ ਹੈਰਾਨ ਹੋਇਆ:

ਮਾਡਲ	1 ਮਾਡਲ	2 ਮਾਡਲ	3 ਮਾਡਲ	ਸਮੂਹ
ਟਿਊਨਿੰਗ ਦੇ ਬਿਨਾਂ	0.7403	0.7404	0.7404	0.7407
ਟਿਊਨਿੰਗ ਦੇ ਨਾਲ	0.7406	0.7405	0.7406	0.7408

ਮੈਂ ਆਪਣੇ ਆਪ ਲਈ ਇਹ ਸਿੱਟਾ ਕੱਢਿਆ ਹੈ ਕਿ ਜੇ ਮਾਡਲ ਦੀ ਤੁਰੰਤ ਵਰਤੋਂ ਦੀ ਲੋੜ ਨਹੀਂ ਹੈ, ਤਾਂ ਗੈਰ-ਅਨੁਕੂਲ ਪੈਰਾਮੀਟਰਾਂ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ ਕਈ ਮਾਡਲਾਂ ਦੇ ਸਮੂਹ ਦੇ ਨਾਲ ਪੈਰਾਮੀਟਰਾਂ ਦੀ ਚੋਣ ਨੂੰ ਬਦਲਣਾ ਬਿਹਤਰ ਹੈ.

ਸਰਗੇਈ ਇਸ ਨੂੰ GPU 'ਤੇ ਚਲਾਉਣ ਲਈ ਡੇਟਾਸੈਟ ਦੇ ਆਕਾਰ ਨੂੰ ਅਨੁਕੂਲ ਬਣਾ ਰਿਹਾ ਸੀ। ਸਭ ਤੋਂ ਸਰਲ ਵਿਕਲਪ ਡੇਟਾ ਦੇ ਹਿੱਸੇ ਨੂੰ ਕੱਟਣਾ ਹੈ, ਪਰ ਇਹ ਕਈ ਤਰੀਕਿਆਂ ਨਾਲ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ:

• ਹੌਲੀ-ਹੌਲੀ ਸਭ ਤੋਂ ਪੁਰਾਣਾ ਡੇਟਾ (ਫਰਵਰੀ ਦੀ ਸ਼ੁਰੂਆਤ) ਨੂੰ ਹਟਾਓ ਜਦੋਂ ਤੱਕ ਡੇਟਾਸੈਟ ਮੈਮੋਰੀ ਵਿੱਚ ਫਿੱਟ ਨਹੀਂ ਹੁੰਦਾ;
• ਸਭ ਤੋਂ ਘੱਟ ਮਹੱਤਤਾ ਵਾਲੀਆਂ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਨੂੰ ਹਟਾਓ;
• ਯੂਜ਼ਰ ਆਈਡਜ਼ ਨੂੰ ਹਟਾਓ ਜਿਸ ਲਈ ਸਿਰਫ ਇੱਕ ਐਂਟਰੀ ਹੈ;
• ਸਿਰਫ਼ ਉਹ userIds ਛੱਡੋ ਜੋ ਟੈਸਟ ਵਿੱਚ ਹਨ।

ਅਤੇ ਅੰਤ ਵਿੱਚ, ਸਾਰੇ ਵਿਕਲਪਾਂ ਵਿੱਚੋਂ ਇੱਕ ਸਮੂਹ ਬਣਾਉ.

ਆਖਰੀ ਜੋੜੀ

ਆਖ਼ਰੀ ਦਿਨ ਦੀ ਦੇਰ ਸ਼ਾਮ ਤੱਕ, ਅਸੀਂ ਆਪਣੇ ਮਾਡਲਾਂ ਦਾ ਇੱਕ ਜੋੜ ਤਿਆਰ ਕਰ ਲਿਆ ਸੀ ਜਿਸਦਾ ਨਤੀਜਾ 0,742 ਸੀ। ਰਾਤੋ-ਰਾਤ ਮੈਂ ਆਪਣਾ ਮਾਡਲ ctr_complexity=2 ਨਾਲ ਲਾਂਚ ਕੀਤਾ ਅਤੇ 30 ਮਿੰਟਾਂ ਦੀ ਬਜਾਏ 5 ਘੰਟਿਆਂ ਲਈ ਸਿਖਲਾਈ ਦਿੱਤੀ। ਸਿਰਫ ਸਵੇਰੇ 4 ਵਜੇ ਇਸਦੀ ਗਿਣਤੀ ਕੀਤੀ ਗਈ ਸੀ, ਅਤੇ ਮੈਂ ਆਖਰੀ ਜੋੜੀ ਬਣਾਈ, ਜਿਸ ਨੇ ਜਨਤਕ ਲੀਡਰਬੋਰਡ 'ਤੇ 0,7433 ਦਿੱਤਾ.

ਸਮੱਸਿਆ ਨੂੰ ਹੱਲ ਕਰਨ ਦੇ ਵੱਖੋ-ਵੱਖਰੇ ਤਰੀਕਿਆਂ ਦੇ ਕਾਰਨ, ਸਾਡੀਆਂ ਭਵਿੱਖਬਾਣੀਆਂ ਮਜ਼ਬੂਤੀ ਨਾਲ ਸਬੰਧਿਤ ਨਹੀਂ ਸਨ, ਜਿਸ ਨਾਲ ਸੰਗ੍ਰਹਿ ਵਿੱਚ ਚੰਗਾ ਵਾਧਾ ਹੋਇਆ। ਇੱਕ ਵਧੀਆ ਸੰਗ੍ਰਹਿ ਪ੍ਰਾਪਤ ਕਰਨ ਲਈ, ਕੱਚੇ ਮਾਡਲ ਪੂਰਵ-ਅਨੁਮਾਨਾਂ ਦੀ ਭਵਿੱਖਬਾਣੀ (ਭਵਿੱਖਬਾਣੀ_ਟਾਈਪ='ਰਾਵਫਾਰਮੂਲਾਵਲ') ਦੀ ਵਰਤੋਂ ਕਰਨਾ ਅਤੇ ਸਕੇਲ_ਪੋਸ_ਵੇਟ=ਨੇਗ_ਕਾਉਂਟ/ਪੋਜ਼_ਕਾਉਂਟ ਸੈੱਟ ਕਰਨਾ ਬਿਹਤਰ ਹੈ।

ਵੈੱਬਸਾਈਟ 'ਤੇ ਤੁਸੀਂ ਦੇਖ ਸਕਦੇ ਹੋ ਪ੍ਰਾਈਵੇਟ ਲੀਡਰਬੋਰਡ 'ਤੇ ਅੰਤਿਮ ਨਤੀਜੇ.

ਹੋਰ ਹੱਲ

ਬਹੁਤ ਸਾਰੀਆਂ ਟੀਮਾਂ ਨੇ ਸਿਫਾਰਿਸ਼ਕਰਤਾ ਸਿਸਟਮ ਐਲਗੋਰਿਦਮ ਦੇ ਸਿਧਾਂਤਾਂ ਦਾ ਪਾਲਣ ਕੀਤਾ। ਮੈਂ, ਇਸ ਖੇਤਰ ਵਿੱਚ ਮਾਹਰ ਨਾ ਹੋਣ ਕਰਕੇ, ਉਹਨਾਂ ਦਾ ਮੁਲਾਂਕਣ ਨਹੀਂ ਕਰ ਸਕਦਾ, ਪਰ ਮੈਨੂੰ 2 ਦਿਲਚਸਪ ਹੱਲ ਯਾਦ ਹਨ।

• ਨਿਕੋਲੇ ਅਨੋਖਿਨ ਦਾ ਹੱਲ. Nikolay, Mail.ru ਦੇ ਇੱਕ ਕਰਮਚਾਰੀ ਹੋਣ ਦੇ ਨਾਤੇ, ਇਨਾਮਾਂ ਲਈ ਅਰਜ਼ੀ ਨਹੀਂ ਦਿੱਤੀ, ਇਸਲਈ ਉਸਦਾ ਟੀਚਾ ਵੱਧ ਤੋਂ ਵੱਧ ਗਤੀ ਪ੍ਰਾਪਤ ਕਰਨਾ ਨਹੀਂ ਸੀ, ਪਰ ਇੱਕ ਆਸਾਨੀ ਨਾਲ ਸਕੇਲੇਬਲ ਹੱਲ ਪ੍ਰਾਪਤ ਕਰਨਾ ਸੀ।
• ਜਿਊਰੀ ਇਨਾਮ ਜੇਤੂ ਟੀਮ ਦੇ ਫੈਸਲੇ ਦੇ ਆਧਾਰ 'ਤੇ ਫੇਸਬੁੱਕ ਤੋਂ ਇਹ ਲੇਖ, ਹੱਥੀਂ ਕੰਮ ਕੀਤੇ ਬਿਨਾਂ ਬਹੁਤ ਵਧੀਆ ਚਿੱਤਰ ਕਲੱਸਟਰਿੰਗ ਲਈ ਆਗਿਆ ਹੈ।

ਸਿੱਟਾ

ਮੇਰੀ ਯਾਦ ਵਿੱਚ ਸਭ ਤੋਂ ਵੱਧ ਕੀ ਫਸਿਆ:

• ਜੇਕਰ ਡੇਟਾ ਵਿੱਚ ਸਪਸ਼ਟ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਹਨ, ਅਤੇ ਤੁਸੀਂ ਜਾਣਦੇ ਹੋ ਕਿ ਟਾਰਗੇਟ ਏਨਕੋਡਿੰਗ ਨੂੰ ਸਹੀ ਢੰਗ ਨਾਲ ਕਿਵੇਂ ਕਰਨਾ ਹੈ, ਤਾਂ ਕੈਟਬੂਸਟ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰਨਾ ਅਜੇ ਵੀ ਬਿਹਤਰ ਹੈ।
• ਜੇਕਰ ਤੁਸੀਂ ਕਿਸੇ ਮੁਕਾਬਲੇ ਵਿੱਚ ਹਿੱਸਾ ਲੈ ਰਹੇ ਹੋ, ਤਾਂ ਤੁਹਾਨੂੰ ਸਿੱਖਣ_ਦਰ ਅਤੇ ਦੁਹਰਾਓ ਤੋਂ ਇਲਾਵਾ ਹੋਰ ਮਾਪਦੰਡਾਂ ਦੀ ਚੋਣ ਕਰਨ ਵਿੱਚ ਸਮਾਂ ਬਰਬਾਦ ਨਹੀਂ ਕਰਨਾ ਚਾਹੀਦਾ। ਇੱਕ ਤੇਜ਼ ਹੱਲ ਕਈ ਮਾਡਲਾਂ ਦਾ ਇੱਕ ਸਮੂਹ ਬਣਾਉਣਾ ਹੈ.
• GPU 'ਤੇ ਬੂਸਟਿੰਗ ਸਿੱਖ ਸਕਦੇ ਹਨ। ਕੈਟਬੂਸਟ GPU 'ਤੇ ਬਹੁਤ ਤੇਜ਼ੀ ਨਾਲ ਸਿੱਖ ਸਕਦਾ ਹੈ, ਪਰ ਇਹ ਬਹੁਤ ਸਾਰੀ ਮੈਮੋਰੀ ਖਾ ਲੈਂਦਾ ਹੈ।
• ਵਿਚਾਰਾਂ ਦੇ ਵਿਕਾਸ ਅਤੇ ਜਾਂਚ ਦੇ ਦੌਰਾਨ, ਇੱਕ ਛੋਟਾ rsm~=0.2 (ਸਿਰਫ਼ CPU) ਅਤੇ ctr_complexity=1 ਸੈੱਟ ਕਰਨਾ ਬਿਹਤਰ ਹੈ।
• ਦੂਜੀਆਂ ਟੀਮਾਂ ਦੇ ਉਲਟ, ਸਾਡੇ ਮਾਡਲਾਂ ਦੀ ਜੋੜੀ ਨੇ ਵੱਡਾ ਵਾਧਾ ਕੀਤਾ ਹੈ। ਅਸੀਂ ਸਿਰਫ਼ ਵਿਚਾਰਾਂ ਦਾ ਆਦਾਨ-ਪ੍ਰਦਾਨ ਕੀਤਾ ਅਤੇ ਵੱਖ-ਵੱਖ ਭਾਸ਼ਾਵਾਂ ਵਿੱਚ ਲਿਖਿਆ। ਸਾਡੇ ਕੋਲ ਡੇਟਾ ਨੂੰ ਵੰਡਣ ਲਈ ਇੱਕ ਵੱਖਰੀ ਪਹੁੰਚ ਸੀ ਅਤੇ, ਮੇਰੇ ਖਿਆਲ ਵਿੱਚ, ਹਰੇਕ ਦੇ ਆਪਣੇ ਬੱਗ ਸਨ।
• ਇਹ ਸਪੱਸ਼ਟ ਨਹੀਂ ਹੈ ਕਿ ਰੈਂਕਿੰਗ ਓਪਟੀਮਾਈਜੇਸ਼ਨ ਨੇ ਵਰਗੀਕਰਨ ਅਨੁਕੂਲਨ ਨਾਲੋਂ ਮਾੜਾ ਪ੍ਰਦਰਸ਼ਨ ਕਿਉਂ ਕੀਤਾ।
• ਮੈਂ ਟੈਕਸਟ ਦੇ ਨਾਲ ਕੰਮ ਕਰਨ ਦਾ ਕੁਝ ਤਜਰਬਾ ਹਾਸਲ ਕੀਤਾ ਅਤੇ ਇਸ ਗੱਲ ਦੀ ਸਮਝ ਪ੍ਰਾਪਤ ਕੀਤੀ ਕਿ ਸਿਫਾਰਿਸ਼ਕਰਤਾ ਸਿਸਟਮ ਕਿਵੇਂ ਬਣਾਏ ਜਾਂਦੇ ਹਨ।

ਆਈਆਂ ਭਾਵਨਾਵਾਂ, ਗਿਆਨ ਅਤੇ ਇਨਾਮਾਂ ਲਈ ਪ੍ਰਬੰਧਕਾਂ ਦਾ ਧੰਨਵਾਦ।

ਸਰੋਤ: www.habr.com