GitLab ਸ਼ੈੱਲ ਰਨਰ। ਡੌਕਰ ਕੰਪੋਜ਼ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਟੈਸਟ ਕੀਤੀਆਂ ਸੇਵਾਵਾਂ ਦੀ ਪ੍ਰਤੀਯੋਗੀ ਸ਼ੁਰੂਆਤ

ਇਹ ਲੇਖ ਟੈਸਟਰਾਂ ਅਤੇ ਡਿਵੈਲਪਰਾਂ ਦੋਵਾਂ ਲਈ ਦਿਲਚਸਪੀ ਵਾਲਾ ਹੋਵੇਗਾ, ਪਰ ਇਹ ਮੁੱਖ ਤੌਰ 'ਤੇ ਆਟੋਮੇਸ਼ਨ ਮਾਹਿਰਾਂ ਲਈ ਹੈ ਜੋ ਨਾਕਾਫ਼ੀ ਬੁਨਿਆਦੀ ਢਾਂਚੇ ਦੇ ਸਰੋਤਾਂ ਅਤੇ/ਜਾਂ ਕੰਟੇਨਰ ਆਰਕੈਸਟਰੇਸ਼ਨ ਦੀ ਅਣਹੋਂਦ ਦੀਆਂ ਸਥਿਤੀਆਂ ਵਿੱਚ ਏਕੀਕਰਣ ਟੈਸਟਿੰਗ ਲਈ GitLab CI/CD ਸਥਾਪਤ ਕਰਨ ਦੀ ਸਮੱਸਿਆ ਦਾ ਸਾਹਮਣਾ ਕਰ ਰਹੇ ਹਨ। ਪਲੇਟਫਾਰਮ. ਮੈਂ ਤੁਹਾਨੂੰ ਦੱਸਾਂਗਾ ਕਿ ਇੱਕ ਸਿੰਗਲ GitLab ਸ਼ੈੱਲ ਰਨਰ 'ਤੇ ਡੌਕਰ ਕੰਪੋਜ਼ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ ਟੈਸਟ ਵਾਤਾਵਰਣਾਂ ਦੀ ਤੈਨਾਤੀ ਨੂੰ ਕਿਵੇਂ ਸੈੱਟ ਕਰਨਾ ਹੈ ਅਤੇ ਤਾਂ ਜੋ ਕਈ ਵਾਤਾਵਰਣਾਂ ਨੂੰ ਤੈਨਾਤ ਕਰਦੇ ਸਮੇਂ, ਲਾਂਚ ਕੀਤੀਆਂ ਸੇਵਾਵਾਂ ਇੱਕ ਦੂਜੇ ਨਾਲ ਦਖਲ ਨਾ ਦੇਣ।

ਸਮੱਗਰੀ

• ਪੂਰਕ ਲੋੜਾਂ
• GitLab ਸ਼ੈੱਲ ਰਨਰ
• docker-compose.yml ਤਿਆਰ ਕੀਤਾ ਜਾ ਰਿਹਾ ਹੈ
• ਮੇਕਫਾਈਲ ਦੀ ਤਿਆਰੀ
• .gitlab-ci.yml ਤਿਆਰ ਕੀਤਾ ਜਾ ਰਿਹਾ ਹੈ
  • ਏਕੀਕਰਣ ਟੈਸਟ ਚੱਲ ਰਿਹਾ ਹੈ
  • ਦੌੜਾਕ ਦੀ ਸਫਾਈ
• ਇਸ ਦਾ ਨਤੀਜਾ

ਪੂਰਕ ਲੋੜਾਂ

1. ਮੇਰੇ ਅਭਿਆਸ ਵਿੱਚ, ਇਹ ਅਕਸਰ ਹੁੰਦਾ ਹੈ ਕਿ ਪ੍ਰੋਜੈਕਟਾਂ 'ਤੇ ਏਕੀਕਰਣ ਟੈਸਟਿੰਗ ਦਾ "ਇਲਾਜ" ਕੀਤਾ ਜਾਂਦਾ ਸੀ। ਅਤੇ ਅਕਸਰ ਪਹਿਲੀ ਅਤੇ ਸਭ ਤੋਂ ਮਹੱਤਵਪੂਰਨ ਸਮੱਸਿਆ ਸੀਆਈ ਪਾਈਪਲਾਈਨ ਹੈ, ਜਿਸ ਵਿੱਚ ਏਕੀਕਰਣ ਟੈਸਟਿੰਗ ਵਿਕਸਤ ਕੀਤਾ ਜਾ ਰਿਹਾ ਹੈ ਸੇਵਾ (ਸੇਵਾਵਾਂ) ਨੂੰ ਇੱਕ dev/ਸਟੇਜ ਵਾਤਾਵਰਨ ਵਿੱਚ ਕੀਤਾ ਜਾਂਦਾ ਹੈ। ਇਸ ਨਾਲ ਬਹੁਤ ਸਾਰੀਆਂ ਸਮੱਸਿਆਵਾਂ ਪੈਦਾ ਹੋਈਆਂ:

   • ਏਕੀਕਰਣ ਟੈਸਟਿੰਗ ਦੌਰਾਨ ਕਿਸੇ ਖਾਸ ਸੇਵਾ ਵਿੱਚ ਨੁਕਸ ਦੇ ਕਾਰਨ, ਟੁੱਟੇ ਹੋਏ ਡੇਟਾ ਦੁਆਰਾ ਟੈਸਟ ਸਰਕਟ ਨੂੰ ਨੁਕਸਾਨ ਹੋ ਸਕਦਾ ਹੈ। ਅਜਿਹੇ ਕੇਸ ਸਨ ਜਦੋਂ ਇੱਕ ਟੁੱਟੇ JSON ਫਾਰਮੈਟ ਨਾਲ ਬੇਨਤੀ ਭੇਜਣ ਨਾਲ ਸੇਵਾ ਕ੍ਰੈਸ਼ ਹੋ ਗਈ, ਜਿਸ ਨੇ ਸਟੈਂਡ ਨੂੰ ਪੂਰੀ ਤਰ੍ਹਾਂ ਅਯੋਗ ਬਣਾ ਦਿੱਤਾ।
   • ਟੈਸਟ ਸਰਕਟ ਦੀ ਸੁਸਤੀ ਜਿਵੇਂ ਕਿ ਟੈਸਟ ਡੇਟਾ ਵਧਦਾ ਹੈ। ਮੈਨੂੰ ਲਗਦਾ ਹੈ ਕਿ ਡੇਟਾਬੇਸ ਨੂੰ ਸਾਫ਼ ਕਰਨ/ਰੋਲ ਬੈਕ ਕਰਨ ਦੇ ਨਾਲ ਇੱਕ ਉਦਾਹਰਣ ਦਾ ਵਰਣਨ ਕਰਨਾ ਕੋਈ ਅਰਥ ਨਹੀਂ ਰੱਖਦਾ. ਮੇਰੇ ਅਭਿਆਸ ਵਿੱਚ, ਮੈਂ ਇੱਕ ਪ੍ਰੋਜੈਕਟ ਦਾ ਸਾਹਮਣਾ ਨਹੀਂ ਕੀਤਾ ਹੈ ਜਿੱਥੇ ਇਹ ਪ੍ਰਕਿਰਿਆ ਸੁਚਾਰੂ ਢੰਗ ਨਾਲ ਚਲੀ ਗਈ ਸੀ.
   • ਆਮ ਸਿਸਟਮ ਸੈਟਿੰਗਾਂ ਦੀ ਜਾਂਚ ਕਰਦੇ ਸਮੇਂ ਟੈਸਟ ਸਰਕਟ ਦੀ ਕਾਰਜਕੁਸ਼ਲਤਾ ਵਿੱਚ ਵਿਘਨ ਪਾਉਣ ਦਾ ਜੋਖਮ। ਉਦਾਹਰਨ ਲਈ, ਉਪਭੋਗਤਾ/ਸਮੂਹ/ਪਾਸਵਰਡ/ਐਪਲੀਕੇਸ਼ਨ ਨੀਤੀ।
   • ਸਵੈਚਲਿਤ ਟੈਸਟਾਂ ਤੋਂ ਟੈਸਟ ਡੇਟਾ ਮੈਨੂਅਲ ਟੈਸਟਰਾਂ ਲਈ ਜੀਵਨ ਮੁਸ਼ਕਲ ਬਣਾਉਂਦਾ ਹੈ।

   ਕੁਝ ਕਹਿਣਗੇ ਕਿ ਚੰਗੇ ਆਟੋਟੈਸਟਾਂ ਨੂੰ ਆਪਣੇ ਆਪ ਤੋਂ ਬਾਅਦ ਡੇਟਾ ਨੂੰ ਸਾਫ਼ ਕਰਨਾ ਚਾਹੀਦਾ ਹੈ. ਮੇਰੇ ਕੋਲ ਇਸ ਦੇ ਵਿਰੁੱਧ ਦਲੀਲਾਂ ਹਨ:

   • ਡਾਇਨਾਮਿਕ ਸਟੈਂਡ ਵਰਤਣ ਲਈ ਬਹੁਤ ਸੁਵਿਧਾਜਨਕ ਹਨ।
   • ਹਰੇਕ ਵਸਤੂ ਨੂੰ API ਰਾਹੀਂ ਸਿਸਟਮ ਤੋਂ ਹਟਾਇਆ ਨਹੀਂ ਜਾ ਸਕਦਾ। ਉਦਾਹਰਨ ਲਈ, ਕਿਸੇ ਵਸਤੂ ਨੂੰ ਮਿਟਾਉਣ ਲਈ ਇੱਕ ਕਾਲ ਲਾਗੂ ਨਹੀਂ ਕੀਤੀ ਗਈ ਕਿਉਂਕਿ ਇਹ ਵਪਾਰਕ ਤਰਕ ਦੇ ਉਲਟ ਹੈ।
   • API ਦੁਆਰਾ ਇੱਕ ਆਬਜੈਕਟ ਬਣਾਉਂਦੇ ਸਮੇਂ, ਮੈਟਾਡੇਟਾ ਦੀ ਇੱਕ ਵੱਡੀ ਮਾਤਰਾ ਬਣਾਈ ਜਾ ਸਕਦੀ ਹੈ, ਜਿਸ ਨੂੰ ਮਿਟਾਉਣਾ ਮੁਸ਼ਕਲ ਹੈ.
   • ਜੇਕਰ ਟੈਸਟਾਂ ਵਿੱਚ ਆਪਸ ਵਿੱਚ ਨਿਰਭਰਤਾ ਹੁੰਦੀ ਹੈ, ਤਾਂ ਟੈਸਟਾਂ ਨੂੰ ਚਲਾਉਣ ਤੋਂ ਬਾਅਦ ਡਾਟਾ ਸਾਫ਼ ਕਰਨ ਦੀ ਪ੍ਰਕਿਰਿਆ ਸਿਰਦਰਦ ਵਿੱਚ ਬਦਲ ਜਾਂਦੀ ਹੈ।
   • API ਨੂੰ ਵਧੀਕ (ਅਤੇ, ਮੇਰੀ ਰਾਏ ਵਿੱਚ, ਜਾਇਜ਼ ਨਹੀਂ) ਕਾਲਾਂ.
   • ਅਤੇ ਮੁੱਖ ਦਲੀਲ: ਜਦੋਂ ਟੈਸਟ ਡੇਟਾ ਨੂੰ ਸਿੱਧੇ ਡੇਟਾਬੇਸ ਤੋਂ ਸਾਫ਼ ਕਰਨਾ ਸ਼ੁਰੂ ਹੁੰਦਾ ਹੈ. ਇਹ ਇੱਕ ਅਸਲੀ PK/FK ਸਰਕਸ ਵਿੱਚ ਬਦਲ ਰਿਹਾ ਹੈ! ਅਸੀਂ ਡਿਵੈਲਪਰਾਂ ਤੋਂ ਸੁਣਦੇ ਹਾਂ: "ਮੈਂ ਹੁਣੇ ਇੱਕ ਚਿੰਨ੍ਹ ਜੋੜਿਆ/ਹਟਾ ਦਿੱਤਾ/ਬਦਲਿਆ ਹੈ, 100500 ਏਕੀਕਰਣ ਟੈਸਟ ਕਿਉਂ ਫੜੇ ਗਏ?"

   ਮੇਰੀ ਰਾਏ ਵਿੱਚ, ਸਭ ਤੋਂ ਅਨੁਕੂਲ ਹੱਲ ਇੱਕ ਗਤੀਸ਼ੀਲ ਵਾਤਾਵਰਣ ਹੈ.

2. ਬਹੁਤ ਸਾਰੇ ਲੋਕ ਇੱਕ ਟੈਸਟ ਵਾਤਾਵਰਣ ਨੂੰ ਚਲਾਉਣ ਲਈ ਡੌਕਰ-ਕੰਪੋਜ਼ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹਨ, ਪਰ ਕੁਝ ਲੋਕ CI/CD ਵਿੱਚ ਏਕੀਕਰਣ ਟੈਸਟਿੰਗ ਕਰਦੇ ਸਮੇਂ ਡੌਕਰ-ਕੰਪੋਜ਼ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹਨ। ਅਤੇ ਇੱਥੇ ਮੈਂ ਕੁਬਰਨੇਟਸ, ਝੁੰਡ ਅਤੇ ਹੋਰ ਕੰਟੇਨਰ ਆਰਕੈਸਟ੍ਰੇਸ਼ਨ ਪਲੇਟਫਾਰਮਾਂ ਨੂੰ ਧਿਆਨ ਵਿੱਚ ਨਹੀਂ ਰੱਖ ਰਿਹਾ ਹਾਂ। ਹਰ ਕੰਪਨੀ ਕੋਲ ਉਹ ਨਹੀਂ ਹਨ। ਇਹ ਚੰਗਾ ਹੋਵੇਗਾ ਜੇਕਰ docker-compose.yml ਯੂਨੀਵਰਸਲ ਹੋਵੇ।
3. ਭਾਵੇਂ ਸਾਡੇ ਕੋਲ ਸਾਡੇ ਆਪਣੇ QA ਦੌੜਾਕ ਹਨ, ਅਸੀਂ ਇਹ ਕਿਵੇਂ ਯਕੀਨੀ ਬਣਾ ਸਕਦੇ ਹਾਂ ਕਿ ਡੌਕਰ-ਕੰਪੋਜ਼ ਰਾਹੀਂ ਸ਼ੁਰੂ ਕੀਤੀਆਂ ਸੇਵਾਵਾਂ ਇੱਕ ਦੂਜੇ ਨਾਲ ਦਖਲ ਨਾ ਦੇਣ?
4. ਟੈਸਟ ਕੀਤੀਆਂ ਸੇਵਾਵਾਂ ਦੇ ਲੌਗਸ ਨੂੰ ਕਿਵੇਂ ਇਕੱਠਾ ਕਰਨਾ ਹੈ?
5. ਦੌੜਾਕ ਨੂੰ ਕਿਵੇਂ ਸਾਫ਼ ਕਰਨਾ ਹੈ?

ਮੇਰੇ ਪ੍ਰੋਜੈਕਟਾਂ ਲਈ ਮੇਰੇ ਕੋਲ ਆਪਣਾ GitLab ਦੌੜਾਕ ਹੈ ਅਤੇ ਮੈਨੂੰ ਵਿਕਾਸ ਦੇ ਦੌਰਾਨ ਇਹਨਾਂ ਪ੍ਰਸ਼ਨਾਂ ਦਾ ਸਾਹਮਣਾ ਕਰਨਾ ਪਿਆ ਜਾਵਾ ਕਲਾਇੰਟ ਨੂੰ ਟੈਸਟਰੇਲ. ਵਧੇਰੇ ਸਪਸ਼ਟ ਤੌਰ 'ਤੇ, ਜਦੋਂ ਏਕੀਕਰਣ ਟੈਸਟ ਚਲਾਉਂਦੇ ਹੋ। ਹੇਠਾਂ ਅਸੀਂ ਇਸ ਪ੍ਰੋਜੈਕਟ ਦੀਆਂ ਉਦਾਹਰਣਾਂ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਇਹਨਾਂ ਮੁੱਦਿਆਂ ਨੂੰ ਹੱਲ ਕਰਾਂਗੇ।

ਸਮੱਗਰੀ ਨੂੰ

GitLab ਸ਼ੈੱਲ ਰਨਰ

ਇੱਕ ਦੌੜਾਕ ਲਈ, ਮੈਂ 4 vCPU, 4 GB RAM, 50 GB HDD ਵਾਲੀ ਇੱਕ ਲੀਨਕਸ ਵਰਚੁਅਲ ਮਸ਼ੀਨ ਦੀ ਸਿਫ਼ਾਰਸ਼ ਕਰਦਾ ਹਾਂ।
ਇੰਟਰਨੈੱਟ 'ਤੇ ਗਿਟਲੈਬ-ਰਨਰ ਸਥਾਪਤ ਕਰਨ ਬਾਰੇ ਬਹੁਤ ਸਾਰੀ ਜਾਣਕਾਰੀ ਹੈ, ਇਸ ਲਈ ਸੰਖੇਪ ਵਿੱਚ:

• SSH ਰਾਹੀਂ ਮਸ਼ੀਨ ਤੇ ਲੌਗਇਨ ਕਰੋ

• ਜੇ ਤੁਹਾਡੇ ਕੋਲ 8 ਜੀਬੀ ਰੈਮ ਤੋਂ ਘੱਟ ਹੈ, ਤਾਂ ਮੈਂ ਸਿਫਾਰਸ਼ ਕਰਦਾ ਹਾਂ ਸਵੈਪ 10 GB ਬਣਾਓਤਾਂ ਕਿ ਓਓਐਮ ਕਿਲਰ ਆ ਕੇ ਰੈਮ ਦੀ ਘਾਟ ਕਾਰਨ ਸਾਡੇ ਕੰਮਾਂ ਨੂੰ ਖਤਮ ਨਾ ਕਰੇ। ਇਹ ਉਦੋਂ ਹੋ ਸਕਦਾ ਹੈ ਜਦੋਂ 5 ਤੋਂ ਵੱਧ ਕਾਰਜ ਇੱਕੋ ਸਮੇਂ ਲਾਂਚ ਕੀਤੇ ਜਾਂਦੇ ਹਨ। ਕੰਮ ਹੌਲੀ-ਹੌਲੀ, ਪਰ ਸਥਿਰਤਾ ਨਾਲ ਅੱਗੇ ਵਧਣਗੇ।

  OOM ਕਿਲਰ ਨਾਲ ਉਦਾਹਰਨ

  ਜੇਕਰ ਤੁਸੀਂ ਟਾਸਕ ਲੌਗਸ ਵਿੱਚ ਦੇਖਦੇ ਹੋ bash: line 82: 26474 Killed, ਫਿਰ ਹੁਣੇ ਹੀ ਦੌੜਾਕ 'ਤੇ ਚਲਾਓ sudo dmesg | grep 26474

  [26474]  1002 26474  1061935   123806     339        0             0 java
  Out of memory: Kill process 26474 (java) score 127 or sacrifice child
  Killed process 26474 (java) total-vm:4247740kB, anon-rss:495224kB, file-rss:0kB, shmem-rss:0kB

  ਅਤੇ ਜੇਕਰ ਤਸਵੀਰ ਕੁਝ ਇਸ ਤਰ੍ਹਾਂ ਦਿਖਾਈ ਦਿੰਦੀ ਹੈ, ਤਾਂ ਜਾਂ ਤਾਂ ਸਵੈਪ ਜੋੜੋ ਜਾਂ RAM ਜੋੜੋ।

• ਸਥਾਪਿਤ ਕਰੋ gitlab-ਦੌੜਾਕ, ਡੌਕਰ, ਡੌਕਰ-ਕੰਪੋਜ਼, ਬਣਾਉ.
• ਇੱਕ ਉਪਭੋਗਤਾ ਨੂੰ ਸ਼ਾਮਲ ਕਰਨਾ gitlab-runner ਗਰੁੱਪ ਨੂੰ docker

  sudo groupadd docker
  sudo usermod -aG docker gitlab-runner

• ਰਜਿਸਟਰ gitlab-ਦੌੜਾਕ.

• ਸੰਪਾਦਨ ਲਈ ਖੋਲ੍ਹੋ /etc/gitlab-runner/config.toml ਅਤੇ ਸ਼ਾਮਿਲ ਕਰੋ

  concurrent=20
  [[runners]]
    request_concurrency = 10

  ਇਹ ਤੁਹਾਨੂੰ ਇੱਕ ਦੌੜਾਕ 'ਤੇ ਸਮਾਨਾਂਤਰ ਕਾਰਜਾਂ ਨੂੰ ਚਲਾਉਣ ਦੀ ਆਗਿਆ ਦੇਵੇਗਾ. ਹੋਰ ਪੜ੍ਹੋ ਇੱਥੇ.
  ਜੇਕਰ ਤੁਹਾਡੇ ਕੋਲ ਵਧੇਰੇ ਤਾਕਤਵਰ ਮਸ਼ੀਨ ਹੈ, ਉਦਾਹਰਨ ਲਈ 8 vCPU, 16 GB RAM, ਤਾਂ ਇਹਨਾਂ ਨੰਬਰਾਂ ਨੂੰ ਘੱਟੋ-ਘੱਟ 2 ਗੁਣਾ ਵੱਡਾ ਬਣਾਇਆ ਜਾ ਸਕਦਾ ਹੈ। ਪਰ ਇਹ ਸਭ ਇਸ ਗੱਲ 'ਤੇ ਨਿਰਭਰ ਕਰਦਾ ਹੈ ਕਿ ਇਸ ਦੌੜਾਕ 'ਤੇ ਅਸਲ ਵਿੱਚ ਕੀ ਲਾਂਚ ਕੀਤਾ ਜਾਵੇਗਾ ਅਤੇ ਕਿਸ ਮਾਤਰਾ ਵਿੱਚ.

ਇਹ ਕਾਫ਼ੀ ਹੈ.

ਸਮੱਗਰੀ ਨੂੰ

docker-compose.yml ਤਿਆਰ ਕੀਤਾ ਜਾ ਰਿਹਾ ਹੈ

ਮੁੱਖ ਕੰਮ ਇੱਕ ਯੂਨੀਵਰਸਲ docker-compose.yml ਹੈ, ਜਿਸਨੂੰ ਡਿਵੈਲਪਰ/ਟੈਸਟਰ ਸਥਾਨਕ ਅਤੇ CI ਪਾਈਪਲਾਈਨ ਵਿੱਚ ਵਰਤ ਸਕਦੇ ਹਨ।

ਸਭ ਤੋਂ ਪਹਿਲਾਂ, ਅਸੀਂ CI ਲਈ ਵਿਲੱਖਣ ਸੇਵਾ ਨਾਮ ਬਣਾਉਂਦੇ ਹਾਂ। GitLab CI ਵਿੱਚ ਵਿਲੱਖਣ ਵੇਰੀਏਬਲਾਂ ਵਿੱਚੋਂ ਇੱਕ ਵੇਰੀਏਬਲ ਹੈ CI_JOB_ID. ਜੇਕਰ ਤੁਸੀਂ ਨਿਸ਼ਚਿਤ ਕਰਦੇ ਹੋ container_name ਅਰਥ ਦੇ ਨਾਲ "service-${CI_JOB_ID:-local}", ਫਿਰ ਮਾਮਲੇ ਵਿੱਚ:

• ਜੇ CI_JOB_ID ਵਾਤਾਵਰਣ ਵੇਰੀਏਬਲ ਵਿੱਚ ਪਰਿਭਾਸ਼ਿਤ ਨਹੀਂ,
  ਫਿਰ ਸੇਵਾ ਦਾ ਨਾਮ ਹੋਵੇਗਾ service-local
• ਜੇ CI_JOB_ID ਵਾਤਾਵਰਣ ਵੇਰੀਏਬਲ ਵਿੱਚ ਪਰਿਭਾਸ਼ਿਤ (ਉਦਾਹਰਨ ਲਈ 123),
  ਫਿਰ ਸੇਵਾ ਦਾ ਨਾਮ ਹੋਵੇਗਾ service-123

ਦੂਜਾ, ਅਸੀਂ ਲਾਂਚ ਕੀਤੀਆਂ ਸੇਵਾਵਾਂ ਲਈ ਇੱਕ ਸਾਂਝਾ ਨੈੱਟਵਰਕ ਬਣਾਉਂਦੇ ਹਾਂ। ਇਹ ਸਾਨੂੰ ਕਈ ਟੈਸਟ ਵਾਤਾਵਰਣਾਂ ਨੂੰ ਚਲਾਉਣ ਵੇਲੇ ਨੈੱਟਵਰਕ-ਪੱਧਰ ਦੀ ਅਲੱਗਤਾ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ।

networks:
  default:
    external:
      name: service-network-${CI_JOB_ID:-local}

ਅਸਲ ਵਿੱਚ, ਇਹ ਸਫਲਤਾ ਦਾ ਪਹਿਲਾ ਕਦਮ ਹੈ =)

ਟਿੱਪਣੀਆਂ ਦੇ ਨਾਲ ਮੇਰੇ docker-compose.yml ਦੀ ਉਦਾਹਰਨ

version: "3"

# Для корректной работы web (php) и fmt нужно, 
# чтобы контейнеры имели общий исполняемый контент.
# В нашем случае, это директория /var/www/testrail
volumes:
  static-content:

# Изолируем окружение на сетевом уровне
networks:
  default:
    external:
      name: testrail-network-${CI_JOB_ID:-local}

services:
  db:
    image: mysql:5.7.22
    # Каждый container_name содержит ${CI_JOB_ID:-local}
    container_name: "testrail-mysql-${CI_JOB_ID:-local}"
    environment:
      MYSQL_HOST: db
      MYSQL_DATABASE: mydb
      MYSQL_ROOT_PASSWORD: 1234
      SKIP_GRANT_TABLES: 1
      SKIP_NETWORKING: 1
      SERVICE_TAGS: dev
      SERVICE_NAME: mysql
    networks:
    - default

  migration:
    image: registry.gitlab.com/touchbit/image/testrail/migration:latest
    container_name: "testrail-migration-${CI_JOB_ID:-local}"
    links:
    - db
    depends_on:
    - db
    networks:
    - default

  fpm:
    image: registry.gitlab.com/touchbit/image/testrail/fpm:latest
    container_name: "testrail-fpm-${CI_JOB_ID:-local}"
    volumes:
    - static-content:/var/www/testrail
    links:
    - db
    networks:
    - default

  web:
    image: registry.gitlab.com/touchbit/image/testrail/web:latest
    container_name: "testrail-web-${CI_JOB_ID:-local}"
    # Если переменные TR_HTTP_PORT или TR_HTTPS_PORTS не определены,
    # то сервис поднимается на 80 и 443 порту соответственно.
    ports:
      - ${TR_HTTP_PORT:-80}:80
      - ${TR_HTTPS_PORT:-443}:443
    volumes:
      - static-content:/var/www/testrail
    links:
      - db
      - fpm
    networks:
      - default

ਸਥਾਨਕ ਰਨ ਉਦਾਹਰਨ

docker-compose -f docker-compose.yml up -d
Starting   testrail-mysql-local     ... done
Starting   testrail-migration-local ... done
Starting   testrail-fpm-local       ... done
Recreating testrail-web-local       ... done

ਪਰ CI ਵਿੱਚ ਲਾਂਚ ਕਰਨ ਨਾਲ ਸਭ ਕੁਝ ਇੰਨਾ ਸੌਖਾ ਨਹੀਂ ਹੈ।

ਸਮੱਗਰੀ ਨੂੰ

ਮੇਕਫਾਈਲ ਦੀ ਤਿਆਰੀ

ਮੈਂ ਮੇਕਫਾਈਲ ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹਾਂ ਕਿਉਂਕਿ ਇਹ ਸਥਾਨਕ ਵਾਤਾਵਰਣ ਪ੍ਰਬੰਧਨ ਅਤੇ ਸੀਆਈ ਦੋਵਾਂ ਲਈ ਬਹੁਤ ਸੁਵਿਧਾਜਨਕ ਹੈ. ਹੋਰ ਔਨਲਾਈਨ ਟਿੱਪਣੀਆਂ

# У меня в проектах все вспомогательные вещи лежат в директории `.indirect`,
# в том числе и `docker-compose.yml`

# Использовать bash с опцией pipefail 
# pipefail - фейлит выполнение пайпа, если команда выполнилась с ошибкой
SHELL=/bin/bash -o pipefail

# Останавливаем контейнеры и удаляем сеть
docker-kill:
    docker-compose -f $${CI_JOB_ID:-.indirect}/docker-compose.yml kill
    docker network rm network-$${CI_JOB_ID:-testrail} || true

# Предварительно выполняем docker-kill 
docker-up: docker-kill
    # Создаем сеть для окружения 
    docker network create network-$${CI_JOB_ID:-testrail}
    # Забираем последние образы из docker-registry
    docker-compose -f $${CI_JOB_ID:-.indirect}/docker-compose.yml pull
    # Запускаем окружение
    # force-recreate - принудительное пересоздание контейнеров
    # renew-anon-volumes - не использовать volumes предыдущих контейнеров
    docker-compose -f $${CI_JOB_ID:-.indirect}/docker-compose.yml up --force-recreate --renew-anon-volumes -d
    # Ну и, на всякий случай, вывести что там у нас в принципе запущено на машинке
    docker ps

# Коллектим логи сервисов
docker-logs:
    mkdir ./logs || true
    docker logs testrail-web-$${CI_JOB_ID:-local}       >& logs/testrail-web.log
    docker logs testrail-fpm-$${CI_JOB_ID:-local}       >& logs/testrail-fpm.log
    docker logs testrail-migration-$${CI_JOB_ID:-local} >& logs/testrail-migration.log
    docker logs testrail-mysql-$${CI_JOB_ID:-local}     >& logs/testrail-mysql.log

# Очистка раннера
docker-clean:
    @echo Останавливаем все testrail-контейнеры
    docker kill $$(docker ps --filter=name=testrail -q) || true
    @echo Очистка докер контейнеров
    docker rm -f $$(docker ps -a -f --filter=name=testrail status=exited -q) || true
    @echo Очистка dangling образов
    docker rmi -f $$(docker images -f "dangling=true" -q) || true
    @echo Очистка testrail образов
    docker rmi -f $$(docker images --filter=reference='registry.gitlab.com/touchbit/image/testrail/*' -q) || true
    @echo Очистка всех неиспользуемых volume
    docker volume rm -f $$(docker volume ls -q) || true
    @echo Очистка всех testrail сетей
    docker network rm $(docker network ls --filter=name=testrail -q) || true
    docker ps

ਚੈੱਕ ਕਰੋ

ਡੌਕਰ-ਅੱਪ ਬਣਾਓ

$ make docker-up 
docker-compose -f ${CI_JOB_ID:-.indirect}/docker-compose.yml kill
Killing testrail-web-local   ... done
Killing testrail-fpm-local   ... done
Killing testrail-mysql-local ... done
docker network rm network-${CI_JOB_ID:-testrail} || true
network-testrail
docker network create network-${CI_JOB_ID:-testrail}
d2ec063324081c8bbc1b08fd92242c2ea59d70cf4025fab8efcbc5c6360f083f
docker-compose -f ${CI_JOB_ID:-.indirect}/docker-compose.yml pull
Pulling db        ... done
Pulling migration ... done
Pulling fpm       ... done
Pulling web       ... done
docker-compose -f ${CI_JOB_ID:-.indirect}/docker-compose.yml up --force-recreate --renew-anon-volumes -d
Recreating testrail-mysql-local ... done
Recreating testrail-fpm-local       ... done
Recreating testrail-migration-local ... done
Recreating testrail-web-local       ... done
docker ps
CONTAINER ID  PORTS                                     NAMES
a845d3cb0e5a  0.0.0.0:80->80/tcp, 0.0.0.0:443->443/tcp  testrail-web-local
19d8ef001398  9000/tcp                                  testrail-fpm-local
e28840a2369c  3306/tcp, 33060/tcp                       testrail-migration-local
0e7900c23f37  3306/tcp                                  testrail-mysql-local

ਡੌਕਰ-ਲੌਗ ਬਣਾਓ

$ make docker-logs
mkdir ./logs || true
mkdir: cannot create directory ‘./logs’: File exists
docker logs testrail-web-${CI_JOB_ID:-local}       >& logs/testrail-web.log
docker logs testrail-fpm-${CI_JOB_ID:-local}       >& logs/testrail-fpm.log
docker logs testrail-migration-${CI_JOB_ID:-local} >& logs/testrail-migration.log
docker logs testrail-mysql-${CI_JOB_ID:-local}     >& logs/testrail-mysql.log

ਸਮੱਗਰੀ ਨੂੰ

.gitlab-ci.yml ਤਿਆਰ ਕੀਤਾ ਜਾ ਰਿਹਾ ਹੈ

ਏਕੀਕਰਣ ਟੈਸਟ ਚੱਲ ਰਿਹਾ ਹੈ

Integration:
  stage: test
  tags:
    - my-shell-runner
  before_script:
    # Аутентифицируемся в registry
    - docker login -u gitlab-ci-token -p ${CI_JOB_TOKEN} ${CI_REGISTRY}
    # Генерируем псевдоуникальные TR_HTTP_PORT и TR_HTTPS_PORT
    - export TR_HTTP_PORT=$(shuf -i10000-60000 -n1)
    - export TR_HTTPS_PORT=$(shuf -i10000-60000 -n1)
    # создаем директорию с идентификатором задачи
    - mkdir ${CI_JOB_ID}
    # копируем в созданную директорию наш docker-compose.yml
    # чтобы контекст был разный для каждой задачи
    - cp .indirect/docker-compose.yml ${CI_JOB_ID}/docker-compose.yml
  script:
    # поднимаем наше окружение
    - make docker-up
    # запускаем тесты исполняемым jar (у меня так)
    - java -jar itest.jar --http-port ${TR_HTTP_PORT} --https-port ${TR_HTTPS_PORT}
    # или в контейнере
    - docker run --network=testrail-network-${CI_JOB_ID:-local} --rm itest
  after_script:
    # собираем логи
    - make docker-logs
    # останавливаем окружение
    - make docker-kill
  artifacts:
    # сохраняем логи
    when: always
    paths:
      - logs
    expire_in: 30 days

ਅਜਿਹੇ ਕੰਮ ਨੂੰ ਚਲਾਉਣ ਦੇ ਨਤੀਜੇ ਵਜੋਂ, ਕਲਾਤਮਕ ਚੀਜ਼ਾਂ ਵਿੱਚ ਲੌਗਸ ਡਾਇਰੈਕਟਰੀ ਵਿੱਚ ਸੇਵਾ ਅਤੇ ਟੈਸਟ ਲੌਗ ਹੋਣਗੇ। ਜੋ ਕਿ ਗਲਤੀ ਦੇ ਮਾਮਲੇ ਵਿੱਚ ਬਹੁਤ ਹੀ ਸੁਵਿਧਾਜਨਕ ਹੈ. ਸਮਾਂਤਰ ਵਿੱਚ ਹਰੇਕ ਟੈਸਟ ਆਪਣਾ ਲੌਗ ਲਿਖਦਾ ਹੈ, ਪਰ ਮੈਂ ਇਸ ਬਾਰੇ ਵੱਖਰੇ ਤੌਰ 'ਤੇ ਗੱਲ ਕਰਾਂਗਾ।

ਸਮੱਗਰੀ ਨੂੰ

ਦੌੜਾਕ ਦੀ ਸਫਾਈ

ਕੰਮ ਨੂੰ ਇੱਕ ਅਨੁਸੂਚੀ ਦੇ ਅਨੁਸਾਰ ਹੀ ਸ਼ੁਰੂ ਕੀਤਾ ਜਾਵੇਗਾ.

stages:
- clean
- build
- test

Clean runner:
  stage: clean
  only:
    - schedules
  tags:
    - my-shell-runner
  script:
    - make docker-clean

ਅੱਗੇ, ਸਾਡੇ GitLab ਪ੍ਰੋਜੈਕਟ -> CI/CD -> ਅਨੁਸੂਚੀ -> ਨਵੀਂ ਸਮਾਂ-ਸੂਚੀ 'ਤੇ ਜਾਓ ਅਤੇ ਇੱਕ ਨਵਾਂ ਸਮਾਂ-ਸਾਰਣੀ ਸ਼ਾਮਲ ਕਰੋ।

ਸਮੱਗਰੀ ਨੂੰ

ਇਸ ਦਾ ਨਤੀਜਾ

GitLab CI ਵਿੱਚ 4 ਕਾਰਜਾਂ ਨੂੰ ਸ਼ੁਰੂ ਕਰਨਾ

ਏਕੀਕਰਣ ਟੈਸਟਾਂ ਦੇ ਨਾਲ ਆਖਰੀ ਕਾਰਜ ਦੇ ਲੌਗਸ ਵਿੱਚ ਅਸੀਂ ਵੱਖ-ਵੱਖ ਕਾਰਜਾਂ ਦੇ ਕੰਟੇਨਰ ਦੇਖਦੇ ਹਾਂ

CONTAINER ID  NAMES
c6b76f9135ed  testrail-web-204645172
01d303262d8e  testrail-fpm-204645172
2cdab1edbf6a  testrail-migration-204645172
826aaf7c0a29  testrail-mysql-204645172
6dbb3fae0322  testrail-web-204645084
3540f8d448ce  testrail-fpm-204645084
70fea72aa10d  testrail-mysql-204645084
d8aa24b2892d  testrail-web-204644881
6d4ccd910fad  testrail-fpm-204644881
685d8023a3ec  testrail-mysql-204644881
1cdfc692003a  testrail-web-204644793
6f26dfb2683e  testrail-fpm-204644793
029e16b26201  testrail-mysql-204644793
c10443222ac6  testrail-web-204567103
04339229397e  testrail-fpm-204567103
6ae0accab28d  testrail-mysql-204567103
b66b60d79e43  testrail-web-204553690
033b1f46afa9  testrail-fpm-204553690
a8879c5ef941  testrail-mysql-204553690
069954ba6010  testrail-web-204553539
ed6b17d911a5  testrail-fpm-204553539
1a1eed057ea0  testrail-mysql-204553539

ਵਧੇਰੇ ਵਿਸਤ੍ਰਿਤ ਲੌਗ

$ docker login -u gitlab-ci-token -p ${CI_JOB_TOKEN} ${CI_REGISTRY}
WARNING! Using --password via the CLI is insecure. Use --password-stdin.
WARNING! Your password will be stored unencrypted in /home/gitlab-runner/.docker/config.json.
Configure a credential helper to remove this warning. See
https://docs.docker.com/engine/reference/commandline/login/#credentials-store
Login Succeeded
$ export TR_HTTP_PORT=$(shuf -i10000-60000 -n1)
$ export TR_HTTPS_PORT=$(shuf -i10000-60000 -n1)
$ mkdir ${CI_JOB_ID}
$ cp .indirect/docker-compose.yml ${CI_JOB_ID}/docker-compose.yml
$ make docker-up
docker-compose -f ${CI_JOB_ID:-.indirect}/docker-compose.yml kill
docker network rm testrail-network-${CI_JOB_ID:-local} || true
Error: No such network: testrail-network-204645172
docker network create testrail-network-${CI_JOB_ID:-local}
0a59552b4464b8ab484de6ae5054f3d5752902910bacb0a7b5eca698766d0331
docker-compose -f ${CI_JOB_ID:-.indirect}/docker-compose.yml pull
Pulling web       ... done
Pulling fpm       ... done
Pulling migration ... done
Pulling db        ... done
docker-compose -f ${CI_JOB_ID:-.indirect}/docker-compose.yml up --force-recreate --renew-anon-volumes -d
Creating volume "204645172_static-content" with default driver
Creating testrail-mysql-204645172 ... 
Creating testrail-mysql-204645172 ... done
Creating testrail-migration-204645172 ... done
Creating testrail-fpm-204645172       ... done
Creating testrail-web-204645172       ... done
docker ps
CONTAINER ID        IMAGE                                                          COMMAND                  CREATED              STATUS              PORTS                                           NAMES
c6b76f9135ed        registry.gitlab.com/touchbit/image/testrail/web:latest         "nginx -g 'daemon of…"   13 seconds ago       Up 1 second         0.0.0.0:51148->80/tcp, 0.0.0.0:25426->443/tcp   testrail-web-204645172
01d303262d8e        registry.gitlab.com/touchbit/image/testrail/fpm:latest         "docker-php-entrypoi…"   16 seconds ago       Up 13 seconds       9000/tcp                                        testrail-fpm-204645172
2cdab1edbf6a        registry.gitlab.com/touchbit/image/testrail/migration:latest   "docker-entrypoint.s…"   16 seconds ago       Up 13 seconds       3306/tcp, 33060/tcp                             testrail-migration-204645172
826aaf7c0a29        mysql:5.7.22                                                   "docker-entrypoint.s…"   18 seconds ago       Up 16 seconds       3306/tcp                                        testrail-mysql-204645172
6dbb3fae0322        registry.gitlab.com/touchbit/image/testrail/web:latest         "nginx -g 'daemon of…"   36 seconds ago       Up 22 seconds       0.0.0.0:44202->80/tcp, 0.0.0.0:20151->443/tcp   testrail-web-204645084
3540f8d448ce        registry.gitlab.com/touchbit/image/testrail/fpm:latest         "docker-php-entrypoi…"   38 seconds ago       Up 35 seconds       9000/tcp                                        testrail-fpm-204645084
70fea72aa10d        mysql:5.7.22                                                   "docker-entrypoint.s…"   40 seconds ago       Up 37 seconds       3306/tcp                                        testrail-mysql-204645084
d8aa24b2892d        registry.gitlab.com/touchbit/image/testrail/web:latest         "nginx -g 'daemon of…"   About a minute ago   Up 53 seconds       0.0.0.0:31103->80/tcp, 0.0.0.0:43872->443/tcp   testrail-web-204644881
6d4ccd910fad        registry.gitlab.com/touchbit/image/testrail/fpm:latest         "docker-php-entrypoi…"   About a minute ago   Up About a minute   9000/tcp                                        testrail-fpm-204644881
685d8023a3ec        mysql:5.7.22                                                   "docker-entrypoint.s…"   About a minute ago   Up About a minute   3306/tcp                                        testrail-mysql-204644881
1cdfc692003a        registry.gitlab.com/touchbit/image/testrail/web:latest         "nginx -g 'daemon of…"   About a minute ago   Up About a minute   0.0.0.0:44752->80/tcp, 0.0.0.0:23540->443/tcp   testrail-web-204644793
6f26dfb2683e        registry.gitlab.com/touchbit/image/testrail/fpm:latest         "docker-php-entrypoi…"   About a minute ago   Up About a minute   9000/tcp                                        testrail-fpm-204644793
029e16b26201        mysql:5.7.22                                                   "docker-entrypoint.s…"   About a minute ago   Up About a minute   3306/tcp                                        testrail-mysql-204644793
c10443222ac6        registry.gitlab.com/touchbit/image/testrail/web:latest         "nginx -g 'daemon of…"   5 hours ago          Up 5 hours          0.0.0.0:57123->80/tcp, 0.0.0.0:31657->443/tcp   testrail-web-204567103
04339229397e        registry.gitlab.com/touchbit/image/testrail/fpm:latest         "docker-php-entrypoi…"   5 hours ago          Up 5 hours          9000/tcp                                        testrail-fpm-204567103
6ae0accab28d        mysql:5.7.22                                                   "docker-entrypoint.s…"   5 hours ago          Up 5 hours          3306/tcp                                        testrail-mysql-204567103
b66b60d79e43        registry.gitlab.com/touchbit/image/testrail/web:latest         "nginx -g 'daemon of…"   5 hours ago          Up 5 hours          0.0.0.0:56321->80/tcp, 0.0.0.0:58749->443/tcp   testrail-web-204553690
033b1f46afa9        registry.gitlab.com/touchbit/image/testrail/fpm:latest         "docker-php-entrypoi…"   5 hours ago          Up 5 hours          9000/tcp                                        testrail-fpm-204553690
a8879c5ef941        mysql:5.7.22                                                   "docker-entrypoint.s…"   5 hours ago          Up 5 hours          3306/tcp                                        testrail-mysql-204553690
069954ba6010        registry.gitlab.com/touchbit/image/testrail/web:latest         "nginx -g 'daemon of…"   5 hours ago          Up 5 hours          0.0.0.0:32869->80/tcp, 0.0.0.0:16066->443/tcp   testrail-web-204553539
ed6b17d911a5        registry.gitlab.com/touchbit/image/testrail/fpm:latest         "docker-php-entrypoi…"   5 hours ago          Up 5 hours          9000/tcp                                        testrail-fpm-204553539
1a1eed057ea0        mysql:5.7.22                                                   "docker-entrypoint.s…"   5 hours ago          Up 5 hours          3306/tcp                                        testrail-mysql-204553539

ਸਾਰੇ ਕਾਰਜ ਸਫਲਤਾਪੂਰਵਕ ਪੂਰੇ ਹੋਏ

ਟਾਸਕ ਕਲਾਕ੍ਰਿਤੀਆਂ ਵਿੱਚ ਸੇਵਾ ਅਤੇ ਟੈਸਟ ਲੌਗ ਹੁੰਦੇ ਹਨ

ਹਰ ਚੀਜ਼ ਸੁੰਦਰ ਜਾਪਦੀ ਹੈ, ਪਰ ਇੱਕ ਸੂਖਮਤਾ ਹੈ. ਜਦੋਂ ਏਕੀਕਰਣ ਟੈਸਟ ਚੱਲ ਰਹੇ ਹੋਣ ਤਾਂ ਪਾਈਪਲਾਈਨ ਨੂੰ ਜ਼ਬਰਦਸਤੀ ਰੱਦ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ, ਇਸ ਸਥਿਤੀ ਵਿੱਚ ਕੰਟੇਨਰਾਂ ਨੂੰ ਚੱਲਣਾ ਬੰਦ ਨਹੀਂ ਕੀਤਾ ਜਾਵੇਗਾ। ਸਮੇਂ-ਸਮੇਂ 'ਤੇ ਤੁਹਾਨੂੰ ਰਨਰ ਨੂੰ ਸਾਫ਼ ਕਰਨ ਦੀ ਜ਼ਰੂਰਤ ਹੁੰਦੀ ਹੈ. ਬਦਕਿਸਮਤੀ ਨਾਲ, GitLab CE ਵਿੱਚ ਸੁਧਾਰ ਦਾ ਕੰਮ ਅਜੇ ਵੀ ਸਥਿਤੀ ਵਿੱਚ ਹੈ ਓਪਨ

ਪਰ ਅਸੀਂ ਇੱਕ ਕਾਰਜਕ੍ਰਮ ਦੇ ਅਨੁਸਾਰ ਇੱਕ ਕਾਰਜ ਦੀ ਸ਼ੁਰੂਆਤ ਨੂੰ ਜੋੜਿਆ ਹੈ, ਅਤੇ ਕੋਈ ਵੀ ਸਾਨੂੰ ਇਸਨੂੰ ਹੱਥੀਂ ਚਲਾਉਣ ਲਈ ਮਨ੍ਹਾ ਨਹੀਂ ਕਰਦਾ ਹੈ।
ਸਾਡੇ ਪ੍ਰੋਜੈਕਟ -> CI/CD -> ਅਨੁਸੂਚੀ 'ਤੇ ਜਾਓ ਅਤੇ ਕੰਮ ਚਲਾਓ Clean runner

ਕੁੱਲ:

• ਸਾਡੇ ਕੋਲ ਇੱਕ ਸ਼ੈੱਲ ਦੌੜਾਕ ਹੈ।
• ਕਾਰਜਾਂ ਅਤੇ ਵਾਤਾਵਰਣ ਵਿਚਕਾਰ ਕੋਈ ਟਕਰਾਅ ਨਹੀਂ ਹੈ।
• ਅਸੀਂ ਸਮਾਨਾਂਤਰ ਵਿੱਚ ਏਕੀਕਰਣ ਟੈਸਟਾਂ ਦੇ ਨਾਲ ਕੰਮ ਚਲਾਉਂਦੇ ਹਾਂ।
• ਤੁਸੀਂ ਸਥਾਨਕ ਤੌਰ 'ਤੇ ਜਾਂ ਕੰਟੇਨਰ ਵਿੱਚ ਏਕੀਕਰਣ ਟੈਸਟ ਚਲਾ ਸਕਦੇ ਹੋ।
• ਸਰਵਿਸ ਅਤੇ ਟੈਸਟ ਲੌਗ ਇਕੱਠੇ ਕੀਤੇ ਜਾਂਦੇ ਹਨ ਅਤੇ ਪਾਈਪਲਾਈਨ ਟਾਸਕ ਨਾਲ ਜੁੜੇ ਹੁੰਦੇ ਹਨ।
• ਪੁਰਾਣੇ ਡੌਕਰ ਚਿੱਤਰਾਂ ਤੋਂ ਦੌੜਾਕ ਨੂੰ ਸਾਫ਼ ਕਰਨਾ ਸੰਭਵ ਹੈ.

ਸੈੱਟਅੱਪ ਸਮਾਂ ~2 ਘੰਟੇ ਹੈ।
ਇਹ ਸਭ ਹੈ, ਅਸਲ ਵਿੱਚ. ਮੈਨੂੰ ਫੀਡਬੈਕ ਪ੍ਰਾਪਤ ਕਰਕੇ ਖੁਸ਼ੀ ਹੋਵੇਗੀ।

ਸਮੱਗਰੀ ਨੂੰ

ਸਰੋਤ: www.habr.com