ਲਾਗੂ ਕਰੋ, ਸਕੇਲ: VTB 'ਤੇ ਸਵੈਚਲਿਤ ਟੈਸਟਾਂ ਦੀ ਵਰਤੋਂ ਕਰਨ ਦਾ ਅਨੁਭਵ

ਸਾਡਾ ਡਿਵੀਜ਼ਨ ਉਤਪਾਦਨ ਵਾਤਾਵਰਣ ਵਿੱਚ ਐਪਲੀਕੇਸ਼ਨਾਂ ਦੇ ਨਵੇਂ ਸੰਸਕਰਣਾਂ ਨੂੰ ਲਾਂਚ ਕਰਨ ਲਈ ਪੂਰੀ ਤਰ੍ਹਾਂ ਆਟੋਮੈਟਿਕ ਪਾਈਪਲਾਈਨਾਂ ਬਣਾਉਂਦਾ ਹੈ। ਬੇਸ਼ੱਕ, ਇਸ ਲਈ ਸਵੈਚਲਿਤ ਕਾਰਜਸ਼ੀਲ ਟੈਸਟਾਂ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ। ਕੱਟ ਦੇ ਹੇਠਾਂ ਇਸ ਬਾਰੇ ਇੱਕ ਕਹਾਣੀ ਹੈ ਕਿ ਕਿਵੇਂ, ਇੱਕ ਸਥਾਨਕ ਮਸ਼ੀਨ 'ਤੇ ਸਿੰਗਲ-ਥ੍ਰੈਡ ਟੈਸਟਿੰਗ ਨਾਲ ਸ਼ੁਰੂ ਕਰਦੇ ਹੋਏ, ਅਸੀਂ ਗੀਟਲੈਬ ਪੰਨਿਆਂ 'ਤੇ ਇੱਕ ਐਲੂਰ ਰਿਪੋਰਟ ਦੇ ਨਾਲ ਬਿਲਡ ਪਾਈਪਲਾਈਨ ਵਿੱਚ ਸੇਲੇਨੋਇਡ 'ਤੇ ਚੱਲ ਰਹੇ ਮਲਟੀ-ਥ੍ਰੈਡਡ ਆਟੋਟੈਸਟ ਦੇ ਬਿੰਦੂ ਤੱਕ ਪਹੁੰਚ ਗਏ ਅਤੇ ਅੰਤ ਵਿੱਚ ਇੱਕ ਵਧੀਆ ਆਟੋਮੇਸ਼ਨ ਟੂਲ ਪ੍ਰਾਪਤ ਕੀਤਾ। ਕਿ ਭਵਿੱਖ ਦੇ ਲੋਕ ਟੀਮਾਂ ਦੀ ਵਰਤੋਂ ਕਰ ਸਕਦੇ ਹਨ।

ਅਸੀਂ ਕਿੱਥੇ ਸ਼ੁਰੂ ਕੀਤਾ?

ਆਟੋਟੈਸਟਾਂ ਨੂੰ ਲਾਗੂ ਕਰਨ ਅਤੇ ਉਹਨਾਂ ਨੂੰ ਪਾਈਪਲਾਈਨ ਵਿੱਚ ਏਕੀਕ੍ਰਿਤ ਕਰਨ ਲਈ, ਸਾਨੂੰ ਇੱਕ ਆਟੋਮੇਸ਼ਨ ਫਰੇਮਵਰਕ ਦੀ ਲੋੜ ਸੀ ਜਿਸ ਨੂੰ ਸਾਡੀਆਂ ਲੋੜਾਂ ਮੁਤਾਬਕ ਲਚਕਦਾਰ ਢੰਗ ਨਾਲ ਬਦਲਿਆ ਜਾ ਸਕਦਾ ਹੈ। ਆਦਰਸ਼ਕ ਤੌਰ 'ਤੇ, ਮੈਂ ਆਟੋਟੈਸਟਿੰਗ ਇੰਜਣ ਲਈ ਇੱਕ ਸਿੰਗਲ ਸਟੈਂਡਰਡ ਪ੍ਰਾਪਤ ਕਰਨਾ ਚਾਹੁੰਦਾ ਸੀ, ਜੋ ਪਾਈਪਲਾਈਨ ਵਿੱਚ ਆਟੋਟੈਸਟਾਂ ਨੂੰ ਏਮਬੈਡ ਕਰਨ ਲਈ ਅਨੁਕੂਲਿਤ ਕੀਤਾ ਗਿਆ ਸੀ। ਲਾਗੂ ਕਰਨ ਲਈ ਅਸੀਂ ਹੇਠ ਲਿਖੀਆਂ ਤਕਨੀਕਾਂ ਦੀ ਚੋਣ ਕੀਤੀ:

• ਜਾਵਾ,
• ਮਾਵੇਨ,
• ਸੇਲੇਨਿਅਮ,
• ਖੀਰਾ+ਜੂਨਟ 4,
• ਲੁਭਾਉਣਾ,
• ਗੀਟਲੈਬ.

ਇਹ ਖਾਸ ਸੈੱਟ ਕਿਉਂ? ਆਟੋਮੈਟਿਕ ਟੈਸਟਾਂ ਲਈ Java ਸਭ ਤੋਂ ਪ੍ਰਸਿੱਧ ਭਾਸ਼ਾਵਾਂ ਵਿੱਚੋਂ ਇੱਕ ਹੈ, ਅਤੇ ਟੀਮ ਦੇ ਸਾਰੇ ਮੈਂਬਰ ਇਸਨੂੰ ਬੋਲਦੇ ਹਨ। ਸੇਲੇਨਿਅਮ ਸਪੱਸ਼ਟ ਹੱਲ ਹੈ. ਖੀਰੇ, ਹੋਰ ਚੀਜ਼ਾਂ ਦੇ ਨਾਲ, ਮੈਨੂਅਲ ਟੈਸਟਿੰਗ ਵਿੱਚ ਸ਼ਾਮਲ ਵਿਭਾਗਾਂ ਦੇ ਹਿੱਸੇ 'ਤੇ ਸਵੈਚਲਿਤ ਟੈਸਟਾਂ ਦੇ ਨਤੀਜਿਆਂ ਵਿੱਚ ਵਿਸ਼ਵਾਸ ਵਧਾਉਣਾ ਸੀ।

ਸਿੰਗਲ ਥਰਿੱਡਡ ਟੈਸਟ

ਪਹੀਏ ਨੂੰ ਦੁਬਾਰਾ ਨਾ ਬਣਾਉਣ ਲਈ, ਅਸੀਂ ਫਰੇਮਵਰਕ ਦੇ ਅਧਾਰ ਵਜੋਂ ਗਿਟਹਬ 'ਤੇ ਵੱਖ-ਵੱਖ ਰਿਪੋਜ਼ਟਰੀਆਂ ਤੋਂ ਵਿਕਾਸ ਲਿਆ ਅਤੇ ਉਹਨਾਂ ਨੂੰ ਆਪਣੇ ਲਈ ਅਨੁਕੂਲ ਬਣਾਇਆ। ਅਸੀਂ ਆਟੋਟੈਸਟ ਫਰੇਮਵਰਕ ਦੇ ਕੋਰ ਦੇ ਨਾਲ ਮੁੱਖ ਲਾਇਬ੍ਰੇਰੀ ਲਈ ਇੱਕ ਰਿਪੋਜ਼ਟਰੀ ਬਣਾਈ ਹੈ ਅਤੇ ਸਾਡੇ ਕੋਰ 'ਤੇ ਆਟੋਟੈਸਟ ਲਾਗੂ ਕਰਨ ਦੀ ਇੱਕ ਗੋਲਡ ਉਦਾਹਰਨ ਦੇ ਨਾਲ ਇੱਕ ਰਿਪੋਜ਼ਟਰੀ ਬਣਾਈ ਹੈ। ਹਰੇਕ ਟੀਮ ਨੂੰ ਗੋਲਡ ਚਿੱਤਰ ਲੈਣਾ ਸੀ ਅਤੇ ਇਸ ਵਿੱਚ ਟੈਸਟ ਵਿਕਸਤ ਕਰਨਾ ਸੀ, ਇਸ ਨੂੰ ਆਪਣੇ ਪ੍ਰੋਜੈਕਟ ਵਿੱਚ ਢਾਲਣਾ ਸੀ। ਅਸੀਂ ਇਸਨੂੰ GitLab-CI ਬੈਂਕ ਵਿੱਚ ਤੈਨਾਤ ਕੀਤਾ, ਜਿਸ 'ਤੇ ਅਸੀਂ ਕੌਂਫਿਗਰ ਕੀਤਾ ਹੈ:

• ਹਰੇਕ ਪ੍ਰੋਜੈਕਟ ਲਈ ਸਾਰੇ ਲਿਖਤੀ ਆਟੋਟੈਸਟਾਂ ਦੇ ਰੋਜ਼ਾਨਾ ਰਨ;
• ਬਿਲਡ ਪਾਈਪਲਾਈਨ ਵਿੱਚ ਲਾਂਚ ਕੀਤਾ।

ਪਹਿਲਾਂ ਕੁਝ ਟੈਸਟ ਸਨ, ਅਤੇ ਉਹ ਇੱਕ ਸਟ੍ਰੀਮ ਵਿੱਚ ਕੀਤੇ ਗਏ ਸਨ। ਵਿੰਡੋਜ਼ ਰਨਰ ਗਿਟਲੈਬ 'ਤੇ ਸਿੰਗਲ-ਥ੍ਰੈੱਡਡ ਚੱਲਣਾ ਸਾਡੇ ਲਈ ਬਹੁਤ ਵਧੀਆ ਹੈ: ਟੈਸਟਾਂ ਨੇ ਟੈਸਟ ਬੈਂਚ ਨੂੰ ਬਹੁਤ ਹਲਕਾ ਲੋਡ ਕੀਤਾ ਅਤੇ ਲਗਭਗ ਕੋਈ ਸਰੋਤ ਨਹੀਂ ਵਰਤੇ।

ਸਮੇਂ ਦੇ ਨਾਲ, ਆਟੋਟੈਸਟਾਂ ਦੀ ਗਿਣਤੀ ਵੱਧ ਤੋਂ ਵੱਧ ਹੁੰਦੀ ਗਈ, ਅਤੇ ਅਸੀਂ ਉਹਨਾਂ ਨੂੰ ਸਮਾਨਾਂਤਰ ਚਲਾਉਣ ਬਾਰੇ ਸੋਚਿਆ, ਜਦੋਂ ਇੱਕ ਪੂਰੀ ਦੌੜ ਨੂੰ ਲਗਭਗ ਤਿੰਨ ਘੰਟੇ ਲੱਗਣੇ ਸ਼ੁਰੂ ਹੋਏ. ਹੋਰ ਸਮੱਸਿਆਵਾਂ ਵੀ ਸਾਹਮਣੇ ਆਈਆਂ:

• ਅਸੀਂ ਇਹ ਪੁਸ਼ਟੀ ਨਹੀਂ ਕਰ ਸਕੇ ਕਿ ਟੈਸਟ ਸਥਿਰ ਸਨ;
• ਸਥਾਨਕ ਮਸ਼ੀਨ 'ਤੇ ਲਗਾਤਾਰ ਕਈ ਵਾਰ ਚਲਾਏ ਗਏ ਟੈਸਟ ਕਈ ਵਾਰ CI ਵਿੱਚ ਕਰੈਸ਼ ਹੋ ਜਾਂਦੇ ਹਨ।

ਆਟੋਟੈਸਟ ਸਥਾਪਤ ਕਰਨ ਦੀ ਉਦਾਹਰਨ:

<plugins>
	
<plugin>
    	
<groupId>org.apache.maven.plugins</groupId>
    	
<artifactId>maven-surefire-plugin</artifactId>
    	
<version>2.20</version>
    	
<configuration>
        	
<skipTests>${skipTests}</skipTests>
        	
<testFailureIgnore>false</testFailureIgnore>
        	
<argLine>
            	
-javaagent:"${settings.localRepository}/org/aspectj/aspectjweaver/${aspectj.version}/aspectjweaver-${aspectj.version}.jar"
            	
-Dcucumber.options="--tags ${TAGS} --plugin io.qameta.allure.cucumber2jvm.AllureCucumber2Jvm --plugin pretty"
        	
</argLine>
    	
</configuration>
	
    <dependencies>
        	
<dependency>
            	
<groupId>org.aspectj</groupId>
            	
<artifactId>aspectjweaver</artifactId>
            	
<version>${aspectj.version}</version>
        	
</dependency>
    	
</dependencies>
	
</plugin>
	
<plugin>
    	
<groupId>io.qameta.allure</groupId>
    	
<artifactId>allure-maven</artifactId>
    	
<version>2.9</version>
	
</plugin>
</plugins>

 
ਲੁਭਾਉਣ ਦੀ ਰਿਪੋਰਟ ਉਦਾਹਰਨ

 
ਟੈਸਟਾਂ ਦੌਰਾਨ ਰਨਰ ਲੋਡ (8 ਕੋਰ, 8 ਜੀਬੀ ਰੈਮ, 1 ਥਰਿੱਡ)
 
ਸਿੰਗਲ-ਥ੍ਰੈਡਡ ਟੈਸਟਾਂ ਦੇ ਫਾਇਦੇ:

• ਸਥਾਪਤ ਕਰਨ ਅਤੇ ਚਲਾਉਣ ਲਈ ਆਸਾਨ;
• CI ਵਿੱਚ ਲਾਂਚ ਅਮਲੀ ਤੌਰ 'ਤੇ ਸਥਾਨਕ ਲਾਂਚਾਂ ਤੋਂ ਵੱਖ ਨਹੀਂ ਹਨ;
• ਟੈਸਟ ਇੱਕ ਦੂਜੇ ਨੂੰ ਪ੍ਰਭਾਵਿਤ ਨਹੀਂ ਕਰਦੇ;
• ਦੌੜਾਕ ਸਰੋਤਾਂ ਲਈ ਘੱਟੋ-ਘੱਟ ਲੋੜਾਂ।

ਸਿੰਗਲ-ਥਰਿੱਡਡ ਟੈਸਟਾਂ ਦੇ ਨੁਕਸਾਨ:

• ਪੂਰਾ ਕਰਨ ਲਈ ਬਹੁਤ ਲੰਮਾ ਸਮਾਂ ਲਓ;
• ਟੈਸਟਾਂ ਦੀ ਲੰਮੀ ਸਥਿਰਤਾ;
• ਦੌੜਾਕ ਸਰੋਤਾਂ ਦੀ ਅਕੁਸ਼ਲ ਵਰਤੋਂ, ਬਹੁਤ ਘੱਟ ਵਰਤੋਂ।

JVM ਫੋਰਕ 'ਤੇ ਟੈਸਟ

ਕਿਉਂਕਿ ਅਸੀਂ ਬੇਸ ਫਰੇਮਵਰਕ ਨੂੰ ਲਾਗੂ ਕਰਦੇ ਸਮੇਂ ਥ੍ਰੈਡ-ਸੁਰੱਖਿਅਤ ਕੋਡ ਦੀ ਦੇਖਭਾਲ ਨਹੀਂ ਕੀਤੀ, ਸਮਾਨਾਂਤਰ ਵਿੱਚ ਚੱਲਣ ਦਾ ਸਭ ਤੋਂ ਸਪੱਸ਼ਟ ਤਰੀਕਾ ਸੀ cucumber-jvm-parallel-plugin Maven ਲਈ. ਪਲੱਗਇਨ ਨੂੰ ਕੌਂਫਿਗਰ ਕਰਨਾ ਆਸਾਨ ਹੈ, ਪਰ ਸਹੀ ਸਮਾਂਤਰ ਕਾਰਵਾਈ ਲਈ, ਆਟੋਟੈਸਟ ਵੱਖਰੇ ਬ੍ਰਾਉਜ਼ਰਾਂ ਵਿੱਚ ਚਲਾਉਣੇ ਚਾਹੀਦੇ ਹਨ। ਕਰਨ ਲਈ ਕੁਝ ਨਹੀਂ ਹੈ, ਮੈਨੂੰ ਸੇਲੇਨੋਇਡ ਦੀ ਵਰਤੋਂ ਕਰਨੀ ਪਈ.

ਸੇਲੇਨੋਇਡ ਸਰਵਰ ਨੂੰ 32 ਕੋਰ ਅਤੇ 24 ਜੀਬੀ ਰੈਮ ਵਾਲੀ ਮਸ਼ੀਨ 'ਤੇ ਲਾਂਚ ਕੀਤਾ ਗਿਆ ਸੀ। ਸੀਮਾ 48 ਬ੍ਰਾਊਜ਼ਰਾਂ 'ਤੇ ਸੈੱਟ ਕੀਤੀ ਗਈ ਸੀ - 1,5 ਥ੍ਰੈਡ ਪ੍ਰਤੀ ਕੋਰ ਅਤੇ ਲਗਭਗ 400 MB RAM। ਨਤੀਜੇ ਵਜੋਂ, ਟੈਸਟ ਦਾ ਸਮਾਂ ਤਿੰਨ ਘੰਟੇ ਤੋਂ ਘਟਾ ਕੇ 40 ਮਿੰਟ ਕਰ ਦਿੱਤਾ ਗਿਆ। ਦੌੜਾਂ ਨੂੰ ਤੇਜ਼ ਕਰਨ ਨਾਲ ਸਥਿਰਤਾ ਦੀ ਸਮੱਸਿਆ ਨੂੰ ਹੱਲ ਕਰਨ ਵਿੱਚ ਮਦਦ ਮਿਲੀ: ਹੁਣ ਅਸੀਂ ਤੇਜ਼ੀ ਨਾਲ ਨਵੇਂ ਆਟੋਟੈਸਟ 20-30 ਵਾਰ ਚਲਾ ਸਕਦੇ ਹਾਂ ਜਦੋਂ ਤੱਕ ਸਾਨੂੰ ਯਕੀਨ ਨਹੀਂ ਹੁੰਦਾ ਕਿ ਉਹ ਭਰੋਸੇਯੋਗ ਢੰਗ ਨਾਲ ਚੱਲ ਰਹੇ ਹਨ।
ਹੱਲ ਦੀ ਪਹਿਲੀ ਕਮਜ਼ੋਰੀ ਥੋੜ੍ਹੇ ਜਿਹੇ ਸਮਾਨਾਂਤਰ ਥਰਿੱਡਾਂ ਦੇ ਨਾਲ ਰਨਰ ਸਰੋਤਾਂ ਦੀ ਉੱਚ ਵਰਤੋਂ ਸੀ: 4 ਕੋਰ ਅਤੇ 8 GB RAM 'ਤੇ, ਟੈਸਟ 6 ਤੋਂ ਵੱਧ ਥ੍ਰੈਡਾਂ ਵਿੱਚ ਸਥਿਰਤਾ ਨਾਲ ਚੱਲੇ। ਦੂਜਾ ਨੁਕਸਾਨ: ਪਲੱਗਇਨ ਹਰੇਕ ਦ੍ਰਿਸ਼ ਲਈ ਦੌੜਾਕ ਕਲਾਸਾਂ ਤਿਆਰ ਕਰਦੀ ਹੈ, ਭਾਵੇਂ ਉਹਨਾਂ ਵਿੱਚੋਂ ਕਿੰਨੇ ਵੀ ਲਾਂਚ ਕੀਤੇ ਗਏ ਹੋਣ।

ਮਹੱਤਵਪੂਰਨ! ਨੂੰ ਟੈਗਸ ਦੇ ਨਾਲ ਇੱਕ ਵੇਰੀਏਬਲ ਪਾਸ ਨਾ ਕਰੋ argLine, ਉਦਾਹਰਨ ਲਈ, ਇਸ ਤਰ੍ਹਾਂ:

<argLine>-Dcucumber.options="--tags ${TAGS} --plugin io.qameta.allure.cucumber2jvm.AllureCucumber2Jvm --plugin pretty"</argLine>
…
Mvn –DTAGS="@smoke"

ਜੇਕਰ ਤੁਸੀਂ ਇਸ ਤਰੀਕੇ ਨਾਲ ਟੈਗ ਪਾਸ ਕਰਦੇ ਹੋ, ਤਾਂ ਪਲੱਗਇਨ ਸਾਰੇ ਟੈਸਟਾਂ ਲਈ ਦੌੜਾਕ ਤਿਆਰ ਕਰੇਗੀ, ਯਾਨੀ, ਇਹ ਸਾਰੇ ਟੈਸਟਾਂ ਨੂੰ ਚਲਾਉਣ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰੇਗੀ, ਉਹਨਾਂ ਨੂੰ ਲਾਂਚ ਕਰਨ ਤੋਂ ਤੁਰੰਤ ਬਾਅਦ ਛੱਡ ਕੇ ਅਤੇ ਬਹੁਤ ਸਾਰੇ JVM ਫੋਰਕ ਬਣਾਏਗੀ।

ਟੈਗ ਦੇ ਨਾਲ ਇੱਕ ਵੇਰੀਏਬਲ ਨੂੰ ਅੰਦਰ ਸੁੱਟਣਾ ਸਹੀ ਹੈ ਟੈਗ ਪਲੱਗਇਨ ਸੈਟਿੰਗਾਂ ਵਿੱਚ, ਹੇਠਾਂ ਉਦਾਹਰਨ ਦੇਖੋ। ਹੋਰ ਵਿਧੀਆਂ ਜਿਨ੍ਹਾਂ ਦੀ ਅਸੀਂ ਜਾਂਚ ਕੀਤੀ ਹੈ ਉਹਨਾਂ ਵਿੱਚ Allure ਪਲੱਗਇਨ ਨੂੰ ਕਨੈਕਟ ਕਰਨ ਵਿੱਚ ਸਮੱਸਿਆਵਾਂ ਹਨ।

ਗਲਤ ਸੈਟਿੰਗਾਂ ਦੇ ਨਾਲ 6 ਛੋਟੇ ਟੈਸਟਾਂ ਲਈ ਚੱਲਣ ਦੇ ਸਮੇਂ ਦੀ ਉਦਾਹਰਨ:

[INFO] Total time: 03:17 min

ਜੇਕਰ ਤੁਸੀਂ ਟੈਗ ਨੂੰ ਸਿੱਧਾ ਟ੍ਰਾਂਸਫਰ ਕਰਦੇ ਹੋ ਤਾਂ ਟੈਸਟ ਰਨ ਟਾਈਮ ਦੀ ਉਦਾਹਰਨ mvn... -Dcucumber.options:

[INFO] Total time: 44.467 s

ਆਟੋਟੈਸਟ ਸਥਾਪਤ ਕਰਨ ਦੀ ਉਦਾਹਰਨ:

<profiles>
	
<profile>
    	
<id>parallel</id>
    	
<build>
        	
<plugins>
            	
<plugin>
                	
<groupId>com.github.temyers</groupId>
                	
<artifactId>cucumber-jvm-parallel-plugin</artifactId>
                	
<version>5.0.0</version>
                	
<executions>
                    	
<execution>
                        	
<id>generateRunners</id>
                        	
<phase>generate-test-sources</phase>
                        	
<goals>
                            	
<goal>generateRunners</goal>
                        	
</goals>
                        	
<configuration>
                	
            <tags>
                            	
<tag>${TAGS}</tag>
                            	
</tags>
                            	
<glue>
                                	
<package>stepdefs</package>
                            	
</glue>
                        	
</configuration>
     	
               </execution>
                	
</executions>
    	
        </plugin>
            	
<plugin>
                	
<groupId>org.apache.maven.plugins</groupId>
                	
<artifactId>maven-surefire-plugin</artifactId>
        	
        <version>2.21.0</version>
                	
<configuration>
                    	
<forkCount>12</forkCount>
                    	
<reuseForks>false</reuseForks>
                    	
<includes>**/*IT.class</includes>
                   	
 <testFailureIgnore>false</testFailureIgnore>
                    	
<!--suppress UnresolvedMavenProperty -->
                    	
<argLine>
  	
 -javaagent:"${settings.localRepository}/org/aspectj/aspectjweaver/${aspectj.version}/aspectjweaver-${aspectj.version}.jar" -Dcucumber.options="--plugin io.qameta.allure.cucumber2jvm.AllureCucumber2Jvm TagPFAllureReporter --plugin pretty"
                    	
</argLine>
                	
</configuration>
                	
<dependencies>
                    	
<dependency>
                        	
<groupId>org.aspectj</groupId>
                        	
<artifactId>aspectjweaver</artifactId>
                        	
<version>${aspectj.version}</version>
                 	
   </dependency>
                	
</dependencies>
         	
   </plugin>
        	
</plugins>
    	
</build>
	
</profile>

ਐਲੂਰ ਰਿਪੋਰਟ ਦੀ ਉਦਾਹਰਨ (ਸਭ ਤੋਂ ਅਸਥਿਰ ਟੈਸਟ, 4 ਰੀਰਨ)

ਟੈਸਟਾਂ ਦੌਰਾਨ ਰਨਰ ਲੋਡ (8 ਕੋਰ, 8 ਜੀਬੀ ਰੈਮ, 12 ਥ੍ਰੈਡ)
 
ਪ੍ਰੋ:

• ਆਸਾਨ ਸੈੱਟਅੱਪ - ਤੁਹਾਨੂੰ ਸਿਰਫ਼ ਇੱਕ ਪਲੱਗਇਨ ਜੋੜਨ ਦੀ ਲੋੜ ਹੈ;
• ਇੱਕੋ ਸਮੇਂ ਵੱਡੀ ਗਿਣਤੀ ਵਿੱਚ ਟੈਸਟ ਕਰਨ ਦੀ ਯੋਗਤਾ;
• ਪੜਾਅ 1 ਦੇ ਲਈ ਧੰਨਵਾਦ ਟੈਸਟ ਸਥਿਰਤਾ ਦਾ ਪ੍ਰਵੇਗ। 

ਨੁਕਸਾਨ:

• ਮਲਟੀਪਲ OS/ਕੰਟੇਨਰਾਂ ਦੀ ਲੋੜ ਹੈ;
• ਹਰੇਕ ਫੋਰਕ ਲਈ ਉੱਚ ਸਰੋਤ ਦੀ ਖਪਤ;
• ਪਲੱਗਇਨ ਪੁਰਾਣਾ ਹੈ ਅਤੇ ਹੁਣ ਸਮਰਥਿਤ ਨਹੀਂ ਹੈ। 

ਅਸਥਿਰਤਾ ਨੂੰ ਕਿਵੇਂ ਦੂਰ ਕਰਨਾ ਹੈ 

ਟੈਸਟ ਬੈਂਚ ਆਦਰਸ਼ ਨਹੀਂ ਹਨ, ਜਿਵੇਂ ਕਿ ਖੁਦ ਆਟੋਟੈਸਟ ਕਰਦੇ ਹਨ। ਇਹ ਕੋਈ ਹੈਰਾਨੀ ਦੀ ਗੱਲ ਨਹੀਂ ਹੈ ਕਿ ਸਾਡੇ ਕੋਲ ਬਹੁਤ ਸਾਰੇ ਫਲੈਕੀ ਟੈਸਟ ਹਨ. ਬਚਾਅ ਲਈ ਆਇਆ maven surefire ਪਲੱਗਇਨ, ਜੋ ਕਿ ਫੇਲ੍ਹ ਹੋਏ ਟੈਸਟਾਂ ਨੂੰ ਮੁੜ ਚਾਲੂ ਕਰਨ ਦਾ ਸਮਰਥਨ ਕਰਦਾ ਹੈ। ਤੁਹਾਨੂੰ ਪਲੱਗਇਨ ਸੰਸਕਰਣ ਨੂੰ ਘੱਟੋ-ਘੱਟ 2.21 ਵਿੱਚ ਅੱਪਡੇਟ ਕਰਨ ਅਤੇ ਪੋਮ ਫਾਈਲ ਵਿੱਚ ਰੀਸਟਾਰਟ ਦੀ ਸੰਖਿਆ ਦੇ ਨਾਲ ਇੱਕ ਲਾਈਨ ਲਿਖਣ ਜਾਂ ਇਸਨੂੰ ਮਾਵੇਨ ਨੂੰ ਇੱਕ ਦਲੀਲ ਵਜੋਂ ਪਾਸ ਕਰਨ ਦੀ ਲੋੜ ਹੈ।

ਆਟੋਟੈਸਟ ਸਥਾਪਤ ਕਰਨ ਦੀ ਉਦਾਹਰਨ:

   	
<plugin>
        	
<groupId>org.apache.maven.plugins</groupId>
  	
      <artifactId>maven-surefire-plugin</artifactId>
        	
<version>2.21.0</version>
        	
<configuration>
           	
….
            	
<rerunFailingTestsCount>2</rerunFailingTestsCount>
            	
….
            	
</configuration>
</plugin>

ਜਾਂ ਸਟਾਰਟਅਪ 'ਤੇ: mvn … -Dsurefire.rerunFailingTestsCount=2 …
ਇੱਕ ਵਿਕਲਪ ਦੇ ਤੌਰ 'ਤੇ, PowerShell ਸਕ੍ਰਿਪਟ (PS1) ਲਈ Maven ਵਿਕਲਪ ਸੈੱਟ ਕਰੋ:

  
Set-Item Env:MAVEN_OPTS "-Dfile.encoding=UTF-8 -Dsurefire.rerunFailingTestsCount=2"

ਪ੍ਰੋ:

• ਇੱਕ ਅਸਥਿਰ ਟੈਸਟ ਦਾ ਵਿਸ਼ਲੇਸ਼ਣ ਕਰਨ ਵਿੱਚ ਸਮਾਂ ਬਰਬਾਦ ਕਰਨ ਦੀ ਕੋਈ ਲੋੜ ਨਹੀਂ ਜਦੋਂ ਇਹ ਕਰੈਸ਼ ਹੁੰਦਾ ਹੈ;
• ਟੈਸਟ ਬੈਂਚ ਸਥਿਰਤਾ ਸਮੱਸਿਆਵਾਂ ਨੂੰ ਘੱਟ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ।

ਨੁਕਸਾਨ:

• ਫਲੋਟਿੰਗ ਨੁਕਸ ਨੂੰ ਖੁੰਝਾਇਆ ਜਾ ਸਕਦਾ ਹੈ;
• ਚਲਾਉਣ ਦਾ ਸਮਾਂ ਵਧਦਾ ਹੈ।

ਖੀਰੇ 4 ਲਾਇਬ੍ਰੇਰੀ ਦੇ ਨਾਲ ਸਮਾਂਤਰ ਟੈਸਟ

ਟੈਸਟਾਂ ਦੀ ਗਿਣਤੀ ਹਰ ਦਿਨ ਵਧਦੀ ਗਈ। ਅਸੀਂ ਫਿਰ ਤੋਂ ਦੌੜਾਂ ਤੇਜ਼ ਕਰਨ ਬਾਰੇ ਸੋਚਿਆ। ਇਸ ਤੋਂ ਇਲਾਵਾ, ਮੈਂ ਐਪਲੀਕੇਸ਼ਨ ਅਸੈਂਬਲੀ ਪਾਈਪਲਾਈਨ ਵਿੱਚ ਵੱਧ ਤੋਂ ਵੱਧ ਟੈਸਟਾਂ ਨੂੰ ਏਕੀਕ੍ਰਿਤ ਕਰਨਾ ਚਾਹੁੰਦਾ ਸੀ। ਨਾਜ਼ੁਕ ਕਾਰਕ ਇਹ ਸੀ ਕਿ ਮਾਵੇਨ ਪਲੱਗਇਨ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ ਸਮਾਨਾਂਤਰ ਵਿੱਚ ਦੌੜਦੇ ਸਮੇਂ ਦੌੜਾਕਾਂ ਦੀ ਪੀੜ੍ਹੀ ਨੇ ਬਹੁਤ ਸਮਾਂ ਲਿਆ।

ਉਸ ਸਮੇਂ, ਖੀਰਾ 4 ਪਹਿਲਾਂ ਹੀ ਜਾਰੀ ਕੀਤਾ ਗਿਆ ਸੀ, ਇਸ ਲਈ ਅਸੀਂ ਇਸ ਸੰਸਕਰਣ ਲਈ ਕਰਨਲ ਨੂੰ ਦੁਬਾਰਾ ਲਿਖਣ ਦਾ ਫੈਸਲਾ ਕੀਤਾ ਹੈ। ਰੀਲੀਜ਼ ਨੋਟਸ ਵਿੱਚ ਸਾਨੂੰ ਥਰਿੱਡ ਪੱਧਰ 'ਤੇ ਸਮਾਨਾਂਤਰ ਲਾਂਚ ਕਰਨ ਦਾ ਵਾਅਦਾ ਕੀਤਾ ਗਿਆ ਸੀ। ਸਿਧਾਂਤਕ ਤੌਰ 'ਤੇ ਇਹ ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ:

• ਥਰਿੱਡਾਂ ਦੀ ਗਿਣਤੀ ਵਧਾ ਕੇ ਆਟੋਟੈਸਟ ਦੇ ਚੱਲਣ ਨੂੰ ਮਹੱਤਵਪੂਰਨ ਤੌਰ 'ਤੇ ਤੇਜ਼ ਕਰੋ;
• ਹਰੇਕ ਆਟੋਟੈਸਟ ਲਈ ਦੌੜਾਕਾਂ ਨੂੰ ਬਣਾਉਣ 'ਤੇ ਸਮੇਂ ਦੇ ਨੁਕਸਾਨ ਨੂੰ ਖਤਮ ਕਰੋ।

ਮਲਟੀ-ਥ੍ਰੈਡਡ ਆਟੋਟੈਸਟਾਂ ਲਈ ਫਰੇਮਵਰਕ ਨੂੰ ਅਨੁਕੂਲ ਬਣਾਉਣਾ ਇੰਨਾ ਮੁਸ਼ਕਲ ਨਹੀਂ ਹੋਇਆ. ਖੀਰਾ 4 ਹਰੇਕ ਵਿਅਕਤੀਗਤ ਟੈਸਟ ਨੂੰ ਸ਼ੁਰੂ ਤੋਂ ਲੈ ਕੇ ਅੰਤ ਤੱਕ ਸਮਰਪਿਤ ਥਰਿੱਡ 'ਤੇ ਚਲਾਉਂਦਾ ਹੈ, ਇਸਲਈ ਕੁਝ ਆਮ ਸਥਿਰ ਚੀਜ਼ਾਂ ਨੂੰ ਸਿਰਫ਼ ਥ੍ਰੈਡਲੋਕਲ ਵੇਰੀਏਬਲ ਵਿੱਚ ਬਦਲ ਦਿੱਤਾ ਗਿਆ ਸੀ। 
ਆਈਡੀਆ ਰੀਫੈਕਟਰਿੰਗ ਟੂਲਸ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਸਮੇਂ ਮੁੱਖ ਗੱਲ ਇਹ ਹੈ ਕਿ ਉਹਨਾਂ ਸਥਾਨਾਂ ਦੀ ਜਾਂਚ ਕਰਨਾ ਜਿੱਥੇ ਵੇਰੀਏਬਲ ਦੀ ਤੁਲਨਾ ਕੀਤੀ ਗਈ ਸੀ (ਉਦਾਹਰਨ ਲਈ, ਨੱਲ ਲਈ ਜਾਂਚ ਕਰਨਾ)। ਇਸ ਤੋਂ ਇਲਾਵਾ, ਤੁਹਾਨੂੰ ਜੂਨਿਟ ਰਨਰ ਕਲਾਸ ਐਨੋਟੇਸ਼ਨ ਵਿੱਚ ਐਲੂਰ ਪਲੱਗਇਨ ਜੋੜਨ ਦੀ ਲੋੜ ਹੈ।

ਆਟੋਟੈਸਟ ਸਥਾਪਤ ਕਰਨ ਦੀ ਉਦਾਹਰਨ:

 
<profile>
	
<id>parallel</id>
	
<build>
    	
<plugins>
        	
<plugin>
            	
<groupId>org.apache.maven.plugins</groupId>
 	
           <artifactId>maven-surefire-plugin</artifactId>
            	
<version>3.0.0-M3</version>
   	
         <configuration>
                	
<useFile>false</useFile>
                	
<testFailureIgnore>false</testFailureIgnore>
        	
        <parallel>methods</parallel>
                	
<threadCount>6</threadCount>
                	
<perCoreThreadCount>true</perCoreThreadCount>
                	
<argLine>
                    	
-javaagent:"${settings.localRepository}/org/aspectj/aspectjweaver/${aspectj.version}/aspectjweaver-${aspectj.version}.jar"
                	
</argLine>
            	
</configuration>
            	
<dependencies>
                	
<dependency>
                    	
<groupId>org.aspectj</groupId>
   	
                 <artifactId>aspectjweaver</artifactId>
                    	
<version>${aspectj.version}</version>
                	
</dependency>
            	
</dependencies>
        	
</plugin>
    	
</plugins>
	
</build>
</profile>

ਐਲੂਰ ਰਿਪੋਰਟ ਦੀ ਉਦਾਹਰਨ (ਸਭ ਤੋਂ ਅਸਥਿਰ ਟੈਸਟ, 5 ਰੀਰਨ)

ਟੈਸਟਾਂ ਦੌਰਾਨ ਰਨਰ ਲੋਡ (8 ਕੋਰ, 8 ਜੀਬੀ ਰੈਮ, 24 ਥ੍ਰੈਡ)

ਪ੍ਰੋ:

• ਘੱਟ ਸਰੋਤ ਦੀ ਖਪਤ;
• ਖੀਰੇ ਤੋਂ ਮੂਲ ਸਹਾਇਤਾ - ਕੋਈ ਵਾਧੂ ਸਾਧਨਾਂ ਦੀ ਲੋੜ ਨਹੀਂ;
• ਪ੍ਰਤੀ ਪ੍ਰੋਸੈਸਰ ਕੋਰ 6 ਤੋਂ ਵੱਧ ਥ੍ਰੈਡ ਚਲਾਉਣ ਦੀ ਸਮਰੱਥਾ।

ਨੁਕਸਾਨ:

• ਤੁਹਾਨੂੰ ਇਹ ਯਕੀਨੀ ਬਣਾਉਣ ਦੀ ਲੋੜ ਹੈ ਕਿ ਕੋਡ ਮਲਟੀ-ਥਰਿੱਡਡ ਐਗਜ਼ੀਕਿਊਸ਼ਨ ਦਾ ਸਮਰਥਨ ਕਰਦਾ ਹੈ;
• ਦਾਖਲਾ ਥ੍ਰੈਸ਼ਹੋਲਡ ਵਧਦਾ ਹੈ।

GitLab ਪੰਨਿਆਂ 'ਤੇ ਲੁਭਾਉਣ ਵਾਲੀਆਂ ਰਿਪੋਰਟਾਂ

ਮਲਟੀ-ਥ੍ਰੈੱਡਡ ਐਗਜ਼ੀਕਿਊਸ਼ਨ ਦੀ ਸ਼ੁਰੂਆਤ ਕਰਨ ਤੋਂ ਬਾਅਦ, ਅਸੀਂ ਰਿਪੋਰਟਾਂ ਦਾ ਵਿਸ਼ਲੇਸ਼ਣ ਕਰਨ ਲਈ ਬਹੁਤ ਜ਼ਿਆਦਾ ਸਮਾਂ ਬਿਤਾਉਣਾ ਸ਼ੁਰੂ ਕੀਤਾ। ਉਸ ਸਮੇਂ, ਸਾਨੂੰ ਹਰ ਇੱਕ ਰਿਪੋਰਟ ਨੂੰ ਇੱਕ ਆਰਟੀਫੈਕਟ ਦੇ ਰੂਪ ਵਿੱਚ GitLab 'ਤੇ ਅੱਪਲੋਡ ਕਰਨਾ ਪੈਂਦਾ ਸੀ, ਫਿਰ ਇਸਨੂੰ ਡਾਊਨਲੋਡ ਕਰਨਾ ਅਤੇ ਇਸਨੂੰ ਅਨਪੈਕ ਕਰਨਾ ਪੈਂਦਾ ਸੀ। ਇਹ ਬਹੁਤ ਸੁਵਿਧਾਜਨਕ ਨਹੀਂ ਹੈ ਅਤੇ ਲੰਬਾ ਸਮਾਂ ਲੈਂਦਾ ਹੈ। ਅਤੇ ਜੇਕਰ ਕੋਈ ਹੋਰ ਆਪਣੇ ਲਈ ਰਿਪੋਰਟ ਦੇਖਣਾ ਚਾਹੁੰਦਾ ਹੈ, ਤਾਂ ਉਹਨਾਂ ਨੂੰ ਉਹੀ ਓਪਰੇਸ਼ਨ ਕਰਨ ਦੀ ਲੋੜ ਹੋਵੇਗੀ। ਅਸੀਂ ਤੇਜ਼ੀ ਨਾਲ ਫੀਡਬੈਕ ਪ੍ਰਾਪਤ ਕਰਨਾ ਚਾਹੁੰਦੇ ਸੀ, ਅਤੇ ਸਾਨੂੰ ਇੱਕ ਹੱਲ ਲੱਭਿਆ - GitLab ਪੰਨੇ। ਇਹ ਇੱਕ ਬਿਲਟ-ਇਨ ਵਿਸ਼ੇਸ਼ਤਾ ਹੈ ਜੋ GitLab ਦੇ ਸਾਰੇ ਤਾਜ਼ਾ ਸੰਸਕਰਣਾਂ ਵਿੱਚ ਬਾਕਸ ਤੋਂ ਬਾਹਰ ਉਪਲਬਧ ਹੈ। ਤੁਹਾਨੂੰ ਤੁਹਾਡੇ ਸਰਵਰ 'ਤੇ ਸਥਿਰ ਸਾਈਟਾਂ ਨੂੰ ਤੈਨਾਤ ਕਰਨ ਅਤੇ ਉਹਨਾਂ ਨੂੰ ਸਿੱਧੇ ਲਿੰਕ ਰਾਹੀਂ ਐਕਸੈਸ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ।

Allure ਰਿਪੋਰਟਾਂ ਦੇ ਸਾਰੇ ਸਕ੍ਰੀਨਸ਼ਾਟ ਗਿੱਟਲੈਬ ਪੰਨਿਆਂ 'ਤੇ ਲਏ ਗਏ ਸਨ। ਵਿੰਡੋਜ਼ ਪਾਵਰਸ਼ੇਲ ਵਿੱਚ - GitLab ਪੰਨਿਆਂ 'ਤੇ ਰਿਪੋਰਟ ਤੈਨਾਤ ਕਰਨ ਲਈ ਸਕ੍ਰਿਪਟ (ਇਸ ਤੋਂ ਪਹਿਲਾਂ ਤੁਹਾਨੂੰ ਆਟੋਟੈਸਟ ਚਲਾਉਣ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ):

New-Item -ItemType directory -Path $testresulthistory | Out-Null

try {Invoke-WebRequest -Uri $hst -OutFile $outputhst}
Catch{echo "fail copy history"}
try {Invoke-WebRequest -Uri $hsttrend -OutFile $outputhsttrnd}
Catch{echo "fail copy history trend"}

mvn allure:report
#mvn assembly:single -PzipAllureReport
xcopy $buildlocationtargetsiteallure-maven-plugin* $buildlocationpublic /s /i /Y

ਨਤੀਜਾ ਕੀ ਹੈ 

ਇਸ ਲਈ, ਜੇਕਰ ਤੁਸੀਂ ਇਸ ਬਾਰੇ ਸੋਚ ਰਹੇ ਸੀ ਕਿ ਕੀ ਤੁਹਾਨੂੰ ਖੀਰੇ ਦੇ ਆਟੋਟੈਸਟ ਫਰੇਮਵਰਕ ਵਿੱਚ ਥ੍ਰੈਡ ਸੁਰੱਖਿਅਤ ਕੋਡ ਦੀ ਲੋੜ ਹੈ, ਤਾਂ ਹੁਣ ਜਵਾਬ ਸਪੱਸ਼ਟ ਹੈ - ਖੀਰੇ 4 ਦੇ ਨਾਲ ਇਸਨੂੰ ਲਾਗੂ ਕਰਨਾ ਆਸਾਨ ਹੈ, ਜਿਸ ਨਾਲ ਇੱਕੋ ਸਮੇਂ ਲਾਂਚ ਕੀਤੇ ਗਏ ਥਰਿੱਡਾਂ ਦੀ ਗਿਣਤੀ ਵਿੱਚ ਮਹੱਤਵਪੂਰਨ ਵਾਧਾ ਹੋਇਆ ਹੈ। ਟੈਸਟਾਂ ਨੂੰ ਚਲਾਉਣ ਦੀ ਇਸ ਵਿਧੀ ਨਾਲ, ਸਵਾਲ ਹੁਣ ਸੇਲੇਨੋਇਡ ਅਤੇ ਟੈਸਟ ਬੈਂਚ ਵਾਲੀ ਮਸ਼ੀਨ ਦੀ ਕਾਰਗੁਜ਼ਾਰੀ ਬਾਰੇ ਬਣ ਜਾਂਦਾ ਹੈ।

ਅਭਿਆਸ ਨੇ ਦਿਖਾਇਆ ਹੈ ਕਿ ਥਰਿੱਡਾਂ 'ਤੇ ਆਟੋਟੈਸਟ ਚਲਾਉਣਾ ਤੁਹਾਨੂੰ ਸਭ ਤੋਂ ਵਧੀਆ ਪ੍ਰਦਰਸ਼ਨ ਦੇ ਨਾਲ ਸਰੋਤ ਦੀ ਖਪਤ ਨੂੰ ਘੱਟ ਤੋਂ ਘੱਟ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ। ਜਿਵੇਂ ਕਿ ਗ੍ਰਾਫਾਂ ਤੋਂ ਦੇਖਿਆ ਜਾ ਸਕਦਾ ਹੈ, ਧਾਗੇ ਨੂੰ ਦੁੱਗਣਾ ਕਰਨ ਨਾਲ ਪ੍ਰਦਰਸ਼ਨ ਟੈਸਟਾਂ ਵਿੱਚ ਇੱਕ ਸਮਾਨ ਪ੍ਰਵੇਗ ਨਹੀਂ ਹੁੰਦਾ। ਹਾਲਾਂਕਿ, ਅਸੀਂ ਐਪਲੀਕੇਸ਼ਨ ਬਿਲਡ ਵਿੱਚ 2 ਤੋਂ ਵੱਧ ਸਵੈਚਲਿਤ ਟੈਸਟਾਂ ਨੂੰ ਜੋੜਨ ਦੇ ਯੋਗ ਸੀ, ਜੋ ਕਿ 200 ਰੀਰਨ ਦੇ ਨਾਲ ਵੀ ਲਗਭਗ 5 ਮਿੰਟ ਵਿੱਚ ਚੱਲਦੇ ਹਨ। ਇਹ ਤੁਹਾਨੂੰ ਉਹਨਾਂ ਤੋਂ ਤੁਰੰਤ ਫੀਡਬੈਕ ਪ੍ਰਾਪਤ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ, ਅਤੇ, ਜੇ ਲੋੜ ਹੋਵੇ, ਤਬਦੀਲੀਆਂ ਕਰੋ ਅਤੇ ਪ੍ਰਕਿਰਿਆ ਨੂੰ ਦੁਬਾਰਾ ਦੁਹਰਾਓ।

ਸਰੋਤ: www.habr.com