বাস্তবায়ন, স্কেল: VTB-তে অটোটেস্ট ব্যবহার করার অভিজ্ঞতা

আমাদের বিভাগ উত্পাদন পরিবেশে অ্যাপ্লিকেশনের নতুন সংস্করণ আনার জন্য সম্পূর্ণ স্বয়ংক্রিয় পাইপলাইন তৈরি করে। অবশ্যই, এর জন্য স্বয়ংক্রিয় কার্যকরী পরীক্ষা প্রয়োজন। কাটের নীচে একটি গল্প রয়েছে যে কীভাবে একটি স্থানীয় মেশিনে একটি একক থ্রেডে পরীক্ষা শুরু করে, আমরা গিটল্যাব পৃষ্ঠাগুলিতে একটি অ্যালাউর রিপোর্ট সহ সমাবেশ পাইপলাইনে সেলেনয়েডে অটোটেস্টের বহু-থ্রেডেড লঞ্চে পৌঁছেছি এবং ফলস্বরূপ, আমরা একটি দুর্দান্ত অটোমেশন টুল পেয়েছে যা ভবিষ্যতে ব্যবহারকারীরা কমান্ড ব্যবহার করতে পারে।

আমরা কোথা থেকে শুরু করলাম

অটোটেস্টগুলি বাস্তবায়ন করতে এবং সেগুলিকে পাইপলাইনে একীভূত করতে, আমাদের একটি অটোমেশন কাঠামোর প্রয়োজন ছিল যা নমনীয়ভাবে আমাদের প্রয়োজনে পরিবর্তন করা যেতে পারে। আদর্শভাবে, আমি পাইপলাইনে অটোটেস্ট এম্বেড করার জন্য অভিযোজিত অটোটেস্ট ইঞ্জিনের জন্য একটি একক মান পেতে চেয়েছিলাম। বাস্তবায়নের জন্য, আমরা নিম্নলিখিত প্রযুক্তিগুলি বেছে নিয়েছি:

• জাভা,
• মাভেন,
• সেলেনিয়াম,
• শসা + জুনিট 4,
• মোহন
• GitLab।

কেন এই নির্দিষ্ট সেট? জাভা অটোটেস্টের জন্য সবচেয়ে জনপ্রিয় ভাষাগুলির মধ্যে একটি, এবং এছাড়াও, সমস্ত দলের সদস্যরা এটি জানেন। সেলেনিয়াম হল সুস্পষ্ট সমাধান। শসা, অন্যান্য জিনিসগুলির মধ্যে, ম্যানুয়াল পরীক্ষার সাথে জড়িত বিভাগগুলি থেকে অটোটেস্টের ফলাফলগুলিতে আস্থা বাড়াতে অনুমিত হয়েছিল।

একক থ্রেডেড পরীক্ষা

চাকাটি পুনরায় উদ্ভাবন না করার জন্য, আমরা কাঠামোর ভিত্তি হিসাবে গিটহাবের বিভিন্ন সংগ্রহস্থল থেকে বিকাশ নিয়েছি এবং সেগুলি নিজেদের জন্য মানিয়ে নিয়েছি। আমরা অটোটেস্ট ফ্রেমওয়ার্কের কোর সহ মূল লাইব্রেরির জন্য একটি সংগ্রহস্থল তৈরি করেছি এবং আমাদের কোরে অটোটেস্ট বাস্তবায়নের সোনার উদাহরণ সহ একটি সংগ্রহস্থল তৈরি করেছি। প্রতিটি দলকে একটি গোল্ড ইমেজ নিতে হয়েছিল এবং এটিতে পরীক্ষাগুলি বিকাশ করতে হয়েছিল, এটি তাদের প্রকল্পের সাথে খাপ খাইয়ে নিয়েছিল। একটি GitLab-CI ব্যাঙ্কে স্থাপন করা হয়েছে, যার উপর আমরা কনফিগার করেছি:

• প্রতিটি প্রকল্পের জন্য সমস্ত লিখিত অটোটেস্টের দৈনিক লঞ্চ;
• বিল্ড পাইপলাইনে চলে।

প্রথমে, কয়েকটি পরীক্ষা ছিল, এবং তারা এক স্রোতে গিয়েছিল। গিটল্যাব উইন্ডোজ রানারে একটি একক-থ্রেডেড লঞ্চ আমাদের জন্য বেশ উপযুক্ত: পরীক্ষাগুলি পরীক্ষা বেঞ্চে খুব কম লোড করেছে এবং প্রায় সংস্থানগুলি ব্যবহার করেনি।

সময়ের সাথে সাথে, আরও বেশি সংখ্যক অটোটেস্ট ছিল, এবং আমরা সেগুলিকে সমান্তরালভাবে চালানোর কথা ভেবেছিলাম, যখন পূর্ণ দৌড়ে প্রায় তিন ঘন্টা সময় লাগতে শুরু করে। অন্যান্য সমস্যাও দেখা দিয়েছে:

• আমরা পরীক্ষাগুলি স্থিতিশীল ছিল তা নিশ্চিত করতে পারিনি;
• স্থানীয় মেশিনে পরপর একাধিকবার চালানো পরীক্ষাগুলি কখনও কখনও CI-তে ক্র্যাশ হয়।

অটোটেস্ট সেট আপ করার একটি উদাহরণ:

<plugins>
	
<plugin>
    	
<groupId>org.apache.maven.plugins</groupId>
    	
<artifactId>maven-surefire-plugin</artifactId>
    	
<version>2.20</version>
    	
<configuration>
        	
<skipTests>${skipTests}</skipTests>
        	
<testFailureIgnore>false</testFailureIgnore>
        	
<argLine>
            	
-javaagent:"${settings.localRepository}/org/aspectj/aspectjweaver/${aspectj.version}/aspectjweaver-${aspectj.version}.jar"
            	
-Dcucumber.options="--tags ${TAGS} --plugin io.qameta.allure.cucumber2jvm.AllureCucumber2Jvm --plugin pretty"
        	
</argLine>
    	
</configuration>
	
    <dependencies>
        	
<dependency>
            	
<groupId>org.aspectj</groupId>
            	
<artifactId>aspectjweaver</artifactId>
            	
<version>${aspectj.version}</version>
        	
</dependency>
    	
</dependencies>
	
</plugin>
	
<plugin>
    	
<groupId>io.qameta.allure</groupId>
    	
<artifactId>allure-maven</artifactId>
    	
<version>2.9</version>
	
</plugin>
</plugins>

 
মোহন রিপোর্ট উদাহরণ

 
পরীক্ষার সময় রানার লোড (8 কোর, 8 GB RAM, 1 থ্রেড)
 
একক-থ্রেডেড পরীক্ষার সুবিধা:

• সেট আপ এবং চালানো সহজ;
• CI-তে লঞ্চগুলি কার্যত স্থানীয় লঞ্চগুলির থেকে আলাদা নয়;
• পরীক্ষা একে অপরকে প্রভাবিত করে না;
• রানার জন্য ন্যূনতম সম্পদ প্রয়োজনীয়তা.

একক-থ্রেডেড পরীক্ষার অসুবিধা:

• সম্পূর্ণ হতে একটি খুব দীর্ঘ সময় লাগে;
• পরীক্ষার দীর্ঘ স্থিতিশীলতা;
• রানার সম্পদের অদক্ষ ব্যবহার, অত্যন্ত কম ব্যবহার।

JVM কাঁটাচামচ পরীক্ষা

যেহেতু আমরা বেস ফ্রেমওয়ার্ক বাস্তবায়নের সময় থ্রেড-সেফ কোডের যত্ন নিইনি, তাই সমান্তরালভাবে চালানোর সবচেয়ে সুস্পষ্ট উপায় ছিল শসা-jvm-সমান্তরাল-প্লাগইন মাভেনের জন্য প্লাগইন সেট আপ করা সহজ, কিন্তু সঠিক সমান্তরাল অপারেশনের জন্য, স্বয়ংক্রিয় পরীক্ষাগুলি আলাদা ব্রাউজারে চালানো প্রয়োজন। কিছুই করার নেই, আমাকে সেলেনয়েড ব্যবহার করতে হয়েছিল।

সেলেনয়েড সার্ভারটি 32 কোর এবং 24 GB RAM সহ একটি মেশিনে উত্থাপিত হয়েছিল। সীমাটি 48টি ব্রাউজারে সেট করা হয়েছিল - প্রতি কোরে 1,5 থ্রেড এবং প্রায় 400 MB RAM। ফলস্বরূপ, পরীক্ষার সময় তিন ঘন্টা থেকে কমিয়ে 40 মিনিট করা হয়েছিল। রান ত্বরান্বিত করা স্থিতিশীলতার সমস্যা সমাধানে সহায়তা করেছে: এখন আমরা দ্রুত 20-30 বার নতুন অটোটেস্ট চালাতে পারি যতক্ষণ না আমরা নিশ্চিত হয়েছি যে তারা স্থিতিশীলভাবে চলছে।
সমাধানটির প্রথম ত্রুটি ছিল অল্প সংখ্যক সমান্তরাল থ্রেড সহ রানারদের উচ্চ সম্পদের ব্যবহার: 4 কোর এবং 8 গিগাবাইট র‌্যামে, পরীক্ষাগুলি 6টির বেশি থ্রেডে স্থিরভাবে কাজ করে। দ্বিতীয় বিয়োগ: প্লাগইন প্রতিটি দৃশ্যের জন্য রানার ক্লাস তৈরি করে, সেগুলি যতই চালানো হোক না কেন।

গুরুত্বপূর্ণ! একটি ট্যাগ ভেরিয়েবল পাস করবেন না argLine, উদাহরণস্বরূপ এই মত:

<argLine>-Dcucumber.options="--tags ${TAGS} --plugin io.qameta.allure.cucumber2jvm.AllureCucumber2Jvm --plugin pretty"</argLine>
…
Mvn –DTAGS="@smoke"

আপনি যদি এইভাবে ট্যাগটি পাস করেন, প্লাগইনটি সমস্ত পরীক্ষার জন্য রানার তৈরি করবে, অর্থাৎ, এটি সমস্ত পরীক্ষা চালানোর চেষ্টা করবে, লঞ্চের সাথে সাথে সেগুলি এড়িয়ে যাবে এবং প্রক্রিয়াটিতে অনেকগুলি JVM ফর্ক তৈরি করবে।

সঠিকভাবে একটি ট্যাগ সহ একটি ভেরিয়েবল নিক্ষেপ করুন ট্যাগ প্লাগইন সেটিংসে, নীচের উদাহরণ দেখুন। অন্যান্য পদ্ধতিতে আমরা পরীক্ষা করেছি, Allure প্লাগইন সংযোগ করতে সমস্যা আছে।

ভুল সেটআপ সহ 6টি ছোট পরীক্ষার জন্য রানটাইম উদাহরণ:

[INFO] Total time: 03:17 min

আপনি যদি সরাসরি ট্যাগ পাস করেন তাহলে পরীক্ষার রান সময়ের একটি উদাহরণ mvn... -Dcucumber.options:

[INFO] Total time: 44.467 s

অটোটেস্ট সেট আপ করার একটি উদাহরণ:

<profiles>
	
<profile>
    	
<id>parallel</id>
    	
<build>
        	
<plugins>
            	
<plugin>
                	
<groupId>com.github.temyers</groupId>
                	
<artifactId>cucumber-jvm-parallel-plugin</artifactId>
                	
<version>5.0.0</version>
                	
<executions>
                    	
<execution>
                        	
<id>generateRunners</id>
                        	
<phase>generate-test-sources</phase>
                        	
<goals>
                            	
<goal>generateRunners</goal>
                        	
</goals>
                        	
<configuration>
                	
            <tags>
                            	
<tag>${TAGS}</tag>
                            	
</tags>
                            	
<glue>
                                	
<package>stepdefs</package>
                            	
</glue>
                        	
</configuration>
     	
               </execution>
                	
</executions>
    	
        </plugin>
            	
<plugin>
                	
<groupId>org.apache.maven.plugins</groupId>
                	
<artifactId>maven-surefire-plugin</artifactId>
        	
        <version>2.21.0</version>
                	
<configuration>
                    	
<forkCount>12</forkCount>
                    	
<reuseForks>false</reuseForks>
                    	
<includes>**/*IT.class</includes>
                   	
 <testFailureIgnore>false</testFailureIgnore>
                    	
<!--suppress UnresolvedMavenProperty -->
                    	
<argLine>
  	
 -javaagent:"${settings.localRepository}/org/aspectj/aspectjweaver/${aspectj.version}/aspectjweaver-${aspectj.version}.jar" -Dcucumber.options="--plugin io.qameta.allure.cucumber2jvm.AllureCucumber2Jvm TagPFAllureReporter --plugin pretty"
                    	
</argLine>
                	
</configuration>
                	
<dependencies>
                    	
<dependency>
                        	
<groupId>org.aspectj</groupId>
                        	
<artifactId>aspectjweaver</artifactId>
                        	
<version>${aspectj.version}</version>
                 	
   </dependency>
                	
</dependencies>
         	
   </plugin>
        	
</plugins>
    	
</build>
	
</profile>

অ্যাল্যুর রিপোর্টের উদাহরণ (সবচেয়ে অস্থির পরীক্ষা, 4টি পুনঃরান)

পরীক্ষার সময় রানার লোড (8 কোর, 8 GB RAM, 12 থ্রেড)
 
পেশাদাররা:

• সহজ সেটআপ - আপনাকে শুধু একটি প্লাগইন যোগ করতে হবে;
• একযোগে বিপুল সংখ্যক পরীক্ষা চালানোর ক্ষমতা;
• আইটেম 1 এর কারণে পরীক্ষার স্থিতিশীলতার ত্বরণ। 

কনস:

• একাধিক OS/পাত্রে প্রয়োজন;
• কাঁটা প্রতি উচ্চ সম্পদ খরচ;
• প্লাগইনটি বাতিল করা হয়েছে এবং আর সমর্থিত নয়৷ 

কিভাবে অস্থিরতা হারানো 

টেস্ট বেঞ্চগুলি নিখুঁত নয়, ঠিক যেমন নিজেরা অটোটেস্ট করে। আশ্চর্যের বিষয় নয়, আমাদের এখন বেশ কয়েকটি ফ্ল্যাকি পরীক্ষা রয়েছে। উদ্ধারে এগিয়ে আসেন maven নিশ্চিত ফায়ার প্লাগইন, যা বাক্সের বাইরে ব্যর্থ পরীক্ষাগুলি পুনরায় চালু করা সমর্থন করে। আপনাকে প্লাগইন সংস্করণটি কমপক্ষে 2.21-এ আপডেট করতে হবে এবং pom ফাইলে পুনঃসূচনার সংখ্যা সহ একটি লাইন লিখতে হবে বা ম্যাভেনের কাছে একটি যুক্তি হিসাবে এটি পাস করতে হবে।

অটোটেস্ট সেট আপ করার একটি উদাহরণ:

   	
<plugin>
        	
<groupId>org.apache.maven.plugins</groupId>
  	
      <artifactId>maven-surefire-plugin</artifactId>
        	
<version>2.21.0</version>
        	
<configuration>
           	
….
            	
<rerunFailingTestsCount>2</rerunFailingTestsCount>
            	
….
            	
</configuration>
</plugin>

অথবা স্টার্টআপে: mvn ... -Dsurefire.rerunFailingTestsCount=2 ...
বিকল্পভাবে, PowerShell স্ক্রিপ্ট (PS1) এর জন্য Maven বিকল্পগুলি সেট করুন:

  
Set-Item Env:MAVEN_OPTS "-Dfile.encoding=UTF-8 -Dsurefire.rerunFailingTestsCount=2"

পেশাদাররা:

• একটি অস্থির পরীক্ষা যখন ক্র্যাশ হয় তখন বিশ্লেষণ করার জন্য সময় নষ্ট করার দরকার নেই;
• পরীক্ষা বেঞ্চ স্থায়িত্ব সমস্যা আউট মসৃণ করা যেতে পারে.

কনস:

• আপনি ভাসমান ত্রুটিগুলি এড়িয়ে যেতে পারেন;
• চালানোর সময় বৃদ্ধি পায়।

শসা 4 লাইব্রেরির সাথে সমান্তরাল পরীক্ষা

প্রতিদিন পরীক্ষার সংখ্যা বাড়তে থাকে। আমরা আবারও রানের গতি বাড়ানোর কথা ভেবেছিলাম। উপরন্তু, আমি অ্যাপ্লিকেশন সমাবেশ পাইপলাইনে যতটা সম্ভব পরীক্ষা এম্বেড করতে চেয়েছিলাম। মাভেন প্লাগইন ব্যবহার করে সমান্তরালভাবে দৌড়ানোর সময় রানারদের খুব দীর্ঘ প্রজন্মের গুরুত্বপূর্ণ কারণ ছিল।

সেই সময়ে, শসা 4 ইতিমধ্যে প্রকাশিত হয়েছিল, তাই আমরা এই সংস্করণের জন্য কার্নেলটি পুনরায় লেখার সিদ্ধান্ত নিয়েছি। রিলিজ নোটগুলিতে, আমাদের থ্রেড স্তরে একটি সমান্তরাল লঞ্চের প্রতিশ্রুতি দেওয়া হয়েছিল। তাত্ত্বিকভাবে, এটি হওয়া উচিত ছিল:

• উল্লেখযোগ্যভাবে থ্রেড সংখ্যা বৃদ্ধি করে অটোটেস্ট চালানোর গতি বাড়ায়;
• প্রতিটি অটোটেস্টের জন্য রানারদের প্রজন্মের জন্য সময়ের ক্ষতি দূর করে।

মাল্টি-থ্রেডেড অটোটেস্টের জন্য ফ্রেমওয়ার্কটি অপ্টিমাইজ করা এত কঠিন ছিল না। শসা 4 শুরু থেকে শেষ পর্যন্ত একটি ডেডিকেটেড থ্রেডে প্রতিটি একক পরীক্ষা চালায়, তাই কিছু সাধারণ স্ট্যাটিক জিনিসগুলিকে কেবল ThreadLocal ভেরিয়েবলে রূপান্তরিত করা হয়েছিল। 
আইডিয়া রিফ্যাক্টরিং ব্যবহার করে রূপান্তর করার সময় প্রধান জিনিসটি হল সেই স্থানগুলি পরীক্ষা করা যেখানে ভেরিয়েবলের তুলনা করা হয়েছে (উদাহরণস্বরূপ, নাল চেক করা)। এছাড়াও, আপনাকে জুনিট রানার ক্লাসের টীকাতে অ্যালুর প্লাগইন রাখতে হবে।

অটোটেস্ট সেট আপ করার একটি উদাহরণ:

 
<profile>
	
<id>parallel</id>
	
<build>
    	
<plugins>
        	
<plugin>
            	
<groupId>org.apache.maven.plugins</groupId>
 	
           <artifactId>maven-surefire-plugin</artifactId>
            	
<version>3.0.0-M3</version>
   	
         <configuration>
                	
<useFile>false</useFile>
                	
<testFailureIgnore>false</testFailureIgnore>
        	
        <parallel>methods</parallel>
                	
<threadCount>6</threadCount>
                	
<perCoreThreadCount>true</perCoreThreadCount>
                	
<argLine>
                    	
-javaagent:"${settings.localRepository}/org/aspectj/aspectjweaver/${aspectj.version}/aspectjweaver-${aspectj.version}.jar"
                	
</argLine>
            	
</configuration>
            	
<dependencies>
                	
<dependency>
                    	
<groupId>org.aspectj</groupId>
   	
                 <artifactId>aspectjweaver</artifactId>
                    	
<version>${aspectj.version}</version>
                	
</dependency>
            	
</dependencies>
        	
</plugin>
    	
</plugins>
	
</build>
</profile>

অ্যাল্যুর রিপোর্টের উদাহরণ (সবচেয়ে অস্থির পরীক্ষা, 5টি পুনরায় চালানো)

পরীক্ষার সময় রানার লোড (8 কোর, 8 GB RAM, 24 থ্রেড)

পেশাদাররা:

• কম সম্পদ খরচ;
• শসা থেকে স্থানীয় সমর্থন - কোন অতিরিক্ত সরঞ্জামের প্রয়োজন নেই;
• প্রতি প্রসেসর কোরে 6টির বেশি থ্রেড চালানোর ক্ষমতা।

কনস:

• আপনাকে নিশ্চিত করতে হবে যে কোডটি মাল্টি-থ্রেডেড এক্সিকিউশন সমর্থন করে;
• এন্ট্রি থ্রেশহোল্ড বৃদ্ধি পায়।

গিটল্যাব পৃষ্ঠাগুলিতে লোভনীয় প্রতিবেদন

মাল্টি-থ্রেডেড লঞ্চ প্রবর্তনের পর, আমরা রিপোর্ট বিশ্লেষণ করতে আরও বেশি সময় ব্যয় করতে শুরু করেছি। সেই সময়ে, আমাদের প্রতিটি প্রতিবেদনকে গিটল্যাবে একটি আর্টিফ্যাক্ট হিসাবে আপলোড করতে হয়েছিল, তারপরে এটি ডাউনলোড করতে হয়েছিল, এটি আনপ্যাক করতে হয়েছিল। এটি খুব সুবিধাজনক এবং দীর্ঘ নয়। আর যদি অন্য কেউ বাসায় রিপোর্ট দেখতে চায়, তাহলে তাকেও একই অপারেশন করতে হবে। আমরা দ্রুত প্রতিক্রিয়া পেতে চেয়েছিলাম, এবং আমরা একটি উপায় খুঁজে পেয়েছি - গিটল্যাব পৃষ্ঠাগুলি৷ এটি একটি অন্তর্নির্মিত বৈশিষ্ট্য যা গিটল্যাবের সমস্ত সাম্প্রতিক সংস্করণে বাক্সের বাইরে উপলব্ধ। আপনাকে আপনার সার্ভারে স্ট্যাটিক সাইট স্থাপন করতে এবং সরাসরি লিঙ্কের মাধ্যমে সেগুলি অ্যাক্সেস করার অনুমতি দেয়।

Allure রিপোর্ট সহ সমস্ত স্ক্রিনশট GitLab পৃষ্ঠাগুলিতে তৈরি করা হয়েছে৷ GitLab পৃষ্ঠাগুলিতে একটি প্রতিবেদন স্থাপনের জন্য স্ক্রিপ্ট - Windows PowerShell-এ (এর আগে, আপনাকে স্বয়ংক্রিয় পরীক্ষা চালাতে হবে):

New-Item -ItemType directory -Path $testresulthistory | Out-Null

try {Invoke-WebRequest -Uri $hst -OutFile $outputhst}
Catch{echo "fail copy history"}
try {Invoke-WebRequest -Uri $hsttrend -OutFile $outputhsttrnd}
Catch{echo "fail copy history trend"}

mvn allure:report
#mvn assembly:single -PzipAllureReport
xcopy $buildlocationtargetsiteallure-maven-plugin* $buildlocationpublic /s /i /Y

কি শেষে 

সুতরাং, আপনি যদি শসা অটোটেস্ট ফ্রেমওয়ার্কে থ্রেড সেফ কোডের প্রয়োজন হয় কিনা তা নিয়ে ভাবছেন, এখন উত্তরটি সুস্পষ্ট - শসা 4 এর সাথে এটি কার্যকর করা সহজ, যার ফলে একই সাথে চলমান থ্রেডের সংখ্যা উল্লেখযোগ্যভাবে বৃদ্ধি পায়। পরীক্ষা চালানোর এই পদ্ধতির সাথে, প্রশ্নটি ইতিমধ্যেই সেলেনয়েড এবং পরীক্ষার বেঞ্চের সাথে মেশিনের কার্যকারিতা সম্পর্কে।

অনুশীলন দেখিয়েছে যে থ্রেডগুলিতে অটোটেস্ট চালানো আপনাকে সর্বোত্তম পারফরম্যান্সের সাথে সম্পদের ব্যবহার কমাতে দেয়। গ্রাফ থেকে দেখা যায়, থ্রেডের 2x বৃদ্ধি কার্যক্ষমতা পরীক্ষায় উত্তীর্ণ হওয়ার ক্ষেত্রে একই রকম ত্বরণের দিকে নিয়ে যায় না। তবুও, আমরা অ্যাপ্লিকেশন বিল্ডে 200 টিরও বেশি স্বয়ংক্রিয় পরীক্ষা যোগ করতে সক্ষম হয়েছি, যা 5টি পুনরায় চালানোর সাথেও প্রায় 24 মিনিটের মধ্যে সম্পন্ন হয়। এটি আপনাকে তাদের কাছ থেকে দ্রুত প্রতিক্রিয়া পেতে দেয় এবং প্রয়োজনে পরিবর্তন করুন এবং পদ্ধতিটি আবার পুনরাবৃত্তি করুন।

উত্স: www.habr.com