Analiza merge requestova u GitLabu pomoću PVS-Studio za C#

Analiza merge requestova u GitLabu uz pomoć PVS-Studio za C#
Volite GitLab i ne podnosite greške? Želite poboljšati kvalitetu izvornog koda? Onda ste na pravom mjestu. Danas ćemo vam pokazati kako postaviti C# analizator PVS-Studio za provjeru merge requestova. Svim jednorozima želimo ugodno čitanje.

PVS-Studio — ovo je alat za otkrivanje grešaka i potencijalnih ranjivosti u izvornom kodu programa napisanih na jezicima C, C++, C# i Java. Radi na 64-bitnim sistemima na Windows, Linux i macOS. Može analizirati kod namijenjen za 32-bitne, 64-bitne i ugrađene ARM platforme.

Usput, imali smo izdanje PVS-Studio 7.08, u kojem smo uveli mnogo noviteta zanimljivih stvari. Na primjer:

  • analizator C# za Linux i macOS;
  • plugin za Rider;
  • novi režim provjere liste fajlova.

Režim provjere liste fajlova

Ranije, kako bi se provjerili određeni fajlovi, bilo je potrebno analizatoru dostaviti .xml sa listom fajlova. Međutim, pošto to nije bilo previše praktično, dodali smo mogućnost pružanja .txt, što znatno olakšava živote.

Da bi se provjerili određeni fajlovi, potrebno je navesti flag —sourceFiles (-f) i dostaviti .txt sa listom fajlova. Izgleda ovako:

pvs-studio-dotnet -t path/to/solution.sln -f fileList.txt -o project.json

Ako vas zanima postavljanje provjere commitova ili pull requestova, to također možete učiniti koristeći ovaj režim. Razlika će biti u načinu dobijanja liste fajlova za analizu i zavistit će od toga koje sisteme koristite.

Princip provjere merge requesta

Osnovna suština provjere je da problemi koje analizator pronađe ne pređu u master granu. Također, ne želimo svaki put analizirati cijeli projekt. Tim više što prilikom spajanja grana imamo listu izmijenjenih fajlova. Stoga predlažem da dodamo provjeru merge requestova.

Ovako izgleda merge request prije uvođenja statičkog analizatora:

Analiza merge requestova u GitLabu uz pomoć PVS-Studio za C#
Dakle, sve greške koje su bile u grani promene, preći će u master granu. Kako to ne bismo željeli, dodajemo analizu, i sada shema izgleda ovako:

Analiza merge requestova u GitLabu uz pomoć PVS-Studio za C#
Analiziramo changes2 i, ako nema grešaka, prihvatamo merge request, a ako ih ima, odbacujemo ga.

Usput, ako vas zanima analiza commitova i pull requestova za C/C++, možete pročitati o tome ovde.

GitLab

GitLab — web alat za životni ciklus DevOps s otvorenim izvorom, koji predstavlja sistem upravljanja repozitorijima koda za Git sa vlastitom wikipedijom, sistemom za praćenje grešaka, CI/CD običajem i drugim funkcijama.

Prije nego što započnete s analizom merge requestova, potrebno je registrirati se i učitati svoj projekt. Ako ne znate kako to učiniti, predlažem članak mog kolegu.

Napomena. Način postavljanja okruženja koji će biti opisan dalje – jedan je od mogućih. Cilj je pokazati korake postavljanja potrebnog za analizu okruženja i pokretanje analizatora. Možda bi u vašem slučaju bilo optimalnije podijeliti faze pripreme okruženja (dodavanje repozitorija, instalacija analizatora) i analize: na primjer, priprema Docker slika s potrebnim okruženjem i njihova upotreba ili neki drugi način.

Da bismo bolje razumjeli što će se sada dogoditi, predlažem da pogledate sljedeću shemu:

Analiza merge requestova u GitLabu uz pomoć PVS-Studio za C#
Za rad, analizatoru je potreban .NET Core SDK 3, stoga prije instalacije analizatora trebate dodati Microsoft repozitorije iz kojih će biti instalirane potrebne zavisnosti za analizator. Dodavanje Microsoft repozitorija za različite Linux distribucije opisano je u odgovarajućem dokumentu.

Za instalaciju PVS-Studio putem paketnog menadžera također će biti potrebno dodati PVS-Studio repozitorije. Dodavanje repozitorija za različite distribucije opisano je detaljnije u odgovarajućem dijelu dokumentacije.

Za rad, analizatoru je potreban licencni ključ. Probnu licencu možete dobiti na stranici za preuzimanje analizatora.

Napomena. Imajte na umu da je za opisani način rada (analiza merge requests) potrebna Enterprise licenca. Stoga, ako želite isprobati ovaj način rada, u polju "Poruka" ne zaboravite navesti da vam je potrebna upravo Enterprise licenca.

Ako dođe do merge requesta, trebamo analizirati samo popis izmijenjenih datoteka, inače analiziramo sve datoteke. Nakon analize, potrebno je konvertirati logove u format koji nam treba.

Sada, imajući pred očima algoritam rada, možemo preći na pisanje skripte. Da bismo to učinili, potrebno je promijeniti datoteku .gitlab-ci.yml ili, ako je nema, kreirati je. Da biste je stvorili, morate kliknuti na naziv vašeg projekta -> Postavite CI/CD.

Analiza merge requestova u GitLabu uz pomoć PVS-Studio za C#
Sada smo spremni za pisanje skripte. Prvo ćemo napisati kod koji će instalirati analizator i unijeti licencu:

before_script:
  - apt-get update && apt-get -y install wget gnupg 

  - apt-get -y install git
  - wget https://packages.microsoft.com/config/debian/10/
packages-microsoft-prod.deb -O packages-microsoft-prod.deb
  - dpkg -i packages-microsoft-prod.deb
  - apt-get update
  - apt-get install apt-transport-https
  - apt-get update
  
  - wget -q -O - https://files.viva64.com/etc/pubkey.txt | apt-key add -
  - wget -O /etc/apt/sources.list.d/viva64.list
https://files.viva64.com/etc/viva64.list
  - apt-get update
  - apt-get -y install pvs-studio-dotnet

  - pvs-studio-analyzer credentials $PVS_NAME $PVS_KEY
  - dotnet restore "$CI_PROJECT_DIR"/Test/Test.sln

Budući da instalacija i aktivacija trebaju biti izvršene prije svih drugih skripti, koristimo posebnu oznaku before_script. Malo ću objasniti ovaj fragment.

Priprema za instalaciju analizatora:

  - wget https://packages.microsoft.com/config/debian/10/
packages-microsoft-prod.deb -O packages-microsoft-prod.deb
  - dpkg -i packages-microsoft-prod.deb
  - apt-get update
  - apt-get install apt-transport-https
  - apt-get update

Dodavanje repozitorija PVS-Studio i analizatora:

  - wget -q -O - https://files.viva64.com/etc/pubkey.txt | apt-key add -
  - wget -O /etc/apt/sources.list.d/viva64.list
https://files.viva64.com/etc/viva64.list
  - apt-get update
  - apt-get -y install pvs-studio-dotnet

Aktivacija licence:

  - pvs-studio-analyzer credentials $PVS_NAME $PVS_KEY

$PVS_NAME — korisničko ime.

$PVS_KEY — ključ proizvoda.

Obnavljanje zavisnosti projekta, gdje $CI_PROJECT_DIR – puna putanja do direktorija projekta:

  - dotnet restore "$CI_PROJECT_DIR"/Path/To/Solution.sln

Za ispravno analiziranje, projekat se mora uspješno graditi, a njegove zavisnosti moraju biti obnovljene (na primjer, potrebni NuGet paketi moraju biti učitani).

Postaviti varijable okruženja koje sadrže licencne informacije možete tako da pritisnete Setting, a zatim na CI / CD.

Analiza merge requestova u GitLabu uz pomoć PVS-Studio za C#
U otvorenom prozoru nalazimo stavku Varijable, s desne strane pritisnemo dugme Expand i dodajemo varijable. Na kraju treba da dobijemo sljedeće:

Analiza merge requestova u GitLabu uz pomoć PVS-Studio za C#
Sada možemo preći na analizu. Prvo dodajmo skriptu za potpunu analizu. U flag -t prolazimo put do rješenja, u flag -o upisujemo put do datoteke u koju će biti sačuvani rezultati analize. Također nas zanima povratni kod. U ovom slučaju nam je važno da rad prestane kada povratni kod sadrži informaciju o tome da su tokom analize data upozorenja. Ovako izgleda ovaj fragment:

job:
  script:
  - exit_code=0
  - pvs-studio-dotnet -t "$CI_PROJECT_DIR"/Test/Test.sln -o 
PVS-Studio.json || exit_code=$?
  - exit_code=$((($exit_code & 8)/8))
  - if [[ $exit_code == 1 ]]; then exit 1; else exit 0; fi

Kodovi povratka rade na principu bitne maske. Na primjer, ako su tokom analize izdana upozorenja, kod povratka će biti 8. Ako licenca istekne unutar meseca, kod povratka će biti 4. Ako su tokom analize otkrivene greške, a licenca ističe u narednom mesecu, u kod povratka biće zapisane obe vrednosti: sabiramo brojeve zajedno i dobijamo konačni kod povratka — 8+4=12. Tako, proveravajući odgovarajuće bitove, možemo dobiti informacije o raznim stanjima tokom analize. Detaljnije informacije o kodovima povratka su opisane u odeljku "Kodovi povratka pvs-studio-dotnet (Linux / macOS)" dokumenta.Provera projekata Visual Studio / MSBuild / .NET Core iz komandne linije uz pomoć PVS-Studio".

U ovom slučaju nas zanimaju svi kodovi povratka koji uključuju 8.

  - exit_code=$((($exit_code & 8)/8))

Dobijamo 1 kada kod povratka sadrži bit koji nas zanima, inače dobijamo 0.

Došlo je vreme da dodamo analizu merge request-a. Pre nego što to uradimo, pripremićemo mesto za skriptu. Potrebno je da se izvršava samo kada se dogodi merge request. Izgleda ovako:

merge:
  script:
  only:
  - merge_requests

Pređimo na samu skriptu. Susreo sam se sa time da virtuelna mašina ne zna ništa o origin/master. Zato joj malo pomažemo:

  - git fetch origin

Sada ćemo dobiti razliku grana i sačuvati rezultat u txt fajl:

  - git diff --name-only origin/master $CI_COMMIT_SHA > pvs-fl.txt

Gde $CI_COMMIT_SHA – hash poslednjeg commit-a.

Nakon toga pokrećemo analizu spiska fajlova, koristeći flag -f. U njega prosledjujemo prethodno dobijeni .txt fajl. Takođe, na isti način, gledamo kodove povratka:

  - exit_code=0
  - pvs-studio-dotnet -t "$CI_PROJECT_DIR"/Test/Test.sln -f 
pvs-fl.txt -o PVS-Studio.json || exit_code=$?
  - exit_code=$((($exit_code & 8)/8))
  - if [[ $exit_code == 1 ]]; then exit 1; else exit 0; fi

Puna skripta za proveru merge request-a izgleda ovako:

merge:
  script:
  - git fetch origin
  - git diff --name-only origin/master $CI_COMMIT_SHA > pvs-fl.txt
  - exit_code=0
  - pvs-studio-dotnet -t "$CI_PROJECT_DIR"/Test/Test.sln -f 
pvs-fl.txt -o PVS-Studio.json || exit_code=$?
  - exit_code=$((($exit_code & 8)/8))
  - if [[ $exit_code == 1 ]]; then exit 1; else exit 0; fi
  only:
  - merge_requests

Sada samo preostaje da dodamo konverziju loga nakon što su svi skripti izvršeni. Koristimo oznaku after_script i alatku. plog-converter:

after_script:
  - plog-converter -t html -o eLog ./PVS-Studio.json

Alat plog-converter — je open source projekat koji se koristi za pretvaranje izveštaja o greškama analizatora u različite forme, kao što je HTML. Detaljniji opis alata nalazi se u odeljku "Alat Plog Converter" odgovarajućeg dela dokumentacije.

Usput, ako želite da radite sa .json izveštajem lokalno iz IDE, predlažem naš plugin za IDE Rider. Detaljnije informacije o njegovoj upotrebi date su u odgovarajućem dokumentu.

Za praktičnost, evo .gitlab-ci.yml u celosti:

image: debian

before_script:
  - apt-get update && apt-get -y install wget gnupg 

  - apt-get -y install git
  - wget https://packages.microsoft.com/config/debian/10/
packages-microsoft-prod.deb -O packages-microsoft-prod.deb
  - dpkg -i packages-microsoft-prod.deb
  - apt-get update
  - apt-get install apt-transport-https
  - apt-get update
  
  - wget -q -O - https://files.viva64.com/etc/pubkey.txt | apt-key add -
  - wget -O /etc/apt/sources.list.d/viva64.list
https://files.viva64.com/etc/viva64.list
  - apt-get update
  - apt-get -y install pvs-studio-dotnet

  - pvs-studio-analyzer credentials $PVS_NAME $PVS_KEY
  - dotnet restore "$CI_PROJECT_DIR"/Test/Test.sln

merge:
  script:
  - git fetch origin
  - git diff --name-only origin/master $CI_COMMIT_SHA > pvs-fl.txt
  - exit_code=0
  - pvs-studio-dotnet -t "$CI_PROJECT_DIR"/Test/Test.sln -f 
pvs-fl.txt -o PVS-Studio.json || exit_code=$?
  - exit_code=$((($exit_code & 8)/8))
  - if [[ $exit_code == 1 ]]; then exit 1; else exit 0; fi
  only:
  - merge_requests

job:
  script:
  - exit_code=0
  - pvs-studio-dotnet -t "$CI_PROJECT_DIR"/Test/Test.sln -o 
PVS-Studio.json || exit_code=$?
  - exit_code=$((($exit_code & 8)/8))
  - if [[ $exit_code == 1 ]]; then exit 1; else exit 0; fi
  
after_script:
  - plog-converter -t html -o eLog ./PVS-Studio.json

Kada dodate sve u fajl, kliknite na Commit changes. Da biste proverili da li je sve u redu, idite na CI/CD -> Pipelines -> Izvršavanje. Otvoriće se prozor virtuelne mašine, na kraju kojeg bi trebalo da bude sledeće:

Analiza merge requestova u GitLabu uz pomoć PVS-Studio za C#
Videli smo Job succeeded – uspeh, sve je dobro. Sada možemo i testirati urađeno.

Primeri rada

Za primer rada, napravićemo jednostavan projekat (u master) koji će imati nekoliko fajlova. Nakon toga ćemo u drugoj grani promeniti samo jedan fajl i pokušati da napravimo merge request.

Razmotrićemo dva slučaja: kada izmenjeni fajl sadrži grešku i kada ne. Prvo, primer sa greškom.

Recimo, u master grani postoji fajl Program.cs, koji ne sadrži greške, a u drugoj grani programer je dodao grešan kod i želi da napravi merge request. Koju grešku je napravio – nije toliko važno, bitno je da ona postoji. Na primer, zaboravio je operator throw (da, tako greše):

void MyAwesomeMethod(String name)
{
  if (name == null)
    new ArgumentNullException(....);
  // uradi nešto
  ....
}

Pogledajmo rezultate analize primera sa greškom. Takođe, kako bismo se uverili da je samo jedan fajl analiziran, dodao sam flag -r u komandnu liniju pvs-studio-dotnet:

Analiza merge requestova u GitLabu uz pomoć PVS-Studio za C#
Vidimo da je analizator pronašao grešku i nije dozvolio sprovođenje sličavanja grana.

Proveravamo primer bez greške. Ispravljamo kod:

void MyAwesomeMethod(String name)
{
  if (name == null)
    throw new ArgumentNullException(....);
  // uradi nešto
  ....
}

Rezultati analize merge request-a:

Analiza merge requestova u GitLabu uz pomoć PVS-Studio za C#
Kao što vidimo, greške nisu pronađene, i izvršenje zadatka je prošlo uspešno, što smo i želeli da proverimo.

Zaključak

Filtrirati loš kod pre sprovođenja sličavanja grana — vrlo je zgodno i prijatno. Stoga, ako koristite CI/CD, pokušajte da ugradite statički analizator za proveru. Osim toga, to se prilično lako može uraditi.

Hvala na pažnji.

Analiza merge requestova u GitLabu uz pomoć PVS-Studio za C#
Ako želite da podelite ovaj članak sa engleskom publikom, molim vas da koristite link na prevod: Nikolay Mironov. Analiza merge request-a u GitLabu korišćenjem PVS-Studio za C#.

Izvor: habr.com

Kupite pouzdan hosting za sajtove uz zaštitu od DDoS, VPS VDS servere 🔥 Kupite pouzdan hosting za sajtove uz zaštitu od DDoS, VPS VDS servere | ProHoster