Анализ на заявки за сливане в GitLab с помощта на PVS-Studio за C#

Обичате GitLab и мразите грешки? Искате ли да подобрите качеството на вашия изходен код? Тогава сте попаднали на правилното място. Днес ще ви кажем как да конфигурирате C# анализатора на PVS-Studio за проверка на заявките за сливане. Наздраве на всички и приятно четене.

PVS-Студио е инструмент за откриване на грешки и потенциални уязвимости в изходния код на програми, написани на C, C++, C# и Java. Работи на 64-битови системи на Windows, Linux и macOS. Може да анализира код, предназначен за 32-битови, 64-битови и вградени ARM платформи.

Между другото, пуснахме PVS-Studio 7.08, в който сме направили много неща интересно, Например:

• C# анализатор за Linux и macOS;
• плъгин за Rider;
• нов режим за проверка на списъка с файлове.

Режим на проверка на списък с файлове

Преди това, за да се проверят определени файлове, беше необходимо да се предаде .xml файл със списък от файлове към анализатора. Но тъй като това не е много удобно, ние добавихме възможността за прехвърляне на .txt, което значително опростява живота.

За да проверите определени файлове, трябва да посочите флага --sourceFiles (-f) и предайте .txt със списък от файлове. Изглежда така:

pvs-studio-dotnet -t path/to/solution.sln -f fileList.txt -o project.json

Ако се интересувате от настройка на проверки за извършване или заявки за изтегляне, можете също да го направите, като използвате този режим. Разликата ще бъде в получаването на списък с файлове за анализ и ще зависи от това кои системи използвате.

Принцип на проверка на заявката за сливане

Основната същност на проверката е да се гарантира, че проблемите, открити от анализатора, не попадат в сливането майстор клон. Освен това не искаме да анализираме целия проект всеки път. Освен това, когато обединяваме клонове, имаме списък с променени файлове. Затова предлагам да добавите проверка на искане за сливане.

Ето как изглежда искането за сливане преди въвеждането на статичния анализатор:

Тоест всички грешки, които бяха в клона промени, ще се премести в главния клон. Тъй като не искаме това, добавяме анализа и сега веригата изглежда така:

Анализирам промени2 и ако няма грешки, приемаме заявката за сливане, в противен случай я отхвърляме.

Между другото, ако се интересувате от анализиране на ангажименти и заявки за изтегляне за C/C++, можете да прочетете за това. тук.

GitLab

GitLab е уеб инструмент за жизнения цикъл на DevOps с отворен код, който предоставя система за управление на кодово хранилище за Git със собствена wiki, система за проследяване на грешки, CI/CD тръбопровод и други функции.

Преди да продължите с изпълнението на анализа на заявките за сливане, трябва да се регистрирате и да качите вашия проект. Ако не знаете как да направите това, тогава ви предлагам Статия моя колега.

Внимание. Начинът за настройка на средата, описан по-долу, е един от възможните. Целта е да се покажат стъпките за настройка на средата, необходима за анализ и стартиране на анализатора. Може би във вашия случай би било по-оптимално да се разделят етапите на подготовка на средата (добавяне на хранилища, инсталиране на анализатора) и анализ: например подготовка на Docker изображения с необходимата среда и тяхното използване или по друг начин.

За да разберете по-добре какво ще се случи сега, предлагам да разгледате следната диаграма:

Анализаторът изисква .NET Core SDK 3, за да работи, така че преди да инсталирате анализатора, трябва да добавите хранилищата на Microsoft, от които ще бъдат инсталирани зависимостите, необходими за анализатора. Добавяне на хранилища на Microsoft за различни Linux дистрибуции описани в съответния документ.

За да инсталирате PVS-Studio чрез мениджъра на пакети, ще трябва също да добавите хранилищата на PVS-Studio. Добавянето на хранилища за различни дистрибуции е описано по-подробно в съответния раздел от документацията.

Анализаторът се нуждае от лицензен ключ, за да работи. Можете да получите пробен лиценз на страница за изтегляне на анализатора.

Внимание. Моля, обърнете внимание, че описаният режим на работа (анализ на заявки за сливане) изисква лиценз Enterprise. Затова, ако искате да изпробвате този режим на работа, в полето "Съобщение" не забравяйте да посочите, че имате нужда от Enterprise лиценз.

Ако възникне заявка за сливане, трябва да анализираме само списъка с променени файлове, в противен случай анализираме всички файлове. След анализ трябва да конвертираме регистрационните файлове във формата, от който се нуждаем.

Сега, като имаме алгоритъма на работа пред очите си, можем да продължим с писането на сценария. За да направите това, трябва да промените файла .gitlab-ci.yml или, ако не съществува, създайте го. За да го създадете, трябва да кликнете върху името на вашия проект -> Настройте CI/CD.

Сега сме готови да напишем сценария. Нека първо напишем кода, който ще инсталира анализатора и ще въведем лиценза:

before_script:
  - apt-get update && apt-get -y install wget gnupg 

  - apt-get -y install git
  - wget https://packages.microsoft.com/config/debian/10/
packages-microsoft-prod.deb -O packages-microsoft-prod.deb
  - dpkg -i packages-microsoft-prod.deb
  - apt-get update
  - apt-get install apt-transport-https
  - apt-get update
  
  - wget -q -O - https://files.viva64.com/etc/pubkey.txt | apt-key add -
  - wget -O /etc/apt/sources.list.d/viva64.list
https://files.viva64.com/etc/viva64.list
  - apt-get update
  - apt-get -y install pvs-studio-dotnet

  - pvs-studio-analyzer credentials $PVS_NAME $PVS_KEY
  - dotnet restore "$CI_PROJECT_DIR"/Test/Test.sln

Тъй като инсталирането и активирането трябва да се случи преди всички други скриптове, ние използваме специален етикет преди_скрипт. Нека обясня малко тази част.

Подготовка за инсталиране на анализатора:

  - wget https://packages.microsoft.com/config/debian/10/
packages-microsoft-prod.deb -O packages-microsoft-prod.deb
  - dpkg -i packages-microsoft-prod.deb
  - apt-get update
  - apt-get install apt-transport-https
  - apt-get update

Добавяне на PVS-Studio и хранилища на анализатори:

  - wget -q -O - https://files.viva64.com/etc/pubkey.txt | apt-key add -
  - wget -O /etc/apt/sources.list.d/viva64.list
https://files.viva64.com/etc/viva64.list
  - apt-get update
  - apt-get -y install pvs-studio-dotnet

Активиране на лиценза:

  - pvs-studio-analyzer credentials $PVS_NAME $PVS_KEY

$PVS_NAME - Потребителско име.

$PVS_KEY - продуктов ключ.

Възстановете зависимостите на проекта къде $CI_PROJECT_DIR – пълен път до директорията на проекта:

  - dotnet restore "$CI_PROJECT_DIR"/Path/To/Solution.sln

За правилен анализ проектът трябва да се изгради успешно и неговите зависимости трябва да бъдат възстановени (например необходимите NuGet пакети трябва да бъдат изтеглени).

Можете да зададете променливи на средата, съдържащи информация за лиценза, като щракнете върху Настройка, а след това - на CI/CD.

В прозореца, който се отваря, намерете елемента Променливи, щракнете с десния бутон върху бутона Разширете и добавете променливи. Резултатът трябва да е следният:

Сега можем да преминем към анализа. Първо, нека добавим скрипт за пълен анализ. Към знамето -t подайте пътя към решението на флага -o напишете пътя до файла, където ще бъдат записани резултатите от анализа. Интересуваме се и от кода за връщане. В този случай ние се интересуваме от спиране на работата, когато кодът за връщане съдържа информация, че по време на анализа са били издадени предупреждения. Ето как изглежда фрагментът:

job:
  script:
  - exit_code=0
  - pvs-studio-dotnet -t "$CI_PROJECT_DIR"/Test/Test.sln -o 
PVS-Studio.json || exit_code=$?
  - exit_code=$((($exit_code & 8)/8))
  - if [[ $exit_code == 1 ]]; then exit 1; else exit 0; fi

Кодовете за връщане работят на принципа на битова маска. Например, ако в резултат на анализа са издадени предупреждения, тогава кодът за връщане ще бъде 8. Ако лицензът изтече в рамките на един месец, тогава кодът за връщане ще бъде 4. Ако са открити грешки по време на анализа, и лицензът също изтича в рамките на един месец, в кода за връщане ще бъдат написани и двете стойности: добавете числата заедно и получете крайния код за връщане - 8 + 4 = 12. По този начин, чрез проверка на съответните битове, е възможно да се получи информация за различни състояния по време на анализа. Кодовете за връщане са описани по-подробно в раздела Кодове за връщане на pvs-studio-dotnet (Linux / macOS) на документа.Проверка на проекти на Visual Studio / MSBuild / .NET Core от командния ред с помощта на PVS-Studio".

В този случай се интересуваме от всички кодове за връщане, където се появява 8.

  - exit_code=$((($exit_code & 8)/8))

Ще получим 1, когато кодът за връщане съдържа бита на числото, което ни интересува, в противен случай ще получим 0.

Време е да добавите анализа на заявката за сливане. Преди да направим това, нека подготвим място за сценария. Трябва да се изпълни само когато се появи заявка за сливане. Изглежда така:

merge:
  script:
  only:
  - merge_requests

Да преминем към самия сценарий. Срещнах факта, че виртуалната машина не знае нищо произход/майстор. Така че нека й помогнем малко:

  - git fetch origin

Сега получаваме разликата на клоните и записваме резултата TXT файл:

  - git diff --name-only origin/master $CI_COMMIT_SHA > pvs-fl.txt

където $CI_COMMIT_SHA – хеш на последния комит.

След това започваме анализа на списъка с файлове, използвайки флага -f. Прехвърляме към него предварително получения .txt файл. Е, по аналогия с пълния анализ, разглеждаме кодовете за връщане:

  - exit_code=0
  - pvs-studio-dotnet -t "$CI_PROJECT_DIR"/Test/Test.sln -f 
pvs-fl.txt -o PVS-Studio.json || exit_code=$?
  - exit_code=$((($exit_code & 8)/8))
  - if [[ $exit_code == 1 ]]; then exit 1; else exit 0; fi

Пълният скрипт за проверка на заявката за сливане ще изглежда така:

merge:
  script:
  - git fetch origin
  - git diff --name-only origin/master $CI_COMMIT_SHA > pvs-fl.txt
  - exit_code=0
  - pvs-studio-dotnet -t "$CI_PROJECT_DIR"/Test/Test.sln -f 
pvs-fl.txt -o PVS-Studio.json || exit_code=$?
  - exit_code=$((($exit_code & 8)/8))
  - if [[ $exit_code == 1 ]]; then exit 1; else exit 0; fi
  only:
  - merge_requests

Остава само да добавите преобразуването на журнала, след като всички скриптове работят. Използване на етикета след_скрипт и полезност plog-конвертор:

after_script:
  - plog-converter -t html -o eLog ./PVS-Studio.json

Полезност plog-конвертор е проект с отворен код, който се използва за преобразуване на докладите за грешки на анализатора в различни форми като HTML. За по-подробно описание на помощната програма вижте подраздела „Помощна програма за конвертор на Plog“. съответния раздел от документацията.

Между другото, ако искате да работите удобно с .json отчет локално от IDE, тогава предлагам нашия плъгин за IDE Rider. Използването му е описано по-подробно в съответен документ.

За удобство тук .gitlab-ci.yml цяло:

image: debian

before_script:
  - apt-get update && apt-get -y install wget gnupg 

  - apt-get -y install git
  - wget https://packages.microsoft.com/config/debian/10/
packages-microsoft-prod.deb -O packages-microsoft-prod.deb
  - dpkg -i packages-microsoft-prod.deb
  - apt-get update
  - apt-get install apt-transport-https
  - apt-get update
  
  - wget -q -O - https://files.viva64.com/etc/pubkey.txt | apt-key add -
  - wget -O /etc/apt/sources.list.d/viva64.list
https://files.viva64.com/etc/viva64.list
  - apt-get update
  - apt-get -y install pvs-studio-dotnet

  - pvs-studio-analyzer credentials $PVS_NAME $PVS_KEY
  - dotnet restore "$CI_PROJECT_DIR"/Test/Test.sln

merge:
  script:
  - git fetch origin
  - git diff --name-only origin/master $CI_COMMIT_SHA > pvs-fl.txt
  - exit_code=0
  - pvs-studio-dotnet -t "$CI_PROJECT_DIR"/Test/Test.sln -f 
pvs-fl.txt -o PVS-Studio.json || exit_code=$?
  - exit_code=$((($exit_code & 8)/8))
  - if [[ $exit_code == 1 ]]; then exit 1; else exit 0; fi
  only:
  - merge_requests

job:
  script:
  - exit_code=0
  - pvs-studio-dotnet -t "$CI_PROJECT_DIR"/Test/Test.sln -o 
PVS-Studio.json || exit_code=$?
  - exit_code=$((($exit_code & 8)/8))
  - if [[ $exit_code == 1 ]]; then exit 1; else exit 0; fi
  
after_script:
  - plog-converter -t html -o eLog ./PVS-Studio.json

След като всичко е добавено към файла, щракнете върху Извършете промени. За да видите дали всичко е правилно, отидете на CI / CD -> Тръбопроводи -> Работещи. Ще се отвори прозорецът на виртуалната машина, в края на който трябва да има следното:

трион Работата успя - успех, всичко е наред. Сега можете да тествате какво сте направили.

Примери за работа

За пример за работа, нека създадем прост проект (в майстор), който ще съдържа няколко файла. След това в друг клон ще променим само един файл и ще се опитаме да направим заявка за сливане.

Нека разгледаме два случая: когато модифицираният файл съдържа грешка и когато не съдържа. Първо, пример с грешка.

Да кажем, че има файл в главния клон Program.cs, който не съдържа грешки, а в друг клон разработчикът е добавил грешен код и иска да направи заявка за сливане. Каква грешка е направил не е толкова важно, важното е, че тя съществува. Например, забравих оператора хвърлям (Да, толкова грешно):

void MyAwesomeMethod(String name)
{
  if (name == null)
    new ArgumentNullException(....);
  // do something
  ....
}

Нека да разгледаме резултата от анализа на пример с грешка. Освен това, за да се уверя, че само един файл е анализиран, добавих флага -r към началния ред на pvs-studio-dotnet:

Виждаме, че анализаторът е открил грешка и не е позволил обединяването на клоновете.

Нека проверим примера без грешка. Коригиране на кода:

void MyAwesomeMethod(String name)
{
  if (name == null)
    throw new ArgumentNullException(....);
  // do something
  ....
}

Резултати от анализа на искането за сливане:

Както виждаме, не бяха открити грешки и изпълнението на задачата беше успешно, което искахме да проверим.

Заключение

Отстраняването на лош код преди сливане на клонове е много удобно и приятно. Следователно, ако използвате CI/CD, опитайте да вградите статичен анализатор, за да го проверите. Освен това това се прави съвсем просто.

Благодаря ви за вниманието.

Ако искате да споделите тази статия с англоезична аудитория, моля, използвайте връзката за превод: Николай Миронов. Анализ на заявки за сливане в GitLab с помощта на PVS-Studio за C#.

Източник: www.habr.com