Как да конфигурирате PVS-Studio в Travis CI, като използвате примера на емулатор на игрова конзола на PSP

Travis CI е разпределена уеб услуга за изграждане и тестване на софтуер, който използва GitHub като хостинг на изходния код. В допълнение към горните работни сценарии можете да добавите свои собствени благодарение на обширните опции за конфигуриране. В тази статия ще конфигурираме Travis CI да работи с PVS-Studio, като използваме примерния код на PPSSPP.

въведение

Травис CI е уеб услуга за изграждане и тестване на софтуер. Обикновено се използва заедно с практики за непрекъсната интеграция.

PPSSPP - Емулатор на PSP игрова конзола. Програмата може да емулира стартирането на всякакви игри от дискови изображения, предназначени за Sony PSP. Програмата е пусната на 1 ноември 2012 г. PPSSPP е лицензиран под GPL v2. Всеки може да прави подобрения на изходен код на проекта.

PVS-Студио — анализатор на статичен код за търсене на грешки и потенциални уязвимости в програмния код. В тази статия, за промяна, ще стартираме PVS-Studio не локално на машината на разработчика, а в облака и ще търсим грешки в PPSSPP.

Настройване на Travis CI

Ще ни трябва хранилище в GitHub, където се намира необходимият ни проект, както и ключ за PVS-Studio (можете да получите пробен ключ или безплатно за проекти с отворен код).

Да отидем на сайта Травис CI. След упълномощаване с помощта на вашия акаунт в GitHub, ще видим списък с хранилища:

За теста разклоних PPSSPP.

Активираме хранилището, което искаме да съберем:

В момента Travis CI не може да изгради нашия проект, защото няма инструкции за изграждане. Така че е време за конфигурация.

По време на анализа някои променливи ще ни бъдат полезни, например ключът за PVS-Studio, който би било нежелателно да се посочи в конфигурационния файл. Така че нека добавим променливи на средата, като използваме настройките за изграждане в Travis CI:

Имаме нужда от:

• PVS_USERNAME - потребителско име
• PVS_KEY - ключ
• MAIL_USER - имейл, който ще се използва за изпращане на отчета
• MAIL_PASSWORD - имейл парола

Последните две не са задължителни. Те ще се използват за изпращане на резултатите по пощата. Ако искате да разпространите доклада по друг начин, не е необходимо да ги посочвате.

И така, добавихме променливите на средата, от които се нуждаем:

Сега нека създадем файл .travis.yml и го поставете в корена на проекта. PPSSPP вече имаше конфигурационен файл за Travis CI, но той беше твърде голям и напълно неподходящ за примера, така че трябваше значително да го опростим и да оставим само основните елементи.

Първо, нека посочим езика, версията на Ubuntu Linux, която искаме да използваме във виртуалната машина, и необходимите пакети за компилацията:

language: cpp
dist: xenial

addons:
  apt:
    update: true
    packages:
      - ant
      - aria2
      - build-essential
      - cmake
      - libgl1-mesa-dev
      - libglu1-mesa-dev
      - libsdl2-dev
      - pv
      - sendemail
      - software-properties-common
    sources:
      - sourceline: 'ppa:ubuntu-toolchain-r/test'
      - sourceline: 'ppa:ubuntu-sdk-team/ppa'

Всички изброени пакети са необходими изключително за PPSSPP.

Сега посочваме матрицата на сглобяване:

matrix:
  include:
    - os: linux
      compiler: "gcc"
      env: PPSSPP_BUILD_TYPE=Linux PVS_ANALYZE=Yes
    - os: linux
      compiler: "clang"
      env: PPSSPP_BUILD_TYPE=Linux

Още малко за секцията матрица. В Travis CI има два начина за създаване на опции за изграждане: първият е да се посочи списък с компилатори, типове операционни системи, променливи на средата и т.н., след което се генерира матрица от всички възможни комбинации; второто е изрично указание на матрицата. Разбира се, можете да комбинирате тези два подхода и да добавите уникален случай или, напротив, да го изключите, като използвате секцията изключвам. Можете да прочетете повече за това в Travis CI документация.

Всичко, което остава, е да предоставите специфични за проекта инструкции за сглобяване:

before_install:
  - travis_retry bash .travis.sh travis_before_install

install:
  - travis_retry bash .travis.sh travis_install

script:
  - bash .travis.sh travis_script

after_success:
  - bash .travis.sh travis_after_success

Travis CI ви позволява да добавяте свои собствени команди за различни етапи от живота на виртуална машина. Раздел преди_инсталиране се изпълнява преди инсталиране на пакети. Тогава инсталирам, което следва инсталирането на пакети от списъка addons.aptкоито посочихме по-горе. Самото сглобяване се извършва в писменост. Ако всичко е минало добре, значи ще се озовем след_успех (именно в този раздел ще проведем статичен анализ). Това не са всички стъпки, които могат да бъдат модифицирани, ако имате нужда от повече, тогава трябва да разгледате Travis CI документация.

За по-лесно четене командите бяха поставени в отделен скрипт .travis.sh, който се поставя в основата на проекта.

Така че имаме следния файл .travis.yml:

language: cpp
dist: xenial

addons:
  apt:
    update: true
    packages:
      - ant
      - aria2
      - build-essential
      - cmake
      - libgl1-mesa-dev
      - libglu1-mesa-dev
      - libsdl2-dev
      - pv
      - sendemail
      - software-properties-common
    sources:
      - sourceline: 'ppa:ubuntu-toolchain-r/test'
      - sourceline: 'ppa:ubuntu-sdk-team/ppa'

matrix:
  include:
    - os: linux
      compiler: "gcc"
      env: PVS_ANALYZE=Yes
    - os: linux
      compiler: "clang"

before_install:
  - travis_retry bash .travis.sh travis_before_install

install:
  - travis_retry bash .travis.sh travis_install

script:
  - bash .travis.sh travis_script

after_success:
  - bash .travis.sh travis_after_success

Преди да инсталираме пакетите, ще актуализираме подмодулите. Това е необходимо за изграждане на PPSSPP. Нека добавим първата функция към .travis.sh (обърнете внимание на разширението):

travis_before_install() {
  git submodule update --init --recursive
}

Сега стигаме директно до настройката на автоматичното стартиране на PVS-Studio в Travis CI. Първо трябва да инсталираме пакета PVS-Studio в системата:

travis_install() {
  if [ "$CXX" = "g++" ]; then
    sudo apt-get install -qq g++-4.8
  fi
  
  if [ "$PVS_ANALYZE" = "Yes" ]; then
    wget -q -O - https://files.viva64.com/etc/pubkey.txt 
      | sudo apt-key add -
    sudo wget -O /etc/apt/sources.list.d/viva64.list 
      https://files.viva64.com/etc/viva64.list  
    
    sudo apt-get update -qq
    sudo apt-get install -qq pvs-studio 
                             libio-socket-ssl-perl 
                             libnet-ssleay-perl
  fi
    
  download_extract 
    "https://cmake.org/files/v3.6/cmake-3.6.2-Linux-x86_64.tar.gz" 
    cmake-3.6.2-Linux-x86_64.tar.gz
}

В началото на функцията travis_install ние инсталираме компилаторите, от които се нуждаем, като използваме променливи на средата. Тогава, ако променливата $PVS_ANALYZE съхранява стойност Да (посочили сме го в раздела Околна среда по време на конфигурацията на матрицата за изграждане), инсталираме пакета pvs-студио. В допълнение към това са посочени и пакети libio-socket-ssl-perl и libnet-ssleay-perl, обаче, те са необходими за изпращане на резултатите по пощата, така че не са необходими, ако сте избрали друг метод за доставяне на вашия отчет.

Функция изтегляне_екстракт изтегля и разопакова посочения архив:

download_extract() {
  aria2c -x 16 $1 -o $2
  tar -xf $2
}

Време е да сглобим проекта. Това се случва в секцията писменост:

travis_script() {
  if [ -d cmake-3.6.2-Linux-x86_64 ]; then
    export PATH=$(pwd)/cmake-3.6.2-Linux-x86_64/bin:$PATH
  fi
  
  CMAKE_ARGS="-DHEADLESS=ON ${CMAKE_ARGS}"
  if [ "$PVS_ANALYZE" = "Yes" ]; then
    CMAKE_ARGS="-DCMAKE_EXPORT_COMPILE_COMMANDS=On ${CMAKE_ARGS}"
  fi
  cmake $CMAKE_ARGS CMakeLists.txt
  make
}

Всъщност това е опростена оригинална конфигурация, с изключение на тези редове:

if [ "$PVS_ANALYZE" = "Yes" ]; then
  CMAKE_ARGS="-DCMAKE_EXPORT_COMPILE_COMMANDS=On ${CMAKE_ARGS}"
fi

В този раздел от кода, който сме задали за cmake флаг за експортиране на команди за компилация. Това е необходимо за анализатор на статичен код. Повече за това можете да прочетете в статията “Как да стартирате PVS-Studio на Linux и macOS".

Ако сглобяването е успешно, тогава стигаме до след_успех, където извършваме статичен анализ:

travis_after_success() {
  if [ "$PVS_ANALYZE" = "Yes" ]; then
    pvs-studio-analyzer credentials $PVS_USERNAME $PVS_KEY -o PVS-Studio.lic
    pvs-studio-analyzer analyze -j2 -l PVS-Studio.lic 
                                    -o PVS-Studio-${CC}.log 
                                    --disableLicenseExpirationCheck
    
    plog-converter -t html PVS-Studio-${CC}.log -o PVS-Studio-${CC}.html
    sendemail -t [email protected] 
              -u "PVS-Studio $CC report, commit:$TRAVIS_COMMIT" 
              -m "PVS-Studio $CC report, commit:$TRAVIS_COMMIT" 
              -s smtp.gmail.com:587 
              -xu $MAIL_USER 
              -xp $MAIL_PASSWORD 
              -o tls=yes 
              -f $MAIL_USER 
              -a PVS-Studio-${CC}.log PVS-Studio-${CC}.html
  fi
}

Нека разгледаме по-подробно следните редове:

pvs-studio-analyzer credentials $PVS_USERNAME $PVS_KEY -o PVS-Studio.lic
pvs-studio-analyzer analyze -j2 -l PVS-Studio.lic 
                                -o PVS-Studio-${CC}.log 
                                --disableLicenseExpirationCheck
plog-converter -t html PVS-Studio-${CC}.log -o PVS-Studio-${CC}.html

Първият ред генерира файл с лиценз от потребителското име и ключа, които посочихме в самото начало при настройването на променливите на средата Travis CI.

Вторият ред стартира директно анализа. Флаг -j задава броя на нишките за анализ, флаг -л показва лиценз, флаг -о дефинира файла за извеждане на регистрационни файлове и флага -disableLicenseExpirationCheck изисква се за пробни версии, тъй като по подразбиране pvs-studio-анализатор ще предупреди потребителя, че лицензът е на път да изтече. За да предотвратите това да се случи, можете да посочите този флаг.

Регистрационният файл съдържа необработен изход, който не може да бъде прочетен без преобразуване, така че първо трябва да направите файла четим. Нека прекараме трупите plog-конвертор, а изходът е html файл.

В този пример реших да изпращам отчети по пощата с помощта на командата Изпратете имейл.

В резултат на това получихме следния файл .travis.sh:

#/bin/bash

travis_before_install() {
  git submodule update --init --recursive
}

download_extract() {
  aria2c -x 16 $1 -o $2
  tar -xf $2
}

travis_install() {
  if [ "$CXX" = "g++" ]; then
    sudo apt-get install -qq g++-4.8
  fi
  
  if [ "$PVS_ANALYZE" = "Yes" ]; then
    wget -q -O - https://files.viva64.com/etc/pubkey.txt 
      | sudo apt-key add -
    sudo wget -O /etc/apt/sources.list.d/viva64.list 
      https://files.viva64.com/etc/viva64.list  
    
    sudo apt-get update -qq
    sudo apt-get install -qq pvs-studio 
                             libio-socket-ssl-perl 
                             libnet-ssleay-perl
  fi
    
  download_extract 
    "https://cmake.org/files/v3.6/cmake-3.6.2-Linux-x86_64.tar.gz" 
    cmake-3.6.2-Linux-x86_64.tar.gz
}
travis_script() {
  if [ -d cmake-3.6.2-Linux-x86_64 ]; then
    export PATH=$(pwd)/cmake-3.6.2-Linux-x86_64/bin:$PATH
  fi
  
  CMAKE_ARGS="-DHEADLESS=ON ${CMAKE_ARGS}"
  if [ "$PVS_ANALYZE" = "Yes" ]; then
    CMAKE_ARGS="-DCMAKE_EXPORT_COMPILE_COMMANDS=On ${CMAKE_ARGS}"
  fi
  cmake $CMAKE_ARGS CMakeLists.txt
  make
}
travis_after_success() {
  if [ "$PVS_ANALYZE" = "Yes" ]; then
    pvs-studio-analyzer credentials $PVS_USERNAME $PVS_KEY -o PVS-Studio.lic
    pvs-studio-analyzer analyze -j2 -l PVS-Studio.lic 
                                    -o PVS-Studio-${CC}.log 
                                    --disableLicenseExpirationCheck
    
    plog-converter -t html PVS-Studio-${CC}.log -o PVS-Studio-${CC}.html
    sendemail -t [email protected] 
              -u "PVS-Studio $CC report, commit:$TRAVIS_COMMIT" 
              -m "PVS-Studio $CC report, commit:$TRAVIS_COMMIT" 
              -s smtp.gmail.com:587 
              -xu $MAIL_USER 
              -xp $MAIL_PASSWORD 
              -o tls=yes 
              -f $MAIL_USER 
              -a PVS-Studio-${CC}.log PVS-Studio-${CC}.html
  fi
}
set -e
set -x

$1;

Сега е време да изпратите промените в git хранилището, след което Travis CI автоматично ще стартира компилацията. Щракнете върху „ppsspp“, за да отидете на отчетите за изграждане:

Ще видим преглед на текущата компилация:

Ако изграждането приключи успешно, ще получим имейл с резултатите от статичния анализ. Разбира се, изпращането по пощата не е единственият начин да получите отчет. Можете да изберете всеки метод на изпълнение. Но е важно да запомните, че след като компилацията приключи, няма да е възможен достъп до файловете на виртуалната машина.

Резюме на грешките

Успешно завършихме най-трудната част. Сега нека се уверим, че всичките ни усилия си заслужават. Нека да разгледаме някои интересни точки от доклада за статичен анализ, който ми дойде по пощата (не напразно го посочих).

Опасна оптимизация

void sha1( unsigned char *input, int ilen, unsigned char output[20] )
{
  sha1_context ctx;

  sha1_starts( &ctx );
  sha1_update( &ctx, input, ilen );
  sha1_finish( &ctx, output );

  memset( &ctx, 0, sizeof( sha1_context ) );
}

PVS-Studio предупреждение: V597 Компилаторът може да изтрие извикването на функцията 'memset', което се използва за изчистване на буфера 'sum'. Функцията RtlSecureZeroMemory() трябва да се използва за изтриване на личните данни. sha1.cpp 325

Тази част от кода се намира в модула за защитено хеширане, но съдържа сериозен пропуск в сигурността (CWE-14). Нека да разгледаме списъка с асемблиране, който се генерира при компилирането на версията за отстраняване на грешки:

; Line 355
  mov r8d, 20
  xor edx, edx
  lea rcx, QWORD PTR sum$[rsp]
  call memset
; Line 356

Всичко е изрядно и функционира мемесет се изпълнява, като по този начин презаписва важни данни в RAM, но все още не се радвайте. Нека да разгледаме списъка за сглобяване на версията Release с оптимизация:

; 354  :
; 355  :  memset( sum, 0, sizeof( sum ) );
; 356  :}

Както може да се види от листинга, компилаторът е пренебрегнал извикването мемесет. Това се дължи на факта, че във функцията sha1 след обаждането мемесет няма повече препратки към структурата ctx. Следователно компилаторът не вижда смисъл да губи процесорно време за презаписване на памет, която не се използва в бъдеще. Можете да коригирате това, като използвате функцията RtlSecureZeroMemory или сходна на нея.

вярна:

void sha1( unsigned char *input, int ilen, unsigned char output[20] )
{
  sha1_context ctx;

  sha1_starts( &ctx );
  sha1_update( &ctx, input, ilen );
  sha1_finish( &ctx, output );

  RtlSecureZeroMemory(&ctx, sizeof( sha1_context ) );
} 

Излишно сравнение

static u32 sceAudioOutputPannedBlocking
             (u32 chan, int leftvol, int rightvol, u32 samplePtr) {
  int result = 0;
  // For some reason, this is the only one that checks for negative.
  if (leftvol > 0xFFFF || rightvol > 0xFFFF || leftvol < 0 || rightvol < 0) {
    ....
  } else {
    if (leftvol >= 0) {
      chans[chan].leftVolume = leftvol;
    }
    if (rightvol >= 0) {
      chans[chan].rightVolume = rightvol;
    }
    chans[chan].sampleAddress = samplePtr;
    result = __AudioEnqueue(chans[chan], chan, true);
  }
}

PVS-Studio предупреждение: V547 Изразът „leftvol >= 0“ винаги е верен. sceAudio.cpp 120

Обърнете внимание на клона else за първия if. Кодът ще бъде изпълнен само ако са изпълнени всички условия leftvol > 0xFFFF || прав звук > 0xFFFF || ляв обем < 0 || прав обем < 0 ще се окаже невярно. Следователно получаваме следните твърдения, които ще бъдат верни за клон else: ляв обем <= 0xFFFF, прав обем <= 0xFFFF, ляв обем >= 0 и прав обем >= 0. Обърнете внимание на последните две твърдения. Има ли смисъл да се проверява кое е необходимото условие за изпълнението на този код?

Така че можем безопасно да премахнем тези условни изрази:

static u32 sceAudioOutputPannedBlocking
(u32 chan, int leftvol, int rightvol, u32 samplePtr) {
  int result = 0;
  // For some reason, this is the only one that checks for negative.
  if (leftvol > 0xFFFF || rightvol > 0xFFFF || leftvol < 0 || rightvol < 0) {
    ....
  } else {
    chans[chan].leftVolume = leftvol;
    chans[chan].rightVolume = rightvol;

    chans[chan].sampleAddress = samplePtr;
    result = __AudioEnqueue(chans[chan], chan, true);
  }
}

Друг сценарий. Има някакъв вид грешка, скрита зад тези излишни условия. Може би не са проверили това, което се изисква.

Ctrl+C Ctrl+V отвръща на удара

static u32 scePsmfSetPsmf(u32 psmfStruct, u32 psmfData) {
  if (!Memory::IsValidAddress(psmfData) ||
      !Memory::IsValidAddress(psmfData)) {
    return hleReportError(ME, SCE_KERNEL_ERROR_ILLEGAL_ADDRESS, "bad address");
  }
  ....
}

V501 Има идентични подизрази '!Memory::IsValidAddress(psmfData)' отляво и отдясно на '||' оператор. scePsmf.cpp 703

Обърнете внимание на чека вътре if. Не мислите ли, че е странно, че проверяваме дали адреса е валиден? psmfData, двойно повече? Така че това ми се струва странно... Всъщност това, разбира се, е печатна грешка и идеята беше да се проверят и двата входни параметъра.

Правилен вариант:

static u32 scePsmfSetPsmf(u32 psmfStruct, u32 psmfData) {
  if (!Memory::IsValidAddress(psmfStruct) ||
      !Memory::IsValidAddress(psmfData)) {
    return hleReportError(ME, SCE_KERNEL_ERROR_ILLEGAL_ADDRESS, "bad address");
  }
  ....
}

Забравена променлива

extern void ud_translate_att(
  int size = 0;
  ....
  if (size == 8) {
    ud_asmprintf(u, "b");
  } else if (size == 16) {
    ud_asmprintf(u, "w");
  } else if (size == 64) {
    ud_asmprintf(u, "q");
  }
  ....
}

PVS-Studio предупреждение: V547 Изразът 'size == 8' винаги е false. syn-att.c 195

Тази грешка се намира в папката вътр, така че не е много подходящо за проекта, но грешката беше открита преди да я забележа, така че реших да я оставя. В крайна сметка тази статия не е за преглед на грешки, а за интеграция с Travis CI и не е извършена конфигурация на анализатора.

променлив размер се инициализира от константа, но изобщо не се използва в кода, чак до оператора if, което, разбира се, дава фалшив докато проверяваме условията, защото, както си спомняме, размер равно на нула. Последващите проверки също нямат смисъл.

Очевидно авторът на кодовия фрагмент е забравил да презапише променливата размер преди това.

Спиране

Вероятно тук ще приключим с грешките. Целта на тази статия е да демонстрира работата на PVS-Studio съвместно с Travis CI, а не да анализира проекта възможно най-задълбочено. Ако искате по-големи и по-красиви грешки, винаги можете да им се възхищавате тук :).

Заключение

Използването на уеб услуги за изграждане на проекти заедно с практиката на инкрементален анализ ви позволява да откриете много проблеми веднага след сливането на код. Една компилация обаче може да не е достатъчна, така че настройката на тестване заедно със статичен анализ значително ще подобри качеството на кода.

Полезни връзки

• Стартиране на PVS-Studio на Linux и macOS
• Стартиране на PVS-Studio в Docker
• Travis CI Документация

Ако искате да споделите тази статия с англоговоряща аудитория, моля, използвайте връзката за превод: Максим Звягинцев. Как да настроите PVS-Studio в Travis CI, като използвате примера на емулатора на игровата конзола на PSP.

Източник: www.habr.com