PSP ゲーム コンソール エミュレータの例を使用して、Travis CI で PVS-Studio を設定する方法

Travis CI は、GitHub をソース コード ホスティングとして使用するソフトウェアの構築とテストのための分散 Web サービスです。 上記の操作シナリオに加えて、広範な構成オプションを利用して独自の操作シナリオを追加できます。 この記事では、PPSSPP コード例を使用して、PVS-Studio で動作するように Travis CI を構成します。

導入

トラビスCI ソフトウェアを構築およびテストするための Web サービスです。 通常、継続的統合の実践と組み合わせて使用​​されます。

PPSSPP - PSP ゲームコンソールエミュレータ。 このプログラムは、Sony PSP 用のディスク イメージからあらゆるゲームの起動をエミュレートできます。 このプログラムは 1 年 2012 月 2 日にリリースされました。 PPSSPP は GPL vXNUMX に基づいてライセンスされています。 誰でも改善できる プロジェクトのソースコード.

PVSスタジオ — プログラム コード内のエラーや潜在的な脆弱性を検索するための静的コード アナライザー。 この記事では、変更のため、開発者のマシン上でローカルではなくクラウドで PVS-Studio を起動し、PPSSPP でエラーを探します。

Travis CI のセットアップ

必要なプロジェクトが配置されている GitHub 上のリポジトリと、PVS-Studio のキーが必要になります (入手できます)。 トライアルキー または オープンソースプロジェクトには無料).

現場に行ってみましょう トラビスCI。 GitHub アカウントを使用して認証すると、リポジトリのリストが表示されます。

テストのために、PPSSPPをフォークしました。

収集したいリポジトリをアクティブ化します。

現時点では、ビルドの指示がないため、Travis CI はプロジェクトをビルドできません。 それでは、設定をしてみましょう。

分析中に、構成ファイルで指定するのは望ましくない PVS-Studio のキーなど、いくつかの変数が役立ちます。 それでは、Travis CI のビルド設定を使用して環境変数を追加しましょう。

私たちは、必要があります。

• PVS_USERNAME - ユーザー名
• PVS_KEY - キー
• MAIL_USER - レポートの送信に使用される電子メール
• MAIL_PASSWORD - メールパスワード

最後の XNUMX つはオプションです。 これらは結果をメールで送信するために使用されます。 別の方法でレポートを配布する場合は、指定する必要はありません。

そこで、必要な環境変数を追加しました。

それではファイルを作成しましょう .travis.yml それをプロジェクトのルートに置きます。 PPSSPP にはすでに Travis CI 用の設定ファイルがありましたが、大きすぎて例にまったく適していなかったため、大幅に簡略化して基本要素のみを残す必要がありました。

まず、言語、仮想マシンで使用する Ubuntu Linux のバージョン、ビルドに必要なパッケージを指定しましょう。

language: cpp
dist: xenial

addons:
  apt:
    update: true
    packages:
      - ant
      - aria2
      - build-essential
      - cmake
      - libgl1-mesa-dev
      - libglu1-mesa-dev
      - libsdl2-dev
      - pv
      - sendemail
      - software-properties-common
    sources:
      - sourceline: 'ppa:ubuntu-toolchain-r/test'
      - sourceline: 'ppa:ubuntu-sdk-team/ppa'

リストされているすべてのパッケージは、PPSSPP 専用に必要です。

ここでアセンブリ行列を示します。

matrix:
  include:
    - os: linux
      compiler: "gcc"
      env: PPSSPP_BUILD_TYPE=Linux PVS_ANALYZE=Yes
    - os: linux
      compiler: "clang"
      env: PPSSPP_BUILD_TYPE=Linux

このセクションについてもう少し詳しく マトリックス。 Travis CI では、ビルド オプションを作成する方法が XNUMX つあります。XNUMX つ目は、コンパイラ、オペレーティング システムの種類、環境変数などのリストを指定し、その後、すべての可能な組み合わせのマトリックスが生成されます。 XNUMX 番目は行列を明示的に示します。 もちろん、これら XNUMX つのアプローチを組み合わせて固有のケースを追加したり、逆にセクションを使用してそれを除外したりすることもできます。 除外する。 これについて詳しくは、 Travis CI ドキュメント.

残っているのは、プロジェクト固有の組み立て手順を提供することだけです。

before_install:
  - travis_retry bash .travis.sh travis_before_install

install:
  - travis_retry bash .travis.sh travis_install

script:
  - bash .travis.sh travis_script

after_success:
  - bash .travis.sh travis_after_success

Travis CI を使用すると、仮想マシンのライフサイクルのさまざまな段階に応じて独自のコマンドを追加できます。 セクション インストール前 パッケージをインストールする前に実行されます。 それから install、リストからのパッケージのインストールに続きます アドオン.aptこれは上で示したとおりです。 アセンブリ自体は次の場所で行われます スクリプト。 すべてがうまくいった場合、私たちは次のようになります。 成功後 (静的解析を実行するのはこのセクションです)。 変更できる手順はこれだけではありません。さらに必要な場合は、次の手順を参照してください。 Travis CI ドキュメント.

読みやすくするために、コマンドは別のスクリプトに配置されました。 .トラヴィス・シュ、プロジェクトのルートに配置されます。

したがって、次のファイルがあります .travis.yml:

language: cpp
dist: xenial

addons:
  apt:
    update: true
    packages:
      - ant
      - aria2
      - build-essential
      - cmake
      - libgl1-mesa-dev
      - libglu1-mesa-dev
      - libsdl2-dev
      - pv
      - sendemail
      - software-properties-common
    sources:
      - sourceline: 'ppa:ubuntu-toolchain-r/test'
      - sourceline: 'ppa:ubuntu-sdk-team/ppa'

matrix:
  include:
    - os: linux
      compiler: "gcc"
      env: PVS_ANALYZE=Yes
    - os: linux
      compiler: "clang"

before_install:
  - travis_retry bash .travis.sh travis_before_install

install:
  - travis_retry bash .travis.sh travis_install

script:
  - bash .travis.sh travis_script

after_success:
  - bash .travis.sh travis_after_success

パッケージをインストールする前に、サブモジュールを更新します。 これはPPSSPPを構築するために必要です。 最初の関数を追加しましょう .トラヴィス・シュ (拡張子に注意してください):

travis_before_install() {
  git submodule update --init --recursive
}

ここで、Travis CI での PVS-Studio の自動起動の設定に直接進みます。 まず、システムに PVS-Studio パッケージをインストールする必要があります。

travis_install() {
  if [ "$CXX" = "g++" ]; then
    sudo apt-get install -qq g++-4.8
  fi
  
  if [ "$PVS_ANALYZE" = "Yes" ]; then
    wget -q -O - https://files.viva64.com/etc/pubkey.txt 
      | sudo apt-key add -
    sudo wget -O /etc/apt/sources.list.d/viva64.list 
      https://files.viva64.com/etc/viva64.list  
    
    sudo apt-get update -qq
    sudo apt-get install -qq pvs-studio 
                             libio-socket-ssl-perl 
                             libnet-ssleay-perl
  fi
    
  download_extract 
    "https://cmake.org/files/v3.6/cmake-3.6.2-Linux-x86_64.tar.gz" 
    cmake-3.6.2-Linux-x86_64.tar.gz
}

関数の初めに travis_install 環境変数を使用して必要なコンパイラをインストールします。 次に、変数が $PVS_ANALYZE 価値を保存する はい (セクションでそれを示しました env ビルド マトリックスの構成中)、パッケージをインストールします pvsスタジオ。 この他にもパッケージも記載されています libio-ソケット-ssl-perl и libnet-ssleay-perlただし、結果を郵送するために必要なため、レポートの配信に別の方法を選択した場合は必要ありません。

機能 ダウンロード_抽出 指定されたアーカイブをダウンロードして解凍します。

download_extract() {
  aria2c -x 16 $1 -o $2
  tar -xf $2
}

プロジェクトをまとめる時期が来ました。 これはセクションで発生します スクリプト:

travis_script() {
  if [ -d cmake-3.6.2-Linux-x86_64 ]; then
    export PATH=$(pwd)/cmake-3.6.2-Linux-x86_64/bin:$PATH
  fi
  
  CMAKE_ARGS="-DHEADLESS=ON ${CMAKE_ARGS}"
  if [ "$PVS_ANALYZE" = "Yes" ]; then
    CMAKE_ARGS="-DCMAKE_EXPORT_COMPILE_COMMANDS=On ${CMAKE_ARGS}"
  fi
  cmake $CMAKE_ARGS CMakeLists.txt
  make
}

実際、これは次の行を除いて、単純化された元の構成です。

if [ "$PVS_ANALYZE" = "Yes" ]; then
  CMAKE_ARGS="-DCMAKE_EXPORT_COMPILE_COMMANDS=On ${CMAKE_ARGS}"
fi

コードのこのセクションでは、次のように設定します cmake コンパイルコマンドをエクスポートするためのフラグ。 これは静的コード アナライザーに必要です。 これについては、記事「」で詳しく読むことができます。Linux および macOS で PVS-Studio を実行する方法"

アセンブリが成功したら、次のことを行います。 成功後ここで静的分析を実行します。

travis_after_success() {
  if [ "$PVS_ANALYZE" = "Yes" ]; then
    pvs-studio-analyzer credentials $PVS_USERNAME $PVS_KEY -o PVS-Studio.lic
    pvs-studio-analyzer analyze -j2 -l PVS-Studio.lic 
                                    -o PVS-Studio-${CC}.log 
                                    --disableLicenseExpirationCheck
    
    plog-converter -t html PVS-Studio-${CC}.log -o PVS-Studio-${CC}.html
    sendemail -t [email protected] 
              -u "PVS-Studio $CC report, commit:$TRAVIS_COMMIT" 
              -m "PVS-Studio $CC report, commit:$TRAVIS_COMMIT" 
              -s smtp.gmail.com:587 
              -xu $MAIL_USER 
              -xp $MAIL_PASSWORD 
              -o tls=yes 
              -f $MAIL_USER 
              -a PVS-Studio-${CC}.log PVS-Studio-${CC}.html
  fi
}

次の行を詳しく見てみましょう。

pvs-studio-analyzer credentials $PVS_USERNAME $PVS_KEY -o PVS-Studio.lic
pvs-studio-analyzer analyze -j2 -l PVS-Studio.lic 
                                -o PVS-Studio-${CC}.log 
                                --disableLicenseExpirationCheck
plog-converter -t html PVS-Studio-${CC}.log -o PVS-Studio-${CC}.html

最初の行では、Travis CI 環境変数を設定するときに最初に指定したユーザー名とキーからライセンス ファイルを生成します。

XNUMX 行目は分析を直接開始します。 フラグ -j 分析用のスレッド数を設定し、フラグを設定します。 -l ライセンス、フラグを示します -o ログを出力するファイルとフラグを定義します。 -disableLicenseExpirationCheck 試用版にはデフォルトで必須なので、 pvs-スタジオアナライザー ライセンスの有効期限が近づいていることをユーザーに警告します。 これを防ぐために、このフラグを指定できます。

ログ ファイルには、変換しないと読み取ることができない生の出力が含まれているため、最初にファイルを読み取り可能にする必要があります。 ログを渡してみましょう プログコンバーター、出力は html ファイルです。

この例では、次のコマンドを使用してレポートをメールで送信することにしました。 メールを送る.

その結果、以下のファイルが得られました .トラヴィス・シュ:

#/bin/bash

travis_before_install() {
  git submodule update --init --recursive
}

download_extract() {
  aria2c -x 16 $1 -o $2
  tar -xf $2
}

travis_install() {
  if [ "$CXX" = "g++" ]; then
    sudo apt-get install -qq g++-4.8
  fi
  
  if [ "$PVS_ANALYZE" = "Yes" ]; then
    wget -q -O - https://files.viva64.com/etc/pubkey.txt 
      | sudo apt-key add -
    sudo wget -O /etc/apt/sources.list.d/viva64.list 
      https://files.viva64.com/etc/viva64.list  
    
    sudo apt-get update -qq
    sudo apt-get install -qq pvs-studio 
                             libio-socket-ssl-perl 
                             libnet-ssleay-perl
  fi
    
  download_extract 
    "https://cmake.org/files/v3.6/cmake-3.6.2-Linux-x86_64.tar.gz" 
    cmake-3.6.2-Linux-x86_64.tar.gz
}
travis_script() {
  if [ -d cmake-3.6.2-Linux-x86_64 ]; then
    export PATH=$(pwd)/cmake-3.6.2-Linux-x86_64/bin:$PATH
  fi
  
  CMAKE_ARGS="-DHEADLESS=ON ${CMAKE_ARGS}"
  if [ "$PVS_ANALYZE" = "Yes" ]; then
    CMAKE_ARGS="-DCMAKE_EXPORT_COMPILE_COMMANDS=On ${CMAKE_ARGS}"
  fi
  cmake $CMAKE_ARGS CMakeLists.txt
  make
}
travis_after_success() {
  if [ "$PVS_ANALYZE" = "Yes" ]; then
    pvs-studio-analyzer credentials $PVS_USERNAME $PVS_KEY -o PVS-Studio.lic
    pvs-studio-analyzer analyze -j2 -l PVS-Studio.lic 
                                    -o PVS-Studio-${CC}.log 
                                    --disableLicenseExpirationCheck
    
    plog-converter -t html PVS-Studio-${CC}.log -o PVS-Studio-${CC}.html
    sendemail -t [email protected] 
              -u "PVS-Studio $CC report, commit:$TRAVIS_COMMIT" 
              -m "PVS-Studio $CC report, commit:$TRAVIS_COMMIT" 
              -s smtp.gmail.com:587 
              -xu $MAIL_USER 
              -xp $MAIL_PASSWORD 
              -o tls=yes 
              -f $MAIL_USER 
              -a PVS-Studio-${CC}.log PVS-Studio-${CC}.html
  fi
}
set -e
set -x

$1;

次に、変更を git リポジトリにプッシュします。その後、Travis CI が自動的にビルドを実行します。 「ppsspp」をクリックしてビルド レポートに移動します。

現在のビルドの概要が表示されます。

ビルドが正常に完了すると、静的解析の結果が電子メールで届きます。 もちろん、レポートを受け取る方法は郵送だけではありません。 任意の実装方法を選択できます。 ただし、ビルドの完了後は仮想マシンのファイルにアクセスできなくなることに注意してください。

エラーの概要

最も困難な部分を無事に完了しました。 今、私たちのすべての努力が価値があることを確認しましょう。 私にメールで届いた静的解析レポートから興味深い点をいくつか見てみましょう (私がそれを指摘したのは無駄ではありませんでした)。

危険な最適化

void sha1( unsigned char *input, int ilen, unsigned char output[20] )
{
  sha1_context ctx;

  sha1_starts( &ctx );
  sha1_update( &ctx, input, ilen );
  sha1_finish( &ctx, output );

  memset( &ctx, 0, sizeof( sha1_context ) );
}

PVS-Studio の警告: V６０ コンパイラは、「sum」バッファをフラッシュするために使用される「memset」関数呼び出しを削除する可能性があります。 プライベート データを消去するには、RtlSecureZeroMemory() 関数を使用する必要があります。 sha1.cpp 325

このコード部分はセキュア ハッシュ モジュール内にありますが、重大なセキュリティ上の欠陥が含まれています (CWE-14）。 デバッグ バージョンのコンパイル時に生成されるアセンブリ リストを見てみましょう。

; Line 355
  mov r8d, 20
  xor edx, edx
  lea rcx, QWORD PTR sum$[rsp]
  call memset
; Line 356

すべてが正常に機能し、 メモリセット が実行されると、RAM 内の重要なデータが上書きされますが、まだ喜ぶ必要はありません。 最適化されたリリース バージョンのアセンブリ リストを見てみましょう。

; 354  :
; 355  :  memset( sum, 0, sizeof( sum ) );
; 356  :}

リストからわかるように、コンパイラは呼び出しを無視しました。 メモリセット。 これは、関数内で sha1 電話の後 メモリセット 構造への言及はもうありません CTX。 したがって、コンパイラは、将来使用されないメモリを上書きしてプロセッサ時間を無駄にすることに意味がありません。 関数を使用してこれを修正できます RtlSecureZeroMemory または 似た 彼女。

正しい：

void sha1( unsigned char *input, int ilen, unsigned char output[20] )
{
  sha1_context ctx;

  sha1_starts( &ctx );
  sha1_update( &ctx, input, ilen );
  sha1_finish( &ctx, output );

  RtlSecureZeroMemory(&ctx, sizeof( sha1_context ) );
} 

不必要な比較

static u32 sceAudioOutputPannedBlocking
             (u32 chan, int leftvol, int rightvol, u32 samplePtr) {
  int result = 0;
  // For some reason, this is the only one that checks for negative.
  if (leftvol > 0xFFFF || rightvol > 0xFFFF || leftvol < 0 || rightvol < 0) {
    ....
  } else {
    if (leftvol >= 0) {
      chans[chan].leftVolume = leftvol;
    }
    if (rightvol >= 0) {
      chans[chan].rightVolume = rightvol;
    }
    chans[chan].sampleAddress = samplePtr;
    result = __AudioEnqueue(chans[chan], chan, true);
  }
}

PVS-Studio の警告: V６０ 式「leftvol >= 0」は常に true です。 sceAudio.cpp 120

最初のelseブランチに注目してください if。 コードはすべての条件が満たされた場合にのみ実行されます。 左ボリューム > 0xFFFF || 右ボリューム > 0xFFFF || 左ボリューム < 0 || 右ボリューム < 0 嘘であることが判明するでしょう。 したがって、次のステートメントが得られます。これは、else ブランチに当てはまります。 左ボリューム <= 0xFFFF, rightvol <= 0xFFFF, 左ボリューム >= 0 и 右ボリューム >= 0。 最後の XNUMX つのステートメントに注目してください。 このコードを実行するために必要な条件を確認するのは意味があるでしょうか?

したがって、これらの条件ステートメントを安全に削除できます。

static u32 sceAudioOutputPannedBlocking
(u32 chan, int leftvol, int rightvol, u32 samplePtr) {
  int result = 0;
  // For some reason, this is the only one that checks for negative.
  if (leftvol > 0xFFFF || rightvol > 0xFFFF || leftvol < 0 || rightvol < 0) {
    ....
  } else {
    chans[chan].leftVolume = leftvol;
    chans[chan].rightVolume = rightvol;

    chans[chan].sampleAddress = samplePtr;
    result = __AudioEnqueue(chans[chan], chan, true);
  }
}

別のシナリオ。 これらの冗長な条件の背後には、ある種のエラーが隠れています。 おそらく、必要なものを確認していなかったのではないでしょうか。

Ctrl+C Ctrl+V の逆襲

static u32 scePsmfSetPsmf(u32 psmfStruct, u32 psmfData) {
  if (!Memory::IsValidAddress(psmfData) ||
      !Memory::IsValidAddress(psmfData)) {
    return hleReportError(ME, SCE_KERNEL_ERROR_ILLEGAL_ADDRESS, "bad address");
  }
  ....
}

V６０ '||' の左側と右側に同一の部分式 '!Memory::IsValidAddress(psmfData)' があります。 オペレーター。 scePsmf.cpp 703

中のチェックに注目 if。 住所が有効かどうかを確認するのは奇妙だと思いませんか? psmfデータ、 XNUMX倍多いです？ これは私には奇妙に思えます...実際、これはもちろんタイプミスであり、両方の入力パラメータをチェックするという考えでした。

正しいオプション:

static u32 scePsmfSetPsmf(u32 psmfStruct, u32 psmfData) {
  if (!Memory::IsValidAddress(psmfStruct) ||
      !Memory::IsValidAddress(psmfData)) {
    return hleReportError(ME, SCE_KERNEL_ERROR_ILLEGAL_ADDRESS, "bad address");
  }
  ....
}

忘れられた変数

extern void ud_translate_att(
  int size = 0;
  ....
  if (size == 8) {
    ud_asmprintf(u, "b");
  } else if (size == 16) {
    ud_asmprintf(u, "w");
  } else if (size == 64) {
    ud_asmprintf(u, "q");
  }
  ....
}

PVS-Studio の警告: V６０ 式「size == 8」は常に false です。 syn-att.c 195

このエラーは次のフォルダにあります EXTなのでプロジェクトにはあまり関係ないのですが、いつの間にかバグが見つかったので放置することにしました。 結局のところ、この記事はエラーのレビューに関するものではなく、Travis CI との統合に関するものであり、アナライザーの構成は実行されていません。

可変 サイズ 定数によって初期化されますが、コード内では演算子に至るまでまったく使用されません。 ifもちろん、これにより、 false 条件をチェックしながら、なぜなら私たちが覚えているように、 サイズ ゼロに等しい。 その後のチェックも意味がありません。

どうやら、コードフラグメントの作成者が変数を上書きするのを忘れたようです サイズ それ以前は。

Force Stop

おそらくここで間違いが終わることになるでしょう。 この記事の目的は、PVS-Studio と Travis CI の動作を実証することであり、プロジェクトを可能な限り徹底的に分析することではありません。 もっと大きくて美しい間違いをしたければ、いつでもそれを賞賛することができます ここで :)。

まとめ

Web サービスを使用してプロジェクトを構築し、増分分析を実践すると、コードをマージした直後に多くの問題を見つけることができます。 ただし、XNUMX つのビルドでは十分ではない可能性があるため、静的分析と組み合わせてテストを設定すると、コードの品質が大幅に向上します。

便利なリンク集

• Linux および macOS での PVS-Studio の起動
• Docker での PVS-Studio の起動
• Travis CI ドキュメント

この記事を英語圏の読者と共有したい場合は、翻訳リンク「Maxim Zvyagintsev」を使用してください。 PSP ゲーム機エミュレータの例を使用して、Travis CI で PVS-Studio をセットアップする方法.

出所： habr.com