כיצד להגדיר את PVS-Studio ב-Travis CI באמצעות הדוגמה של אמולטור קונסולת משחק PSP

Travis CI הוא שירות אינטרנט מבוזר לבניית ובדיקת תוכנות המשתמש ב-GitHub כאחסון קוד מקור. בנוסף לתרחישי ההפעלה הנ"ל, אתה יכול להוסיף משלך הודות לאפשרויות התצורה הנרחבות. במאמר זה נגדיר את Travis CI לעבוד עם PVS-Studio באמצעות דוגמה לקוד PPSSPP.

מבוא

טרוויס CI הוא שירות אינטרנט לבניית ובדיקת תוכנות. הוא משמש בדרך כלל בשילוב עם שיטות אינטגרציה מתמשכות.

PPSSPP - אמולטור קונסולת משחקים PSP. התוכנית מסוגלת לחקות את ההשקה של כל משחק מתוך תמונות דיסק המיועדות עבור Sony PSP. התוכנית שוחררה ב-1 בנובמבר 2012. PPSSPP מורשה תחת GPL v2. כל אחד יכול לעשות שיפורים קוד המקור של הפרויקט.

סטודיו PVS - מנתח קוד סטטי לחיפוש שגיאות ופגיעויות פוטנציאליות בקוד התוכנית. במאמר זה, לשם שינוי, נשיק את PVS-Studio לא באופן מקומי על המחשב של המפתח, אלא בענן, ונחפש שגיאות ב-PPSSPP.

הגדרת Travis CI

נצטרך מאגר ב-GitHub, שבו נמצא הפרויקט שאנו צריכים, כמו גם מפתח עבור PVS-Studio (תוכל לקבל מפתח ניסיון או חינם עבור פרויקטי קוד פתוח).

בוא נלך לאתר טרוויס CI. לאחר הרשאה באמצעות חשבון GitHub שלך, נראה רשימה של מאגרים:

לבדיקה, חילפתי PPSSPP.

אנו מפעילים את המאגר שאנו רוצים לאסוף:

כרגע, Travis CI לא יכול לבנות את הפרויקט שלנו כי אין הוראות לבנייה. אז הגיע הזמן להגדרה.

במהלך הניתוח, כמה משתנים יהיו שימושיים עבורנו, למשל, המפתח עבור PVS-Studio, שלא רצוי לציין בקובץ התצורה. אז בואו נוסיף משתני סביבה באמצעות הגדרות הבנייה ב-Travis CI:

אנחנו צריכים:

• PVS_USERNAME - שם משתמש
• PVS_KEY - מפתח
• MAIL_USER - אימייל שישמש לשליחת הדוח
• MAIL_PASSWORD - סיסמת דוא"ל

שני האחרונים הם אופציונליים. אלה ישמשו לשליחת תוצאות בדואר. אם ברצונך להפיץ את הדוח בדרך אחרת, אין צורך לציין אותם.

אז, הוספנו את משתני הסביבה הדרושים לנו:

עכשיו בואו ניצור קובץ .travis.yml ולמקם אותו בשורש הפרויקט. ל-PPSSPP כבר היה קובץ תצורה עבור Travis CI, עם זאת, הוא היה גדול מדי ולגמרי לא מתאים לדוגמא, אז היינו צריכים לפשט אותו מאוד ולהשאיר רק את האלמנטים הבסיסיים.

ראשית, נציין את השפה, את הגרסה של אובונטו לינוקס בה אנו רוצים להשתמש במכונה הוירטואלית, והחבילות הדרושות לבנייה:

language: cpp
dist: xenial

addons:
  apt:
    update: true
    packages:
      - ant
      - aria2
      - build-essential
      - cmake
      - libgl1-mesa-dev
      - libglu1-mesa-dev
      - libsdl2-dev
      - pv
      - sendemail
      - software-properties-common
    sources:
      - sourceline: 'ppa:ubuntu-toolchain-r/test'
      - sourceline: 'ppa:ubuntu-sdk-team/ppa'

כל החבילות המפורטות נחוצות אך ורק עבור PPSSPP.

כעת אנו מציינים את מטריצת ההרכבה:

matrix:
  include:
    - os: linux
      compiler: "gcc"
      env: PPSSPP_BUILD_TYPE=Linux PVS_ANALYZE=Yes
    - os: linux
      compiler: "clang"
      env: PPSSPP_BUILD_TYPE=Linux

עוד קצת על הסעיף מַטרִיצָה. ב-Travis CI ישנן שתי דרכים ליצור אפשרויות בנייה: הראשונה היא לציין רשימה של מהדרים, סוגי מערכות הפעלה, משתני סביבה וכו', ולאחר מכן נוצרת מטריצה ​​של כל השילובים האפשריים; השני הוא אינדיקציה מפורשת של המטריצה. כמובן, ניתן לשלב את שתי הגישות הללו ולהוסיף מקרה ייחודי, או להיפך, לא לכלול אותו באמצעות הסעיף להוציא. אתה יכול לקרוא עוד על זה ב תיעוד Travis CI.

כל מה שנותר הוא לספק הוראות הרכבה ספציפיות לפרויקט:

before_install:
  - travis_retry bash .travis.sh travis_before_install

install:
  - travis_retry bash .travis.sh travis_install

script:
  - bash .travis.sh travis_script

after_success:
  - bash .travis.sh travis_after_success

Travis CI מאפשר לך להוסיף פקודות משלך עבור שלבים שונים בחייה של מכונה וירטואלית. סָעִיף לפני_התקנה בוצע לפני התקנת חבילות. לאחר מכן להתקין, אשר עוקב אחר התקנת החבילות מהרשימה addons.aptשציינו למעלה. ההרכבה עצמה מתקיימת ב תסריט. אם הכל הלך כשורה, אז אנחנו מוצאים את עצמנו פנימה אחרי_הצלחה (בחלק זה נפעיל ניתוח סטטי). אלה לא כל השלבים שניתן לשנות, אם אתה צריך יותר, אז אתה צריך להסתכל פנימה תיעוד Travis CI.

כדי להקל על הקריאה, הפקודות הוצבו בסקריפט נפרד .travis.sh, אשר ממוקם בשורש הפרויקט.

אז יש לנו את הקובץ הבא .travis.yml:

language: cpp
dist: xenial

addons:
  apt:
    update: true
    packages:
      - ant
      - aria2
      - build-essential
      - cmake
      - libgl1-mesa-dev
      - libglu1-mesa-dev
      - libsdl2-dev
      - pv
      - sendemail
      - software-properties-common
    sources:
      - sourceline: 'ppa:ubuntu-toolchain-r/test'
      - sourceline: 'ppa:ubuntu-sdk-team/ppa'

matrix:
  include:
    - os: linux
      compiler: "gcc"
      env: PVS_ANALYZE=Yes
    - os: linux
      compiler: "clang"

before_install:
  - travis_retry bash .travis.sh travis_before_install

install:
  - travis_retry bash .travis.sh travis_install

script:
  - bash .travis.sh travis_script

after_success:
  - bash .travis.sh travis_after_success

לפני התקנת החבילות, נעדכן את תת-המודולים. זה נחוץ כדי לבנות PPSSPP. בואו נוסיף את הפונקציה הראשונה ל .travis.sh (שימו לב להרחבה):

travis_before_install() {
  git submodule update --init --recursive
}

כעת אנו מגיעים ישירות להגדרת ההשקה האוטומטית של PVS-Studio ב-Travis CI. ראשית עלינו להתקין את חבילת PVS-Studio על המערכת:

travis_install() {
  if [ "$CXX" = "g++" ]; then
    sudo apt-get install -qq g++-4.8
  fi
  
  if [ "$PVS_ANALYZE" = "Yes" ]; then
    wget -q -O - https://files.viva64.com/etc/pubkey.txt 
      | sudo apt-key add -
    sudo wget -O /etc/apt/sources.list.d/viva64.list 
      https://files.viva64.com/etc/viva64.list  
    
    sudo apt-get update -qq
    sudo apt-get install -qq pvs-studio 
                             libio-socket-ssl-perl 
                             libnet-ssleay-perl
  fi
    
  download_extract 
    "https://cmake.org/files/v3.6/cmake-3.6.2-Linux-x86_64.tar.gz" 
    cmake-3.6.2-Linux-x86_64.tar.gz
}

בתחילת הפונקציה travis_install אנו מתקינים את המהדרים שאנו צריכים באמצעות משתני סביבה. ואז אם המשתנה $PVS_ANALYZE שומרת ערך יש (ציינו זאת בסעיף env במהלך תצורת המטריצה ​​לבנות), אנו מתקינים את החבילה pvs-studio. בנוסף לכך, מצוינות גם חבילות libio-socket-ssl-perl и libnet-ssleay-perl, עם זאת, הם נדרשים עבור שליחת תוצאות בדואר, ולכן הם אינם נחוצים אם בחרת בשיטה אחרת להעברת הדוח שלך.

פונקציה הורדה_חלץ מוריד ומפרק את הארכיון שצוין:

download_extract() {
  aria2c -x 16 $1 -o $2
  tar -xf $2
}

הגיע הזמן להרכיב את הפרויקט. זה קורה בסעיף תסריט:

travis_script() {
  if [ -d cmake-3.6.2-Linux-x86_64 ]; then
    export PATH=$(pwd)/cmake-3.6.2-Linux-x86_64/bin:$PATH
  fi
  
  CMAKE_ARGS="-DHEADLESS=ON ${CMAKE_ARGS}"
  if [ "$PVS_ANALYZE" = "Yes" ]; then
    CMAKE_ARGS="-DCMAKE_EXPORT_COMPILE_COMMANDS=On ${CMAKE_ARGS}"
  fi
  cmake $CMAKE_ARGS CMakeLists.txt
  make
}

למעשה, זוהי תצורה מקורית פשוטה, למעט שורות אלה:

if [ "$PVS_ANALYZE" = "Yes" ]; then
  CMAKE_ARGS="-DCMAKE_EXPORT_COMPILE_COMMANDS=On ${CMAKE_ARGS}"
fi

בחלק זה של הקוד שקבענו עבור cmmake דגל לייצוא פקודות קומפילציה. זה הכרחי עבור מנתח קוד סטטי. תוכל לקרוא עוד על כך במאמר "כיצד להפעיל PVS-Studio על לינוקס ו-macOS".

אם ההרכבה הייתה מוצלחת, אז נגיע אחרי_הצלחה, שבו אנו מבצעים ניתוח סטטי:

travis_after_success() {
  if [ "$PVS_ANALYZE" = "Yes" ]; then
    pvs-studio-analyzer credentials $PVS_USERNAME $PVS_KEY -o PVS-Studio.lic
    pvs-studio-analyzer analyze -j2 -l PVS-Studio.lic 
                                    -o PVS-Studio-${CC}.log 
                                    --disableLicenseExpirationCheck
    
    plog-converter -t html PVS-Studio-${CC}.log -o PVS-Studio-${CC}.html
    sendemail -t [email protected] 
              -u "PVS-Studio $CC report, commit:$TRAVIS_COMMIT" 
              -m "PVS-Studio $CC report, commit:$TRAVIS_COMMIT" 
              -s smtp.gmail.com:587 
              -xu $MAIL_USER 
              -xp $MAIL_PASSWORD 
              -o tls=yes 
              -f $MAIL_USER 
              -a PVS-Studio-${CC}.log PVS-Studio-${CC}.html
  fi
}

בואו נסתכל מקרוב על השורות הבאות:

pvs-studio-analyzer credentials $PVS_USERNAME $PVS_KEY -o PVS-Studio.lic
pvs-studio-analyzer analyze -j2 -l PVS-Studio.lic 
                                -o PVS-Studio-${CC}.log 
                                --disableLicenseExpirationCheck
plog-converter -t html PVS-Studio-${CC}.log -o PVS-Studio-${CC}.html

השורה הראשונה יוצרת קובץ רישיון מתוך שם המשתמש והמפתח שציינו כבר בהתחלה בעת הגדרת משתני הסביבה של Travis CI.

השורה השנייה מתחילה את הניתוח ישירות. דֶגֶל -י מגדיר את מספר השרשורים לניתוח, דגל -ל מציין רישיון, דגל -או מגדיר את הקובץ לפלט יומנים, ואת הדגל -disableLicenseExpirationCheck נדרש עבור גרסאות ניסיון, שכן כברירת מחדל pvs-studio-analyzer יזהיר את המשתמש שהרישיון עומד לפוג. כדי למנוע את זה, אתה יכול לציין דגל זה.

קובץ היומן מכיל פלט גולמי שלא ניתן לקרוא ללא המרה, אז תחילה עליך להפוך את הקובץ לקריא. בואו נעביר את היומנים ממיר-plog, והפלט הוא קובץ HTML.

בדוגמה זו, החלטתי לשלוח דוחות בדואר באמצעות הפקודה שלח אימייל.

כתוצאה מכך, קיבלנו את הקובץ הבא .travis.sh:

#/bin/bash

travis_before_install() {
  git submodule update --init --recursive
}

download_extract() {
  aria2c -x 16 $1 -o $2
  tar -xf $2
}

travis_install() {
  if [ "$CXX" = "g++" ]; then
    sudo apt-get install -qq g++-4.8
  fi
  
  if [ "$PVS_ANALYZE" = "Yes" ]; then
    wget -q -O - https://files.viva64.com/etc/pubkey.txt 
      | sudo apt-key add -
    sudo wget -O /etc/apt/sources.list.d/viva64.list 
      https://files.viva64.com/etc/viva64.list  
    
    sudo apt-get update -qq
    sudo apt-get install -qq pvs-studio 
                             libio-socket-ssl-perl 
                             libnet-ssleay-perl
  fi
    
  download_extract 
    "https://cmake.org/files/v3.6/cmake-3.6.2-Linux-x86_64.tar.gz" 
    cmake-3.6.2-Linux-x86_64.tar.gz
}
travis_script() {
  if [ -d cmake-3.6.2-Linux-x86_64 ]; then
    export PATH=$(pwd)/cmake-3.6.2-Linux-x86_64/bin:$PATH
  fi
  
  CMAKE_ARGS="-DHEADLESS=ON ${CMAKE_ARGS}"
  if [ "$PVS_ANALYZE" = "Yes" ]; then
    CMAKE_ARGS="-DCMAKE_EXPORT_COMPILE_COMMANDS=On ${CMAKE_ARGS}"
  fi
  cmake $CMAKE_ARGS CMakeLists.txt
  make
}
travis_after_success() {
  if [ "$PVS_ANALYZE" = "Yes" ]; then
    pvs-studio-analyzer credentials $PVS_USERNAME $PVS_KEY -o PVS-Studio.lic
    pvs-studio-analyzer analyze -j2 -l PVS-Studio.lic 
                                    -o PVS-Studio-${CC}.log 
                                    --disableLicenseExpirationCheck
    
    plog-converter -t html PVS-Studio-${CC}.log -o PVS-Studio-${CC}.html
    sendemail -t [email protected] 
              -u "PVS-Studio $CC report, commit:$TRAVIS_COMMIT" 
              -m "PVS-Studio $CC report, commit:$TRAVIS_COMMIT" 
              -s smtp.gmail.com:587 
              -xu $MAIL_USER 
              -xp $MAIL_PASSWORD 
              -o tls=yes 
              -f $MAIL_USER 
              -a PVS-Studio-${CC}.log PVS-Studio-${CC}.html
  fi
}
set -e
set -x

$1;

עכשיו הגיע הזמן לדחוף את השינויים למאגר git, ולאחר מכן Travis CI יריץ אוטומטית את ה-build. לחץ על "ppsspp" כדי לעבור לדוחות הבנייה:

נראה סקירה כללית של המבנה הנוכחי:

אם הבנייה תסתיים בהצלחה, נקבל מייל עם תוצאות הניתוח הסטטי. כמובן שדיוור אינו הדרך היחידה לקבל דיווח. אתה יכול לבחור כל שיטת יישום. אבל חשוב לזכור שלאחר השלמת הבנייה, לא ניתן יהיה לגשת לקבצי המחשב הוירטואלי.

סיכום שגיאה

סיימנו בהצלחה את החלק הקשה ביותר. עכשיו בואו נוודא שכל המאמצים שלנו שווים את זה. בואו נסתכל על כמה נקודות מעניינות מדוח הניתוח הסטטי שהגיע אלי בדואר (לא בכדי ציינתי זאת).

אופטימיזציה מסוכנת

void sha1( unsigned char *input, int ilen, unsigned char output[20] )
{
  sha1_context ctx;

  sha1_starts( &ctx );
  sha1_update( &ctx, input, ilen );
  sha1_finish( &ctx, output );

  memset( &ctx, 0, sizeof( sha1_context ) );
}

אזהרת PVS-Studio: V597 המהדר יכול למחוק את קריאת הפונקציה 'memset', המשמשת לניקוי מאגר 'sum'. יש להשתמש בפונקציה RtlSecureZeroMemory() כדי למחוק את הנתונים הפרטיים. sha1.cpp 325

פיסת קוד זו ממוקמת במודול הגיבוב המאובטח, אולם היא מכילה פגם אבטחה חמור (CWE-14). בואו נסתכל על רשימת ההרכבה שנוצרת בעת הידור של גרסת Debug:

; Line 355
  mov r8d, 20
  xor edx, edx
  lea rcx, QWORD PTR sum$[rsp]
  call memset
; Line 356

הכל מסודר והפונקציה ממט מבוצע, ובכך מדרוס נתונים חשובים ב-RAM, עם זאת, אל תשמח עדיין. בואו נסתכל על רשימת ההרכבה של גרסת השחרור עם אופטימיזציה:

; 354  :
; 355  :  memset( sum, 0, sizeof( sum ) );
; 356  :}

כפי שניתן לראות מהרישום, המהדר התעלם מהקריאה ממט. זאת בשל העובדה שבפונקציה sha1 לאחר השיחה ממט אין עוד התייחסות למבנה ctx. לכן, המהדר לא רואה טעם לבזבז זמן מעבד על החלפת זיכרון שלא יהיה בשימוש בעתיד. אתה יכול לתקן זאת באמצעות הפונקציה RtlSecureZeroMemory או דומה שֶׁלָה.

נכון:

void sha1( unsigned char *input, int ilen, unsigned char output[20] )
{
  sha1_context ctx;

  sha1_starts( &ctx );
  sha1_update( &ctx, input, ilen );
  sha1_finish( &ctx, output );

  RtlSecureZeroMemory(&ctx, sizeof( sha1_context ) );
} 

השוואה מיותרת

static u32 sceAudioOutputPannedBlocking
             (u32 chan, int leftvol, int rightvol, u32 samplePtr) {
  int result = 0;
  // For some reason, this is the only one that checks for negative.
  if (leftvol > 0xFFFF || rightvol > 0xFFFF || leftvol < 0 || rightvol < 0) {
    ....
  } else {
    if (leftvol >= 0) {
      chans[chan].leftVolume = leftvol;
    }
    if (rightvol >= 0) {
      chans[chan].rightVolume = rightvol;
    }
    chans[chan].sampleAddress = samplePtr;
    result = __AudioEnqueue(chans[chan], chan, true);
  }
}

אזהרת PVS-Studio: V547 הביטוי 'leftvol >= 0' הוא תמיד נכון. sceAudio.cpp 120

שימו לב לסניף else לראשונים if. הקוד יבוצע רק אם כל התנאים leftvol > 0xFFFF || rightvol > 0xFFFF || leftvol < 0 || rightvol < 0 יתברר כשקרי. לכן, אנו מקבלים את ההצהרות הבאות, שיהיו נכונות עבור ענף else: leftvol <= 0xFFFF, rightvol <= 0xFFFF, leftvol >= 0 и rightvol >= 0. שימו לב לשתי ההצהרות האחרונות. האם יש טעם לבדוק מהו תנאי הכרחי לביצוע קטע קוד זה?

אז נוכל להסיר בבטחה את ההצהרות המותנות האלה:

static u32 sceAudioOutputPannedBlocking
(u32 chan, int leftvol, int rightvol, u32 samplePtr) {
  int result = 0;
  // For some reason, this is the only one that checks for negative.
  if (leftvol > 0xFFFF || rightvol > 0xFFFF || leftvol < 0 || rightvol < 0) {
    ....
  } else {
    chans[chan].leftVolume = leftvol;
    chans[chan].rightVolume = rightvol;

    chans[chan].sampleAddress = samplePtr;
    result = __AudioEnqueue(chans[chan], chan, true);
  }
}

עוד תרחיש. יש איזושהי שגיאה מסתתרת מאחורי התנאים המיותרים האלה. אולי לא בדקו מה נדרש.

Ctrl+C Ctrl+V מכה חזרה

static u32 scePsmfSetPsmf(u32 psmfStruct, u32 psmfData) {
  if (!Memory::IsValidAddress(psmfData) ||
      !Memory::IsValidAddress(psmfData)) {
    return hleReportError(ME, SCE_KERNEL_ERROR_ILLEGAL_ADDRESS, "bad address");
  }
  ....
}

V501 יש ביטויי משנה זהים '!Memory::IsValidAddress(psmfData)' משמאל ומימין ל'||' מַפעִיל. scePsmf.cpp 703

שימו לב לשיק בפנים if. אתה לא חושב שזה מוזר שאנחנו בודקים אם הכתובת תקפה? psmfData, פי שתיים? אז זה נראה לי מוזר... למעשה, זו כמובן טעות הקלדה, והרעיון היה לבדוק את שני פרמטרי הקלט.

אפשרות נכונה:

static u32 scePsmfSetPsmf(u32 psmfStruct, u32 psmfData) {
  if (!Memory::IsValidAddress(psmfStruct) ||
      !Memory::IsValidAddress(psmfData)) {
    return hleReportError(ME, SCE_KERNEL_ERROR_ILLEGAL_ADDRESS, "bad address");
  }
  ....
}

משתנה נשכח

extern void ud_translate_att(
  int size = 0;
  ....
  if (size == 8) {
    ud_asmprintf(u, "b");
  } else if (size == 16) {
    ud_asmprintf(u, "w");
  } else if (size == 64) {
    ud_asmprintf(u, "q");
  }
  ....
}

אזהרת PVS-Studio: V547 הביטוי 'גודל == 8' הוא תמיד שקר. syn-att.c 195

שגיאה זו ממוקמת בתיקייה שלוחה, אז לא ממש רלוונטי לפרויקט, אבל הבאג נמצא לפני שהבחנתי בו, אז החלטתי לעזוב אותו. אחרי הכל, מאמר זה לא עוסק בבדיקת שגיאות, אלא באינטגרציה עם Travis CI, ולא בוצעה תצורה של הנתח.

משתנה גודל אתחול על ידי קבוע, עם זאת, הוא אינו בשימוש כלל בקוד, עד לאופרטור if, מה שכמובן נותן שקר תוך כדי בדיקת התנאים, כי כזכור, גודל שווה לאפס. גם לבדיקות הבאות אין היגיון.

ככל הנראה, המחבר של קטע הקוד שכח להחליף את המשתנה גודל לפני ש.

עצור

כאן כנראה נסיים עם הטעויות. מטרת מאמר זה היא להדגים את עבודתו של PVS-Studio יחד עם Travis CI, ולא לנתח את הפרויקט בצורה יסודית ככל האפשר. אם אתה רוצה טעויות גדולות ויפות יותר, אתה תמיד יכול להתפעל מהן כאן :).

מסקנה

שימוש בשירותי אינטרנט לבניית פרויקטים יחד עם תרגול של ניתוח מצטבר מאפשר לך למצוא בעיות רבות מיד לאחר מיזוג קוד. עם זאת, ייתכן שמבנה אחד לא יספיק, כך שהגדרת בדיקות יחד עם ניתוח סטטי ישפר משמעותית את איכות הקוד.

קישורים שימושיים

• הפעלת PVS-Studio ב-Linux ו-macOS
• השקת PVS-Studio ב-Docker
• תיעוד Travis CI

אם אתה רוצה לשתף את המאמר הזה עם קהל דובר אנגלית, אנא השתמש בקישור התרגום: מקסים Zvyagintsev. כיצד להגדיר את PVS-Studio ב-Travis CI באמצעות הדוגמה של אמולטור קונסולת המשחקים של PSP.

מקור: www.habr.com