🥇Vi startar verktygstester i Firebase Test Lab. Del 1: iOS-projekt

Mitt namn är Dmitrij, jag arbetar som tester inom företaget MEL Science. Jag har precis blivit klar med att utforska en relativt ny funktion från Firebase Test Lab — nämligen, med instrumentellt testande av iOS-appar med hjälp av det inbyggda testningsramverket XCUITest.

Tidigare har jag redan provat Firebase Test Lab för Android och jag gillade det mycket, så jag bestämde mig för att försöka sätta upp testinfrastrukturen för mitt iOS-projekt på samma sätt. Jag var tvungen att googla mycket och allt gick inte bra första gången, därför bestämde jag mig för att skriva en artikel/tutorial för dem som fortfarande har detta framför sig.

Så om ni har UI-tester i ert iOS-projekt, kan ni redan idag prova att köra dem på verkliga enheter, vänligt tillhandahållna av Välfärdsbolaget. De som är intresserade — välkomna nedan.

I berättelsen har jag valt att utgå från viss grunddata — ett privat repository på GitHub och byggsystemet CircleCI. Appens namn — AmazingApp, bundleID — com.company.amazingapp. Jag ger dessa uppgifter direkt för att minska eventuell förvirring senare.

Om ni har implementerat vissa lösningar i ert projekt på ett annat sätt — dela gärna med er av erfarenheter i kommentarerna.

1. Tester

Skapa en ny gren av projektet för UI-tester:

$ git checkout develop
$ git pull
$ git checkout -b "feature/add-ui-tests"

Öppna projektet i XCode och skapa ett nytt mål (Target) för UI-tester [XCode -> File -> New -> Target -> iOS Testing Bundle], ge det ett talande namn AmazingAppUITests.

Gå till sektionen Build Phases för det skapade målet och kontrollera att Target Dependencies inkluderar AmazingApp, i Compile Sources bör AmazingAppUITests.swift finnas.

En bra praxis är att särskilja olika varianter av byggen i separata Scheman. Skapa ett schema för våra UI-tester [XCode -> Product -> Scheme -> New Scheme] och ge det samma namn: AmazingAppUITests.

Bygget av det skapade schemat ska inkludera Target för huvudapplikationen — AmazingApp och Target för UI-tester — AmazingAppUITests — se skärmdump.

Därefter skapar vi en ny byggkonfiguration för UI-tester. I XCode klickar vi på projektfilen, går till sektionen Info. Klicka på '+' och skapa en ny konfiguration, exempelvis XCtest. Detta kommer att behövas senare för att undvika problem när det kommer till code signing.

I ert projekt finns det minst tre Targets: huvudapplikationen, enhetstester (för de finns väl, eller hur?) och det mål för UI-tester som vi har skapat.

Gå in i Target AmazingApp, fliken Bygginställningar, avsnittet Code Signing Identity. För konfigurationen XCtest väljer vi iOS Developer. I avsnittet Code Signing Style väljer vi Manual. Provisioning profile har vi ännu inte genererat, men vi kommer att återkomma till det snart.

För Target AmazingAppUITests gör vi likadant, men i fältet Product Bundle Identifier skriver vi com.company.amazingappuitests.

2. Konfigurera projektet i Apple Developer Program

Gå till sidan Apple Developer Program, gå till avsnittet Certifikat, Identifierare & profiler och sedan till fältet App IDs i punkten Identifierare. Skapa en ny App ID med namnet AmazingAppUITests och bundleID com.company.amazingappuitests.

Nu har vi möjlighet att signera våra tester med ett separat certifikat, men… Byggproceduren för att testa innebär att vi måste bygga själva applikationen och bygga test Runner. Därmed stöter vi på problemet att signera två bundle ID med en provisioneringsprofil. Lyckligtvis finns det en enkel och elegant lösning — Wildcard App ID. Upprepa proceduren för att skapa en ny App ID, men istället för Explicit App ID väljer vi Wildcard App ID som på skärmdumpen.

I detta skede är vårt arbete med developer.apple.com slut, men vi stänger inte webbläsarfönstret. Vi går till dokumentationssidan för Fastlane och läser om verktyget Match från början till slut.

Den uppmärksamma läsaren har noterat att för att använda det här verktyget behöver vi ett privat repo och ett konto med åtkomst till både Apple Developer Program och Github. Vi skapar (om ett sådant inte finns) ett konto som InfrastructureAccount@your.company.domain, hittar på ett starkt lösenord, registrerar det på developer.apple.com, och utser det till projektadministratör. Därefter ger vi kontot tillgång till GitHub-repot för ditt företag och skapar ett nytt privat repository med ett namn som AmazingAppMatch.

3. Konfigurera Fastlane och verktyget match

Öppna terminalen, gå till mappen med projektet och initiera fastlane som angivet i den officiella manualen. Efter att ha angett kommandot

$ fastlane init

kommer du att bli ombedd att välja tillgängliga konfigurationsalternativ. Välj den fjärde punkten — manuell konfiguration av projektet.

Ett nytt bibliotek, fastlane, har dykt upp i projektet, där två filer — Appfile och Fastfile — finns. I korthet lagrar vi tjänstedata i Appfile, och i Fastfile skriver vi in jobb, i Fastlane-terminologin kallade lanes. Jag rekommenderar att läsa den officiella dokumentationen: ett, två.

Öppna Appfile i din favorit textredigerare och ändra den till följande:

app_identifier "com.company.amazingapp"       # Bundle ID
apple_dev_portal_id "infrastructureaccount@your.company.domain"  # Skapat infrastrukturkonto med rättigheter att redigera iOS-projekt i Apple Developer Program.
team_id "LSDY3IFJAY9" # Ditt Developer Portal Team ID

Vi återvänder till terminalen och börjar konfigurera match enligt den officiella manualen.

$ fastlane match init
$ fastlane match development

Därefter anger vi de begärda uppgifterna - repository, konto, lösenord osv.

Viktigt: vid första körningen kommer verktyget match att be om lösenord för att dekryptera repositoryt. Det är mycket viktigt att spara detta lösenord, då vi kommer att behöva det vid CI-serverkonfigurationen!

I fastlane-mappen har en ny fil skapats - Matchfile. Öppna den i din favorittextredigerare och justera den till följande:

git_url("https://github.com/YourCompany/AmazingAppMatch") # Skapat privat repository för att lagra certifikat och profiler.
type("development") # Standardtyp, kan vara: appstore, adhoc, enterprise eller development
app_identifier("com.company.amazingapp")
username("infrastructureaccount@your.company.domain") # Ditt Infrastrukturkonto Apple Developer Portal användarnamn

Fyller i på detta sätt om vi vill använda match för att signera byggen för distribution till Crashlytics och/eller AppStore, det vill säga för att signera bundle ID för din applikation.

Men, som vi minns, för att signera testbygget skapade vi ett speciellt Wildcard ID. Så, vi öppnar Fastfile och lägger till en ny lane:

lane :testing_build_for_firebase do

    match(
      type: "development",
      readonly: true,
      app_identifier: "com.company.*",
      git_branch: "uitests"  # Skapar en separat branch för development certifikatet för signering av testbygget.
    )

end

Spara, skriv in i terminalen

fastlane testing_build_for_firebase

och vi ser hur fastlane har skapat ett nytt certifikat och lagt det i repositoryt. Utmärkt!

Öppna XCode. Nu har vi rätt provisioning profile av typen Match Development com.company.*, som ska anges i avsnittet Provisioning profile för målen AmazingApp och AmazingAppUITests.

Det återstår att skriva lane för att bygga tester. Vi går till arkiv projektet med plugin för fastlane, som underlättar konfigurationen för export till Firebase Test Lab och följer instruktionerna.

Kopiera och klistra in från det ursprungliga exemplet, så att vår lane testing_build_for_firebase till slut ser ut så här:


 lane :testing_build_for_firebase do

    match(
      type: "development",
      readonly: true,
      app_identifier: "com.company.*",
      git_branch: "uitests"
    )

    scan(
      scheme: 'AmazingAppUITests',      # UI Test scheme
      clean: true,                        # Recommended: This would ensure the build would not include unnecessary files
      skip_detect_devices: true,          # Required
      build_for_testing: true,            # Required
      sdk: 'iphoneos',                    # Required
      should_zip_build_products: true,     # Must be true to set the correct format for Firebase Test Lab
    )

    firebase_test_lab_ios_xctest(
      gcp_project: 'AmazingAppUITests', # Your Google Cloud project name (we'll get back to this line later)
      devices: [                          # Device(s) to run tests on
        {
          ios_model_id: 'iphonex',        # Device model ID, see gcloud command above
          ios_version_id: '12.0',         # iOS version ID, see gcloud command above
          locale: 'en_US',                # Optional: default to en_US if not set
          orientation: 'portrait'         # Optional: default to portrait if not set
        }
      ]
    )

  end

För att få fullständig information om hur man konfigurerar fastlane i CircleCI rekommenderar jag att läsa den officiella dokumentationen en gång, två.

Vi får inte glömma att komplettera vår config.yml med en ny uppgift:

build-for-firebase-test-lab:
   macos:
     xcode: "10.1.0"   
   working_directory: ~\/project
   shell: \/bin\/bash --login -o pipefail
   steps:
     - checkout
     - attach_workspace:
         at: ~\/project
     - run: sudo bundle install     # uppdatera beroenden
     - run:
         name: install gcloud-sdk   # gcloud måste installeras på Mac-datorn
         command: |
           ruby -e "$(curl -fsSL https:\/\/raw.githubusercontent.com\/Homebrew\/install\/master\/install)"  \/dev\/null ; brew install caskroom\/cask\/brew-cask 2> \/dev\/null
           brew cask install google-cloud-sdk
     - run:
         name: build app for testing
         command: fastlane testing_build_for_firebase  # starta lane för byggande och överföring till firebase

4. Vad händer med vår testmiljö? Vi ställer in Firebase.

Låt oss faktiskt gå till det ämne denna artikel handlar om.

Kanske använder din app Firebase på en gratisplan, kanske använder den inte alls. Det spelar ingen roll, för testningsbehov kan vi skapa ett separat projekt med ett års gratistjänst (bra, eller hur?)

Logga in på vårt infrastrukturella konto (eller något annat, spelar ingen roll), och gå till Firebase-konsolens sida. Skapa ett nytt projekt med namnet AmazingAppUITests.

Viktigt: I föregående steg i Fastfile ska parametern gcp_project i lane firebase_test_lab_ios_xctest motsvara projektets namn.

De förvalda inställningarna passar oss bra.

Stäng inte fliken, registrera dig med samma konto i Gcloud — det är en tvingad åtgärd, eftersom kommunikationen med Firebase sker via gcloud-konsolens gränssnitt.

Google erbjuder 300 $ per år, vilket i sammanhanget av automatisk testning motsvarar ett år gratis användning av tjänsten. Vi anger betalningsuppgifter, väntar på en testdebitering på 1 $ och får 300 $ på kontot. Efter ett år kommer projektet automatiskt att övergå till en gratis prissättningsplan, så vi behöver inte oroa oss för eventuell förlust av pengar.

Vi återvänder till fliken med Firebase-projektet och uppgraderar det till prissättningsplanen Blaze — nu har vi något att betala med om vi överskrider gränsen.

I gcloud-gränssnittet väljer vi vårt Firebase-projekt, klickar på huvudmenyn "Katalog" och lägger till Cloud Testing API och Cloud Tools Result API.

Vi går sedan till menyn "IAM och administration" -> Servicekonton -> Skapa servicekonto. Vi ger redigeringsrättigheter för projektet.

Vi skapar en API-nyckel i JSON-format.

Den nedladdade JSON-filen kommer vi att behöva senare, så vi anser att inställningen av Test Lab är avslutad för nu.

5. Konfigurering av CircleCI

En rimlig fråga uppstår — vad gör vi med lösenorden? För att säkert lagra våra lösenord och annan känslig information kan vi använda mekanismen för miljövariabler på vår byggmaskin. I inställningarna för projektet i CircleCI väljer vi Miljövariabler.

Och vi skapar följande variabler:

nyckel: GOOGLE_APPLICATION_CREDENTIALS
värde: innehållet i JSON-filen för servicekontots nyckel från gcloud
nyckel: MATCH_PASSWORD
värde: lösenordet för att dekryptera GitHub-repositoriet med certifikaten
nyckel: FASTLANE_PASSWORD
värde: lösenordet för infrastrukturkontot på Apple Developer Portal

Vi sparar ändringarna, skapar en PR och skickar den på granskning till vår teamledare.

Sammanfattning

Som ett resultat av dessa enkla åtgärder har vi fått en bra, stabil miljö med möjlighet att spela in video från enhetens skärm under testet. I det testexemplet angav jag enhetens modell iPhone X, men farmen erbjuder ett rikt urval av kombinationer av olika modeller och versioner av iOS.

Den andra delen kommer att handla om steg-för-steg-inställning av Firebase Test Lab för Android-projekt.

Källa: habr.com