Hej allihopa! Idag vill vi presentera vårt produkt — en IDE för arbete med API:n till IT-samhället. TestMace. Kanske känner några av er redan till oss från tidigare artiklar.. Men det har inte funnits någon omfattande översikt av verktyget, så vi åtgärdar denna olyckliga brist.

Motivation

Vi skulle vilja börja med hur vi kom till detta och beslutade oss för att skapa vårt eget verktyg för avancerat arbete med API:n. Låt oss börja med en lista över funktionerna som produkten bör ha, om vi kan säga att det är "en IDE för arbete med API:n":

• Skapa och köra förfrågningar och skript (sekvenser av förfrågningar).
• Skriva olika typer av tester.
• Generera tester.
• Arbeta med API-beskrivningar, inklusive import från format såsom Swagger, OpenAPI, WADL osv.
• Mocka förfrågningar.
• Bra stöd för ett eller flera programmeringsspråk för att skriva skript, inklusive integration med populära bibliotek.
• och så vidare.

Listan kan kompletteras efter smak. Det är också viktigt att skapa inte bara själva IDE:n, utan också en viss infrastruktur, såsom molnsynkronisering, kommandoradsverktyg, online övervakningstjänster osv. I slutändan dikterar de senaste årens trender att vi inte bara behöver kraftfull funktionalitet i applikationen utan också en tilltalande användargränssnitt.

Vem behöver ett sådant verktyg? Uppenbarligen alla som på något sätt är involverade i utveckling och testning av API:n — utvecklare och testare =). För de förra räcker det oftast med att utföra enstaka förfrågningar och enkla skript, medan för testarna är detta ett av de viktigaste verktygen, som förutom andra aspekter bör inkludera en kraftfull mekanism för att skriva tester med möjlighet att köra dem i CI.

Så, i enlighet med dessa riktlinjer började vi skapa vår produkt. Låt oss titta på vad vi har åstadkommit hittills.

Snabbstart

Låt oss börja med den första bekantskapen med applikationen. Du kan ladda ner den på vår webbplats. För tillfället stöds alla tre huvudplattformar — Windows, Linux, MacOS. Ladda ner, installera, starta. Vid första uppstarten kan du se följande fönster:

Klicka på plusset högst upp i innehållsområdet för att skapa din första förfrågan. Fliken med förfrågan ser ut på följande sätt:

Låt oss titta närmare på det. Förfrågningsgränssnittet påminner mycket om gränssnittet för populära REST-klienter, vilket gör övergången från sådana verktyg enklare. Låt oss göra den första förfrågan på URL:en. https://next.json-generator.com/api/json/get/NJv-NT-U8

Vid första anblicken tycks svarspanelen inte överraska med något oväntat. Jag vill dock påpeka några punkter:

1. Svaret är strukturerat i form av ett träd, vilket dels ökar informationsinnehållet och dels möjliggör vissa intressanta funktioner som jag kommer att beskriva nedan.
2. Det finns en flik för påståenden (Assertions), där en lista över tester för denna förfrågan visas.

Som ni kan se kan vårt verktyg användas som en bekväm REST-klient. Men vi skulle inte vara här om dess funktioner begränsades till att bara skicka förfrågningar. Härnäst kommer jag att beskriva de grundläggande begreppen och funktionaliteterna i TestMace.

Grundläggande begrepp och funktioner

Nod

Funktionaliteten i TestMace är uppdelad i olika typer av noder. I exemplet ovan har vi demonstrerat arbetet med RequestStep-noden. Just nu finns dock också följande typer av noder tillgängliga i applikationen:

• RequestStep. Detta är en nod som gör det möjligt att skapa en förfrågan. Som underordnad nod kan den endast ha en Assertion-nod.
• Assertion. Noden används för att skriva tester. Den kan bara vara en underordnad nod till RequestStep-noden.
• Folder. Gör det möjligt att gruppera Folder- och RequestStep-noder inom sig.
• Project. Detta är rot-noden som automatiskt skapas när ett projekt skapas. I övrigt upprepar den funktionen hos Folder-noden.
• Link. Länk till Folder eller RequestStep-nod. Möjliggör återanvändning av förfrågningar och scenarier.
• och så vidare.

Noderna placeras i scratches (panelen nere till vänster, används för snabb skapande av "engångsförfrågningar") och i project (panelen uppe till vänster), som vi kommer att titta närmare på.

Projektet

När du startade applikationen kanske du lade märke till en ensam rad 'Project' uppe till vänster. Detta är rotat av projektträdet. När ett projekt startas skapas ett temporärt projekt, vars plats beror på ditt operativsystem. När som helst kan du flytta projektet till en mer bekväm plats.

Projektets huvudsakliga syfte är att möjliggöra lagring av arbete i filsystemet och vidare synkronisering via versionskontrollsystem, körning av skript i CI, granskning av förändringar osv.

Variabler

Variabler är en av de centrala mekanismerna i applikationen. De av er som arbetar med verktyg som TestMace har kanske redan förstått vad det handlar om. Så, variabler är ett sätt att lagra gemensamma data och kommunicera mellan noder. En motsvarighet är till exempel miljövariabler i Postman eller Insomnia. Men vi har gått längre och utvecklat ämnet. I TestMace kan variabler ställas in på nodnivå. Vilken som helst. Det finns även en mekanism för arv av variabler från föräldrar och överskrivning av variabler i avkommor. Utöver detta finns det ett antal inbyggda variabler, namnen på de inbyggda variablerna börjar med $. Här är några av dem:

• $prevStep — en referens till variablerna i den föregående noden
• $nextStep — en referens till variablerna i den följande noden
• $parent — samma sak, men för en förälder
• $response — svaret från servern
• $env — aktuella miljövariabler
• $dynamicVar — dynamiska variabler som skapas under körning av scenariot eller förfrågan

$env — detta är i princip vanliga variabler på projekt-nivå, men uppsättningen av miljövariabler ändras beroende på den valda miljön.

Åtkomst till variabeln görs via ${variable_name}
Som värde för en variabel kan vara en annan variabel, eller till och med ett helt uttryck. Till exempel, som en url-variabel kan ett uttryck av typen
http://${host}:${port}/${endpoint}.

Det är särskilt värt att nämna möjligheten att tilldela variabler under körning av skript. Till exempel, det uppstår ofta behovet av att lagra autentiseringsuppgifter (token eller hela headers), som kom från servern efter en lyckad inloggning. TestMace låter dig spara sådana uppgifter i dynamiska variabler hos en av föräldrarna. För att undvika kollisioner med redan existerande "statisk" variabler, har dynamiska variabler placerats i ett separat objekt. $dynamicVar.

Scenarier

Genom att använda alla ovanstående möjligheter kan du köra hela scenarier för förfrågningar. Till exempel, skapa entitet -> begär entitet -> ta bort entitet. I detta fall kan du till exempel använda en Folder-nod för att gruppera flera RequestStep noder.

Autocompletion och syntaktisk färgning av uttrycksvärden

För att arbeta effektivt med variabler (och mer) är autocompleting nödvändigt. Och självklart en belysning av uttryckets värde, så att det blir enklare och smidigare att klargöra vad en viss variabel har för värde. Det är just ett sådant fall där det är bättre att se en gång än att höra hundra gånger:

Det är värt att nämna att autocompleting inte bara tillämpas på variabler, utan också, till exempel, på rubriker, värden av specifika rubriker (till exempel autocompleting för Content-Type-rubriken), protokoll och mycket mer. Listan fylls ständigt på allt eftersom applikationen växer.

Ångra/redo

Att ångra/återföra ändringar är en mycket användbar funktion, men av någon anledning implementeras den inte överallt (och verktyg för att arbeta med API är inget undantag). Men vi gör inte så!) Ångra/redo är implementerat i hela projektet, vilket möjliggör att ångra inte bara redigerandet av en specifik nod, utan även dess skapande, radering, flyttning, etc. De mest kritiska operationerna kräver bekräftelse.

Skapa tester

Det är Assertion-noden som ansvarar för skapande av tester. En av de viktigaste funktionerna är möjligheten att skapa tester utan programmering, med hjälp av inbyggda redigerare.

Assertion-noden består av en uppsättning asserts (påståenden). Varje assert har sin typ; just nu finns det flera typer av asserts.

1. Jämför värden — enkelt jämför två värden. Det finns flera jämförelseoperatorer som "lika med", "inte lika med", "större", "större än eller lika med", "mindre", "mindre än eller lika med."

2. Innehåller värde — kontrollerar närvaron av en delsträng i en sträng.

3. XPath — kontrollerar att ett visst värde finns vid en väljare i XML.

4. JavaScript assertion — en godtycklig skript på JavaScript, som returnerar true vid framgång och false vid misslyckande.

Jag noterar att endast den sista kräver att användaren har programmeringskunskaper, de andra tre assertioner skapas med hjälp av grafiskt gränssnitt. Här är, till exempel, hur dialogrutan för att skapa jämföra värden assertion ser ut:

Körsbäret på tårtan är snabb skapande av asserts från svaret, bara se på detta!

Däremot har sådana asserts uppenbara begränsningar, när du stöttar på dem kan du använda javascript assertion. Och här erbjuder TestMace också en bekväm miljö med autocompleting, syntaxbelysning och till och med en statisk analyzator.

API-beskrivning

TestMace gör det möjligt att inte bara använda API:et, utan även att dokumentera det. Beskrivningen har en hierarkisk struktur och integreras smidigt i resten av projektet. Dessutom finns det nu möjlighet att importera API-beskrivningar från Swagger 2.0 / OpenAPI 3.0-format. Beskrivningen är inte bara stillastående utan integreras tätt med projektets övriga delar, till exempel finns det automatisk komplettering av URL:er, HTTP-huvuden, query-parametrar och mer, och i framtiden planerar vi att lägga till tester för att kontrollera att svaret överensstämmer med API-beskrivningen.

Noddelning

Fallstudie: Du skulle vilja dela en problematisk förfrågan eller till och med ett helt scenario med en kollega eller enkelt bifoga den till en bugg. TestMace täcker även detta fall: applikationen gör det möjligt att serialisera vilken nod som helst och till och med ett delträd till en URL. Kopiera och klistra in så har du enkelt flyttat förfrågan till en annan maskin eller projekt.

Läsligt format för projekts förvaring

För närvarande lagras varje nod i en separat fil med filändelsen yml (som i fallet med Assertion-noden), eller i en mapp med nodens namn och en fil som heter index.yml inuti den.
Så här ser till exempel filen med förfrågan ut som vi gjorde i översikten ovan:

index.yml

children: []
variables: {}
type: RequestStep
assignVariables: []
requestData:
  request:
    method: GET
    url: 'https://next.json-generator.com/api/json/get/NJv-NT-U8'
  headers: []
  disabledInheritedHeaders: []
  params: []
  body:
    type: Json
    jsonBody: ''
    xmlBody: ''
    textBody: ''
    formData: []
    file: ''
    formURLEncoded: []
  strictSSL: Inherit
authData:
  type: inherit
name: Scratch 1

Som du ser är allt helt klart. Om så önskas kan detta format redigeras enkelt även manuellt.

Hierarkin av mappar i filsystemet speglar helt hierarkin av noder i projektet. Till exempel ett scenario av typen:

Mappas i filsystemet till följande struktur (endast hierarkin av mappar visas, men innebörden är klar)

Vilket underlättar processen för granskning av projektet.

Import från Postman

Efter att ha läst allt ovanstående kanske några användare vill prova (eller hur?) den nya produkten eller (vad vet man!) använda den fullt ut i sitt projekt. Men migrationen kan stoppas av ett stort antal arbeten i samma Postman. För sådana fall stödjer TestMace import av samlingar från Postman. För närvarande stöds import utan tester, men vi utesluter inte att stödja dem senare.

Planer

Jag hoppas att många av er som har läst detta stycke har uppskattat vår produkt. Men det är inte allt! Arbete med produkten pågår för fullt och här är några funktioner som vi planerar att lägga till inom kort.

Molnsynkronisering

En av de mest efterfrågade funktionerna. Just nu erbjuder vi versionskontrollsystem som en synkronisering, vilket gör att vi gör formatet mer vänligt för denna typ av lagring. Men för många passar inte detta arbetsflöde, så vi planerar att lägga till en mer välbekant synkroniseringsmekanism via våra servrar.

CLI

Som redan nämnts, produkter på IDE-nivå är beroende av olika integrationer med redan existerande applikationer eller arbetsflöden. CLI är nödvändigt för att integrera tester skrivna i TestMace i kontinuerlig integration. Arbetet med CLI pågår för fullt, i de tidiga versionerna kommer det att finnas ett projekt med en enkel konsolrapport. Framöver planerar vi att lägga till rapporten i JUnit-format.

Plugin-system

Trots kraften hos vårt verktyg är mängden fall som kräver lösning oändlig. I slutändan finns det uppgifter som är specifika för varje projekt. Därför planerar vi att lägga till SDK för plugin-utveckling, så varje utvecklare kan lägga till funktionalitet efter eget tycke.

Utöka sortimentet av nodtyper

Denna uppsättning noder täcker inte alla fall som användaren behöver. Noder som planeras att läggas till:

• Script-nod — omvandlar och placerar data med hjälp av js och motsvarande API. Genom att använda denna nodtyp kan du göra saker som pre-request och post-request skript i Postman.
• GraphQL-nod — stöd för graphql
• Custom assertion-nod — möjliggör utvidgning av setet med befintliga assertioner i projektet.
  Naturligtvis är detta inte en slutgiltig lista, den kommer ständigt att utökas genom bland annat er feedback.

FAQ

Hur skiljer ni er från Postman?

1. Konceptet av noder som gör det möjligt att nästan oändligt skala funktionaliteten i projektet.
2. Mänskligt läsbart format för projektet som sparas i filsystemet, vilket underlättar arbetet med versionskontrollsystem.
3. Möjlighet att skapa tester utan programmering och mer avancerat stöd för js i testredigeraren (autokomplettering, statisk analysator).
4. Avancerad autokomplettering och markering av aktuella variabelvärden

Är detta en open-source produkt?

Nej, för närvarande är källkoden stängd, men vi överväger att öppna källkoden i framtiden.

Hur försörjer ni er?

Vid sidan av gratisversionen planerar vi att släppa en betald version av produkten. Den kommer först och främst att innehålla funktioner som kräver serverdelar, exempelvis synkronisering.

Slutsats

Vårt projekt går framåt med stormsteg mot en stabil release. Men produkten kan redan nu användas, och de positiva recensionerna från våra tidiga användare bekräftar det. Vi samlar aktivt in feedback, för utan ett nära samarbete med communityn är det omöjligt att bygga ett bra verktyg. Du kan hitta oss här:

Officiell webbplats

Telegram

Slack

Facebook

Issues-tracker

Vi ser fram emot era önskemål och förslag!

Källa: habr.com