Förenar Python och Bash: biblioteken smart-env och python-shell

God eftermiddag alla.

I dag är Python ett av de mest använda språken inom skapandet av inte bara programvaruprodukter, utan också för att säkerställa deras infrastruktur. Som ett resultat av detta har många DevOps, oavsett om de vill eller inte, fått lära sig ett nytt språk för att använda det som komplement till de gamla goda Bash-skripten. Dock har Bash och Python olika tillvägagångssätt för att skriva kod och har vissa särdrag, vilket gör att portering av Bash-skript till "ormspråket" ibland kan vara en omfattande och långt ifrån trivial uppgift.

För att underlätta livet för DevOps har många användbara bibliotek och verktyg på Python skapats och fortsätter att skapas. Denna artikel beskriver två nya bibliotek, som skapats av författaren till detta inlägg — smart-env och python-shell — som syftar till att befria DevOps från att behöva ägna mycket uppmärksamhet åt detaljerna i att arbeta med Python, och därmed istället ge utrymme för mer intressanta uppgifter. Bibliotekens verksamhetsfält är miljövariabler och körning av externa verktyg.

Den som är intresserad är välkommen vidare.

Nya "cyklar"?

Vad skulle anledningen vara att skapa nya paket för tillräckligt vardagliga operationer? Vad hindrar oss från att använda os.environ och subprocess direkt. ?

Jag kommer att ge bevis för varje av biblioteken separat.

Biblioteket smart-env

Innan du skriver ditt eget projekt kan det vara bra att kolla på nätet och söka efter färdiga lösningar. Självklart finns det en risk att inte hitta det du behöver, men detta är snarare en "försäkringsfråga". Vanligtvis slår den här metoden igenom och sparar mycket tid och energi.

Enligt resultaten av sökning var följande upplysningar efterforskningen:

• det finns paket som verkligen kapslar in anropen till os.environ, men som kräver mycket avledande åtgärder (skapande av instanser av klasser, speciella parametrar i anrop mm.);
• det finns ganska bra paket, som dock är starkt kopplade till en viss ekosystem (främst webbsyften som Django) och därmed inte alls universella utan en smärre modifiering;
• Det finns sällsynta försök att göra något nytt. Till exempel lägga till typning och tydligt parsa värden på variabler genom att anropa metoder av typen

  get_(var_namn)

  Eller här är ännu en lösning, som dock inte stödjer den numera förkastade Python 2 (på vilken, trots allt, officiell R.I.P., det finns fortfarande berg av skriven kod och hela ekosystem);

• det finns skolstudentprojekt, som överhuvudtaget inte förstås varför de hamnade i upstream PyPI och bara skapar problem med namngivningen av nya paket (särskilt namnet "smart-env" — en nödlösning).

Och denna lista kan fortsätta länge. Men de ovan nämnda punkterna räckte för att tända idén om att skapa något praktiskt och universellt.

Krav som ställdes inför skapandet av smart-env:

• Maximalt enkel användning
• Lätt att konfigurera datatypsstöd
• Kompatibilitet med Python 2.7
• Bra testtäckning av koden

Slutligen lyckades allt detta att genomföras. Här är ett exempel på användning:

from smart_env import ENV

print(ENV.HOME)  # Lika med print(os.environ['HOME'])

# förutsatt att du har ställt in miljövariabeln MYVAR till "True"

ENV.enable_automatic_type_cast()

my_var = ENV.MY_VAR  # Lika med boolean True

ENV.NEW_VAR = 100  # Sätter en ny miljövariabel

Som visas i exemplet är det tillräckligt att importera den nya klassen (det behövs ingen instansiering — minus en extra åtgärd). Åtkomst till vilken miljövariabel som helst uppnås genom att referera till den som en klassvariabel i ENV, vilket i praktiken gör denna klass till ett intuitivt förståeligt omslag av det inbyggda systemmiljön, samtidigt som den gör det till ett möjligt alternativ för konfigurationsobjekt i praktiskt taget vilket system som helst (en liknande metod uppnås t.ex. i Django, där konfigurationsobjektet är modulen/paketet settings).

Aktivering/deaktivering av stöd för automatisk typkonvertering uppnås med hjälp av två metoder — enable_automatic_type_cast() och disable_automatic_type_cast(). Detta kan vara praktiskt om det finns ett serialiserat JSON-liknande objekt eller till och med bara en boolesk konstant (den explicita deklarationen av variabeln DEBUG i Django genom att jämföra miljövariabeln med "tillåtna" strängar — ett av de vanligaste fallen). Men nu är det inte nödvändigt att konvertera strängar explicit — de flesta nödvändiga åtgärderna är redan inbyggda i biblioteket och väntar bara på en signal att agera. 🙂 I allmänhet fungerar typkonverteringen transparent och stöder nästan alla inbyggda datatyper (frozenset, complex och bytes har inte testats).

Kravet på Python 2-stöd har implementerats praktiskt taget utan offer (avstående från typing och några "godisbitar" från de senaste versionerna av Python 3), särskilt tack vare den allestädes närvarande six (för att lösa problem med användningen av metaklasser).

Men det finns också några begränsningar:

• Stödet för Python 3 innebär version 3.5 och högre (existensen av dem i ditt projekt är ett resultat av antingen lathet eller brist på behov av förbättringar, eftersom det är svårt att föreställa sig en objektiv anledning till varför du fortfarande sitter på 3.4);
• I Python 2.7 stödjer biblioteket inte deserialisering av mängdlitteraler. Beskrivning ). Ett typiskt exempel på användning:. Men om någon vill implementera det – välkommen;)

Biblioteket har också en undantagsmekanism för fall av parseringsfel. Om en sträng inte kunde igenkännas av någon av de tillgängliga parserarna, förblir värdet en sträng (snarare av bekvämlighet och bakåtkompatibilitet med den vanliga logiken för variabler i Bash).

Biblioteket python-shell

Nu kommer jag att berätta om det andra biblioteket (beskrivning av bristerna hos de befintliga alternativen lämnar jag ut – det liknar det som beskrivits för smart-env. Alternativ är – ). Ett typiskt exempel på användning: och ). Ett typiskt exempel på användning:).

Generellt är idén med implementeringen och kraven på den liknande de som beskrivits för smart-env, vilket framgår av exemplet:

from python_shell import Shell

Shell.ls('-l', '$HOME')  # Equals "ls -l $HOME"

command = Shell.whoami()  # Equals "whoami"
print(command.output)  # skriver ut ditt nuvarande användarnamn

print(command.command)  # skriver ut "whoami"
print(command.return_code)  # skriver ut "0"
print(command.arguments)  # skriver ut ""

Shell.mkdir('-p', '\/tmp\/new_folder')  # skapar en ny mapp

Idén är följande:

1. En enda klass som personifierar Bash i Python-världen;
2. Varje Bash-kommando anropas som en klassfunktion;
3. Parametrarna för anropet av varje funktion vidarebefordras till anropet av motsvarande Bash-kommando;
4. Varje kommando utförs "här och nu" vid anropet, det vill säga en synkron metod tillämpas;
5. det finns möjlighet att få åtkomst till kommandots utdata i stdout samt dess returkod;
6. Om kommandot saknas i systemet kastas ett undantag.

Precis som med smart-env säkerställs stöd för Python 2 (även om det krävdes något mer offer) och stöd för Python 3.0–3.4 saknas.

Utvecklingsplaner för biblioteken

Biblioteken kan användas redan nu: båda har publicerats på officiella PyPI. Källkoden finns tillgänglig på Github (se nedan).

Båda biblioteken kommer att utvecklas med hänsyn till den feedback som samlats från intresserade. Och om det kan vara svårt att komma på olika nya funktioner för smart-env, så finns det definitivt mer att lägga till i python-shell:

• stöd för icke-blockerande anrop;
• möjlighet till interaktiv kommunikation med teamet (arbete med stdin);
• tillägg av nya egenskaper (t.ex. property för att hämta utdata från stderr);
• implementering av en katalog med tillgängliga kommandon (för användning med funktionen dir());
• och så vidare.

Länkar

1. Biblioteket smart-env: Github och PyPI
2. Biblioteket python-shell: Github och PyPI
3. Telegram-kanal uppdateringar av biblioteken

UPD 23.02.2020:
* Förråd har flyttats, motsvarande länkar har uppdaterats
* Versionen python-shell==1.0.1 förbereds för lansering den 29.02.2020. Bland ändringarna finns stöd för autokomplettering av kommandon och kommandot dir(Shell), körning av kommandon med Python- ogiltiga identifierare, buggfixar.

Källa: habr.com