Dobar dan svima.
Danas je Python jedan od najkorištenijih jezika u području stvaranja ne samo samih softverskih proizvoda, već i njihove infrastrukture. Zbog toga su mnogi DevOps inženjeri, htjeli oni to ili ne, morali naučiti novi jezik kao dodatak starim dobrim Bash skriptama. Međutim, Bash i Python imaju različite pristupe pisanju koda i određene osobitosti, zbog čega je prebacivanje Bash skripti na 'zmijski jezik' ponekad zahtjevna i daleko od trivijalne zadaće.
Kako bi olakšali život DevOps inženjerima, stvorene su i nastavljaju se stvarati mnoge korisne biblioteke i alati na Pythonu. Ovaj članak opisuje odmah dvije nove biblioteke, koje je stvorio autor ovog posta — i — i čija je svrha osloboditi DevOps inženjera od potrebe da posvećuje mnogo pažnje sitnicama rada s Pythonom, ostavljajući prostor za zanimljivije zadatke. Područje djelovanja biblioteka su varijable okruženja i pokretanje vanjskih alata.
Sve koji su zainteresirani, pozivam ispod kuta.
Nove 'bicikle'?
Činilo bi se, zašto stvarati nove pakete za prilično uobičajene operacije? Što sprečava direktno korištenje os.environ i subprocess.?
Dokaze u korist svake od biblioteka navest ću posebno.
Biblioteka smart-env
Prije nego što napišete vlastitu kreaciju, korisno je pretražiti Internet i potražiti gotova rješenja. Naravno, postoji rizik da ne pronađete ono što vam je potrebno, ali to je, više-manje, 'osiguravajući slučaj'. Obično pristup uspijeva i štedi puno vremena i truda.
Na osnovu rezultata otkriveno je sljedeće:
- postoje paketi koji zaista obavijaju pozive os.environ, ali pritom zahtijevaju gomilu ometajućih radnji (stvaranje instance klase, posebni parametri u pozivima itd.);
- postoje dobri paketi koji su, međutim, strogo vezani za određeni ekosustav (pretežno za web okvire poput Django) i stoga bez prilagodbe nisu univerzalni;
- postoje rijetki pokušaji stvaranja nečeg novog. Na primjer, i eksplicitno parsirati vrijednosti varijabli pozivanjem metoda kao što su
get_(var_name)Ili još jedno rješenje službenom R.I.P. , još uvijek ostaju brda napisanog koda i cijele ekosustave);
- ima školsko-studentskih radova koji su se našli u upstream PyPI, a potpuno su nejasni, stvarajući samo probleme s imenovanjem novih paketa (posebno naziv „smart-env“ — prisilna mjera).
I ovaj popis se može nastaviti dugo. Međutim, već navedeni elementi bili su dovoljni da se zapali ideja o stvaranju nečega praktičnog i univerzalnog.
Zahtjevi postavljeni prilikom pisanja smart-env:
- Maksimalno jednostavna shema korištenja
- Lako konfigurabilna podrška za tipizaciju podataka
- Kompatibilnost s Python 2.7
- Dobra pokrivenost koda testovima
Na kraju, sve to je uspješno provedeno. Evo primjera korištenja:
from smart_env import ENV
print(ENV.HOME) # Jednako kao print(os.environ['HOME'])
# pretpostavljajući da ste postavili env varijablu MYVAR na "True"
ENV.enable_automatic_type_cast()
my_var = ENV.MY_VAR # Jednako je logičkoj True
ENV.NEW_VAR = 100 # Postavlja novu varijablu okruženja
Kao što se može vidjeti iz primjera, za rad s novom klasom dovoljno je da je uvezete (nije potrebno stvoriti instancu — minus suvišne radnje). Pristup bilo kojoj varijabli okruženja postiže se obraćanjem prema njoj kao varijabli klase ENV, što zapravo čini ovu klasu intuitivno razumljivom omotnicom prirodnog sistemskog okruženja, istovremeno je pretvarajući u moguću vrstu objekta konfiguracije gotovo svakog sustava (sličan pristup, primjerice, koristi se u Djangu, gdje je konfiguracijski objekt izravno modul/paket settings).
Uključivanje/isključivanje načina podrške za automatsku tipizaciju postiže se korištenjem dviju metoda — enable_automatic_type_cast() i disable_automatic_type_cast(). To može biti korisno ako u varijabli okruženja leži serializirani JSON-like objekt ili čak samo booleanska konstanta (izričito postavljanje varijable DEBUG u Djangou usporedbom varijable okruženja s „dozvoljenim“ строкама — jedan od često sretnutih slučajeva). No sada nema potrebe izričito konvertirati stringove — veći dio potrebnih radnji već je ugrađen u dubine biblioteke i samo čeka signal za akciju. 🙂 U cjelini tipizacija funkcionira transparentno i podržava gotovo sve postojeće ugrađene tipove podataka (frozenset, complex i bytes nisu testirani).
Zahtjev za podršku Python 2 realiziran je gotovo bez žrtava (odustajanje od typing-a i nekih 'slatkiša' novih verzija Python 3), posebno zahvaljujući svuda prisutnom six (za rješavanje problema s metaklasama).
Međutim, postoje i neka ograničenja:
- Podrška za Python 3 podrazumijeva verziju 3.5 i više (njihova prisutnost u vašem projektu rezultat je ili lijenosti, ili nedostatka potrebe za poboljšanjima, jer je teško smisliti objektivan razlog zašto još uvijek koristite 3.4);
- U Pythonu 2.7 knjižnica ne podržava deserializaciju literala skupova. Opis . Ali, ako netko želi implementirati – dobrodošao je:);
Knjižnica također koristi mehanizam iznimki u slučaju grešaka prilikom parse-anja. Ako se niz ne može prepoznati nijednim od dostupnih parsera, vrijednost ostaje kao niz (vjerojatno iz praktičnih razloga i unazadne kompatibilnosti s uobičajenim radom varijabli u Bashu).
Biblioteka python-shell
Sad ću pričati o drugoj knjižnici (izostavit ću opis nedostataka postojećih analoga – slični su onima za smart-env. Analogi – i ).
Općenito, ideja implementacije i zahtjevi su slični onima opisanim za smart-env, što se može vidjeti iz primjera:
from python_shell import Shell
Shell.ls('-l', '$HOME') # Jednako "ls -l $HOME"
command = Shell.whoami() # Jednako "whoami"
print(command.output) # ispisuje vaše trenutno korisničko ime
print(command.command) # ispisuje "whoami"
print(command.return_code) # ispisuje "0"
print(command.arguments) # ispisuje ""
Shell.mkdir('-p', '\/tmp\/new_folder') # stvara novu mapu
Ideja je sljedeća:
- Jedinstvena klasa koja personificira Bash u svijetu Python-a;
- Svaka Bash komanda poziva se kao funkcija klase Shell;
- Parametri poziva svake funkcije proslijeđuju se u poziv odgovarajuće Bash komande;
- Svaka komanda izvršava se 'ovdje i sada' u trenutku njenog pozivanja, tj. koristi se sinkroni pristup;
- postoji mogućnost pristupa izlazu komande u stdout, kao i njenom kodu povratka;
- Ako komanda nedostaje u sustavu – baca se iznimka.
Kao i u slučaju sa smart-env, osigurana je podrška za Python 2 (iako je bilo potrebno malo više žrtava) i ne postoji podrška za Python 3.0-3.4.
Planovi za razvoj knjižnica
Knjižnice se mogu koristiti već sada: obje su objavljene na službenom PyPI-ju. Izvornici su dostupni na Githubu (vidi dolje).
Obje knjižnice će se razvijati uzimajući u obzir povratne informacije prikupljene od zainteresiranih strana. I dok je možda teško osmisliti raznolikost novih značajki u smart-env, u python-shellu sigurno ima još mnogo toga za dodati:
- podrška za neblokirajuće pozive;
- mogućnost interaktivne komunikacije s timom (rad s stdin);
- dodavanje novih svojstava (primjerice, property za dohvaćanje izlaza iz stderr);
- implementacija kataloga dostupnih komandi (za korištenje s funkcijom dir());
- itd.
Linkovi
- Knjižnica smart-env: i
- Knjižnica python-shell: i
- ažuriranja knjižnica
UPD 23.02.2020:
* Repozitoriji su premješteni, pripadajuće veze su ažurirane
* Verzija python-shell==1.0.1 se priprema za izlazak 29.02.2020. Među promjenama - podrška za automatsko dovršavanje komandi i naredbe dir(Shell), izvođenje komandi s Python-nevaljanim identifikatorom, ispravak grešaka.
Izvor: habr.com
