Dobar dan svima.
Trenutno je Python jedan od najkorištenijih jezika u oblasti stvaranja ne samo softverskih proizvoda, već i infrastrukture koja ih podržava. Kao rezultat toga, mnogim DevOps stručnjacima, bilo voljno ili ne, bilo je potrebno naučiti novi jezik kako bi ga koristili kao dopunu starim dobrim Bash skriptama. Ipak, Bash i Python imaju različite pristupe pisanju koda i određene karakteristike, zbog čega portovanje Bash skripti na "zmijski jezik" ponekad može biti složen i daleko od trivijalnog zadatka.
Kako bi olakšali život DevOps stručnjacima, stvorene su i nastavljaju se razvijati mnoge korisne biblioteke i alati na Pythonu. Ovaj članak opisuje čak dve nove biblioteke, koje je autor ovog posta kreirao — i — i čija je svrha osloboditi DevOps stručnjaka od potrebe da se bave sitnicama rada s Pythonom, ostavljajući prostor za zanimljivije zadatke. Oblast delovanja biblioteka su promenljive okruženja i pokretanje spoljnih alata.
Ko se zainteresovao, molim vas da nastavite.
Novi "bicikli"?
Činilo bi se, zašto stvoriti nove pakete za prilično uobičajene operacije? Šta sprečava direktno korišćenje os.environ i subprocess.?
Dokaze za svaku od biblioteka ću pružiti posebno.
Biblioteka smart-env
Pre nego što napišete svoje malo čudo, korisno je da zavirite na Internet i potražite gotova rešenja. Naravno, postoji rizik da ne pronađete ono što vam treba, ali to je, pre će biti, "osigurani slučaj". Obično pristup uspeva i štedi puno vremena i truda.
Prema rezultatima otkriveno je sledeće:
- postoji paketa koji, zapravo, obavijaju pozive ka os.environ, ali zahtevaju mnogo odvraćajućih radnji (kreiranje instance klase, specijalni parametri u pozivima itd.);
- ima dobrih paketa koji su, međutim, čvrsto vezani za određeni ekosistem (uglavnom, na web frameworke kao što je Django) i zato nisu univerzalni bez 'fajl anvil' alata;
- ima retkih pokušaja da se napravi nešto novo. Na primer, i jasno parsiranje vrednosti promenljivih pozivanjem metoda kao što su
get_(var_name)Ili evo , koje, međutim, ne podržava sada već ukinuti Python 2 (na kojem, uprkos , još uvijek ostaju brda napisanog koda i čitave ekosustave);
- imamo školske-studentske kreacije, uopće nije jasno zašto su se našle u upstream PyPI i samo stvaraju probleme s imenovanjem novih paketa (konkretno, naziv „smart-env“ — prisilna mjera).
I ovaj popis se može dugo nastaviti. Međutim, već navedeni stavovi su bili dovoljni da se upali ideja o stvaranju nečega praktičnog i univerzalnog.
Zahtjevi koji su postavljeni pri pisanju smart-env:
- Maksimalno jednostavan način korištenja
- Lako konfigurabilna podrška za tipizaciju podataka
- Kompatibilnost s Python 2.7
- Dobar pregled testa pokrivenosti koda
Na kraju, sve to je ostvareno. Evo primjera korištenja:
from smart_env import ENV
print(ENV.HOME) # Jednako kao print(os.environ['HOME'])
# pretpostavljajući da ste postavili varijablu MYVAR na "True"
ENV.enable_automatic_type_cast()
my_var = ENV.MY_VAR # Jednako boolean True
ENV.NEW_VAR = 100 # Postavlja novu varijablu okruženja
Kao što se može vidjeti iz primjera, za rad s novom klasom dovoljno je samo importovati je (nije potrebno stvarati instancu — minus nepotrebna radnja). Pristup bilo kojoj varijabli okruženja se postiže pozivanjem kao varijabla klase ENV, što praktično čini ovu klasu intuitivno jasnom omotnicom za nativno sistemsko okruženje, dok istovremeno preobražava u mogući oblik objekta konfiguracije gotovo svakog sistema (sličan pristup, na primjer, se postiže u Django, gdje modul/paket settings djeluje kao konfiguracijski objekt).
Uključivanje/isključivanje režima podrške za automatsku tipizaciju se postiže korištenjem dviju metoda — enable_automatic_type_cast() i disable_automatic_type_cast(). To može biti korisno ako u varijabli okruženja leži serijalizirani JSON-popisni objekt ili čak samo boolean konstanta (izričito definiranje varijable DEBUG u Django putem usporedbe varijable okruženja s „dozvoljenim“ stringovima — jedan od često viđenih slučajeva). No sada nije potrebno izričito konvertirati stringove — većina potrebnih radnji je već ugrađena u dubine biblioteke i samo čeka signal za akciju. 🙂 U cjelini, tipizacija radi transparentno i podržava gotovo sve postojeće ugradene tipove podataka (frozenset, complex i bytes nisu testirani).
Zahtev za podršku Python 2 je realizovan praktično bez gubitaka (odustajanje od typing-a i nekih noviteta iz poslednjih verzija Python 3), zahvaljujući svuda prisutnom six-u (za rešavanje problema korišćenja metaklasova).
Ali postoje i neka ograničenja:
- Podrška za Python 3 podrazumeva verziju 3.5 i noviju (njihova prisutnost u vašem projektu je rezultat ili lenjosti, ili nema potrebe za poboljšanjima, budući da je teško smisliti objektivan razlog zašto ste još uvek na 3.4);
- U Python 2.7 biblioteka ne podržava deserializaciju literalnih skupova. Opis . Ali, ako neko želi da implementira - dobrodošli :);
Biblioteka takođe sadrži mehanizam izuzetaka za slučaj grešaka prilikom parsiranja. Ako se red ne može prepoznati nijednim od dostupnih analizerа, ostaje kao string (više iz razloga pogodnosti i obezbeđivanja povratne kompatibilnosti sa uobičajenom logikom rada varijabli u Bash-u).
Biblioteka python-shell
Sada ću govoriti o drugoj biblioteci (opis nedostataka postojećih analoga ću izostaviti - slična je onome što je opisano za smart-env. Analogi - i ).
U suštini, ideja implementacije i zahtevi za nju su slični onima opisanim za smart-env, što se vidi iz primera:
from python_shell import Shell
Shell.ls('-l', '$HOME') # Jednako "ls -l $HOME"
command = Shell.whoami() # Jednako "whoami"
print(command.output) # ispisuje vaše trenutno korisničko ime
print(command.command) # ispisuje "whoami"
print(command.return_code) # ispisuje "0"
print(command.arguments) # ispisuje ""
Shell.mkdir('-p', '\/tmp\/new_folder') # pravi novu folder
Ideja je sledeća:
- Jedinstvena klasa koja personifikuje Bash u svetu Pythona;
- Svaka Bash komanda se poziva kao funkcija klase Shell;
- Parametri poziva svake funkcije se prosleđuju odgovarajućem pozivu Bash komande;
- Svaka komanda se izvršava "ovde i sada" u trenutku njenog poziva, tj. koristi se sinhroni pristup;
- postoji mogućnost pristupa izlazu komande u stdout, kao i njenom kodu povratka;
- Ako komanda nije prisutna u sistemu - baciće se izuzetak.
Kao i u slučaju sa smart-env, obezbeđena je podrška za Python 2 (doduše, bilo je potrebno malo više žrtvovane krvi) i ne postoji podrška za Python 3.0-3.4.
Planovi za dalji razvoj biblioteka
Biblioteke se mogu koristiti već sada: obe su objavljene na zvaničnom PyPI-u. Izvorni kodovi su dostupni na Github-u (vidi ispod).
Obje biblioteke će se razvijati uzimajući u obzir povratne informacije prikupljene od zainteresovanih. I, dok je možda teško smisliti raznovrsne nove funkcionalnosti u smart-env, u python-shell sigurno ima još mnoštvo što se može dodati:
- podrška za neblokirajuće pozive;
- mogućnost interaktivnog razgovora s timom (rad s stdin);
- dodavanje svojstava (na primer, property za dobijanje izlaza iz stderr);
- implementacija kataloga dostupnih komandi (za korišćenje s funkcijom dir());
- itd.
Linkovi
- Biblioteka smart-env: i
- Biblioteka python-shell: i
- ažuriranja biblioteka
UPD 23.02.2020:
* Repozitorijumi su prebačeni, odgovarajući linkovi su ažurirani
* Verzija python-shell==1.0.1 se priprema za izlazak 29.02.2020. Među izmenama je podrška za automatsko dovršavanje komandi i komanda dir(Shell), pokretanje komandi s Python-nevalidnim identifikatorom, ispravka grešaka.
Izvor: habr.com
