Danas vam predstavljamo prvi dio prijevoda materijala o tome kako se u Dropboxu bavi kontrolom tipova Python koda.
U Dropboxu se puno piše u Pythonu. To je jezik koji koristimo veoma široko – kako za backend servise, tako i za desktop klijentske aplikacije. Također, u velikim količinama koristimo Go, TypeScript i Rust, ali Python je naš glavni jezik. Uzimajući u obzir naše razmjere, a riječ je o milionima linija Python koda, ispostavilo se da je dinamička tipizacija tog koda neopravdano otežala njegovo razumijevanje i počela ozbiljno utjecati na produktivnost. Kako bismo ublažili ovaj problem, počeli smo postupno prebacivati svoj kod na statičku provjeru tipova koristeći mypy. To je vjerojatno najpopularniji samostalni sustav provjere tipova za Python. Mypy je open-source projekt, a njegovi glavni programeri rade u Dropboxu.
Dropbox je bila jedna od prvih kompanija koja je uvela statičku provjeru tipova u Python kodu u sličnom obimu. Danas se mypy koristi u tisućama projekata. Ovaj alat je nebrojeno puta, kako se to kaže, "testiran u borbi". Da bismo došli onde gdje smo sada, morali smo proći dug put. Na tom putu bilo je mnogo neuspješnih pokušaja i neuspjelih eksperimenata. Ovaj materijal govori o istoriji statičke provjere tipova u Pythonu – od njenog teškog početka, koji je bio dio mog naučnoistraživačkog projekta, do današnjih dana kada su provjere tipova i savjeti o tipovima postali uobičajeni za bezbroj programera koji pišu u Pythonu. Ovi mehanizmi sada podržavaju mnogi alati – poput IDE-a i analizatora koda.
→
Zašto je potrebna provjera tipova?
Ako ste ikada koristili dinamički tipizirani Python, možda ćete se zapitati zašto je u poslednje vreme podignuta tolika kuka oko statičke tipizacije i mypy. Možda vam se Python sviđa upravo zbog njegove dinamičke tipizacije, a to što se događa vas jednostavno uzrujava. Ključ vrednosti statičke tipizacije je obim rešenja: što je vaš projekat veći, to više naginjete statičkoj tipizaciji, i na kraju, to vam postaje zaista potrebno.
Pretpostavimo da je neki projekat dostigao veličinu od desetina hiljada linija, i da na njemu radi nekoliko programera. Gledajući sličan projekat, na osnovu našeg iskustva, možemo reći da će razumevanje njegovog koda biti ključno za održavanje produktivnosti programera. Bez anotacija tipa često nije lako otkriti, na primer, koje argumente treba proslediti funkciji, ili koje tipove može da vraća neka funkcija. Ovo su tipična pitanja na koja često nije lako odgovoriti bez korišćenja anotacija tipa:
- Može li ova funkcija vratiti
Nema? - Šta bi ovaj argument trebao biti
stavke? - Koji je tip atributa
id:intda li je to,str, ili možda neki korisnički tip? - Da li ovaj argument treba da bude lista? Može li se proslediti tupla?
Ako pogledate sledeći deo koda, opremljen anotacijama tipa, i pokušate da odgovorite na slična pitanja, otkrićete da je to najjednostavniji zadatak:
class Resource:
id: bytes
...
def read_metadata(self,
items: Sequence[str]) -> Dict[str, MetadataItem]:
...read_metadatane vraćaNema, pošto povratni tip nijeOptional[…].- Argument
stavke— to je sekvenca stringova. Ne može se iterirati u proizvoljnom redu. - Atribut
id— to je niz bajtova.
U idealnom svijetu moglo bi se očekivati da će sve ove niuanse biti opisane u ugrađenoj dokumentaciji (docstring). Međutim, iskustvo pruža brojne primjere toga da takva dokumentacija često nedostaje u kodu s kojim se radi. Čak i kada takva dokumentacija postoji, ne možemo se osloniti na njenu apsolutnu tačnost. Ova dokumentacija može biti nejasna, netačna i ostavljati mnogo prostora za pogrešno tumačenje. U velikim timovima ili velikim projektima, ovaj problem može postati izuzetno akutna.
Iako Python odlično funkcioniše u ranim ili srednjim fazama projekata, u određenom trenutku uspješni projekti i kompanije koje koriste Python mogu se suočiti s vitalnim pitanjem: "Da li trebamo sve prepisati na jeziku sa statičkom tipizacijom?".
Sistemi za provjeru tipova poput mypy rješavaju navedeni problem jer programerima pružaju formalni jezik za opisivanje tipova i osiguravaju da opisi tipova odgovaraju realizaciji programa (i, što nije obavezno, provjeravaju njihovu prisutnost). Može se reći da ovi sistemi daju neku vrstu pažljivo provjerene dokumentacije.
Primjena ovakvih sistema pruža i druge prednosti, koje su već potpuno značajne:
- Sistem za provjeru tipova može otkriti neke manje (kao i one veće) greške. Tipičan primjer je kada se zaboravi obraditi vrijednost
Nemaili neku drugu posebnu situaciju. - Značajno se olakšava refaktorisanje koda, jer sistem za provjeru tipova često vrlo precizno ukazuje koji kod treba promijeniti. Pritom, ne moramo se oslanjati na 100% pokrivenost koda testovima, što je, u svakom slučaju, obično neizvedivo. Ne moramo prolaziti kroz dubine izvještaja o praćenju steka da bismo utvrdili uzrok kvara.
- Čak i u velikim projektima, mypy često može da izvodi potpunu proveru tipova u delovima sekunde. A izvršavanje testova obično traje nekoliko sekundi ili čak minuta. Sistem provere tipova pruža programerima trenutnu povratnu informaciju i omogućava im da brže obave svoj posao. Više nije potrebno pisati krhke i teško održive modularne testove koji zamenjuju prave entitete sa mokovima i patch-ovima samo da bi se brže dobili rezultati ispitivanja koda.
IDE-i i uređivači, poput PyCharm-a ili Visual Studio Code-a, koriste mogućnosti tipizacije kako bi programerima omogućili automatsko dovršavanje koda, isticanje grešaka i podršku za često korišćene jezičke konstrukcije. I to su samo neki od benefita koje donosi tipizacija. Za neke programere, sve ovo je glavni argument za korišćenje tipizacije. Ovo donosi koristi odmah nakon implementacije u rad. Ova upotreba tipova ne zahteva upotrebu posebnog sistema provere tipova, poput mypy-a, iako treba napomenuti da mypy pomaže u održavanju usklađenosti između tipizacije i koda.
Pozadina mypy-a
Priča o mypy-u započela je u Velikoj Britaniji, u Kembridžu, nekoliko godina pre nego što sam se pridružio Dropbox-u. Bavio sam se, u okviru svog doktorskog istraživanja, pitanjem unifikacije statički tipizovanih i dinamičkih jezika. Inspirisala me je članak o postepenoj tipizaciji Jeremy-a Siek-a i Valida Taha, kao i projekat Typed Racket. Pokušavao sam da pronađem načine korišćenja istog programskog jezika za različite projekte — od malih skripti do kodnih baza koje se sastoje od više miliona redova. U tom procesu, želeo sam da ne moram da pravim prevelike kompromise bez obzira na veličinu projekta. Važan deo svega ovoga bila je ideja o postepenom prelasku sa netipizovanog prototipa projekta na sveobuhvatno testirani, statički tipizovani gotov proizvod. U današnje vreme, ove ideje su u velikoj meri uzete zdravo za gotovo, ali 2010. godine to je bio problem koji se još uvek aktivno istraživao.
Moj prvobitni rad na proveri tipova nije bio usmeren na Python. Umesto toga, koristio sam mali 'uradi sam' jezik. Evo primjer koji će vam pomoći da razumijete o čemu se radi (annotacije tipova ovdje nisu obavezne):
def Fib(n as Int) as Int
if n <= 1
return n
else
return Fib(n - 1) + Fib(n - 2)
end
endKorištenje pojednostavljenog jezika vlastitog razvoja je uobičajen pristup u naučnim istraživanjima. To je, između ostalog, zbog toga što omogućuje brzo provođenje eksperimenata, kao i mogućnost da se zanemari ono što nije relevantno za istraživanje. Realno korišteni programski jezici obično predstavljaju složena fenomena sa kompleksnim implementacijama, što usporava eksperimente. Međutim, bilo koji rezultati temeljeni na pojednostavljenom jeziku izgledaju pomalo sumnjivo, budući da je istraživač tokom dobijanja tih rezultata možda žrtvovao aspekte koji su važni za praktičnu upotrebu jezika.
Moje sredstvo za provjeru tipova za Alore izgledalo je vrlo obećavajuće, ali želio sam ga testirati provodeći eksperimente sa stvarnim kodom, koji, po mogućstvu, nije bio napisan na Alore. Na moju sreću, jezik Alore je u velikoj mjeri bio zasnovan na istim idejama kao Python. Bilo je dovoljno lako prilagoditi sredstvo za provjeru tipova tako da može raditi sa sintaksom i semantikom Pythona. To mi je omogućilo da pokušam izvršiti provjeru tipova u open-source Python kodu. Osim toga, napisao sam transpajler za prevođenje koda napisanog na Alore u Python kod i koristio ga za prevođenje koda mog sredstva za provjeru tipova. Sada sam imao sistem za provjeru tipova napisan na Pythonu koji podržava podskup Pythona, neku vrstu ove jezika! (Određena arhitektonska rješenja koja su imala smisla za Alore loše su odgovarala Pythona, to se i dalje primjećuje u nekim dijelovima kodne baze mypy.)
U stvarnosti, jezik koji podržava moj sistem tipova u ovom trenutku se ne može potpuno nazvati Python: bio je to varijanta Pythona zbog određenih ograničenja sintakse annotacija tipova Python 3.
Izgledalo je kao mješavina Jave i Pythona:
int fib(int n):
if n <= 1:
return n
else:
return fib(n - 1) + fib(n - 2)Jedna od mojih ideja u to vreme bila je korišćenje tipizacije za poboljšanje performansi kompajliranjem ove verzije Pythona u C, ili možda u JVM bajt kod. Napredovao sam do faze pisanja prototipa kompajlera, ali sam odustao od te ideje jer se činilo da je sama provera tipova bila dovoljno korisna.
Na kraju sam predstavio svoj projekat na konferenciji PyCon 2013 u Santa Klari. Takođe sam o tome razgovarao sa Gvidom van Rosumom, velikodušnim večnim diktatorom Pythona. Ubeđivao me je da se odrekne svog sintaksnog stila i pridržavam se standardne sintakse Pythona 3. Python 3 podržava anotacije funkcija, tako da se moj primer mogao prepisati kako je prikazano u nastavku, kako bi dobio normalan Python program:
def fib(n: int) -> int:
if n <= 1:
return n
else:
return fib(n - 1) + fib(n - 2)Morao sam da napravim neka kompromisna rešenja (prvo želim da napomenem da sam izumio sopstveni sintaksni stil upravo zbog toga). Konkretno, Python 3.3, najnovija verzija jezika u to vreme, nije podržavala anotacije varijabli. Razgovarao sam sa Gvidom putem e-pošte o različitim mogućnostima sintaktičkog oblikovanja ovih anotacija. Odlučili smo da koristimo komentare sa oznakom tipa za varijable. To je omogućilo postizanje postavljenog cilja, ali je izgledalo pomalo glomazno (Python 3.6 nam je dao lepšu sintaksu):
products = [] # type: List[str] # EwwKomentari sa tipovima su takođe bili korisni za podršku Pythonu 2, koji nema ugrađenu podršku za anotacije tipova:
f fib(n):
# type: (int) -> int
if n <= 1:
return n
else:
return fib(n - 1) + fib(n - 2)Ispostavilo se da ova (i druga) kompromisna rešenja zapravo nisu imala posebnu važnost — prednosti statičke tipizacije su dovele do toga da su korisnici brzo zaboravili na ne potpuno savršen sintaksni stil. Pošto se u Python kodu, u kojem su se kontrolisali tipovi, nisu primenjivale posebne sintaktičke konstrukcije, postojeći Python alati i procesi za obradu koda su nastavili normalno da rade, što je znatno olakšalo usvajanje novog alata od strane programera.
Gvido me je takođe ubedio da se pridružim Dropbox-u nakon što sam odbranio svoj završni rad. Tu počinje najzanimljiviji deo priče o mypy.
Nastavak sledi…
Poštovani čitatelji! Ako koristite Python, molimo vas da podelite koje projekte razvijate na ovom jeziku.
Izvor: habr.com
