Predstavljamo vam treći deo prevođenja materijala o putu koji je kompanija Dropbox prošla implementirajući sistem provere tipova Python koda.
→ Prethodni delovi: i
Postizanje 4 miliona linija tipiziranog koda
Još jedan važan cilj (to je bio drugi po popularnosti problem koji je brinuo one koji su učestvovali u internim anketama) bio je povećanje obima koda u Dropboxu koji je pokriven proverama tipova. Isprobali smo nekoliko pristupa za rešavanje ovog problema — od prirodnog rasta obima tipizirane kodne baze do fokusiranja napora članova tima mypy na statičkom i dinamičkom automatizovanom izvođenju tipova. Na kraju, steklo se doživljaj da ovde nema jednostavne dobitne strategije, ali smo uspeli da postignemo brz rast obima anotiranog koda kombinujući više pristupa.
Kao rezultat, u našem najvećem Python repozitorijumu (sa backend kodom) broj linija anotiranog koda dostigao je skoro 4 miliona. Rad na statičkoj tipizaciji koda trajao je otprilike tri godine. Mypy sada podržava različite vrste izveštaja o pokrivenosti koda tipovima, što olakšava praćenje napretka tipizacije. Konkretno, možemo formirati izveštaje o kodu sa nesigurnostima u tipovima, kao što su, na primer, eksplicitna upotreba tipa Any u anotacijama koje nije moguće proveriti, ili kao što su uvoz vanjskih biblioteka za koje nema anotacija tipova. U okviru projekta za poboljšanje tačnosti provere tipova u Dropboxu, doprineli smo unapređenju definicija tipova (tzv. stub datoteka) za neke popularne open source biblioteke u centralizovanom Python repozitorijumu .
Implementirali smo (i standardizovali u narednim PEP-ovima) nove mogućnosti sistema tipova koje omogućavaju korišćenje preciznijih tipova za neke specifične Python obrasce. Značajan primer ovoga je TypeDict, koji pruža tipove za JSON-slične rečnike koji imaju fiksni skup string ključeva, od kojih svaki ima vrednost svog tipa. Nastavićemo sa proširenjem sistema tipova. Verovatno će naš sledeći korak biti poboljšanje podrške mogućnostima Python-a za rad sa brojevima.

Broj linija anotiranog koda: server

Broj linija anotiranog koda: klijent

Ukupan broj linija anotiranog koda
Evo pregleda glavnih karakteristika radnji koje smo preduzeli radi povećanja obima anotiranog koda u Dropboxu:
Strogost anotiranja. Postepeno smo povećavali zahteve za strogošću anotiranja novog koda. Počeli smo sa predlozima linters-a, koji su preporučivali dodavanje anotacija u datoteke koje već imaju neke anotacije. Sada zahtevamo prisustvo anotacija tipova u novim Python datotekama i u većini postojećih datoteka.
Izveštaji o tipizaciji. Svake nedelje šaljemo timovima izveštaje o stepenu tipizacije njihovog koda i pružamo savete o tome šta bi trebalo prvo anotirati.
Popularizacija mypy-a. O mypy-u govorimo na raznim događajima i komuniciramo s timovima, pomažući im da započnu korišćenje anotacija tipova.
Ankete. Sprovodimo povremene ankete među korisnicima kako bismo identifikovali glavne probleme. Spremni smo da idemo prilično daleko da rešimo te probleme (čak do stvaranja novog jezika radi ubrzavanja mypy-a!).
Performanse. Značajno smo poboljšali performanse mypy-a korišćenjem demona i mypyc-a. To je učinjeno kako bi se smanjile neprijatnosti koje se javljaju tokom anotiranja i kako bismo omogućili rad s velikim obimima koda.
Integracija s uređivačima. Kreirali smo alate za podršku pokretanju mypy-a u uređivačima popularnim u Dropboxu. Ovo uključuje PyCharm, Vim i VS Code. To je značajno pojednostavilo proces izvođenja radova na anotiranju koda i proveri njegove funkcionalnosti. Slične akcije su obično karakteristične kod anotiranja postojećeg koda.
Statička analiza. Kreirali smo alat za generisanje potpisa funkcija koristeći sredstva statičke analize. Ovaj alat može raditi samo u relativno jednostavnim situacijama, ali nam je pomogao da bez većih napora povećamo pokrivenost koda tipovima.
Podrška za sporedne biblioteke. U mnogim našim projektima koristi se skup alata SQLAlchemy. U njemu se koriste dinamičke mogućnosti Pythona, koje tipovi PEP 484 ne mogu direktno modelovati. U skladu s PEP 561, kreirali smo odgovarajući stub-fail i napisali dodatak za mypy.), koji poboljšava podršku za SQLAlchemy.
Problemi sa kojima smo se susreli
Put do 4 miliona redova tipiziranog koda nije nam uvek bio lak. Na tom putu smo naišli na mnoge prepreke i napravili nekoliko grešaka. Ovo su neki od problema s kojima smo se suočili. Nadamo se da će naš izveštaj pomoći drugima da izbegnu slične probleme.
Propušteni fajlovi. Počeli smo sa proverom samo malog broja fajlova. Sve što nije bilo uključeno u taj broj nije se proveravalo. Fajlovi su dodavani na listu za proveru kada su dobijali prve anotacije. Ako je nešto uvoženo iz modula van područja provere, to se odnosilo na rad sa vrednostima tipa Any, koje uopšte nisu bile proveravane. To je dovelo do značajnog gubitka preciznosti tipizacije, posebno u ranim fazama migracije. Ovaj pristup je iznenađujuće dobro funcionišući, iako je tipična situacija bila da je dodavanje fajlova u područje provere otkrivalo probleme u drugim delovima koda. U najgorem slučaju, kada bi se spojila dva izolovana područja koda, u kojima su tipovi već bili provereni nezavisno jedni od drugih, pokazalo bi se da su ti tipovi međusobno nekompatibilni. To je dovelo do potrebe za brojnim izmenama u anotacijama. Sada, gledajući unazad, shvatamo da smo trebali što ranije dodati osnovne bibliotečke module u oblast provere tipova mypy. To bi našu posao učinilo puno predvidljivijim.
Annotacija starog koda. Kada smo započeli rad, imali smo oko 4 miliona linija već postojećeg Python koda. Bilo je jasno da je annotacija celog tog koda zadatak koji nije lak. Kreirali smo alat nazvan PyAnnotate, koji može prikupiti informacije o tipovima tokom izvođenja testova i dodati anotacije tipova u kod, na osnovu prikupljenih informacija. Ipak, nismo primetili posebno široko korišćenje ovog alata. Prikupljanje informacija o tipovima bilo je sporo, a automatski generisane anotacije često su zahtevale puno ručnih ispravki. Razmišljali smo o automatskom pokretanju ovog alata pri svakoj proveri koda, ili o prikupljanju informacija o tipovima na osnovu analize nečega što bi predstavljalo mali obim stvarnih mrežnih zahteva, ali smo odlučili da to ne učinimo, jer bi bilo koji od tih pristupa bio previše rizičan.
Na kraju se može primetiti da je većina koda ručno anotirana od strane njegovih vlasnika. Mi, kako bismo usmerili ovaj proces u pravom pravcu, pripremamo izveštaje o posebno važnim modulima i funkcijama koje treba anotirati. Na primer, važno je dodati anotacije tipa za bibliotečki modul koji se koristi na stotinama mesta. Međutim, staru uslugu koju zamenjuju novom, nije toliko važno anotirati. Takođe eksperimentišemo sa korišćenjem statičke analize za generisanje anotacija tipova za stari kod.
Ciklični imports. Rani sam govorio o cikličnim importima (o „klupčama zavisnosti“), čije postojanje otežava ubrzavanje mypy-a. Takođe, morali smo ozbiljno raditi na tome da obezbedimo mypy-u podršku za sve vrste idioma koji su rezultat ovih cikličnih importima. Nedavno smo završili veliki projekt preuređenja sistema, koji je ispravio većinu problema mypy-a vezanih za ciklične importe. Ovi problemi, zapravo, potekli su iz vrlo ranih dana projekta, još iz Alore, nastavnog jezika na koji je projekat mypy prvobitno bio usmeren. Sintaksa Alore omogućava lako rešavanje problema cikličnih importnih komandi. Moderni mypy je nasledio neka ograničenja iz svoje rane jednostavne implementacije (koja je bila odlična za Alore). Python otežava rad sa cikličnim importima uglavnom zbog nejasnoća izraza. Na primer, tokom operacije dodele vrednosti može se, zapravo, odrediti alias tipa. Mypy ne može uvek da prepozna ovakve stvari sve dok veći deo ciklusa importa ne bude obrađen. U Alore nije bilo takvih nejasnoća. Neuspešna rešenja donesena u ranijim fazama razvoja sistema mogu programerima doneti neugodno iznenađenje mnogo godina kasnije.
Rezultati: put do 5 miliona linija koda i novim horizontima
Projekat mypy prošao je dug put — od ranih prototipova do sistema koji kontroliše tipove produkcijskog koda obima od 4 miliona linija. Tokom razvoja mypy-a izvršena je standardizacija tipovskih saveta u Python-u. U današnje vreme oko tipizacije Python koda razvijena je snažna ekosistema. U njemu ima mesta za podršku bibliotekama, postoje pomoćni alati za IDE i editore, a tu su i različiti sistemi kontrole tipova, od kojih svaki ima svoje prednosti i nedostatke.
Iako se provere tipova u Dropbox-u već smatraju samorazumevajućim, siguran sam da još uvek živimo na pragu tipizacije Python koda. Mislim da će tehnologije provere tipova nastaviti da se razvijaju i unapređuju.
Ako još niste koristili provjere tipova u svom velikom Python projektu, znajte da je sada pravo vreme da počnete prelazak na statičku tipizaciju. Razgovarao sam sa onima koji su prešli na to. Niko od njih nije zažalio. Kontrola tipova čini Python jezikom koji je daleko bolji od "običnog Pythona" za razvoj velikih projekata.
Poštovani čitatelji! Da li koristite kontrolu tipova u svojim Python projektima?
Izvor: habr.com
