Put do provere tipova 4 miliona redova Python koda. Deo 2

Danas objavljujemo drugi deo prevoda materijala o tome kako su u Dropboxu organizovali kontrolu tipova za nekoliko miliona redova Python koda.

Put do provere tipova 4 miliona redova Python koda. Deo 2

→ Pročitaj prvu deo

Službena podrška tipovima (PEP 484)

Oslovili smo prve ozbiljne eksperimentisanja sa mypy u Dropboxu tokom Hack Week-a 2014. Hack Week je događaj koji se u Dropboxu održava tokom jedne nedelje. Tokom ovog vremena, zaposleni mogu raditi na bilo čemu! Neki od najpoznatijih tehnoloških projekata Dropboxa započeli su upravo na ovakvim događajima. Kao rezultat ovog eksperimenta, došli smo do zaključaka da mypy izgleda obećavajuće, iako ovaj projekat nije bio spreman za široku upotrebu.

I tada je u vazduhu bila ideja o standardizaciji sistema za davanje sugestija o tipovima u Pythonu. Kao što sam već rekao, od Python 3.0 bilo je moguće koristiti anotacije tipova za funkcije, ali su to bila samo proizvoljna iskazivanja, bez određenih sintaksa i semantike. Tokom izvršavanja programa, te anotacije su se uglavnom jednostavno ignorisale. Nakon Hack Week-a, počeli smo raditi na standardizaciji semantike. Ovaj rad doveo je do pojave PEP 484 (na ovom dokumentu su zajednički radili Guido van Rossum, Luka Langa i ja).

Naše motive moglo bi se posmatrati sa dve strane. Prvo, nadali smo se da bi cela ekosistem Python-a mogla prihvatiti jedinstven pristup korišćenju tipova sugestija (type hints — termin koji se koristi u Python-u kao analog "anotacijama tipova"). Ovo, uzimajući u obzir moguće rizike, bilo bi bolje nego koristiti mnoštvo međusobno nespojivih pristupa. Drugo, želeli smo otvoreno razgovarati o mehanizmima anotiranja tipova sa brojnim predstavnicima Python zajednice. Delić ovog želje bio je motivisan time što ne bismo želeli izgledati kao "odmetnici" od osnovnih ideja jezika u očima šireg kruga Python programera. To je dinamički tipiziran jezik, poznat po "patkasto tipiziranje". U zajednici, na početku, nije mogla da ne nastane sumnjičava reakcija na ideju statičke tipizacije. No, taj stav je s vremenom oslabljen — nakon što je postalo jasno da se statička tipizacija ne planira učiniti obaveznom (i nakon što su ljudi shvatili da je ona zaista korisna).

Prihvaćen sintaksis tipa bio je vrlo sličan onome koji je mypy podržavao u to vreme. Dokument PEP 484 je objavljen zajedno sa Python 3.5 2015. godine. Python više nije bio jezik koji podržava samo dinamičko tipiziranje. Smatram da je ovaj događaj značajna prekretnica u istoriji Pythona.

Početak migracije

Krajem 2015. godine, u Dropbox-u je formirana tročlana ekipa za rad na mypy. U timu su bili Guido van Rossum, Greg Price i David Fisher. Od tog trenutka situacija je počela da se razvija veoma brzo. Prva prepreka na putu rasta mypy bila je performansa. Kao što sam već nagovestio, u ranoj fazi razvoja projekta razmišljao sam o prebacivanju implementacije mypy na jezik C, ali je ta ideja za sada bila odbačena. Zauzeli smo se oko toga da je za pokretanje sistema korišćen CPython interpreter, koji nema dovoljnu brzinu za alate poput mypy. (Projekat PyPy, alternativna implementacija Pythona sa JIT kompajlerom, takođe nam nije pomogao.)

Na sreću, neki algoritamski napretci su nam pomogli. Prvo značajno " ubrzanje" je bila implementacija inkrementalne provere. Ideja ovog unapređenja bila je jednostavna: ako se sve zavisnosti modula od prethodnog pokretanja mypy nisu menjale, možemo koristiti, tokom rada sa zavisnostima, podatke keširane tokom prethodne sesije. Trebalo je da proverimo tipove samo u izmenjenim fajlovima i onim fajlovima koji su od njih zavisili. Mypy je otišao čak malo dalje: ako se spoljašnji interfejs modula nije menjao - mypy je smatrao da nije potrebno ponovo proveravati druge module koji uvoze ovaj modul.

Inkrementalna provjera puno nam je pomogla pri anotiranju velikih količina postojećeg koda. Naime, ovaj proces obično uključuje brojne iterativne pokretanja mypy-a, budući da se anotacije postepeno dodaju u kod i postepeno poboljšavaju. Prvo pokretanje mypy-a još uvijek je bilo vrlo sporo, jer je prilikom njegove izvedbe potrebno provjeriti mnogo zavisnosti. Tada smo, kako bismo poboljšali situaciju, implementirali mehanizam udaljenog keširanja. Ako mypy otkrije da je lokalni keš, vjerovatno, zastario, preuzima trenutni snimak keša za cijelu kodnu bazu iz centraliziranog repozitorija. Zatim vrši, koristeći taj snimak, inkrementalnu provjeru. To nas je još jednom značajno unaprijedilo u povećanju performansi mypy-a.

Bio je to period brzog i prirodnog uvođenja sistema provjere tipova u Dropbox. Do kraja 2016. godine imali smo već otprilike 420.000 linija Python koda sa anotacijama tipova. Mnogi korisnici su entuzijastično prihvatili provjeru tipova. U Dropboxu su mypy koristili sve više timova programera.

Sve je tada izgledalo dobro, ali smo imali još mnogo posla. Počeli smo provoditi periodične unutrašnje ankete među korisnicima kako bismo otkrili problematična mjesta projekta i razumjeli koja pitanja trebamo riješiti kao prioritet (ova praksa se koristi u kompaniji i danas). Najvažnija, kako se ispostavilo, bila su dva zadatka. Prvi je bio potrebno veće pokriće koda tipovima, a drugi je bio da mypy radi brže. Bilo je sasvim jasno da naš rad na ubrzavanju mypy-a i njegovom uvođenju u projekte kompanije još daleko od završetka. U potpunosti svjesni važnosti ovih dviju zadataka, posvetili smo se njihovom rješavanju.

Više performansi!

Inkrementalne provjere su ubrzale mypy, ali ovaj alat još uvijek nije bio dovoljno brz. Mnoge inkrementalne provjere su trajale oko minuta. Razlog tome su bili ciklični importi. To vjerojatno neće iznenaditi onoga tko je radio s velikim kodnim bazama napisanim na Pythonu. Imali smo skupove od stotina modula, od kojih je svaki neizravno importirao sve ostale. Ako je bilo koja datoteka u ciklusu importovih učinjena, mypy je morao obraditi sve datoteke uključene u taj ciklus, a često i bilo koje module koji su importirali module iz tog ciklusa. Jedan od takvih ciklusa bio je posmrtno poznati „klubak zavisnosti“, koji je uzrokovao brojne neugodnosti u Dropbox-u. Jednom je ova struktura sadržavala nekoliko stotina modula, a importirali su je, izravno ili neizravno, mnogi testovi, a koristila se i u produkcijskom kodu.

Razmatrali smo mogućnost „raspetljavanja“ cikličnih zavisnosti, ali nismo imali resurse za to. Bilo je previše koda s kojim nismo bili upoznati. Na kraju smo se odlučili za alternativni pristup. Odlučili smo učiniti tako da mypy brzo radi čak i u prisustvu „klubaka zavisnosti“. Ovaj cilj smo postigli pomoću mypy demona. Demon je serverski proces koji implementira dvije zanimljive mogućnosti. Prvo — drži u memoriji informacije o cijeloj kodnoj bazi. To znači da prilikom svakog pokretanja mypy nije potrebno učitavati keširane podatke vezane za hiljade importovanih zavisnosti. Drugo — pažljivo, na nivou malih strukturalnih jedinica, analizira zavisnosti između funkcija i drugih entiteta. Na primjer, ako funkcija foo poziva funkciju bar, postoji zavisnost foo od bar. Kada se datoteka promijeni — demon prvo, u izolaciji, obrađuje samo promijenjenu datoteku. Zatim gleda na promjene te datoteke, koje su vidljive izvana, kao što su promijenjene potpise funkcija. Demon koristi detaljne informacije o importima samo za ponovnu provjeru onih funkcija koje zaista koriste promijenjenu funkciju. Obično je pri ovom pristupu potrebno provjeriti vrlo mali broj funkcija.

Realizacija svega ovoga nije bila jednostavna, s obzirom na to da je izvorna implementacija mypy bila snažno orijentisana na obradu jednog fajla u jednom trenutku. Morali smo se suočiti sa brojnim ivicama slučajevima, čije je pojavljivanje zahtevalo ponovne provere kada se nešto u kodu promenilo. Na primer, ovo se dešava kada klasi dodelju novi osnovni klasu. Nakon što smo uradili ono što smo želeli, uspeli smo da smanjimo vreme izvršavanja većine inkrementalnih provera na nekoliko sekundi. Ovo nam se činilo velikom pobedom.

Još veća performansa!

Zajedno sa udaljenim keširanjem, o kojem sam govorio ranije, demon mypy je praktično potpuno rešio probleme koji nastaju kada programer često pokreće provere tipova, praveći izmene u malom broju fajlova. Međutim, performanse sistema u najmanje povoljnom scenariju korišćenja još uvek su bile daleko od optimalnih. Čisto pokretanje mypy je moglo trajati više od 15 minuta. A to je bilo daleko više nego što bi nam odgovaralo. Svakog الأسبوع, situacija je postajala sve gora, kako su programeri nastavili da pišu novi kod i dodaju anotacije postojećem kodu. Naši korisnici su i dalje težili većoj performansi, a mi smo bili spremni da im izađemo u susret.

Odlučili smo se vratiti jednoj od ranijih ideja vezano uz mypy. Naime, o pretvaranju Python koda u C kod. Eksperimenti s Cython-om (to je sustav koji omogućava prevođenje koda napisanog u Python-u u C kod) nisu nam donijeli nikakvo vidljivo ubrzanje, pa smo odlučili obnoviti ideju pisanja vlastitog kompajlera. Budući da je kodna baza mypy (napisana u Python-u) već sadržavala sve potrebne tipovne anotacije, činilo nam se isplativim pokušati iskoristiti te anotacije za ubrzanje rada sustava. Brzo sam stvorio prototip za testiranje te ideje. On je pokazao više od 10 puta veći rast performansi na raznim mikro-benchmarkovima. Naša ideja bila je da kompajliramo Python module u C module pomoću Cython-a, te da pretvorimo tipovne anotacije u provjere tipova koje se provode tijekom izvođenja programa (obično se tipovne anotacije zanemaruju tijekom izvođenja programa i koriste ih samo sustavi za provjeru tipova). U suštini, planirali smo prevesti implementaciju mypy-a s Python-a na jezik koji je statički tipiziran, koji bi izgledao (i većinom radio) baš kao Python. (Ova vrsta međujezične migracije postala je svojevrsna tradicija projekta mypy. Prvobitna implementacija mypy-a bila je napisana u Alore, nakon čega je došlo do sintaktičkog hibrida Java i Python-a).

Orijentacija na API ekstenzija CPython bila je ključna kako bismo zadržali mogućnosti upravljanja projektom. Nije bilo potrebno implementirati virtualnu mašinu ili bilo koje biblioteke koje je mypy trebao. Osim toga, cijela Python ekosustava i dalje bi nam bila dostupna, svi alati (poput pytest-a) bi bili na raspolaganju. To je značilo da smo mogli nastaviti koristiti interpretirani Python kod tijekom razvoja, što nam je omogućilo brzu shemu izmjene koda i testiranja, umjesto da čekamo na kompilaciju koda. Izgledalo je kao da nam savršeno polazi za rukom, da tako kažem, sjediti na dva stolca, i to nam se svidjelo.

Kompajler koji smo nazvali mypyc (pošto koristi mypy za analizu tipova kao frontend) pokazao se kao vrlo uspješan projekt. U suštini, postigli smo približno četverostruko ubrzanje čestih pokretanja mypy bez korištenja keširanja. Razvoj jezgre projekta mypyc trajao je malom timu, koji su činili Majkl Salivan, Ivan Levkivski, Hju Han i ja, oko četiri kalendarska mjeseca. Ova količina rada bila je znatno manja od one koja bi bila potrebna za prepisivanje mypy, na primjer, u C++ ili Go. Osim toga, morali smo unijeti mnogo manje promjena u projekt nego što bismo morali da smo ga prepisivali na nekom drugom jeziku. Također smo se nadali da ćemo mypyc dovesti na nivo da ga koriste i drugi programeri iz Dropboxa za kompilaciju i ubrzanje svog koda.

Da bismo postigli sličan nivo performansi, morali smo upotrijebiti neka zanimljiva inženjerska rješenja. Naime, kompajler može ubrzati izvršenje mnogih operacija zahvaljujući korištenju brzih niskonivskih konstrukcija C. Na primjer, poziv kompajlirane funkcije se prevodi u poziv C-funkcije. Takav poziv se izvršava mnogo brže od poziva interpretirane funkcije. Neke operacije, poput pretraživanja u rječnicima, i dalje su se svodile na korištenje uobičajenih poziva C-API iz CPython-a, koji su nakon kompajliranja bili samo malo brži. Uspjeli smo se osloboditi dodatnog opterećenja na sistemu koje stvara interpretacija, ali to je u ovom slučaju dalo samo mali dobitak u smislu performansi.

Kako bismo identificirali najčešće "spore" radnje, izvršili smo profiliranje koda. Opremljeni prikupljenim podacima, pokušali smo ili prilagoditi mypyc da generira brži C-kod za slične operacije, ili prepisati odgovarajući Python-kod koristeći brže radnje (ponekad jednostavno nismo imali dovoljno jednostavno rješenje za neki problem). Prepisivanje Python-koda često se pokazalo lakšim rješenjem problema nego implementacija automatskog izvršavanja iste transformacije u kompajleru. Dugoročno, željeli smo automatizirati mnoge od tih transformacija, ali u tom trenutku bili smo usmjereni na to da uz minimalan trud ubrzamo mypy. Krećući se prema tom cilju, skratili smo nekoliko koraka.

Nastavak sledi…

Poštovani čitatelji! Kakvi su dojmovi na vas ostavili mypy projekt kada ste saznali za njegovu egzistenciju?

Put do provere tipova 4 miliona redova Python koda. Deo 2
Put do provere tipova 4 miliona redova Python koda. Deo 2

Izvor: habr.com

Kupite pouzdan hosting za sajtove uz zaštitu od DDoS, VPS VDS servere 🔥 Kupite pouzdan hosting za sajtove uz zaštitu od DDoS, VPS VDS servere | ProHoster