Python કોડની 4 મિલિયન લીટીઓ ટાઇપચેક કરવાનો માર્ગ. ભાગ 3

પાયથોન કોડ માટે ટાઇપ ચેકિંગ સિસ્ટમ અમલમાં મૂકતી વખતે ડ્રૉપબૉક્સે જે પાથ લીધો તે વિશેની સામગ્રીના અનુવાદનો ત્રીજો ભાગ અમે તમારા ધ્યાન પર રજૂ કરીએ છીએ.

→ પાછલા ભાગો: પ્રથમ и બીજું

ટાઇપ કરેલા કોડની 4 મિલિયન લાઇન સુધી પહોંચવું

અન્ય મુખ્ય પડકાર (અને આંતરિક રીતે સર્વેક્ષણ કરાયેલા લોકોમાં બીજી સૌથી સામાન્ય ચિંતા) ડ્રોપબૉક્સમાં ટાઇપ ચેક દ્વારા આવરી લેવામાં આવતા કોડની માત્રામાં વધારો કરવાનો હતો. અમે આ સમસ્યાને ઉકેલવા માટે ઘણા અભિગમો અજમાવ્યા છે, જેમાં ટાઈપ કરેલા કોડબેઝના કદને કુદરતી રીતે વધારવાથી લઈને સ્થિર અને ગતિશીલ સ્વચાલિત પ્રકાર અનુમાન પર mypy ટીમના પ્રયત્નો પર ધ્યાન કેન્દ્રિત કરવા સુધી. અંતે, એવું લાગતું હતું કે જીતવાની કોઈ સરળ વ્યૂહરચના નથી, પરંતુ અમે ઘણા અભિગમોને જોડીને એનોટેડ કોડના વોલ્યુમમાં ઝડપી વૃદ્ધિ હાંસલ કરવામાં સક્ષમ હતા.

પરિણામે, અમારી સૌથી મોટી પાયથોન રીપોઝીટરી (બેકએન્ડ કોડ સાથે) લગભગ 4 મિલિયન લીટીઓ એનોટેડ કોડ ધરાવે છે. સ્ટેટિક કોડ ટાઈપિંગનું કામ અંદાજે ત્રણ વર્ષમાં પૂર્ણ થયું હતું. Mypy હવે વિવિધ પ્રકારના કોડ કવરેજ રિપોર્ટ્સને સપોર્ટ કરે છે જે ટાઇપિંગની પ્રગતિને મોનિટર કરવાનું સરળ બનાવે છે. ખાસ કરીને, અમે પ્રકારોમાં અસ્પષ્ટતા સાથે કોડ પર રિપોર્ટ્સ જનરેટ કરી શકીએ છીએ, જેમ કે, ઉદાહરણ તરીકે, પ્રકારનો સ્પષ્ટ ઉપયોગ Any એનોટેશનમાં જે ચકાસી શકાતી નથી, અથવા તૃતીય-પક્ષ લાઇબ્રેરીઓ આયાત કરવા જેવી બાબતો સાથે કે જેમાં ટાઇપ એનોટેશન નથી. ડ્રૉપબૉક્સમાં ટાઇપ ચેકિંગની સચોટતા સુધારવાના પ્રોજેક્ટના ભાગરૂપે, અમે કેન્દ્રિય Python રિપોઝીટરીમાં કેટલીક લોકપ્રિય ઓપન સોર્સ લાઇબ્રેરીઓ માટે ટાઇપ ડેફિનેશન (કહેવાતી સ્ટબ ફાઇલો) સુધારવામાં યોગદાન આપ્યું છે. ટાઇપશેડ.

અમે ટાઈપ સિસ્ટમની નવી સુવિધાઓ લાગુ કરી (અને અનુગામી PEPs માં પ્રમાણિત) જે અમુક ચોક્કસ પાયથોન પેટર્ન માટે વધુ ચોક્કસ પ્રકારોને મંજૂરી આપે છે. તેનું એક નોંધપાત્ર ઉદાહરણ છે TypeDict, જે JSON-જેવા શબ્દકોશો માટેના પ્રકારો પૂરા પાડે છે જેમાં સ્ટ્રિંગ કીનો નિશ્ચિત સેટ હોય છે, દરેક તેના પોતાના પ્રકારનું મૂલ્ય ધરાવે છે. અમે ટાઇપ સિસ્ટમને વિસ્તારવાનું ચાલુ રાખીશું. અમારું આગલું પગલું કદાચ પાયથોનની સંખ્યાત્મક ક્ષમતાઓ માટેના સમર્થનને સુધારવાનું હશે.

ટીકા કરેલ કોડની રેખાઓની સંખ્યા: સર્વર

ટીકા કરેલ કોડની રેખાઓની સંખ્યા: ક્લાયન્ટ

એનોટેડ કોડની લાઇનોની કુલ સંખ્યા

ડ્રૉપબૉક્સમાં ઍનોટેટેડ કોડની માત્રા વધારવા માટે અમે કરેલી વસ્તુઓની મુખ્ય વિશેષતાઓની અહીં ઝાંખી છે:

ટીકાની કઠોરતા. અમે નવા કોડની ટીકા કરવાની કઠોરતા માટેની જરૂરિયાતો ધીમે ધીમે વધારી છે. અમે લિંટર ટિપ્સ સાથે શરૂઆત કરી છે જે પહેલાથી જ કેટલીક ટીકાઓ ધરાવતી ફાઈલોમાં એનોટેશન ઉમેરવાનું સૂચન કરે છે. અમને હવે નવી પાયથોન ફાઈલોમાં અને મોટાભાગની હાલની ફાઈલોમાં ટાઈપ એનોટેશનની જરૂર છે.

ટાઈપિંગ રિપોર્ટ્સ. અમે ટીમોને તેમના કોડમાં ટાઇપ કરવાના સ્તર પર સાપ્તાહિક અહેવાલો મોકલીએ છીએ અને પહેલા શું ટીકા કરવી જોઈએ તે અંગે સલાહ આપીએ છીએ.

માયપીનું લોકપ્રિયકરણ. અમે ઇવેન્ટમાં mypy વિશે વાત કરીએ છીએ અને ટાઈપ એનોટેશન સાથે પ્રારંભ કરવામાં મદદ કરવા માટે ટીમો સાથે વાત કરીએ છીએ.

મતદાન. અમે મુખ્ય સમસ્યાઓ ઓળખવા માટે સમયાંતરે વપરાશકર્તા સર્વેક્ષણો કરીએ છીએ. અમે આ સમસ્યાઓના ઉકેલમાં ખૂબ આગળ જવા માટે તૈયાર છીએ (માયપીને ઝડપી બનાવવા માટે એક નવી ભાષા પણ બનાવીએ!).

પ્રદર્શન. અમે ડિમન અને mypyc નો ઉપયોગ કરીને mypy ના પ્રદર્શનમાં ઘણો સુધારો કર્યો છે. આ એનોટેશન પ્રક્રિયા દરમિયાન ઉદભવતી અસુવિધાઓને સરળ બનાવવા અને મોટા પ્રમાણમાં કોડ સાથે કામ કરવા માટે સક્ષમ થવા માટે કરવામાં આવ્યું હતું.

સંપાદકો સાથે એકીકરણ. અમે ડ્રૉપબૉક્સ પર લોકપ્રિય એવા સંપાદકોમાં mypy ચલાવવાને સમર્થન આપવા માટે સાધનો બનાવ્યાં છે. આમાં PyCharm, Vim અને VS કોડનો સમાવેશ થાય છે. આનાથી કોડની ટીકા કરવાની અને તેની કાર્યક્ષમતા ચકાસવાની પ્રક્રિયાને મોટા પ્રમાણમાં સરળ બનાવવામાં આવી. હાલના કોડની ટીકા કરતી વખતે આ પ્રકારની ક્રિયાઓ સામાન્ય છે.

સ્થિર વિશ્લેષણ. અમે સ્ટેટિક એનાલિસિસ ટૂલ્સનો ઉપયોગ કરીને ફંક્શન સિગ્નેચરનું અનુમાન કરવા માટે એક સાધન બનાવ્યું છે. આ સાધન માત્ર પ્રમાણમાં સરળ પરિસ્થિતિઓમાં જ કામ કરી શકે છે, પરંતુ તે અમને ખૂબ જ પ્રયત્નો કર્યા વિના અમારા કોડ પ્રકાર કવરેજને વધારવામાં મદદ કરે છે.

તૃતીય પક્ષ પુસ્તકાલયો માટે આધાર. અમારા ઘણા પ્રોજેક્ટ SQLAlchemy ટૂલકીટનો ઉપયોગ કરે છે. તે Python ની ગતિશીલ ક્ષમતાઓનો લાભ લે છે કે PEP 484 પ્રકારો સીધા મોડલ કરવામાં અસમર્થ છે. અમે, PEP 561 અનુસાર, અનુરૂપ સ્ટબ ફાઇલ બનાવી અને mypy માટે પ્લગઇન લખ્યું (ખુલ્લા સ્ત્રોત), જે SQLAlchemy સપોર્ટને સુધારે છે.

અમે જે મુશ્કેલીઓનો સામનો કર્યો

ટાઇપ કરેલા કોડની 4 મિલિયન લાઇનનો માર્ગ હંમેશા અમારા માટે સરળ નથી હોતો. આ માર્ગ પર અમે ઘણા ખાડાઓનો સામનો કર્યો અને ઘણી ભૂલો કરી. આ કેટલીક સમસ્યાઓ છે જેનો અમે સામનો કર્યો છે. અમે આશા રાખીએ છીએ કે તેમના વિશે જણાવવાથી અન્ય લોકોને સમાન સમસ્યાઓ ટાળવામાં મદદ મળશે.

ફાઈલો ખૂટે છે. અમે માત્ર થોડીક જ ફાઈલો તપાસીને અમારું કામ શરૂ કર્યું. આ ફાઈલોમાં સમાવેલ નથી તે કંઈપણ તપાસવામાં આવ્યું નથી. ફાઇલોને સ્કેનિંગ સૂચિમાં ઉમેરવામાં આવી હતી જ્યારે તેમાં પ્રથમ ટીકાઓ દેખાયા. જો ચકાસણીના અવકાશની બહાર સ્થિત મોડ્યુલમાંથી કંઈક આયાત કરવામાં આવ્યું હોય, તો અમે મૂલ્યો સાથે કામ કરવા વિશે વાત કરી રહ્યા હતા જેમ કે Any, જેનું બિલકુલ પરીક્ષણ કરવામાં આવ્યું ન હતું. આનાથી ખાસ કરીને સ્થળાંતરના પ્રારંભિક તબક્કામાં ટાઇપિંગની ચોકસાઈમાં નોંધપાત્ર નુકસાન થયું. આ અભિગમે અત્યાર સુધી આશ્ચર્યજનક રીતે સારી રીતે કામ કર્યું છે, જો કે સામાન્ય પરિસ્થિતિ એ છે કે સમીક્ષાના અવકાશમાં ફાઇલો ઉમેરવાથી કોડબેઝના અન્ય ભાગોમાં સમસ્યાઓ ઉદભવે છે. સૌથી ખરાબ કિસ્સામાં, જ્યારે કોડના બે અલગ વિસ્તારો મર્જ કરવામાં આવ્યા હતા, જેમાં, એકબીજાથી સ્વતંત્ર રીતે, પ્રકારો પહેલાથી જ તપાસવામાં આવ્યા હતા, તે બહાર આવ્યું છે કે આ વિસ્તારોના પ્રકારો એકબીજા સાથે અસંગત હતા. આને કારણે ટીકાઓમાં ઘણા ફેરફારો કરવાની જરૂર પડી. હવે પાછળ જોતા, અમને ખ્યાલ આવે છે કે આપણે વહેલા માયપીના ટાઇપ ચેકિંગ એરિયામાં કોર લાઇબ્રેરી મોડ્યુલો ઉમેર્યા હોવા જોઈએ. આ અમારા કાર્યને વધુ અનુમાનિત બનાવશે.

જૂના કોડની ટીકા કરી રહ્યાં છીએ. જ્યારે અમે શરૂ કર્યું, ત્યારે અમારી પાસે હાલના પાયથોન કોડની લગભગ 4 મિલિયન લાઇન હતી. તે સ્પષ્ટ હતું કે આ બધા કોડની ટીકા કરવી એ સરળ કાર્ય નથી. અમે PyAnnotate નામનું એક ટૂલ બનાવ્યું છે જે પરીક્ષણો ચાલતી હોવાથી પ્રકારની માહિતી એકત્રિત કરી શકે છે અને એકત્રિત કરેલી માહિતીના આધારે તમારા કોડમાં ટાઈપ એનોટેશન ઉમેરી શકે છે. જો કે, અમે આ ટૂલને ખાસ કરીને વ્યાપક અપનાવવાની નોંધ લીધી નથી. પ્રકારની માહિતી ભેગી કરવી ધીમી હતી, અને આપમેળે જનરેટ થયેલી ટીકાઓ માટે ઘણીવાર ઘણા મેન્યુઅલ સંપાદનોની જરૂર પડે છે. અમે જ્યારે પણ કોડની સમીક્ષા કરીએ ત્યારે આ ટૂલને આપમેળે ચલાવવા વિશે અથવા વાસ્તવિક નેટવર્ક વિનંતીઓના કેટલાક નાના જથ્થાના પૃથ્થકરણના આધારે પ્રકારની માહિતી એકત્રિત કરવા વિશે વિચાર્યું, પરંતુ ન કરવાનું નક્કી કર્યું કારણ કે કોઈપણ અભિગમ ખૂબ જોખમી હતો.

પરિણામે, તે નોંધી શકાય છે કે મોટાભાગના કોડ તેના માલિકો દ્વારા મેન્યુઅલી ટીકા કરવામાં આવ્યા હતા. આ પ્રક્રિયાને યોગ્ય દિશામાં માર્ગદર્શન આપવા માટે, અમે ખાસ કરીને મહત્વપૂર્ણ મોડ્યુલો અને ફંક્શન્સ પર અહેવાલો તૈયાર કરીએ છીએ કે જેની ટીકા કરવાની જરૂર છે. ઉદાહરણ તરીકે, સેંકડો સ્થળોએ ઉપયોગમાં લેવાતા લાઇબ્રેરી મોડ્યુલ માટે ટાઇપ એનોટેશન પ્રદાન કરવું મહત્વપૂર્ણ છે. પરંતુ જૂની સેવા કે જેને નવી સાથે બદલવામાં આવી રહી છે તે હવે ટીકા કરવા માટે એટલી મહત્વપૂર્ણ નથી. અમે લેગસી કોડ માટે ટાઇપ એનોટેશન જનરેટ કરવા માટે સ્ટેટિક એનાલિસિસનો ઉપયોગ કરવાનો પણ પ્રયોગ કરી રહ્યા છીએ.

ચક્રીય આયાત. ઉપર, મેં ચક્રીય આયાત ("નિર્ભરતા ગૂંચવણો") વિશે વાત કરી, જેના અસ્તિત્વને કારણે માયપીને ઝડપી બનાવવું મુશ્કેલ બન્યું. આ ચક્રીય આયાતોને કારણે થતા તમામ પ્રકારના રૂઢિપ્રયોગોને mypy સમર્થન આપવા માટે પણ અમારે સખત મહેનત કરવી પડી હતી. અમે તાજેતરમાં એક મુખ્ય સિસ્ટમ રીડિઝાઇન પ્રોજેક્ટ પૂર્ણ કર્યો છે જેણે પરિપત્ર આયાત સંબંધિત mypy ની મોટાભાગની સમસ્યાઓને ઠીક કરી છે. આ સમસ્યાઓ વાસ્તવમાં પ્રોજેક્ટના શરૂઆતના દિવસોથી ઉદભવી હતી, અલોરથી પાછા, શૈક્ષણિક ભાષા કે જેના પર માયપી પ્રોજેક્ટ મૂળ રૂપે કેન્દ્રિત હતો. Alore સિન્ટેક્સ ચક્રીય આયાત આદેશો સાથે સમસ્યાઓ હલ કરવાનું સરળ બનાવે છે. આધુનિક માયપીને તેના અગાઉના, સરળ વિચારસરણીના અમલીકરણમાંથી કેટલીક મર્યાદાઓ વારસામાં મળી છે (જે અલોર માટે યોગ્ય હતી). Python ગોળાકાર આયાત સાથે કામ કરવાનું મુશ્કેલ બનાવે છે, મુખ્યત્વે કારણ કે અભિવ્યક્તિઓ અસ્પષ્ટ છે. ઉદાહરણ તરીકે, અસાઇનમેન્ટ ઑપરેશન વાસ્તવમાં પ્રકાર ઉપનામ વ્યાખ્યાયિત કરી શકે છે. જ્યાં સુધી મોટા ભાગના આયાત લૂપ પર પ્રક્રિયા કરવામાં ન આવે ત્યાં સુધી Mypy હંમેશા આના જેવી વસ્તુઓ શોધી શકતું નથી. અલોરમાં આવી કોઈ અસ્પષ્ટતા નહોતી. સિસ્ટમ ડેવલપમેન્ટના પ્રારંભિક તબક્કામાં લીધેલા નબળા નિર્ણયો ઘણા વર્ષો પછી પ્રોગ્રામર માટે અપ્રિય આશ્ચર્ય રજૂ કરી શકે છે.

પરિણામો: કોડની 5 મિલિયન રેખાઓ અને નવા ક્ષિતિજોનો માર્ગ

માયપી પ્રોજેક્ટ ખૂબ આગળ વધી ગયો છે - પ્રારંભિક પ્રોટોટાઇપથી લઈને એવી સિસ્ટમ સુધી કે જે ઉત્પાદન કોડ પ્રકારોની 4 મિલિયન લાઇનને નિયંત્રિત કરે છે. જેમ જેમ માયપીનો વિકાસ થતો ગયો તેમ, પાયથોનના પ્રકારના સંકેતોને પ્રમાણિત કરવામાં આવ્યા. આ દિવસોમાં, પાયથોન કોડ ટાઇપ કરવાની આસપાસ એક શક્તિશાળી ઇકોસિસ્ટમ વિકસિત થઈ છે. તેની પાસે લાઇબ્રેરી સપોર્ટ માટે એક સ્થાન છે, તેમાં IDE અને સંપાદકો માટે સહાયક સાધનો છે, તેમાં ઘણી પ્રકારની નિયંત્રણ સિસ્ટમો છે, જેમાંના દરેકના પોતાના ગુણદોષ છે.

ડ્રૉપબૉક્સમાં ટાઈપ ચેકિંગ પહેલેથી જ આપવામાં આવ્યું હોવા છતાં, હું માનું છું કે અમે હજુ પણ પાયથોન કોડ ટાઈપ કરવાના શરૂઆતના દિવસોમાં છીએ. મને લાગે છે કે ટાઇપ ચેકિંગ ટેક્નોલોજીઓ વિકસિત અને સુધારતી રહેશે.

જો તમે તમારા મોટા પાયે પાયથોન પ્રોજેક્ટમાં પહેલાથી જ ટાઇપ ચેકિંગનો ઉપયોગ કર્યો નથી, તો જાણો કે સ્ટેટિક ટાઇપિંગ પર જવા માટે હવે ખૂબ જ સારો સમય છે. મેં તે લોકો સાથે વાત કરી છે જેમણે સમાન સંક્રમણ કર્યું છે. તેમાંથી કોઈને તેનો અફસોસ નહોતો. પ્રકાર ચકાસણી પાયથોનને એવી ભાષા બનાવે છે જે "નિયમિત પાયથોન" કરતાં મોટા પ્રોજેક્ટ્સ વિકસાવવા માટે વધુ સારી રીતે અનુકૂળ છે.

પ્રિય વાચકો! શું તમે તમારા પાયથોન પ્રોજેક્ટ્સમાં ટાઇપ ચેકિંગનો ઉપયોગ કરો છો?

સોર્સ: www.habr.com