फेसबुक ओपन सोर्स सिन्डर, इन्स्टाग्राम द्वारा प्रयोग गरिएको CPython को फोर्क

फेसबुकले प्रोजेक्ट सिन्डरको लागि स्रोत कोड प्रकाशित गरेको छ, CPython 3.8.5 को फोर्क, पाइथन प्रोग्रामिङ भाषाको मुख्य सन्दर्भ कार्यान्वयन। सिन्डर इन्स्टाग्रामलाई शक्ति दिन फेसबुकको उत्पादन पूर्वाधारमा प्रयोग गरिन्छ र कार्यसम्पादन सुधार गर्न अप्टिमाइजेसनहरू समावेश गर्दछ।

मुख्य CPython ढाँचामा तयार अप्टिमाइजेसनहरू पोर्ट गर्ने सम्भावना र CPython कार्यसम्पादन सुधार गर्न संलग्न अन्य परियोजनाहरूलाई मद्दत गर्नको लागि कोड प्रकाशित गरिएको छ। फेसबुकले छुट्टै खुला स्रोत परियोजनाको रूपमा सिन्डरलाई समर्थन गर्ने इरादा राख्दैन र कोडलाई कम्पनीको पूर्वाधारमा प्रयोग गरिएको फारममा प्रस्तुत गरिएको छ, अतिरिक्त कम्बिंग र कागजातहरू बिना। तिनीहरूले CPython को विकल्पको रूपमा Cinder लाई प्रवर्द्धन गर्ने प्रयास पनि गर्दैनन् - विकासको मुख्य लक्ष्य भनेको CPython लाई सुधार गर्ने इच्छा हो।

सिन्डर कोडलाई उत्पादन वातावरणमा एकदमै भरपर्दो र परीक्षणको रूपमा लिइन्छ, तर यदि समस्याहरू पहिचान भएमा, तपाईंले तिनीहरूलाई आफैं समाधान गर्नुपर्नेछ, किनकि Facebook ले बाह्य त्रुटि सन्देशहरू र पुल अनुरोधहरूको जवाफ दिनेछ भन्ने ग्यारेन्टी गर्दैन। एकै समयमा, फेसबुकले समुदायसँग रचनात्मक सहयोगलाई बहिष्कार गर्दैन र कसरी सिन्डरलाई अझ छिटो बनाउने वा CPython को मुख्य भागमा तयार गरिएका परिवर्तनहरूको स्थानान्तरणलाई कसरी गति दिने भन्ने बारे विचारहरू छलफल गर्न तयार छ।

सिन्डरमा लागू गरिएका मुख्य अप्टिमाइजेसनहरू:

• बाइटकोडको इनलाइन क्यासिङ ("छाया बाइटकोड")। विधिको सार भनेको परिस्थितिहरू पहिचान गर्नु हो जहाँ एक विशिष्ट अपकोड कार्यान्वयन गरिन्छ जुन अनुकूलित गर्न सकिन्छ, र गतिशील रूपमा यस्तो अपकोडलाई छिटो विशेष विकल्पहरू (उदाहरणका लागि, प्रायः भनिने प्रकार्यहरू प्रतिस्थापन गर्ने)।
• उत्सुक कोरुटिन मूल्याङ्कन। async प्रकार्य कलहरूका लागि जुन तुरुन्तै प्रशोधन गरिन्छ (प्रतीक्षाले पर्खाइमा नतिजा दिँदैन र प्रकार्य पहिले रिटर्न स्टेटमेन्टमा पुग्छ), त्यस्ता प्रकार्यहरूको नतिजा प्रत्यक्ष रूपमा कोराउटिन सिर्जना नगरी र घटना लुप समावेश नगरी प्रतिस्थापन गरिन्छ। Facebook कोडमा जुन भारी रूपमा async/await प्रयोग गर्दछ, अनुकूलनले लगभग 5% को गतिमा परिणाम दिन्छ।
• व्यक्तिगत विधि र प्रकार्यहरूको स्तरमा चयनात्मक JIT संकलन (विधि-एक-समय)। "-X jit" विकल्प वा PYTHONJIT=1 वातावरण चर मार्फत सक्षम पारिएको छ र तपाईंलाई 1.5-4 पटक धेरै प्रदर्शन परीक्षणहरूको कार्यान्वयनको गति बढाउन अनुमति दिन्छ। JIT संकलन बारम्बार निष्पादित कार्यहरूका लागि मात्र सान्दर्भिक भएकोले, यसलाई दुर्लभ रूपमा प्रयोग गरिएका कार्यहरूका लागि प्रयोग गर्न उचित हुँदैन, जसको संकलन ओभरहेडले मात्र कार्यक्रम कार्यान्वयनलाई ढिलो गर्न सक्छ।

  "-X jit-list-file=/path/to/jitlist.txt" वा वातावरण चर "PYTHONJITLISTFILE=/path/to/jitlist.txt" विकल्प मार्फत तपाईले JIT को लागि कार्यहरूको सूची सहितको फाइल निर्दिष्ट गर्न सक्नुहुन्छ। प्रयोग गर्न सकिन्छ (पथ ढाँचा .to.module:funcname वा path.to.module:ClassName.method_name)। JIT सक्षम गरिनु पर्ने कार्यहरूको सूची प्रोफाइलिङ परिणामहरूको आधारमा निर्धारण गर्न सकिन्छ। भविष्यमा, प्रकार्य कलहरूको फ्रिक्वेन्सीको आन्तरिक विश्लेषणको आधारमा गतिशील JIT संकलनको लागि समर्थन अपेक्षित छ, तर इन्स्टाग्राममा सुरू गर्ने प्रक्रियाहरूको विशिष्टतालाई ध्यानमा राख्दै, JIT संकलन प्रारम्भिक चरणमा फेसबुकको लागि पनि उपयुक्त छ।

  JIT ले पहिलो पटक पाइथन बाइटकोडलाई उच्च-स्तरको मध्यवर्ती प्रतिनिधित्व (HIR) मा रूपान्तरण गर्छ, जुन पाइथन बाइटकोडको एकदम नजिक छ, तर स्ट्याक-आधारित एकको सट्टा दर्ता-आधारित भर्चुअल मेसिन प्रयोग गर्न डिजाइन गरिएको छ, र टाइप जानकारी र अतिरिक्त प्रयोग गर्दछ। कार्यसम्पादन-महत्वपूर्ण विवरणहरू (जस्तै सन्दर्भ गणना)। HIR त्यसपछि SSA (स्थिर एकल असाइनमेन्ट) फारममा रूपान्तरित हुन्छ र सन्दर्भ गणना परिणामहरू र मेमोरी खपत डेटालाई खातामा लिने अनुकूलन चरणहरू मार्फत जान्छ। नतिजाको रूपमा, निम्न-स्तर मध्यवर्ती प्रतिनिधित्व (LIR) उत्पन्न हुन्छ, विधानसभा भाषाको नजिक। LIR-आधारित अप्टिमाइजेसनको अर्को चरण पछि, asmjit पुस्तकालय प्रयोग गरेर विधानसभा निर्देशनहरू उत्पन्न गरिन्छ।

• मोड्युलहरूको लागि कडा मोड। कार्यक्षमताले तीनवटा कम्पोनेन्टहरू समावेश गर्दछ: StrictModule टाइप गर्नुहोस्। एक स्थिर विश्लेषक जसले निर्धारण गर्न सक्छ कि मोड्युलको कार्यान्वयनले त्यो मोड्युल बाहिरको कोडमा कुनै प्रभाव पार्दैन। मोड्युलहरू कडा मोडमा छन् भनेर निर्धारण गर्ने मोड्युल लोडर (कोडले "आयात __strict__" निर्दिष्ट गर्दछ), अन्य मोड्युलहरूसँग प्रतिच्छेदनहरूको अनुपस्थितिको लागि जाँच गर्दछ, र कडा मोड्युलहरूलाई sys.modules मा StrictModule वस्तुको रूपमा लोड गर्दछ।
• स्थिर पाइथन एक प्रयोगात्मक बाइटकोड कम्पाइलर हो जसले टाइप-विशिष्ट बाइटकोड उत्पन्न गर्न टाइप एनोटेसनहरू प्रयोग गर्दछ जुन JIT संकलनको लागि छिटो चल्छ। केही परीक्षणहरूमा, Static Python र JIT को संयोजनले मानक CPython को तुलनामा 7 गुणा सम्मको कार्यसम्पादन सुधारहरू देखाउँछ। धेरै परिस्थितिहरूमा, नतिजाहरू MyPyC र Cython कम्पाइलरहरू प्रयोग गर्न नजिक हुने अनुमान गरिएको छ।

स्रोत: opennet.ru