फेसबुक ओपन सोर्स्ड सिंडर, इन्स्टाग्रामद्वारे वापरलेला CPython चा एक काटा

Facebook ने Project Cinder साठी सोर्स कोड प्रकाशित केला आहे, CPython 3.8.5 चा एक काटा, Python प्रोग्रामिंग भाषेचा मुख्य संदर्भ अंमलबजावणी. सिंडरचा वापर Facebook च्या उत्पादन इन्फ्रास्ट्रक्चरमध्ये Instagram ला सक्षम करण्यासाठी केला जातो आणि कार्यप्रदर्शन सुधारण्यासाठी ऑप्टिमायझेशन समाविष्ट करतो.

मुख्य CPython फ्रेमवर्कमध्ये तयार केलेले ऑप्टिमायझेशन पोर्ट करण्याच्या शक्यतेवर चर्चा करण्यासाठी आणि CPython कार्यप्रदर्शन सुधारण्यात गुंतलेल्या इतर प्रकल्पांना मदत करण्यासाठी कोड प्रकाशित केला आहे. Facebook चा Cinder ला वेगळ्या ओपन सोर्स प्रकल्पाच्या रूपात समर्थन देण्याचा हेतू नाही आणि कोड अतिरिक्त कॉम्बिंग आणि दस्तऐवजीकरणाशिवाय, कंपनीच्या पायाभूत सुविधांमध्ये वापरल्या जाणार्‍या फॉर्ममध्ये सादर केला जातो. ते CPython चा पर्याय म्हणून Cinder चा प्रचार करण्याचा प्रयत्न देखील करत नाहीत - विकासाचे मुख्य ध्येय म्हणजे CPython स्वतः सुधारण्याची इच्छा.

सिंडर कोड बर्‍यापैकी विश्वासार्ह आणि उत्पादन वातावरणात तपासला गेला आहे, परंतु समस्या ओळखल्या गेल्यास, तुम्हाला त्या स्वतः सोडवाव्या लागतील, कारण Facebook बाह्य त्रुटी संदेशांना प्रतिसाद देईल आणि विनंत्या पुल करेल याची हमी देत ​​​​नाही. त्याच वेळी, Facebook समुदायासह रचनात्मक सहकार्य वगळत नाही आणि सिंडरला आणखी वेगवान कसे करावे किंवा CPython च्या मुख्य भागामध्ये तयार केलेल्या बदलांचे हस्तांतरण कसे जलद करावे यावरील कल्पनांवर चर्चा करण्यास तयार आहे.

सिंडरमध्ये लागू केलेली मुख्य ऑप्टिमायझेशन्स:

• बाइटकोडचे इनलाइन कॅशिंग ("शॅडो बायकोड"). या पद्धतीचे सार म्हणजे विशिष्ट opcode कार्यान्वित केलेल्या परिस्थितीची ओळख पटवणे ज्याला ऑप्टिमाइझ केले जाऊ शकते आणि अशा opcode ला वेगवान विशेष पर्यायांसह गतिमानपणे बदलणे (उदाहरणार्थ, वारंवार म्हटले जाणारे फंक्शन्स बदलणे).
• उत्सुक कोरटीन मूल्यांकन. तत्काळ प्रक्रिया केलेल्या async फंक्शन कॉल्ससाठी (प्रतीक्षा केल्याने प्रतीक्षा होत नाही आणि फंक्शन रिटर्न स्टेटमेंटमध्ये आधी पोहोचते), अशा फंक्शन्सचा परिणाम थेट कॉरोटीन तयार केल्याशिवाय किंवा इव्हेंट लूपचा समावेश न करता बदलला जातो. Facebook कोडमध्ये जो जोरदारपणे async/await वापरतो, ऑप्टिमायझेशनचा परिणाम सुमारे 5% च्या वेगाने होतो.
• वैयक्तिक पद्धती आणि कार्यांच्या स्तरावर निवडक JIT संकलन (पद्धत-एक-वेळेस). “-X jit” पर्यायाद्वारे किंवा PYTHONJIT=1 पर्यावरण व्हेरिएबलद्वारे सक्षम केले जाते आणि तुम्हाला बर्‍याच कार्यप्रदर्शन चाचण्या 1.5-4 पटीने वेगवान करण्यास अनुमती देते. JIT संकलन हे केवळ वारंवार चालवल्या जाणार्‍या फंक्शन्ससाठीच संबंधित असल्याने, क्वचितच वापरल्या जाणार्‍या फंक्शन्ससाठी ते वापरणे उचित नाही, ज्याचे संकलन ओव्हरहेड केवळ प्रोग्रामची अंमलबजावणी कमी करू शकते.

  “-X jit-list-file=/path/to/jitlist.txt” किंवा पर्यावरण व्हेरिएबल “PYTHONJITLISTFILE=/path/to/jitlist.txt” या पर्यायाद्वारे तुम्ही फंक्शन्सच्या सूचीसह फाइल निर्दिष्ट करू शकता ज्यासाठी JIT वापरले जाऊ शकते (पथ स्वरूप .to.module:funcname किंवा path.to.module:ClassName.method_name). ज्या फंक्शन्ससाठी JIT सक्षम केले जावे त्यांची यादी प्रोफाइलिंग परिणामांच्या आधारे निर्धारित केली जाऊ शकते. भविष्यात, फंक्शन कॉलच्या वारंवारतेच्या अंतर्गत विश्लेषणावर आधारित डायनॅमिक JIT संकलनासाठी समर्थन अपेक्षित आहे, परंतु Instagram वर लॉन्चिंग प्रक्रियेची वैशिष्ट्ये लक्षात घेऊन, JIT संकलन देखील Facebook साठी प्रारंभिक टप्प्यावर योग्य आहे.

  JIT प्रथम Python bytecode ला उच्च-स्तरीय इंटरमीडिएट प्रेझेंटेशन (HIR) मध्ये रूपांतरित करते, जे Python bytecode च्या अगदी जवळ आहे, परंतु स्टॅक-आधारित ऐवजी रजिस्टर-आधारित व्हर्च्युअल मशीन वापरण्यासाठी डिझाइन केलेले आहे आणि प्रकार माहिती आणि अतिरिक्त वापरते. कामगिरी-गंभीर तपशील (जसे की संदर्भ मोजणी). HIR नंतर SSA (स्टॅटिक सिंगल असाइनमेंट) फॉर्ममध्ये रूपांतरित केले जाते आणि ऑप्टिमायझेशन चरणांमधून जाते जे संदर्भ मोजणी परिणाम आणि मेमरी वापर डेटा लक्षात घेते. परिणामी, असेंबली भाषेच्या जवळ, निम्न-स्तरीय इंटरमीडिएट रिप्रेझेंटेशन (LIR) व्युत्पन्न होते. LIR-आधारित ऑप्टिमायझेशनच्या दुसर्‍या टप्प्यानंतर, asmjit लायब्ररी वापरून असेंबली सूचना व्युत्पन्न केल्या जातात.

• मॉड्यूल्ससाठी कठोर मोड. कार्यक्षमतेमध्ये तीन घटक समाविष्ट आहेत: StrictModule टाइप करा. एक स्थिर विश्लेषक जो हे निर्धारित करू शकतो की मॉड्यूलच्या अंमलबजावणीचा त्या मॉड्यूलच्या बाहेरच्या कोडवर कोणताही प्रभाव पडत नाही. एक मॉड्यूल लोडर जो निर्धारित करतो की मॉड्यूल कठोर मोडमध्ये आहेत (कोड "इम्पोर्ट __स्ट्रिक्ट__" निर्दिष्ट करतो), इतर मॉड्यूल्ससह छेदनबिंदू नसल्याची तपासणी करतो आणि कठोर मॉड्यूल sys.modules मध्ये StrictModule ऑब्जेक्ट म्हणून लोड करतो.
• स्टॅटिक पायथन एक प्रायोगिक बाइटकोड कंपाइलर आहे जो टाइप-विशिष्ट बायटेकोड व्युत्पन्न करण्यासाठी टाइप भाष्य वापरतो जे JIT संकलनामुळे जलद चालते. काही चाचण्यांमध्ये, स्टॅटिक पायथन आणि JIT चे संयोजन मानक CPython च्या तुलनेत 7 पट पर्यंत कामगिरी सुधारणा दर्शवते. बर्‍याच परिस्थितींमध्ये, MyPyC आणि Cython कंपाइलर्स वापरून परिणाम जवळपास असण्याचा अंदाज आहे.

स्त्रोत: opennet.ru