ഫേസ്ബുക്ക് ഓപ്പൺ സോഴ്‌സ് സിൻഡർ, ഇൻസ്റ്റാഗ്രാം ഉപയോഗിക്കുന്ന സിപൈത്തണിന്റെ ഫോർക്ക്

പൈത്തൺ പ്രോഗ്രാമിംഗ് ഭാഷയുടെ പ്രധാന റഫറൻസ് നിർവ്വഹണമായ CPython 3.8.5-ന്റെ ഫോർക്ക് ആയ Project Cinder-ന്റെ സോഴ്സ് കോഡ് Facebook പ്രസിദ്ധീകരിച്ചു. ഇൻസ്റ്റാഗ്രാമിനെ ശക്തിപ്പെടുത്തുന്നതിനായി Facebook-ന്റെ പ്രൊഡക്ഷൻ ഇൻഫ്രാസ്ട്രക്ചറിൽ Cinder ഉപയോഗിക്കുന്നു കൂടാതെ പ്രകടനം മെച്ചപ്പെടുത്തുന്നതിനുള്ള ഒപ്റ്റിമൈസേഷനുകളും ഉൾപ്പെടുന്നു.

തയ്യാറാക്കിയ ഒപ്റ്റിമൈസേഷനുകൾ പ്രധാന CPython ചട്ടക്കൂടിലേക്ക് പോർട്ട് ചെയ്യുന്നതിനുള്ള സാധ്യത ചർച്ച ചെയ്യുന്നതിനും CPython പ്രകടനം മെച്ചപ്പെടുത്തുന്നതിൽ ഉൾപ്പെട്ടിരിക്കുന്ന മറ്റ് പ്രോജക്ടുകളെ സഹായിക്കുന്നതിനുമാണ് കോഡ് പ്രസിദ്ധീകരിക്കുന്നത്. ഒരു പ്രത്യേക ഓപ്പൺ സോഴ്‌സ് പ്രോജക്റ്റിന്റെ രൂപത്തിൽ സിൻഡറിനെ പിന്തുണയ്‌ക്കാൻ Facebook ഉദ്ദേശിക്കുന്നില്ല, കൂടാതെ അധിക കോമ്പിംഗും ഡോക്യുമെന്റേഷനും കൂടാതെ കമ്പനിയുടെ ഇൻഫ്രാസ്ട്രക്ചറിൽ ഉപയോഗിക്കുന്ന ഫോമിലാണ് കോഡ് അവതരിപ്പിക്കുന്നത്. CPython-ന് പകരമായി Cinder-നെ പ്രോത്സാഹിപ്പിക്കാനും അവർ ശ്രമിക്കുന്നില്ല - വികസനത്തിന്റെ പ്രധാന ലക്ഷ്യം CPython തന്നെ മെച്ചപ്പെടുത്താനുള്ള ആഗ്രഹമാണ്.

സിൻഡർ കോഡ് വളരെ വിശ്വസനീയവും ഉൽപ്പാദന പരിതസ്ഥിതികളിൽ പരീക്ഷിച്ചതുമാണ്, എന്നാൽ പ്രശ്നങ്ങൾ തിരിച്ചറിഞ്ഞാൽ, നിങ്ങൾ അവ സ്വയം പരിഹരിക്കേണ്ടതുണ്ട്, കാരണം ബാഹ്യ പിശക് സന്ദേശങ്ങളോട് പ്രതികരിക്കുമെന്നും അഭ്യർത്ഥനകൾ പിൻവലിക്കുമെന്നും Facebook ഉറപ്പുനൽകുന്നില്ല. അതേസമയം, കമ്മ്യൂണിറ്റിയുമായുള്ള ക്രിയാത്മക സഹകരണം ഫേസ്ബുക്ക് ഒഴിവാക്കുന്നില്ല, കൂടാതെ സിൻഡറിനെ എങ്ങനെ കൂടുതൽ വേഗത്തിലാക്കാം അല്ലെങ്കിൽ സിപൈത്തണിന്റെ പ്രധാന ഭാഗത്തേക്ക് തയ്യാറാക്കിയ മാറ്റങ്ങൾ എങ്ങനെ വേഗത്തിലാക്കാം എന്നതിനെക്കുറിച്ചുള്ള ആശയങ്ങൾ ചർച്ച ചെയ്യാൻ തയ്യാറാണ്.

സിൻഡറിൽ നടപ്പിലാക്കിയ പ്രധാന ഒപ്റ്റിമൈസേഷനുകൾ:

• ബൈറ്റ്കോഡിന്റെ ഇൻലൈൻ കാഷിംഗ് ("ഷാഡോ ബൈറ്റ്കോഡ്"). ഒപ്റ്റിമൈസ് ചെയ്യാൻ കഴിയുന്ന ഒരു സാധാരണ ഒപ്‌കോഡ് എക്‌സിക്യൂട്ട് ചെയ്യപ്പെടുന്ന സാഹചര്യങ്ങൾ തിരിച്ചറിയുകയും അത്തരം ഒരു ഓപ്‌കോഡിനെ വേഗതയേറിയ പ്രത്യേക ഓപ്‌ഷനുകൾ ഉപയോഗിച്ച് ചലനാത്മകമായി മാറ്റിസ്ഥാപിക്കുകയും ചെയ്യുക എന്നതാണ് രീതിയുടെ സാരം.
• ആകാംക്ഷയോടെയുള്ള കൊറോട്ടീൻ വിലയിരുത്തൽ. ഉടനടി പ്രോസസ്സ് ചെയ്യപ്പെടുന്ന അസിൻക് ഫംഗ്‌ഷൻ കോളുകൾക്കായി (കാത്തിരിപ്പ് ഒരു കാത്തിരിപ്പിന് കാരണമാകില്ല, ഫംഗ്‌ഷൻ നേരത്തെ റിട്ടേൺ സ്റ്റേറ്റ്‌മെന്റിൽ എത്തുന്നു), അത്തരം ഫംഗ്‌ഷനുകളുടെ ഫലം ഒരു കോറൂട്ടിൻ സൃഷ്‌ടിക്കാതെയോ ഒരു ഇവന്റ് ലൂപ്പ് ഉൾപ്പെടാതെയോ നേരിട്ട് പകരം വയ്ക്കുന്നു. അസിൻക്/വെയ്റ്റ് വളരെയധികം ഉപയോഗിക്കുന്ന Facebook കോഡിൽ, ഒപ്റ്റിമൈസേഷൻ ഏകദേശം 5% വേഗത വർദ്ധിപ്പിക്കുന്നു.
• വ്യക്തിഗത രീതികളുടെയും പ്രവർത്തനങ്ങളുടെയും തലത്തിലുള്ള സെലക്ടീവ് JIT കംപൈലേഷൻ (ഒരു സമയത്ത് രീതി). “-X jit” ഓപ്‌ഷൻ അല്ലെങ്കിൽ PYTHONJIT=1 എൻവയോൺമെന്റ് വേരിയബിൾ വഴി പ്രവർത്തനക്ഷമമാക്കി, കൂടാതെ നിരവധി പ്രകടന പരിശോധനകൾ 1.5-4 മടങ്ങ് വേഗത്തിലാക്കാൻ നിങ്ങളെ അനുവദിക്കുന്നു. JIT കംപൈലേഷൻ പതിവായി നിർവ്വഹിക്കുന്ന ഫംഗ്‌ഷനുകൾക്ക് മാത്രം പ്രസക്തമായതിനാൽ, അപൂർവ്വമായി ഉപയോഗിക്കുന്ന ഫംഗ്‌ഷനുകൾക്കായി ഇത് ഉപയോഗിക്കുന്നത് അഭികാമ്യമല്ല, ഇതിന്റെ കംപൈലേഷൻ ഓവർഹെഡിന് പ്രോഗ്രാം എക്‌സിക്യൂഷൻ മന്ദഗതിയിലാക്കാൻ മാത്രമേ കഴിയൂ.

  “-X jit-list-file=/path/to/jitlist.txt” ഓപ്‌ഷൻ വഴിയോ “PYTHONJITLISTFILE=/path/to/jitlist.txt” എന്ന എൻവയോൺമെന്റ് വേരിയബിൾ വഴിയോ നിങ്ങൾക്ക് JIT ഏത് ഫംഗ്‌ഷനുകൾക്കായുള്ള ഒരു ലിസ്റ്റ് ഉള്ള ഒരു ഫയൽ വ്യക്തമാക്കാൻ കഴിയും. ഉപയോഗിക്കാം (പാത്ത് ഫോർമാറ്റ് .to.module:funcname അല്ലെങ്കിൽ path.to.module:ClassName.method_name). പ്രൊഫൈലിംഗ് ഫലങ്ങളെ അടിസ്ഥാനമാക്കി JIT പ്രവർത്തനക്ഷമമാക്കേണ്ട പ്രവർത്തനങ്ങളുടെ ലിസ്റ്റ് നിർണ്ണയിക്കാവുന്നതാണ്. ഭാവിയിൽ, ഫംഗ്‌ഷൻ കോളുകളുടെ ആവൃത്തിയുടെ ആന്തരിക വിശകലനത്തെ അടിസ്ഥാനമാക്കി ഡൈനാമിക് JIT കംപൈലേഷനുള്ള പിന്തുണ പ്രതീക്ഷിക്കുന്നു, എന്നാൽ ഇൻസ്റ്റാഗ്രാമിൽ സമാരംഭിക്കുന്ന പ്രക്രിയകളുടെ പ്രത്യേകതകൾ കണക്കിലെടുത്ത്, പ്രാരംഭ ഘട്ടത്തിൽ JIT കംപൈലേഷനും ഫേസ്ബുക്കിന് അനുയോജ്യമാണ്.

  JIT ആദ്യം പൈത്തൺ ബൈറ്റ്കോഡിനെ ഒരു ഹൈ-ലെവൽ ഇന്റർമീഡിയറ്റ് പ്രാതിനിധ്യമായി (HIR) പരിവർത്തനം ചെയ്യുന്നു, അത് പൈത്തൺ ബൈറ്റ്കോഡിനോട് വളരെ അടുത്താണ്, എന്നാൽ സ്റ്റാക്ക് അധിഷ്‌ഠിതത്തിന് പകരം രജിസ്റ്റർ-അധിഷ്‌ഠിത വെർച്വൽ മെഷീൻ ഉപയോഗിക്കുന്നതിനാണ് രൂപകൽപ്പന ചെയ്‌തിരിക്കുന്നത്, കൂടാതെ തരം വിവരങ്ങളും അധികവും ഉപയോഗിക്കുന്നു. പ്രകടന-നിർണ്ണായക വിശദാംശങ്ങൾ (റഫറൻസ് കൗണ്ടിംഗ് പോലുള്ളവ) . HIR പിന്നീട് SSA (സ്റ്റാറ്റിക് സിംഗിൾ അസൈൻമെന്റ്) ഫോമിലേക്ക് പരിവർത്തനം ചെയ്യുകയും റഫറൻസ് കൗണ്ടിംഗ് ഫലങ്ങളും മെമ്മറി ഉപഭോഗ ഡാറ്റയും കണക്കിലെടുക്കുന്ന ഒപ്റ്റിമൈസേഷൻ ഘട്ടങ്ങളിലൂടെ കടന്നുപോകുകയും ചെയ്യുന്നു. തൽഫലമായി, അസംബ്ലി ഭാഷയോട് ചേർന്ന് ഒരു ലോ-ലെവൽ ഇന്റർമീഡിയറ്റ് പ്രാതിനിധ്യം (എൽഐആർ) സൃഷ്ടിക്കപ്പെടുന്നു. LIR അടിസ്ഥാനമാക്കിയുള്ള ഒപ്റ്റിമൈസേഷനുകളുടെ മറ്റൊരു ഘട്ടത്തിന് ശേഷം, asmjit ലൈബ്രറി ഉപയോഗിച്ച് അസംബ്ലി നിർദ്ദേശങ്ങൾ ജനറേറ്റുചെയ്യുന്നു.

• മൊഡ്യൂളുകൾക്കുള്ള കർശനമായ മോഡ്. പ്രവർത്തനത്തിൽ മൂന്ന് ഘടകങ്ങൾ ഉൾപ്പെടുന്നു: ടൈപ്പ് സ്ട്രിക്റ്റ് മോഡ്യൂൾ. ഒരു മൊഡ്യൂളിന്റെ നിർവ്വഹണം ആ മൊഡ്യൂളിന് പുറത്തുള്ള കോഡിൽ സ്വാധീനം ചെലുത്തുന്നില്ലെന്ന് നിർണ്ണയിക്കാൻ കഴിയുന്ന ഒരു സ്റ്റാറ്റിക് അനലൈസർ. മൊഡ്യൂളുകൾ കർശനമായ മോഡിലാണെന്ന് നിർണ്ണയിക്കുന്ന ഒരു മൊഡ്യൂൾ ലോഡർ (കോഡ് "ഇറക്കുമതി __സ്ട്രിക്റ്റ്__" എന്ന് വ്യക്തമാക്കുന്നു), മറ്റ് മൊഡ്യൂളുകളുമായുള്ള കവലകളുടെ അഭാവം പരിശോധിക്കുന്നു, കൂടാതെ കർശനമായ മൊഡ്യൂൾ ഒബ്ജക്റ്റായി sys.modules-ലേക്ക് കർശനമായ മൊഡ്യൂളുകൾ ലോഡ് ചെയ്യുന്നു.
• സ്റ്റാറ്റിക് പൈത്തൺ ഒരു പരീക്ഷണാത്മക ബൈറ്റ്കോഡ് കംപൈലറാണ്, അത് JIT കംപൈലേഷന് നന്ദി പറഞ്ഞ് വേഗത്തിൽ പ്രവർത്തിക്കുന്ന ടൈപ്പ്-നിർദ്ദിഷ്ട ബൈറ്റ്കോഡ് സൃഷ്ടിക്കാൻ ടൈപ്പ് വ്യാഖ്യാനങ്ങൾ ഉപയോഗിക്കുന്നു. ചില ടെസ്റ്റുകളിൽ, സ്റ്റാറ്റിക് പൈത്തണും ജെഐടിയും ചേർന്ന് സ്റ്റാൻഡേർഡ് സിപൈത്തണുമായി താരതമ്യപ്പെടുത്തുമ്പോൾ 7 മടങ്ങ് പ്രകടന മെച്ചപ്പെടുത്തലുകൾ കാണിക്കുന്നു. മിക്ക സാഹചര്യങ്ങളിലും, ഫലങ്ങൾ MyPyC, Cython കംപൈലറുകൾ ഉപയോഗിക്കുന്നതിന് അടുത്താണെന്ന് കണക്കാക്കുന്നു.

അവലംബം: opennet.ru