Facebook ওপেন সোর্স সিন্ডার, CPython এর একটি কাঁটা যা Instagram দ্বারা ব্যবহৃত হয়

ফেসবুক প্রোজেক্ট সিন্ডারের জন্য সোর্স কোড প্রকাশ করেছে, CPython 3.8.5 এর একটি কাঁটা, পাইথন প্রোগ্রামিং ভাষার মূল রেফারেন্স বাস্তবায়ন। সিন্ডার ইনস্টাগ্রামকে শক্তিশালী করার জন্য Facebook-এর উৎপাদন পরিকাঠামোতে ব্যবহার করা হয় এবং কর্মক্ষমতা উন্নত করতে অপ্টিমাইজেশন অন্তর্ভুক্ত করে।

মূল CPython ফ্রেমওয়ার্কে প্রস্তুত অপ্টিমাইজেশানগুলি পোর্ট করার সম্ভাবনা নিয়ে আলোচনা করার জন্য এবং CPython কর্মক্ষমতা উন্নত করার সাথে জড়িত অন্যান্য প্রকল্পগুলিকে সাহায্য করার জন্য কোডটি প্রকাশ করা হয়েছে। Facebook একটি পৃথক ওপেন সোর্স প্রজেক্টের আকারে সিন্ডারকে সমর্থন করার ইচ্ছা রাখে না এবং অতিরিক্ত কম্বিং এবং ডকুমেন্টেশন ছাড়াই কোডটি কোম্পানির পরিকাঠামোতে ব্যবহার করা হয় এমন ফর্মে উপস্থাপন করা হয়। তারা সিন্ডারকে CPython এর বিকল্প হিসাবে প্রচার করার চেষ্টাও করে না - উন্নয়নের মূল লক্ষ্য হল CPython এর উন্নতি করার ইচ্ছা।

সিন্ডার কোডটি মোটামুটি নির্ভরযোগ্য এবং উত্পাদন পরিবেশে পরীক্ষিত হিসাবে উল্লেখ করা হয়েছে, তবে সমস্যাগুলি চিহ্নিত করা হলে, আপনাকে সেগুলি নিজেই সমাধান করতে হবে, যেহেতু Facebook এটি গ্যারান্টি দেয় না যে এটি বাহ্যিক ত্রুটির বার্তাগুলিতে সাড়া দেবে এবং অনুরোধগুলি টানবে৷ একই সময়ে, Facebook সম্প্রদায়ের সাথে গঠনমূলক সহযোগিতা বাদ দেয় না এবং কীভাবে সিন্ডারকে আরও দ্রুততর করা যায় বা কীভাবে CPython-এর প্রধান অংশে প্রস্তুত পরিবর্তনগুলি স্থানান্তরকে দ্রুততর করা যায় সে সম্পর্কে ধারনা নিয়ে আলোচনা করতে প্রস্তুত৷

সিন্ডারে বাস্তবায়িত প্রধান অপ্টিমাইজেশানগুলি:

• বাইটকোডের ইনলাইন ক্যাশিং ("শ্যাডো বাইটকোড")। পদ্ধতির সারমর্ম হল এমন পরিস্থিতি সনাক্ত করা যেখানে একটি সাধারণ অপকোড কার্যকর করা হয় যা অপ্টিমাইজ করা যায় এবং গতিশীলভাবে এই ধরনের একটি অপকোডকে দ্রুত বিশেষ বিকল্পগুলির সাথে প্রতিস্থাপন করা (উদাহরণস্বরূপ, ঘন ঘন বলা ফাংশনগুলি প্রতিস্থাপন করা)।
• আগ্রহী কোরুটিন মূল্যায়ন. অ্যাসিঙ্ক ফাংশন কলগুলির জন্য যা অবিলম্বে প্রক্রিয়া করা হয় (অপেক্ষার ফলে অপেক্ষা করা হয় না এবং ফাংশনটি আগে রিটার্ন স্টেটমেন্টে পৌঁছায়), এই ধরনের ফাংশনগুলির ফলাফল সরাসরি একটি করুটিন তৈরি না করে বা একটি ইভেন্ট লুপ জড়িত না করে প্রতিস্থাপিত হয়। Facebook কোডে যেটি ব্যাপকভাবে async/await ব্যবহার করে, অপ্টিমাইজেশানের ফলে প্রায় 5% গতি বৃদ্ধি পায়।
• পৃথক পদ্ধতি এবং ফাংশনের স্তরে নির্বাচনী JIT সংকলন (পদ্ধতি-এ-টাইম)। "-X jit" বিকল্প বা PYTHONJIT=1 এনভায়রনমেন্ট ভেরিয়েবলের মাধ্যমে সক্রিয় করা হয়েছে এবং আপনাকে 1.5-4 বার দ্বারা অনেকগুলি কর্মক্ষমতা পরীক্ষা চালানোর গতি বাড়াতে দেয়৷ যেহেতু জেআইটি সংকলন শুধুমাত্র ঘন ঘন সম্পাদিত ফাংশনগুলির জন্য প্রাসঙ্গিক, এটি খুব কমই ব্যবহৃত ফাংশনের জন্য এটি ব্যবহার করার পরামর্শ দেওয়া হয় না, যার সংকলন ওভারহেড শুধুমাত্র প্রোগ্রাম নির্বাহকে ধীর করে দিতে পারে।

  "-X jit-list-file=/path/to/jitlist.txt" অথবা এনভায়রনমেন্ট ভেরিয়েবল "PYTHONJITLISTFILE=/path/to/jitlist.txt" বিকল্পের মাধ্যমে আপনি ফাংশনগুলির একটি তালিকা সহ একটি ফাইল নির্দিষ্ট করতে পারেন যার জন্য JIT ব্যবহার করা যেতে পারে (পাথ বিন্যাস .to.module:funcname বা path.to.module:ClassName.method_name)। যে ফাংশনগুলির জন্য JIT সক্রিয় করা উচিত তার তালিকা প্রোফাইলিং ফলাফলের উপর ভিত্তি করে নির্ধারণ করা যেতে পারে। ভবিষ্যতে, ফাংশন কলের ফ্রিকোয়েন্সি অভ্যন্তরীণ বিশ্লেষণের উপর ভিত্তি করে গতিশীল JIT সংকলনের জন্য সমর্থন প্রত্যাশিত, তবে ইনস্টাগ্রামে প্রসেস চালু করার সুনির্দিষ্ট বিষয়গুলি বিবেচনায় নিয়ে, JIT সংকলন প্রাথমিক পর্যায়ে Facebook-এর জন্যও উপযুক্ত।

  JIT প্রথমে পাইথন বাইটকোডকে একটি উচ্চ-স্তরের মধ্যবর্তী উপস্থাপনা (HIR) তে রূপান্তরিত করে, যা পাইথন বাইটকোডের মোটামুটি কাছাকাছি, কিন্তু স্ট্যাক-ভিত্তিক একটির পরিবর্তে একটি রেজিস্টার-ভিত্তিক ভার্চুয়াল মেশিন ব্যবহার করার জন্য ডিজাইন করা হয়েছে এবং টাইপ তথ্য এবং অতিরিক্ত ব্যবহার করে। কর্মক্ষমতা-সমালোচনামূলক বিবরণ (যেমন রেফারেন্স গণনা)। এইচআইআর তারপর এসএসএ (স্ট্যাটিক একক অ্যাসাইনমেন্ট) ফর্মে রূপান্তরিত হয় এবং অপ্টিমাইজেশন পদক্ষেপের মধ্য দিয়ে যায় যা রেফারেন্স গণনা ফলাফল এবং মেমরি খরচ ডেটা বিবেচনা করে। ফলস্বরূপ, একটি নিম্ন-স্তরের মধ্যবর্তী প্রতিনিধিত্ব (LIR) তৈরি হয়, সমাবেশ ভাষার কাছাকাছি। এলআইআর-ভিত্তিক অপ্টিমাইজেশনের আরেকটি পর্যায়ের পরে, অ্যাসেমজিট লাইব্রেরি ব্যবহার করে সমাবেশ নির্দেশাবলী তৈরি করা হয়।

• মডিউলগুলির জন্য কঠোর মোড। কার্যকারিতা তিনটি উপাদান অন্তর্ভুক্ত: StrictModule প্রকার. একটি স্ট্যাটিক বিশ্লেষক যা নির্ধারণ করতে পারে যে একটি মডিউল কার্যকর করা সেই মডিউলের বাইরের কোডের উপর কোন প্রভাব ফেলে না। একটি মডিউল লোডার যা নির্ধারণ করে যে মডিউলগুলি কঠোর মোডে রয়েছে (কোডটি "ইমপোর্ট __স্ট্রিক__" নির্দিষ্ট করে), অন্যান্য মডিউলগুলির সাথে ছেদগুলির অনুপস্থিতি পরীক্ষা করে এবং কঠোর মডিউলগুলিকে sys.modules-এ একটি StrictModule অবজেক্ট হিসাবে লোড করে৷
• স্ট্যাটিক পাইথন একটি পরীক্ষামূলক বাইটকোড কম্পাইলার যা টাইপ-নির্দিষ্ট বাইটকোড তৈরি করতে টাইপ টীকা ব্যবহার করে যা JIT সংকলনের জন্য দ্রুত চলে। কিছু পরীক্ষায়, স্ট্যাটিক পাইথন এবং জেআইটি-এর সমন্বয় স্ট্যান্ডার্ড CPython-এর তুলনায় 7 গুণ পর্যন্ত কর্মক্ষমতা উন্নতি দেখায়। অনেক পরিস্থিতিতে, ফলাফল MyPyC এবং Cython কম্পাইলার ব্যবহার করার কাছাকাছি বলে অনুমান করা হয়।

উত্স: opennet.ru