Async, Swoole और Parallel का उपयोग करके टारनटूल के लिए PHP कनेक्टर्स को तेज़ करना

PHP पारिस्थितिकी तंत्र में वर्तमान में टारनटूल सर्वर के साथ काम करने के लिए दो कनेक्टर हैं - यह आधिकारिक PECL एक्सटेंशन है टारनटूल/टारनटूल-php, सी में लिखा है, और टारनटूल-पीएचपी/क्लाइंट, PHP में लिखा गया है। मैं बाद का लेखक हूं।

इस लेख में, मैं दोनों पुस्तकालयों के प्रदर्शन परीक्षण के परिणामों को साझा करना चाहूंगा और दिखाऊंगा कि कैसे, कोड में न्यूनतम परिवर्तन के साथ, आप 3-5 प्रदर्शन वृद्धि प्राप्त कर सकते हैं (सिंथेटिक परीक्षणों पर!).

हम क्या परीक्षण करेंगे?

हम ऊपर बताए गए का परीक्षण करेंगे एक समय का कनेक्टर अतुल्यकालिक रूप से, समानांतर में, और अतुल्यकालिक-समानांतर रूप से चल रहे हैं। 🙂 हम स्वयं कनेक्टर्स के कोड को भी नहीं छूना चाहते। आप जो चाहते हैं उसे प्राप्त करने के लिए वर्तमान में कई एक्सटेंशन उपलब्ध हैं:

• झपट्टा मारना - PHP के लिए एक उच्च-प्रदर्शन अतुल्यकालिक ढांचा। अलीबाबा और Baidu जैसे इंटरनेट दिग्गजों द्वारा उपयोग किया जाता है। संस्करण 4.1.0 के बाद से एक जादुई विधि सामने आई है SwooleRuntime::enableCoroutine(), जो आपको "कोड की एक पंक्ति के साथ सिंक्रोनस PHP नेटवर्क लाइब्रेरीज़ को एसिंक्रोनस में कनवर्ट करने की अनुमति देता है।"
• Async हाल तक PHP में एसिंक्रोनस कार्य के लिए एक बहुत ही आशाजनक एक्सटेंशन था। हाल तक क्यों? दुर्भाग्य से, मेरे लिए अज्ञात कारण से, लेखक ने रिपॉजिटरी को हटा दिया और परियोजना का भविष्य स्पष्ट नहीं है। मुझे इसका उपयोग करना होगा एक र कांटे से. स्वूले की तरह, यह एक्सटेंशन आपको टीसीपी और टीएलएस स्ट्रीम के मानक कार्यान्वयन को उनके एसिंक्रोनस संस्करणों के साथ प्रतिस्थापित करके एसिंक्रोनी को सक्षम करने के लिए कलाई के झटके से आसानी से अपनी पैंट को चालू करने की अनुमति देता है। यह विकल्प के माध्यम से किया जाता है "async.tcp = 1"।
• समानांतर - phpdbg, apcu, pthreads, pcov, uopz जैसे पुस्तकालयों के लेखक, प्रसिद्ध जो वॉटकिंस का एक बिल्कुल नया विस्तार। एक्सटेंशन PHP में मल्टीथ्रेडिंग के लिए एक एपीआई प्रदान करता है और इसे pthreads के प्रतिस्थापन के रूप में तैनात किया गया है। लाइब्रेरी की एक महत्वपूर्ण सीमा यह है कि यह केवल PHP के ZTS (ज़ेंड थ्रेड सेफ) संस्करण के साथ काम करती है।

हम कैसे परीक्षण करेंगे?

आइए राइट-फ़ॉरवर्ड लॉगिंग अक्षम के साथ एक टारनटूल इंस्टेंस लॉन्च करें (wal_mode = कोई नहीं) और बढ़ा हुआ नेटवर्क बफ़र (आगे पढ़ें = 1 * 1024 * 1024). पहला विकल्प डिस्क के साथ काम को समाप्त कर देगा, दूसरा ऑपरेटिंग सिस्टम बफर से अधिक अनुरोधों को पढ़ना संभव बना देगा और इस तरह सिस्टम कॉल की संख्या को कम कर देगा।

बेंचमार्क के लिए जो डेटा (सम्मिलन, विलोपन, पढ़ना इत्यादि) के साथ काम करते हैं, बेंचमार्क शुरू करने से पहले, एक मेम्टेक्स स्पेस बनाया जाएगा (पुनः), जिसमें प्राथमिक सूचकांक मान ऑर्डर किए गए पूर्णांक मानों के जनरेटर द्वारा बनाए जाते हैं। ​(क्रम).
स्पेस डीडीएल इस तरह दिखता है:

space = box.schema.space.create(config.space_name, {id = config.space_id, temporary = true})
space:create_index('primary', {type = 'tree', parts = {1, 'unsigned'}, sequence = true})
space:format({{name = 'id', type = 'unsigned'}, {name = 'name', type = 'string', is_nullable = false}})

यदि आवश्यक हो, तो बेंचमार्क चलाने से पहले, स्थान को फॉर्म के 10,000 टुपल्स से भर दिया जाता है

{id, "tuplе_<id>"}

टुपल्स को यादृच्छिक कुंजी मान का उपयोग करके एक्सेस किया जाता है।

बेंचमार्क स्वयं सर्वर के लिए एक एकल अनुरोध है, जिसे 10,000 बार (क्रांतियाँ) निष्पादित किया जाता है, जो बदले में, पुनरावृत्तियों में निष्पादित किया जाता है। पुनरावृत्तियों को तब तक दोहराया जाता है जब तक कि 5 पुनरावृत्तियों के बीच सभी समय विचलन 3%* की स्वीकार्य त्रुटि के भीतर न हो जाएं। इसके बाद औसत परिणाम निकाला जाता है. प्रोसेसर को थ्रॉटलिंग से बचाने के लिए पुनरावृत्तियों के बीच 1 सेकंड का ठहराव होता है। लुआ का कचरा संग्रहकर्ता प्रत्येक पुनरावृत्ति से पहले अक्षम कर दिया जाता है और इसे पूरा होने के बाद शुरू करने के लिए मजबूर किया जाता है। PHP प्रक्रिया केवल बेंचमार्क के लिए आवश्यक एक्सटेंशन के साथ लॉन्च की जाती है, जिसमें आउटपुट बफरिंग सक्षम और कचरा कलेक्टर अक्षम होता है।

* बेंचमार्क सेटिंग्स में क्रांतियों, पुनरावृत्तियों और त्रुटि सीमा की संख्या को बदला जा सकता है।

परीक्षण का वातावरण

नीचे प्रकाशित परिणाम MacBookPro (2015), ऑपरेटिंग सिस्टम - Fedora 30 (कर्नेल संस्करण 5.3.8-200.fc30.x86_64) पर बनाए गए थे। टारनटूल को डॉकर में पैरामीटर के साथ लॉन्च किया गया था "--network host".

पैकेज संस्करण:

Tarantool: 2.3.0-115-g5ba5ed37e
डॉकर: 19.03.3, बिल्ड a872fc2f86
PHP: 7.3.11 (सीएलआई) (निर्मित: 22 अक्टूबर 2019 08:11:04)
टारनटूल/क्लाइंट: 0.6.0
रयबाकिट/एमएसजीपैक: 0.6.1
एक्सट-टारनटूल: 0.3.2 (+7.3 के लिए पैच)*
ext-msgpack: 2.0.3
ext-async: 0.3.0-8c1da46
एक्सट-स्वूल: 4.4.12
विस्तार-समानांतर: 1.1.3

* दुर्भाग्य से, आधिकारिक कनेक्टर PHP संस्करण > 7.2 के साथ काम नहीं करता है। PHP 7.3 पर एक्सटेंशन को संकलित करने और चलाने के लिए, मुझे इसका उपयोग करना पड़ा पैबंद.

निष्कर्ष

सिंक्रोनस मोड

टारनटूल प्रोटोकॉल एक बाइनरी प्रारूप का उपयोग करता है मैसेजपैक संदेशों को क्रमबद्ध करने के लिए. पीईसीएल कनेक्टर में, क्रमांकन लाइब्रेरी की गहराई में छिपा होता है और यूजरलैंड कोड से एन्कोडिंग प्रक्रिया को प्रभावित करता है संभव नहीं है. इसके विपरीत, एक शुद्ध PHP कनेक्टर, मानक एनकोडर का विस्तार करके या अपने स्वयं के कार्यान्वयन का उपयोग करके एन्कोडिंग प्रक्रिया को अनुकूलित करने की क्षमता प्रदान करता है। बॉक्स से बाहर दो एनकोडर उपलब्ध हैं, एक पर आधारित है संदेशपैक/msgpack-php (आधिकारिक मैसेजपैक पीईसीएल एक्सटेंशन), ​​दूसरा चालू है रयबकिट/संदेशपैक (शुद्ध PHP में)।

कनेक्टर्स की तुलना करने से पहले, हम PHP कनेक्टर के लिए मैसेजपैक एन्कोडर्स के प्रदर्शन को मापेंगे और आगे के परीक्षणों में हम उसका उपयोग करेंगे जो सर्वोत्तम परिणाम दिखाएगा:

हालाँकि PHP संस्करण (शुद्ध) गति में PECL एक्सटेंशन से कमतर है, फिर भी वास्तविक परियोजनाओं में मैं इसका उपयोग करने की सलाह दूंगा रयबकिट/संदेशपैक, क्योंकि आधिकारिक मैसेजपैक एक्सटेंशन में प्रारूप विनिर्देश केवल आंशिक रूप से लागू किया गया है (उदाहरण के लिए, कस्टम डेटा प्रकारों के लिए कोई समर्थन नहीं है, जिसके बिना आप दशमलव का उपयोग नहीं कर पाएंगे - टारनटूल 2.3 में पेश किया गया एक नया डेटा प्रकार) और एक है दूसरों की संख्या проблем (PHP 7.4 के साथ संगतता समस्याओं सहित)। खैर, सामान्य तौर पर, परियोजना परित्यक्त दिखती है।

तो, आइए सिंक्रोनस मोड में कनेक्टर्स के प्रदर्शन को मापें:

जैसा कि ग्राफ़ से देखा जा सकता है, PECL कनेक्टर (टारनटूल) PHP कनेक्टर (क्लाइंट) की तुलना में बेहतर प्रदर्शन दिखाता है। लेकिन यह आश्चर्य की बात नहीं है, यह देखते हुए कि उत्तरार्द्ध, धीमी भाषा में लागू होने के अलावा, वास्तव में अधिक काम करता है: प्रत्येक कॉल के साथ एक नई वस्तु बनाई जाती है निवेदन и प्रतिक्रिया (चयन के मामले में भी मापदंड, और अपडेट/अपसर्ट के मामले में - संचालन), अलग-अलग संस्थाएँ संबंध, पैकर и संचालक वे उपरिव्यय भी जोड़ते हैं। जाहिर है, लचीलापन एक कीमत पर आता है। हालाँकि, सामान्य तौर पर, PHP दुभाषिया अच्छा प्रदर्शन दिखाता है, हालाँकि एक अंतर है, यह महत्वहीन है और, शायद, PHP 7.4 में प्रीलोडिंग का उपयोग करते समय और भी कम होगा, PHP 8 में JIT का उल्लेख नहीं करने के लिए।

पर चलते हैं। टारनटूल 2.0 ने SQL के लिए समर्थन जोड़ा। आइए SQL प्रोटोकॉल का उपयोग करके सेलेक्ट, इंसर्ट, अपडेट और डिलीट ऑपरेशन करने का प्रयास करें और परिणामों की तुलना noSQL (बाइनरी) समकक्षों से करें:

SQL परिणाम बहुत प्रभावशाली नहीं हैं (मैं आपको याद दिला दूं कि हम अभी भी सिंक्रोनस मोड का परीक्षण कर रहे हैं)। हालाँकि, मैं इस बारे में समय से पहले परेशान नहीं होऊंगा; SQL समर्थन अभी भी सक्रिय विकास के अधीन है (उदाहरण के लिए, अपेक्षाकृत हाल ही में, समर्थन जोड़ा गया था) तैयार बयान) और, सूची को देखते हुए मुद्दों, SQL इंजन भविष्य में कई अनुकूलन से गुजरेगा।

async

खैर, अब देखते हैं कि Async एक्सटेंशन हमें उपरोक्त परिणामों को बेहतर बनाने में कैसे मदद कर सकता है। एसिंक्रोनस प्रोग्राम लिखने के लिए, एक्सटेंशन कोरआउट्स पर आधारित एक एपीआई प्रदान करता है, जिसका हम उपयोग करेंगे। हमने अनुभवजन्य रूप से पाया कि हमारे पर्यावरण के लिए कोरआउट्स की इष्टतम संख्या 25 है:

10,000 कोरटाइनों में 25 ऑपरेशनों को "फैलाएँ" और देखें कि क्या होता है:

प्रति सेकंड संचालन की संख्या 3 गुना से अधिक बढ़ गई टारनटूल-पीएचपी/क्लाइंट!

अफसोस की बात है कि पीईसीएल कनेक्टर ext-async के साथ प्रारंभ नहीं हुआ।

एसक्यूएल के बारे में क्या?

जैसा कि आप देख सकते हैं, एसिंक्रोनस मोड में बाइनरी प्रोटोकॉल और एसक्यूएल के बीच अंतर त्रुटि की सीमा के भीतर हो गया।

झपट्टा मारना

फिर से हम स्वूले के लिए इस बार कोरटाइन की इष्टतम संख्या का पता लगाते हैं:

आइए 25 पर रुकें। आइए Async एक्सटेंशन के साथ उसी चाल को दोहराएं - 10,000 कॉरआउट्स के बीच 25 ऑपरेशन वितरित करें। इसके अलावा, हम एक और परीक्षण जोड़ेंगे जिसमें हम सभी कार्यों को 2 दो प्रक्रियाओं में विभाजित करेंगे (अर्थात, प्रत्येक प्रक्रिया 5,000 कोरआउट्स में 25 ऑपरेशन करेगी)। का उपयोग करके प्रक्रियाएं बनाई जाएंगी स्वूलेप्रोसेस.

परिणाम:

स्वोल एक प्रक्रिया में चलाने पर एसिंक की तुलना में थोड़ा कम परिणाम दिखाता है, लेकिन 2 प्रक्रियाओं के साथ तस्वीर नाटकीय रूप से बदल जाती है (नंबर 2 को संयोग से नहीं चुना गया था; मेरी मशीन पर, यह 2 प्रक्रियाएं थीं जिन्होंने सबसे अच्छा परिणाम दिखाया)।

वैसे, Async एक्सटेंशन में प्रक्रियाओं के साथ काम करने के लिए एक एपीआई भी है, लेकिन वहां मुझे एक या अधिक प्रक्रियाओं में बेंचमार्क चलाने से कोई अंतर नजर नहीं आया (यह संभव है कि मैंने कहीं गड़बड़ कर दी हो)।

SQL बनाम बाइनरी प्रोटोकॉल:

Async की तरह, एसिंक्रोनस मोड में बाइनरी और SQL ऑपरेशंस के बीच का अंतर समाप्त हो जाता है।

समानांतर

चूंकि समानांतर विस्तार कॉरआउट्स के बारे में नहीं है, बल्कि थ्रेड्स के बारे में है, आइए समानांतर थ्रेड्स की इष्टतम संख्या को मापें:

यह मेरी मशीन पर 16 के बराबर है। आइए 16 समानांतर धागों पर कनेक्टर बेंचमार्क चलाएं:

जैसा कि आप देख सकते हैं, परिणाम एसिंक्रोनस एक्सटेंशन (2 प्रक्रियाओं पर चल रहे स्वूले की गिनती नहीं) से भी बेहतर है। ध्यान दें कि पीईसीएल कनेक्टर के लिए, अपडेट और अपसर्ट ऑपरेशन खाली हैं। यह इस तथ्य के कारण है कि ये ऑपरेशन एक त्रुटि के साथ विफल हो गए - मुझे नहीं पता कि यह एक्सट-पैरेलल, एक्सट-टारनटूल, या दोनों की गलती थी।

अब आइए SQL प्रदर्शन की तुलना करें:

समकालिक रूप से चलने वाले कनेक्टर्स के लिए ग्राफ़ के साथ समानता पर ध्यान दें?

एक साथ

और अंत में, आइए परीक्षण किए गए एक्सटेंशन की समग्र तस्वीर देखने के लिए सभी परिणामों को एक ग्राफ़ में सारांशित करें। आइए चार्ट में केवल एक नया परीक्षण जोड़ें, जो हमने अभी तक नहीं किया है - आइए समानांतर* का उपयोग करके Async coroutines को समानांतर में चलाएं। उपरोक्त एक्सटेंशन को एकीकृत करने का विचार पहले से ही है चर्चा की लेखक, लेकिन कोई आम सहमति नहीं बन पाई, आपको इसे स्वयं करना होगा।

* स्वूले कोरआउटिंस को पैरेलल के साथ लॉन्च करना संभव नहीं था; ऐसा लगता है कि ये एक्सटेंशन असंगत हैं।

तो, अंतिम परिणाम:

इसके बजाय एक निष्कर्ष की

मेरी राय में, परिणाम काफी अच्छे निकले, और किसी कारण से मुझे यकीन है कि यह सीमा नहीं है! क्या आपको इसे किसी वास्तविक प्रोजेक्ट में केवल अपने लिए तय करने की आवश्यकता है, मैं केवल यह कहूंगा कि मेरे लिए यह एक दिलचस्प प्रयोग था जो आपको यह मूल्यांकन करने की अनुमति देता है कि आप न्यूनतम प्रयास के साथ एक सिंक्रोनस टीसीपी कनेक्टर से कितना "निचोड़" सकते हैं। यदि आपके पास बेंचमार्क में सुधार के लिए विचार हैं, तो मुझे आपके पुल अनुरोध पर विचार करने में खुशी होगी। लॉन्च निर्देशों और परिणामों के साथ सभी कोड एक अलग में प्रकाशित किए गए हैं खजाने.

स्रोत: www.habr.com