आपको कुंजियों पर पृष्ठांकन के लिए वाद्य समर्थन की आवश्यकता क्यों है?

नमस्ते! मैं एक बैकएंड डेवलपर हूं जो जावा + स्प्रिंग में माइक्रोसर्विसेज लिख रहा हूं। मैं टिंकॉफ की आंतरिक उत्पाद विकास टीमों में से एक में काम करता हूं।

हमारी टीम में, DBMS में प्रश्नों को अनुकूलित करने का प्रश्न अक्सर उठता है। आप हमेशा थोड़ा तेज़ होना चाहते हैं, लेकिन आप हमेशा सोच-समझकर बनाए गए इंडेक्स के साथ काम नहीं कर सकते - आपको कुछ समाधान तलाशने होंगे। डेटाबेस के साथ काम करते समय उचित अनुकूलन की तलाश में वेब पर घूमने के दौरान, मैंने पाया मार्कस वायनांड का अत्यंत उपयोगी ब्लॉगएसक्यूएल परफॉर्मेंस एक्सप्लेन्ड के लेखक। यह वह दुर्लभ प्रकार का ब्लॉग है जिसमें आप सभी लेख एक पंक्ति में पढ़ सकते हैं।

मैं आपके लिए मार्कस के एक लघु लेख का अनुवाद करना चाहूँगा। इसे कुछ हद तक एक घोषणापत्र कहा जा सकता है जो SQL मानक के अनुसार ऑफसेट ऑपरेशन के प्रदर्शन की पुरानी, ​​लेकिन अभी भी प्रासंगिक समस्या पर ध्यान आकर्षित करना चाहता है।

कुछ स्थानों पर मैं लेखक को स्पष्टीकरण और टिप्पणियों के साथ पूरक करूंगा। मैं ऐसे सभी स्थानों को "लगभग" कहूँगा। अधिक स्पष्टता के लिए

एक छोटा सा परिचय

मुझे लगता है कि बहुत से लोग जानते हैं कि ऑफसेट के माध्यम से पेज चयन के साथ काम करना कितना समस्याग्रस्त और धीमा है। क्या आप जानते हैं कि इसे अधिक कुशल डिज़ाइन से आसानी से बदला जा सकता है?

तो, ऑफ़सेट कीवर्ड डेटाबेस को अनुरोध में पहले n रिकॉर्ड को छोड़ने के लिए कहता है। हालाँकि, डेटाबेस को अभी भी डिस्क से इन पहले n रिकॉर्ड्स को दिए गए क्रम में पढ़ने की आवश्यकता है (नोट: यदि यह निर्दिष्ट है तो सॉर्टिंग लागू करें), और उसके बाद ही n+1 से आगे के रिकॉर्ड वापस करना संभव होगा। सबसे दिलचस्प बात यह है कि समस्या DBMS में विशिष्ट कार्यान्वयन में नहीं है, बल्कि मानक के अनुसार मूल परिभाषा में है:

...पंक्तियों को पहले के अनुसार क्रमबद्ध किया जाता है और फिर में निर्दिष्ट पंक्तियों की संख्या को घटाकर सीमित कर दिया गया प्रारंभ से…
-एसक्यूएल:2016, भाग 2, 4.15.3 व्युत्पन्न तालिकाएँ (नोट: वर्तमान में सबसे अधिक उपयोग किया जाने वाला मानक)

यहां मुख्य बात यह है कि ऑफसेट एक एकल पैरामीटर लेता है - छोड़ने के लिए रिकॉर्ड की संख्या, और बस इतना ही। इस परिभाषा का पालन करते हुए, DBMS केवल सभी रिकॉर्ड पुनर्प्राप्त कर सकता है और फिर अनावश्यक रिकॉर्ड हटा सकता है। जाहिर है, ऑफसेट की यह परिभाषा हमें अतिरिक्त काम करने के लिए मजबूर करती है। और इससे कोई फर्क नहीं पड़ता कि यह SQL है या NoSQL।

बस थोड़ा और दर्द है

ऑफसेट से जुड़ी समस्याएं यहीं खत्म नहीं होती हैं और इसका कारण यहां बताया गया है। यदि, डिस्क से डेटा के दो पृष्ठों को पढ़ने के बीच, कोई अन्य ऑपरेशन एक नया रिकॉर्ड सम्मिलित करता है, तो इस स्थिति में क्या होगा?

जब ऑफसेट का उपयोग पिछले पृष्ठों से रिकॉर्ड को छोड़ने के लिए किया जाता है, तो विभिन्न पृष्ठों के पढ़ने के बीच एक नया रिकॉर्ड जोड़ने की स्थिति में, आपको संभवतः डुप्लिकेट मिलेंगे (ध्यान दें: यह तब संभव है जब हम निर्माण के क्रम का उपयोग करके पृष्ठ दर पृष्ठ पढ़ते हैं, तो) हमारे आउटपुट के बीच में इसे एक नई प्रविष्टि मिल सकती है)।

यह चित्र इस स्थिति को स्पष्ट रूप से दर्शाता है। आधार पहले 10 रिकॉर्ड पढ़ता है, जिसके बाद एक नया रिकॉर्ड डाला जाता है, जो सभी पढ़े गए रिकॉर्ड को 1 से ऑफसेट करता है। फिर आधार अगले 10 रिकॉर्ड से एक नया पृष्ठ लेता है और 11वें से शुरू नहीं होता है, जैसा कि होना चाहिए, लेकिन से 10वां, इस रिकॉर्ड की नकल। इस अभिव्यक्ति के उपयोग से जुड़ी अन्य विसंगतियाँ हैं, लेकिन यह सबसे आम है।

जैसा कि हम पहले ही पता लगा चुके हैं, ये किसी विशिष्ट DBMS या उनके कार्यान्वयन की समस्याएँ नहीं हैं। समस्या SQL मानक के अनुसार पेजिनेशन को परिभाषित करने में है। हम DBMS को बताते हैं कि कौन सा पेज लाना है या कितने रिकॉर्ड छोड़ना है। डेटाबेस ऐसे अनुरोध को अनुकूलित करने में सक्षम नहीं है, क्योंकि इसके लिए बहुत कम जानकारी है।

यह भी स्पष्ट करने योग्य है कि यह किसी विशिष्ट कीवर्ड के साथ समस्या नहीं है, बल्कि क्वेरी के शब्दार्थ के साथ है। ऐसे कई और वाक्यविन्यास हैं जो अपनी समस्याग्रस्त प्रकृति में समान हैं:

• ऑफसेट कीवर्ड वैसा ही है जैसा पहले बताया गया है।
• दो कीवर्ड सीमा का निर्माण [ऑफ़सेट] (हालाँकि सीमा स्वयं इतनी बुरी नहीं है)।
• पंक्ति क्रमांकन के आधार पर निचली सीमाओं द्वारा फ़िल्टर करना (उदाहरण के लिए, row_number(), rownum, आदि)।

ये सभी अभिव्यक्तियाँ बस आपको बताती हैं कि कितनी पंक्तियाँ छोड़नी हैं, कोई अतिरिक्त जानकारी या संदर्भ नहीं।

बाद में इस लेख में, ऑफ़सेट कीवर्ड का उपयोग इन सभी विकल्पों के सारांश के रूप में किया गया है।

ऑफसेट के बिना जीवन

अब आइए कल्पना करें कि इन सभी समस्याओं के बिना हमारी दुनिया कैसी होगी। यह पता चला है कि ऑफसेट के बिना जीवन इतना मुश्किल नहीं है: एक चयन के साथ, आप केवल उन पंक्तियों का चयन कर सकते हैं जिन्हें हमने अभी तक नहीं देखा है (ध्यान दें: यानी, जो पिछले पृष्ठ पर नहीं थे), जहां एक शर्त का उपयोग करके।

इस मामले में, हम इस तथ्य से शुरू करते हैं कि चयन एक ऑर्डर किए गए सेट (अच्छे पुराने ऑर्डर द्वारा) पर निष्पादित किए जाते हैं। चूँकि हमारे पास एक ऑर्डर किया हुआ सेट है, हम केवल पिछले पृष्ठ के अंतिम रिकॉर्ड के पीछे मौजूद डेटा प्राप्त करने के लिए एक काफी सरल फ़िल्टर का उपयोग कर सकते हैं:

    SELECT ...
    FROM ...
    WHERE ...
    AND id < ?last_seen_id
    ORDER BY id DESC
    FETCH FIRST 10 ROWS ONLY

यही इस दृष्टिकोण का संपूर्ण सिद्धांत है। निस्संदेह, कई स्तंभों के आधार पर क्रमबद्ध करने पर चीज़ें अधिक मज़ेदार हो जाती हैं, लेकिन विचार अभी भी वही है। यह ध्यान रखना महत्वपूर्ण है कि यह डिज़ाइन कई लोगों पर लागू होता है NoSQL-निर्णय.

इस दृष्टिकोण को सीक मेथड या कीसेट पेजिनेशन कहा जाता है। यह फ़्लोटिंग परिणाम समस्या को हल करता है (ध्यान दें: पृष्ठ पढ़ने के बीच लिखने की स्थिति पहले वर्णित है) और निश्चित रूप से, जो हम सभी को पसंद है, वह क्लासिक ऑफ़सेट की तुलना में तेज़ और अधिक स्थिर काम करता है। स्थिरता इस तथ्य में निहित है कि अनुरोध प्रसंस्करण समय अनुरोधित तालिका की संख्या के अनुपात में नहीं बढ़ता है (नोट: यदि आप पेजिनेशन के विभिन्न तरीकों के काम के बारे में अधिक जानना चाहते हैं, तो आप यह कर सकते हैं लेखक की प्रस्तुति देखें. आप वहां विभिन्न तरीकों के लिए तुलनात्मक बेंचमार्क भी पा सकते हैं)।

स्लाइडों में से एक उसके बारे में बात करता हैनिस्संदेह, कुंजियों द्वारा पृष्ठांकन सर्वशक्तिमान नहीं है - इसकी अपनी सीमाएँ हैं। सबसे महत्वपूर्ण बात यह है कि उसमें यादृच्छिक पृष्ठों को पढ़ने की क्षमता नहीं है (नोट: असंगत रूप से)। हालाँकि, अंतहीन स्क्रॉलिंग (नोट: फ्रंट एंड पर) के युग में, यह ऐसी कोई समस्या नहीं है। क्लिक करने के लिए पेज नंबर निर्दिष्ट करना वैसे भी यूआई डिज़ाइन में एक बुरा निर्णय है (नोट: लेख के लेखक की राय)।

औज़ारों के बारे में क्या?

इस पद्धति के लिए वाद्य समर्थन की कमी के कारण कुंजियों पर पृष्ठांकन अक्सर उपयुक्त नहीं होता है। विभिन्न ढांचों सहित अधिकांश विकास उपकरण, आपको यह चुनने की अनुमति नहीं देते हैं कि पेजिनेशन कैसे किया जाएगा।

स्थिति इस तथ्य से बढ़ गई है कि वर्णित विधि के लिए उपयोग की जाने वाली तकनीकों में एंड-टू-एंड समर्थन की आवश्यकता होती है - डीबीएमएस से लेकर अंतहीन स्क्रॉलिंग के साथ ब्राउज़र में AJAX अनुरोध के निष्पादन तक। केवल पृष्ठ संख्या निर्दिष्ट करने के बजाय, अब आपको एक साथ सभी पृष्ठों के लिए कुंजियों का एक सेट निर्दिष्ट करना होगा।

हालाँकि, कुंजियों पर पृष्ठांकन का समर्थन करने वाले फ़्रेमवर्क की संख्या धीरे-धीरे बढ़ रही है। इस समय हमारे पास यह है:

• jOOQ जावा के लिए;
• order_query रूबी के लिए;
• चंकेटर и Django अनंत स्क्रॉल पेजिनेशन Django के लिए;
• एसक्यूएल कीमिया स्क्लेकीसेट पायथन के लिए;
• ज्वाला-दृढ़ता - जेपीए कार्यान्वयन के लिए मानदंड एपीआई;
• DBIx::क्लास::रैपर पर्ल के लिए;
• विशाल.जे.एस, Node.js के लिए मैपर कुंजीसेट दस्तावेज़ीकरण.

(नोट: कुछ लिंक इस तथ्य के कारण हटा दिए गए थे कि अनुवाद के समय कुछ पुस्तकालय 2017-2018 से अपडेट नहीं किए गए थे। यदि आप रुचि रखते हैं, तो आप मूल स्रोत देख सकते हैं।)

इसी वक्त आपकी मदद की जरूरत है. यदि आप किसी ऐसे ढांचे का विकास या समर्थन करते हैं जो पेजिनेशन का कोई उपयोग करता है, तो मैं आपसे पूछता हूं, मैं आग्रह करता हूं, मैं आपसे कुंजियों पर पेजिनेशन के लिए मूल समर्थन प्रदान करने का अनुरोध करता हूं। यदि आपके कोई प्रश्न हैं या सहायता की आवश्यकता है, तो मुझे सहायता करने में खुशी होगी (форум, ट्विटर, संपर्क करें प्रपत्र) (नोट: मार्कस के साथ अपने अनुभव से, मैं कह सकता हूं कि वह इस विषय को फैलाने के लिए वास्तव में उत्साहित है)।

यदि आप तैयार किए गए समाधानों का उपयोग करते हैं जो आपको लगता है कि कुंजी द्वारा पृष्ठांकन के लिए समर्थन के योग्य हैं, तो एक अनुरोध बनाएं या यदि संभव हो तो एक तैयार समाधान भी पेश करें। आप इस लेख का लिंक भी दे सकते हैं.

निष्कर्ष

कुंजियों द्वारा पेजिनेशन जैसा सरल और उपयोगी दृष्टिकोण व्यापक नहीं होने का कारण यह नहीं है कि इसे तकनीकी रूप से लागू करना मुश्किल है या इसके लिए किसी बड़े प्रयास की आवश्यकता है। मुख्य कारण यह है कि कई लोग ऑफसेट को देखने और उसके साथ काम करने के आदी हैं - यह दृष्टिकोण मानक द्वारा ही तय होता है।

परिणामस्वरूप, कुछ लोग पेजिनेशन के दृष्टिकोण को बदलने के बारे में सोचते हैं, और इस वजह से, फ्रेमवर्क और पुस्तकालयों से वाद्य समर्थन खराब रूप से विकसित हो रहा है। इसलिए, यदि ऑफसेट-मुक्त पेजिनेशन का विचार और लक्ष्य आपके करीब है, तो इसे फैलाने में मदद करें!

स्रोत: https://use-the-index-luke.com/no-offset
लेखक: मार्कस विनंद

स्रोत: www.habr.com