बड़े डेटा में फ़ाइल स्वरूप: एक संक्षिप्त शैक्षिक कार्यक्रम

रेमारिन द्वारा मौसम देवता

टीम Mail.ru क्लाउड सॉल्यूशंस प्रदान करता है लेख अनुवाद क्लेयरवॉयंट के इंजीनियर राहुल भाटिया ने बताया कि बड़े डेटा में कौन से फ़ाइल प्रारूप हैं, Hadoop प्रारूपों की सबसे सामान्य विशेषताएं क्या हैं और कौन सा प्रारूप उपयोग करना बेहतर है।

विभिन्न फ़ाइल स्वरूपों की आवश्यकता क्यों है?

HDFS-सक्षम अनुप्रयोगों जैसे कि MapReduce और Spark के लिए एक प्रमुख प्रदर्शन बाधा डेटा को खोजने, पढ़ने और लिखने में लगने वाला समय है। यदि हमारे पास एक निश्चित स्कीमा के बजाय एक विकसित स्कीमा है, या यदि कुछ भंडारण बाधाएं हैं, तो बड़े डेटा सेट को प्रबंधित करने में कठिनाई से ये समस्याएं बढ़ जाती हैं।

बड़े डेटा को संसाधित करने से स्टोरेज सबसिस्टम पर भार बढ़ जाता है - Hadoop गलती सहनशीलता प्राप्त करने के लिए डेटा को अनावश्यक रूप से संग्रहीत करता है। डिस्क के अलावा, प्रोसेसर, नेटवर्क, इनपुट/आउटपुट सिस्टम इत्यादि लोड किए जाते हैं। जैसे-जैसे डेटा की मात्रा बढ़ती है, वैसे-वैसे उसके प्रसंस्करण और भंडारण की लागत भी बढ़ती है।

विभिन्न फ़ाइल प्रारूप Hadoop इन समस्याओं को ठीक से हल करने के लिए आविष्कार किया गया। उपयुक्त फ़ाइल स्वरूप का चयन करने से कुछ महत्वपूर्ण लाभ मिल सकते हैं:

1. तेज़ पढ़ने का समय.
2. तेज़ रिकॉर्डिंग समय.
3. साझा की गई फ़ाइलें.
4. स्कीमा विकास के लिए समर्थन.
5. विस्तारित संपीड़न समर्थन.

कुछ फ़ाइल प्रारूप सामान्य उपयोग के लिए हैं, अन्य अधिक विशिष्ट उपयोग के लिए हैं, और कुछ विशिष्ट डेटा विशेषताओं को पूरा करने के लिए डिज़ाइन किए गए हैं। तो विकल्प वास्तव में काफी बड़ा है.

एवरो फ़ाइल स्वरूप

के लिए डेटा क्रमबद्धता एवरो का व्यापक रूप से उपयोग किया जाता है - यह स्ट्रिंग आधारित, यानी Hadoop में एक स्ट्रिंग डेटा स्टोरेज फॉर्मेट। यह स्कीमा को JSON प्रारूप में संग्रहीत करता है, जिससे किसी भी प्रोग्राम द्वारा इसे पढ़ना और व्याख्या करना आसान हो जाता है। डेटा स्वयं बाइनरी प्रारूप में है, कॉम्पैक्ट और कुशल है।

एवरो की क्रमांकन प्रणाली भाषा तटस्थ है। फ़ाइलों को विभिन्न भाषाओं में संसाधित किया जा सकता है, वर्तमान में C, C++, C#, Java, Python और Ruby।

एवरो की एक प्रमुख विशेषता डेटा स्कीमा के लिए इसका मजबूत समर्थन है जो समय के साथ बदलती है, यानी विकसित होती है। एवरो स्कीमा परिवर्तनों को समझता है - फ़ील्ड को हटाना, जोड़ना या बदलना।

एवरो विभिन्न प्रकार की डेटा संरचनाओं का समर्थन करता है। उदाहरण के लिए, आप एक रिकॉर्ड बना सकते हैं जिसमें एक सरणी, एक गणना प्रकार और एक उपरिकॉर्ड शामिल है।

यह प्रारूप डेटा लेक के लैंडिंग (संक्रमण) क्षेत्र में लिखने के लिए आदर्श है (डेटा लेक, या डेटा लेक - डेटा स्रोतों के अलावा विभिन्न प्रकार के डेटा को सीधे संग्रहीत करने के लिए उदाहरणों का एक संग्रह)।

इसलिए, यह प्रारूप निम्नलिखित कारणों से डेटा लेक के लैंडिंग ज़ोन में लिखने के लिए सबसे उपयुक्त है:

1. इस क्षेत्र से डेटा आमतौर पर डाउनस्ट्रीम सिस्टम द्वारा आगे की प्रक्रिया के लिए पूरी तरह से पढ़ा जाता है - और इस मामले में पंक्ति-आधारित प्रारूप अधिक कुशल है।
2. डाउनस्ट्रीम सिस्टम फ़ाइलों से स्कीमा तालिकाओं को आसानी से पुनर्प्राप्त कर सकते हैं - बाहरी मेटा स्टोरेज में स्कीमा को अलग से संग्रहीत करने की आवश्यकता नहीं है।
3. मूल स्कीमा में कोई भी परिवर्तन आसानी से संसाधित किया जाता है (स्कीमा विकास)।

लकड़ी की छत फ़ाइल स्वरूप

Parquet Hadoop के लिए एक खुला स्रोत फ़ाइल स्वरूप है जो संग्रहीत करता है समतल स्तंभ प्रारूप में नेस्टेड डेटा संरचनाएँ.

पारंपरिक पंक्ति दृष्टिकोण की तुलना में, लकड़ी की छत भंडारण और प्रदर्शन के मामले में अधिक कुशल है।

यह उन प्रश्नों के लिए विशेष रूप से उपयोगी है जो विस्तृत (कई कॉलम) तालिका से विशिष्ट कॉलम पढ़ते हैं। फ़ाइल स्वरूप के कारण, केवल आवश्यक कॉलम ही पढ़े जाते हैं, इसलिए I/O को न्यूनतम रखा जाता है।

एक छोटा सा विषयांतर और स्पष्टीकरण: Hadoop में Parquet फ़ाइल स्वरूप को बेहतर ढंग से समझने के लिए, आइए देखें कि स्तंभ-आधारित - अर्थात स्तंभ - प्रारूप क्या है। यह प्रारूप प्रत्येक कॉलम के लिए समान मानों को एक साथ संग्रहीत करता है।

उदाहरण के लिये, रिकॉर्ड में आईडी, नाम और विभाग फ़ील्ड शामिल हैं। इस मामले में, सभी आईडी कॉलम मान एक साथ संग्रहीत किए जाएंगे, जैसे कि नाम कॉलम मान, इत्यादि। तालिका कुछ इस तरह दिखेगी:

ID
नाम
विभाग

1
एंप .1
d1

2
एंप .2
d2

3
एंप .3
d3

स्ट्रिंग प्रारूप में, डेटा निम्नानुसार सहेजा जाएगा:

1
एंप .1
d1
2
एंप .2
d2
3
एंप .3
d3

एक स्तंभ फ़ाइल स्वरूप में, वही डेटा इस प्रकार सहेजा जाएगा:

1
2
3
एंप .1
एंप .2
एंप .3
d1
d2
d3

जब आपको किसी तालिका से एकाधिक स्तंभों को क्वेरी करने की आवश्यकता होती है तो स्तंभ प्रारूप अधिक कुशल होता है। यह केवल आवश्यक कॉलम ही पढ़ेगा क्योंकि वे आसन्न हैं। इस तरह, I/O परिचालन को न्यूनतम रखा जाता है।

उदाहरण के लिए, आपको केवल NAME कॉलम की आवश्यकता है. में स्ट्रिंग प्रारूप डेटासेट में प्रत्येक रिकॉर्ड को लोड करने, फ़ील्ड द्वारा पार्स करने और फिर NAME डेटा निकालने की आवश्यकता होती है। कॉलम प्रारूप आपको सीधे नाम कॉलम तक ड्रिल करने की अनुमति देता है क्योंकि उस कॉलम के सभी मान एक साथ संग्रहीत होते हैं। आपको पूरी रिकॉर्डिंग स्कैन करने की ज़रूरत नहीं है.

इस प्रकार, स्तंभ प्रारूप क्वेरी प्रदर्शन में सुधार करता है क्योंकि इसमें आवश्यक कॉलम तक पहुंचने के लिए कम लुकअप समय की आवश्यकता होती है और I/O संचालन की संख्या कम हो जाती है क्योंकि केवल वांछित कॉलम पढ़े जाते हैं।

अद्वितीय विशेषताओं में से एक लकड़ी की छत क्या इस प्रारूप में यह हो सकता है नेस्टेड संरचनाओं के साथ डेटा संग्रहीत करें. इसका मतलब यह है कि एक Parquet फ़ाइल में, नेस्टेड संरचना में सभी फ़ील्ड को पढ़े बिना भी नेस्टेड फ़ील्ड को व्यक्तिगत रूप से पढ़ा जा सकता है। नेस्टेड संरचनाओं को संग्रहीत करने के लिए लकड़ी की छत एक श्रेडिंग और असेंबली एल्गोरिदम का उपयोग करती है।

Hadoop में Parquet फ़ाइल स्वरूप को समझने के लिए, आपको निम्नलिखित शर्तों को जानना होगा:

1. तारों का समूह (पंक्ति समूह): पंक्तियों में डेटा का तार्किक क्षैतिज विभाजन। एक पंक्ति समूह में डेटा सेट में प्रत्येक कॉलम का एक टुकड़ा होता है।
2. स्तम्भ खंड (स्तंभ खंड): एक विशिष्ट स्तंभ का एक टुकड़ा। ये स्तंभ टुकड़े पंक्तियों के एक विशिष्ट समूह में रहते हैं और फ़ाइल में सन्निहित होने की गारंटी है।
3. पेज (पेज): कॉलम के टुकड़े एक के बाद एक लिखे गए पेजों में विभाजित हैं। पृष्ठों में एक सामान्य शीर्षक होता है, इसलिए पढ़ते समय आप अनावश्यक शीर्षकों को छोड़ सकते हैं।

यहां शीर्षक में केवल जादुई संख्या शामिल है PAR1 (4 बाइट्स) जो फ़ाइल को Parquet फ़ाइल के रूप में पहचानता है।

पादलेख निम्नलिखित कहता है:

1. फ़ाइल मेटाडेटा जिसमें प्रत्येक कॉलम के मेटाडेटा के शुरुआती निर्देशांक शामिल हैं। पढ़ते समय, आपको रुचि के सभी कॉलम अंशों को खोजने के लिए पहले फ़ाइल के मेटाडेटा को पढ़ना होगा। फिर कॉलम के हिस्सों को क्रमिक रूप से पढ़ा जाना चाहिए। अन्य मेटाडेटा में प्रारूप संस्करण, स्कीमा और कोई अतिरिक्त कुंजी-मूल्य जोड़े शामिल हैं।
2. मेटाडेटा लंबाई (4 बाइट्स)।
3. जादुई संख्या PAR1 (4 बाइट्स)।

ORC फ़ाइल स्वरूप

अनुकूलित पंक्ति-स्तंभ फ़ाइल स्वरूप (अनुकूलित पंक्ति कॉलम, ओआरसी) डेटा संग्रहीत करने का एक बहुत ही कुशल तरीका प्रदान करता है और इसे अन्य प्रारूपों की सीमाओं को दूर करने के लिए डिज़ाइन किया गया था। डेटा को बिल्कुल कॉम्पैक्ट रूप में संग्रहीत करता है, जिससे आप अनावश्यक विवरणों को छोड़ सकते हैं - बड़े, जटिल या मैन्युअल रूप से बनाए गए इंडेक्स के निर्माण की आवश्यकता के बिना।

ORC प्रारूप के लाभ:

1. एक फ़ाइल प्रत्येक कार्य का आउटपुट है, जो NameNode (नाम नोड) पर लोड को कम करती है।
2. दिनांक समय, दशमलव और जटिल डेटा प्रकार (संरचना, सूची, मानचित्र और संघ) सहित हाइव डेटा प्रकारों के लिए समर्थन।
3. विभिन्न रिकॉर्डरीडर प्रक्रियाओं द्वारा एक ही फ़ाइल को एक साथ पढ़ना।
4. मार्करों को स्कैन किए बिना फ़ाइलों को विभाजित करने की क्षमता।
5. फ़ाइल पाद लेख में जानकारी के आधार पर पढ़ने/लिखने की प्रक्रियाओं के लिए अधिकतम संभव हीप मेमोरी आवंटन का अनुमान।
6. मेटाडेटा को प्रोटोकॉल बफ़र्स बाइनरी क्रमांकन प्रारूप में संग्रहीत किया जाता है, जो फ़ील्ड को जोड़ने और हटाने की अनुमति देता है।

ORC स्ट्रिंग्स के संग्रह को एक फ़ाइल में संग्रहीत करता है, और संग्रह के भीतर, स्ट्रिंग डेटा को एक स्तंभ प्रारूप में संग्रहीत किया जाता है।

एक ORC फ़ाइल फ़ाइल के पाद लेख में स्ट्राइप्स नामक पंक्तियों के समूह और सहायक जानकारी संग्रहीत करती है। फ़ाइल के अंत में पोस्टस्क्रिप्ट में संपीड़न पैरामीटर और संपीड़ित पाद लेख का आकार शामिल है।

डिफ़ॉल्ट स्ट्राइप का आकार 250 एमबी है। इतनी बड़ी धारियों के कारण, एचडीएफएस से रीडिंग अधिक कुशलता से की जाती है: बड़े सन्निहित ब्लॉकों में।

फ़ाइल फ़ुटर फ़ाइल में लेन की सूची, प्रति लेन पंक्तियों की संख्या और प्रत्येक कॉलम का डेटा प्रकार रिकॉर्ड करता है। प्रत्येक कॉलम के लिए गिनती, न्यूनतम, अधिकतम और योग का परिणामी मूल्य भी वहां लिखा गया है।

पट्टी के पादलेख में स्ट्रीम स्थानों की एक निर्देशिका होती है।

तालिकाओं को स्कैन करते समय पंक्ति डेटा का उपयोग किया जाता है।

सूचकांक डेटा में प्रत्येक कॉलम के लिए न्यूनतम और अधिकतम मान और प्रत्येक कॉलम में पंक्तियों की स्थिति शामिल होती है। ओआरसी इंडेक्स का उपयोग केवल धारियों और पंक्ति समूहों का चयन करने के लिए किया जाता है, प्रश्नों का उत्तर देने के लिए नहीं।

विभिन्न फ़ाइल स्वरूपों की तुलना

एवरो की तुलना लकड़ी की छत से की गई

1. एवरो एक पंक्ति भंडारण प्रारूप है, जबकि Parquet कॉलम में डेटा संग्रहीत करता है।
2. पारक्वेट विश्लेषणात्मक प्रश्नों के लिए बेहतर अनुकूल है, जिसका अर्थ है कि पढ़ने के संचालन और डेटा को क्वेरी करना लिखने की तुलना में बहुत अधिक कुशल है।
3. एवरो में लिखने का कार्य Parquet की तुलना में अधिक कुशलता से किया जाता है।
4. एवरो सर्किट विकास से अधिक परिपक्वता से निपटता है। Parquet केवल स्कीमा जोड़ का समर्थन करता है, जबकि Avro बहुक्रियाशील विकास का समर्थन करता है, अर्थात कॉलम जोड़ना या बदलना।
5. बहु-स्तंभ तालिका में स्तंभों के सबसेट की क्वेरी करने के लिए Parquet आदर्श है। एवरो ईटीएल संचालन के लिए उपयुक्त है जहां हम सभी कॉलमों को क्वेरी करते हैं।

ओआरसी बनाम लकड़ी की छत

1. Parquet नेस्टेड डेटा को बेहतर तरीके से संग्रहीत करता है।
2. ओआरसी विधेय पुशडाउन के लिए बेहतर अनुकूल है।
3. ORC ACID गुणों का समर्थन करता है।
4. ORC डेटा को बेहतर तरीके से संपीड़ित करता है।

विषय पर और क्या पढ़ना है:

1. क्लाउड में बड़ा डेटा विश्लेषण: कोई कंपनी डेटा-उन्मुख कैसे बन सकती है.
2. डेटाबेस स्कीमाओं के लिए एक विनम्र मार्गदर्शिका.
3. डिजिटल परिवर्तन के बारे में हमारा टेलीग्राम चैनल.

स्रोत: www.habr.com