ठूलो डेटामा फाइल ढाँचाहरू: छोटो शैक्षिक कार्यक्रम

Remarin द्वारा मौसम देवता

टोली Mail.ru क्लाउड समाधान प्रस्तावहरु लेखको अनुवाद Clairvoyant का इन्जिनियर राहुल भाटिया बिग डाटामा कस्ता फाइल ढाँचाहरू छन्, Hadoop ढाँचाका सबैभन्दा सामान्य सुविधाहरू के हुन् र कुन ढाँचा प्रयोग गर्न राम्रो छ।

किन फरक फाइल ढाँचा आवश्यक छ?

HDFS-सक्षम अनुप्रयोगहरू जस्तै MapReduce र Spark को लागि एक प्रमुख प्रदर्शन बाधा यो डेटा खोजी गर्न, पढ्न र लेख्न लाग्ने समय हो। यी समस्याहरू ठूला डाटा सेटहरू प्रबन्ध गर्न कठिनाईले जटिल हुन्छन् यदि हामीसँग निश्चित एकको सट्टा विकसित योजना छ, वा यदि त्यहाँ केही भण्डारण अवरोधहरू छन्।

ठूला डाटा प्रशोधन गर्दा भण्डारण उपप्रणालीमा लोड बढ्छ - Hadoop ले त्रुटि सहिष्णुता प्राप्त गर्न अनावश्यक रूपमा डाटा भण्डारण गर्दछ। डिस्कको अतिरिक्त, प्रोसेसर, नेटवर्क, इनपुट/आउटपुट प्रणाली, र यति लोड हुन्छन्। डाटाको मात्रा बढ्दै जाँदा, त्यसलाई प्रशोधन र भण्डारणको लागत पनि बढ्छ।

मा विभिन्न फाइल ढाँचाहरू Hadoop यी समस्याहरू ठीकसँग समाधान गर्न आविष्कार गरियो। उपयुक्त फाइल ढाँचा चयन गर्नाले केही महत्त्वपूर्ण फाइदाहरू प्रदान गर्न सक्छ:

1. छिटो पढ्ने समय।
2. छिटो रेकर्डिङ समय।
3. साझा फाइलहरू।
4. स्कीमा विकासको लागि समर्थन।
5. विस्तारित कम्प्रेसन समर्थन।

केही फाइल ढाँचाहरू सामान्य प्रयोगको लागि, अरूहरू थप विशिष्ट प्रयोगहरूको लागि, र केही विशिष्ट डेटा विशेषताहरू पूरा गर्न डिजाइन गरिएको हो। त्यसैले छनोट साँच्चै ठूलो छ।

Avro फाइल ढाँचा

गर्न डाटा क्रमिकरण Avro व्यापक रूपमा प्रयोग गरिन्छ - यो स्ट्रिङ आधारित, त्यो हो, Hadoop मा स्ट्रिङ डाटा भण्डारण ढाँचा। यसले स्किमालाई JSON ढाँचामा भण्डारण गर्छ, यसलाई पढ्न र कुनै पनि प्रोग्रामद्वारा व्याख्या गर्न सजिलो बनाउँछ। डाटा आफैं बाइनरी ढाँचामा छ, कम्प्याक्ट र कुशल।

Avro को क्रमबद्ध प्रणाली भाषा तटस्थ छ। फाइलहरू विभिन्न भाषाहरूमा प्रशोधन गर्न सकिन्छ, हाल C, C++, C#, Java, Python र Ruby।

Avro को मुख्य विशेषता भनेको डाटा स्कीमाहरूको लागि यसको बलियो समर्थन हो जुन समयसँगै परिवर्तन हुन्छ, अर्थात्, विकसित हुन्छ। Avro ले स्किमा परिवर्तनहरू बुझ्दछ — मेटाउने, थप्ने, वा क्षेत्रहरू परिवर्तन गर्ने।

Avro ले विभिन्न डेटा संरचनाहरूलाई समर्थन गर्दछ। उदाहरण को लागी, तपाईले एउटा रेकर्ड सिर्जना गर्न सक्नुहुन्छ जसमा एरे, एक गणना गरिएको प्रकार, र सबरेकर्ड हुन्छ।

यो ढाँचा डेटा तालको अवतरण (संक्रमण) क्षेत्रमा लेख्नको लागि उपयुक्त छ (डाटा ताल, वा डाटा लेक - डाटा स्रोतहरू सिधै बाहेक विभिन्न प्रकारका डाटा भण्डारण गर्नका लागि उदाहरणहरूको संग्रह)।

त्यसोभए, यो ढाँचा निम्न कारणहरूको लागि डेटा तालको अवतरण क्षेत्रमा लेख्नको लागि सबैभन्दा उपयुक्त छ:

1. यस क्षेत्रको डाटा सामान्यतया डाउनस्ट्रीम प्रणालीहरूद्वारा थप प्रशोधनका लागि यसको पूर्णतामा पढिन्छ - र पङ्क्ति-आधारित ढाँचा यस अवस्थामा बढी प्रभावकारी हुन्छ।
2. डाउनस्ट्रीम प्रणालीहरूले सजिलैसँग फाइलहरूबाट स्किमा तालिकाहरू पुन: प्राप्त गर्न सक्छन् - बाह्य मेटा भण्डारणमा स्किमाहरू अलग-अलग भण्डारण गर्न आवश्यक पर्दैन।
3. मूल स्कीमामा कुनै पनि परिवर्तन सजिलैसँग प्रशोधन गरिन्छ (स्कीमा विकास)।

पार्केट फाइल ढाँचा

Parquet Hadoop को लागि खुला स्रोत फाइल ढाँचा हो जुन भण्डारण गर्दछ समतल स्तम्भ ढाँचामा नेस्टेड डाटा संरचनाहरू.

परम्परागत पङ्क्ति दृष्टिकोणको तुलनामा, पार्केट भण्डारण र प्रदर्शनको सन्दर्भमा अधिक कुशल छ।

यो विशेष गरी विस्तृत (धेरै स्तम्भहरू) तालिकाबाट विशेष स्तम्भहरू पढ्ने प्रश्नहरूको लागि उपयोगी छ। फाइल ढाँचाको लागि धन्यवाद, केवल आवश्यक स्तम्भहरू पढिन्छन्, त्यसैले I/O न्यूनतम राखिएको छ।

एउटा सानो विषयवस्तु र व्याख्या: Hadoop मा Parquet फाइल ढाँचा राम्रोसँग बुझ्नको लागि, स्तम्भ-आधारित - अर्थात् स्तम्भ - ढाँचा के हो हेरौं। यो ढाँचाले प्रत्येक स्तम्भको लागि समान मानहरू भण्डारण गर्दछ।

उदाहरणका लागि, रेकर्डमा आईडी, नाम, र विभाग क्षेत्रहरू समावेश छन्। यस अवस्थामा, सबै ID स्तम्भ मानहरू सँगै भण्डारण गरिनेछ, जस्तै नाम स्तम्भ मानहरू, र यस्तै। तालिका यस्तो केहि देखिनेछ:

ID
नाम
विभाग

1
emp1
d1

2
emp2
d2

3
emp3
d3

स्ट्रिङ ढाँचामा, डाटा निम्न रूपमा बचत हुनेछ:

1
emp1
d1
2
emp2
d2
3
emp3
d3

स्तम्भ फाइल ढाँचामा, उही डेटा यसरी बचत हुनेछ:

1
2
3
emp1
emp2
emp3
d1
d2
d3

स्तम्भ ढाँचा अधिक प्रभावकारी हुन्छ जब तपाइँ तालिकाबाट धेरै स्तम्भहरू क्वेरी गर्न आवश्यक हुन्छ। यसले आवश्यक स्तम्भहरू मात्र पढ्नेछ किनभने तिनीहरू नजिकै छन्। यसरी, I/O अपरेसनहरू न्यूनतम राखिएको छ।

उदाहरणका लागि, तपाईंलाई NAME स्तम्भ मात्र चाहिन्छ। IN स्ट्रिङ ढाँचा डेटासेटमा प्रत्येक रेकर्ड लोड गर्न आवश्यक छ, फिल्ड द्वारा पार्स, र त्यसपछि NAME डेटा निकाल्न। स्तम्भ ढाँचाले तपाईंलाई सिधै नाम स्तम्भमा ड्रिल गर्न अनुमति दिन्छ किनभने त्यो स्तम्भका लागि सबै मानहरू सँगै भण्डारण गरिएका छन्। तपाईंले सम्पूर्ण रेकर्डिङ स्क्यान गर्नुपर्दैन।

यसरी, स्तम्भ ढाँचाले क्वेरी कार्यसम्पादनमा सुधार गर्छ किनभने यसलाई आवश्यक स्तम्भहरूमा पुग्न कम लुकअप समय चाहिन्छ र I/O अपरेशनहरूको संख्या घटाउँछ किनभने केवल इच्छित स्तम्भहरू पढिन्छन्।

अद्वितीय विशेषताहरु मध्ये एक छाना यो ढाँचामा यो गर्न सकिन्छ नेस्टेड संरचनाहरु संग डाटा भण्डारण। यसको मतलब छ कि पार्केट फाइलमा, नेस्टेड संरचनामा सबै फिल्डहरू नपढिकन पनि नेस्टेड फिल्डहरू व्यक्तिगत रूपमा पढ्न सकिन्छ। पर्केटले नेस्टेड संरचनाहरू भण्डारण गर्न श्रेडिङ र एसेम्बली एल्गोरिदम प्रयोग गर्दछ।

Hadoop मा Parquet फाइल ढाँचा बुझ्न, तपाईंले निम्न सर्तहरू जान्न आवश्यक छ:

1. तारहरूको समूह (पङ्क्ति समूह): पङ्क्तिहरूमा डेटाको तार्किक तेर्सो विभाजन। पङ्क्ति समूहले डेटा सेटमा प्रत्येक स्तम्भको टुक्रा समावेश गर्दछ।
2. स्तम्भ टुक्रा (स्तम्भ टुक्रा): एक विशिष्ट स्तम्भ को एक टुक्रा। यी स्तम्भ टुक्राहरू पङ्क्तिहरूको एक विशेष समूहमा बस्छन् र फाइलमा सन्निहित हुने ग्यारेन्टी गरिन्छ।
3. पृष्ठ (पृष्ठ): स्तम्भका टुक्राहरू एक पछि अर्को लेखिएका पृष्ठहरूमा विभाजित हुन्छन्। पृष्ठहरूमा साझा शीर्षक छ, त्यसैले तपाईंले पढ्दा अनावश्यकहरूलाई छोड्न सक्नुहुन्छ।

यहाँ शीर्षकमा केवल जादुई संख्या समावेश छ PAR1 (४ बाइट्स) जसले फाइललाई पर्केट फाइलको रूपमा पहिचान गर्छ।

फुटरले निम्न भन्छ:

1. प्रत्येक स्तम्भको मेटाडेटाको प्रारम्भिक निर्देशांकहरू समावेश गर्ने फाइल मेटाडेटा। पढ्दा, तपाईंले चासोका सबै स्तम्भ टुक्राहरू फेला पार्न फाइलको मेटाडेटा पढ्नु पर्छ। त्यसपछि स्तम्भका भागहरू क्रमशः पढ्नुपर्छ। अन्य मेटाडेटामा ढाँचा संस्करण, स्कीमा, र कुनै पनि अतिरिक्त कुञ्जी-मान जोडीहरू समावेश छन्।
2. मेटाडेटा लम्बाइ (४ बाइट्स)।
3. जादुई संख्या PAR1 (४ बाइट्स)।

ORC फाइल ढाँचा

अनुकूलित पङ्क्ति-स्तम्भ फाइल ढाँचा (अनुकूलित पङ्क्ति स्तम्भ, ओआरसी) डेटा भण्डारण गर्न को लागी एक धेरै कुशल तरिका प्रदान गर्दछ र अन्य ढाँचाहरु को सीमाहरु लाई पार गर्न को लागी डिजाइन गरिएको थियो। ठूला, जटिल वा म्यानुअल रूपमा राखिएको अनुक्रमणिकाको निर्माणको आवश्यकता बिना नै तपाईंलाई अनावश्यक विवरणहरू छोड्न अनुमति दिँदै, पूर्ण रूपमा कम्प्याक्ट फारममा डाटा भण्डारण गर्दछ।

ORC ढाँचाका फाइदाहरू:

1. एउटा फाइल प्रत्येक कार्यको आउटपुट हो, जसले NameNode (नाम नोड) मा लोड घटाउँछ।
2. Hive डेटा प्रकारहरूको लागि समर्थन, मिति समय, दशमलव र जटिल डेटा प्रकारहरू (संरचना, सूची, नक्सा र संघ) सहित।
3. विभिन्न RecordReader प्रक्रियाहरूद्वारा एउटै फाइलको एकसाथ पढाइ।
4. मार्करहरूको लागि स्क्यान नगरी फाइलहरू विभाजन गर्ने क्षमता।
5. फाइल फुटरमा जानकारीको आधारमा पढ्ने/लेख्ने प्रक्रियाहरूको लागि अधिकतम सम्भावित हिप मेमोरी आवंटनको अनुमान।
6. मेटाडेटा प्रोटोकल बफर बाइनरी क्रमिकरण ढाँचामा भण्डार गरिएको छ, जसले क्षेत्रहरू थप्न र हटाउन अनुमति दिन्छ।

ORC ले एकल फाइलमा स्ट्रिङहरूको सङ्कलन भण्डारण गर्छ, र सङ्कलन भित्र, स्ट्रिङ डाटा स्तम्भ ढाँचामा भण्डारण गरिन्छ।

एउटा ORC फाइलले फाइलको फुटरमा स्ट्राइप र समर्थन जानकारी भनिने लाइनहरूको समूह भण्डार गर्छ। फाइलको अन्त्यमा रहेको पोस्टस्क्रिप्टले कम्प्रेसन प्यारामिटरहरू र कम्प्रेस गरिएको फुटरको साइज समावेश गर्दछ।

पूर्वनिर्धारित पट्टी आकार 250 MB हो। त्यस्ता ठूला स्ट्रिपहरूका कारण, HDFS बाट पढ्ने कार्य अधिक कुशलतापूर्वक गरिन्छ: ठूला सन्निहित ब्लकहरूमा।

फाइल फुटरले फाइलमा रहेका लेनहरूको सूची, प्रति लेन पङ्क्तिहरूको संख्या, र प्रत्येक स्तम्भको डेटा प्रकार रेकर्ड गर्दछ। प्रत्येक स्तम्भको लागि गणना, न्यूनतम, अधिकतम र योगको परिणामस्वरूप मान पनि त्यहाँ लेखिएको छ।

स्ट्रिपको फुटरले स्ट्रिम स्थानहरूको डाइरेक्टरी समावेश गर्दछ।

तालिकाहरू स्क्यान गर्दा पङ्क्ति डेटा प्रयोग गरिन्छ।

अनुक्रमणिका डेटाले प्रत्येक स्तम्भको लागि न्यूनतम र अधिकतम मानहरू र प्रत्येक स्तम्भमा पङ्क्तिहरूको स्थिति समावेश गर्दछ। ORC अनुक्रमणिकाहरू स्ट्रिपहरू र पङ्क्ति समूहहरू चयन गर्नका लागि मात्र प्रयोग गरिन्छ, प्रश्नहरूको जवाफ दिन होइन।

विभिन्न फाइल ढाँचाहरूको तुलना

पर्केटको तुलनामा Avro

1. Avro एक पङ्क्ति भण्डारण ढाँचा हो, जबकि Parquet स्तम्भहरूमा डाटा भण्डारण गर्दछ।
2. विश्लेषणात्मक प्रश्नहरूको लागि Parquet राम्रोसँग उपयुक्त छ, यसको अर्थ पढ्ने अपरेशनहरू र क्वेरी डेटा लेख्नु भन्दा धेरै कुशल छन्।
3. Avro मा लेखन कार्यहरू Parquet मा भन्दा बढी कुशलतापूर्वक प्रदर्शन गरिन्छ।
4. एभ्रोले सर्किट इभोलुसनसँग बढी परिपक्वताका साथ व्यवहार गर्छ। Parquet ले स्किमा थप्ने मात्र समर्थन गर्दछ, जबकि Avro ले बहुकार्यात्मक विकासलाई समर्थन गर्दछ, अर्थात् स्तम्भहरू थप्ने वा परिवर्तन गर्ने।
5. बहु-स्तम्भ तालिकामा स्तम्भहरूको सबसेट क्वेरी गर्नको लागि पर्केट आदर्श हो। Avro ETL अपरेसनहरूको लागि उपयुक्त छ जहाँ हामी सबै स्तम्भहरू क्वेरी गर्छौं।

ORC बनाम पार्क्वेट

1. पार्केटले नेस्टेड डाटा राम्रोसँग भण्डार गर्दछ।
2. ORC pushdown predicate गर्न राम्रो उपयुक्त छ।
3. ORC ले ACID गुणहरूलाई समर्थन गर्दछ।
4. ORC ले डेटा राम्रोसँग कम्प्रेस गर्छ।

बिषयमा अरु के पढ्नु होला:

1. क्लाउडमा ठूलो डेटा विश्लेषण: कसरी कम्पनी डेटा-उन्मुख बन्न सक्छ.
2. डाटाबेस योजनाहरूको लागि नम्र गाइड.
3. डिजिटल रूपान्तरण बारे हाम्रो टेलिग्राम च्यानल.

स्रोत: www.habr.com