বড় ডেটাতে ফাইল ফরম্যাট: একটি সংক্ষিপ্ত শিক্ষামূলক প্রোগ্রাম

Remarin দ্বারা আবহাওয়া দেবতা

টীম Mail.ru ক্লাউড সলিউশন অফার নিবন্ধ অনুবাদ ক্লেয়ারভয়েন্টের ইঞ্জিনিয়ার রাহুল ভাটিয়া বিগ ডেটাতে কোন ফাইল ফরম্যাট রয়েছে, হ্যাডুপ ফরম্যাটের সবচেয়ে সাধারণ বৈশিষ্ট্যগুলি কী এবং কোন ফর্ম্যাট ব্যবহার করা ভাল।

কেন বিভিন্ন ফাইল ফরম্যাট প্রয়োজন?

এইচডিএফএস-সক্ষম অ্যাপ্লিকেশন যেমন ম্যাপরিডুস এবং স্পার্কের জন্য একটি প্রধান কর্মক্ষমতা বাধা হল ডেটা অনুসন্ধান, পড়তে এবং লিখতে সময় লাগে। এই সমস্যাগুলি বৃহৎ ডেটা সেটগুলি পরিচালনা করতে অসুবিধার দ্বারা জটিল হয় যদি আমাদের একটি স্থির না হয়ে একটি বিবর্তিত স্কিমা থাকে, বা যদি কিছু স্টোরেজ সীমাবদ্ধতা থাকে।

বড় ডেটা প্রক্রিয়াকরণ স্টোরেজ সাবসিস্টেমের উপর লোড বাড়ায় - হ্যাডুপ ত্রুটি সহনশীলতা অর্জনের জন্য অপ্রয়োজনীয়ভাবে ডেটা সঞ্চয় করে। ডিস্ক ছাড়াও, প্রসেসর, নেটওয়ার্ক, ইনপুট/আউটপুট সিস্টেম এবং আরও অনেক কিছু লোড হয়। ডেটার পরিমাণ বাড়ার সাথে সাথে এটি প্রক্রিয়াকরণ এবং সংরক্ষণের খরচও বৃদ্ধি পায়।

বিভিন্ন ফাইল ফরম্যাটে Hadoop এই সমস্যাগুলি সঠিকভাবে সমাধান করার জন্য উদ্ভাবিত। উপযুক্ত ফাইল বিন্যাস নির্বাচন করা কিছু উল্লেখযোগ্য সুবিধা প্রদান করতে পারে:

1. দ্রুত পড়ার সময়।
2. দ্রুত রেকর্ডিং সময়।
3. শেয়ার করা ফাইল।
4. স্কিমা বিবর্তনের জন্য সমর্থন।
5. প্রসারিত কম্প্রেশন সমর্থন.

কিছু ফাইল ফরম্যাট সাধারণ ব্যবহারের জন্য, অন্যগুলি আরও নির্দিষ্ট ব্যবহারের জন্য, এবং কিছু নির্দিষ্ট ডেটা বৈশিষ্ট্যগুলি পূরণ করার জন্য ডিজাইন করা হয়েছে। তাই পছন্দ সত্যিই বেশ বড়.

অভ্র ফাইল ফরম্যাট

থেকে ডেটা সিরিয়ালাইজেশন অভ্র বহুল ব্যবহৃত হয়- তা স্ট্রিং ভিত্তিক, যে, Hadoop এ একটি স্ট্রিং ডেটা স্টোরেজ বিন্যাস। এটি JSON ফর্ম্যাটে স্কিমা সঞ্চয় করে, এটি যেকোন প্রোগ্রাম দ্বারা পড়া এবং ব্যাখ্যা করা সহজ করে তোলে। ডেটা নিজেই বাইনারি বিন্যাসে, কমপ্যাক্ট এবং দক্ষ।

অভ্রের সিরিয়ালাইজেশন সিস্টেম ভাষা নিরপেক্ষ। ফাইলগুলি বিভিন্ন ভাষায় প্রক্রিয়া করা যেতে পারে, বর্তমানে C, C++, C#, Java, Python এবং Ruby।

অভ্রের একটি প্রধান বৈশিষ্ট্য হল ডেটা স্কিমাগুলির জন্য এটির শক্তিশালী সমর্থন যা সময়ের সাথে পরিবর্তিত হয়, অর্থাৎ, বিবর্তিত হয়। Avro স্কিমা পরিবর্তনগুলি বোঝে—মোছা, যোগ করা বা ক্ষেত্র পরিবর্তন করা।

অভ্র বিভিন্ন ডেটা স্ট্রাকচার সমর্থন করে। উদাহরণস্বরূপ, আপনি একটি রেকর্ড তৈরি করতে পারেন যাতে একটি অ্যারে, একটি গণনাকৃত প্রকার এবং একটি সাবরেকর্ড রয়েছে।

এই বিন্যাসটি ডেটা লেকের ল্যান্ডিং (ট্রানজিশন) জোনে লেখার জন্য আদর্শ।ডাটা লেক, বা ডেটা লেক - সরাসরি ডেটা উত্স ছাড়াও বিভিন্ন ধরণের ডেটা সঞ্চয় করার উদাহরণগুলির একটি সংগ্রহ)।

সুতরাং, এই বিন্যাসটি নিম্নলিখিত কারণে ডেটা লেকের ল্যান্ডিং জোনে লেখার জন্য সবচেয়ে উপযুক্ত:

1. এই অঞ্চলের ডেটা সাধারণত ডাউনস্ট্রিম সিস্টেম দ্বারা আরও প্রক্রিয়াকরণের জন্য সম্পূর্ণরূপে পড়া হয় - এবং একটি সারি-ভিত্তিক বিন্যাস এক্ষেত্রে আরও কার্যকর।
2. ডাউনস্ট্রিম সিস্টেমগুলি সহজেই ফাইলগুলি থেকে স্কিমা টেবিলগুলি পুনরুদ্ধার করতে পারে - বাহ্যিক মেটা স্টোরেজে আলাদাভাবে স্কিমাগুলি সংরক্ষণ করার প্রয়োজন নেই৷
3. মূল স্কিমাতে যেকোনো পরিবর্তন সহজেই প্রক্রিয়া করা হয় (স্কিমা বিবর্তন)।

Parquet ফাইল বিন্যাস

Parquet Hadoop এর জন্য একটি ওপেন সোর্স ফাইল ফরম্যাট যা সঞ্চয় করে ফ্ল্যাট কলামার বিন্যাসে নেস্টেড ডেটা স্ট্রাকচার.

ঐতিহ্যবাহী সারি পদ্ধতির তুলনায়, Parquet স্টোরেজ এবং কর্মক্ষমতা পরিপ্রেক্ষিতে আরো দক্ষ.

এটি বিশেষ করে এমন প্রশ্নের জন্য দরকারী যেগুলি একটি প্রশস্ত (অনেক কলাম) টেবিল থেকে নির্দিষ্ট কলামগুলি পড়ে। ফাইল ফরম্যাটের জন্য ধন্যবাদ, শুধুমাত্র প্রয়োজনীয় কলামগুলি পড়া হয়, তাই I/O ন্যূনতম রাখা হয়।

একটি ছোট ডিগ্রেশন এবং ব্যাখ্যা: Hadoop-এ Parquet ফাইল বিন্যাসটি আরও ভালোভাবে বোঝার জন্য, আসুন দেখি একটি কলাম-ভিত্তিক - অর্থাৎ কলামার - বিন্যাস কি। এই বিন্যাসটি প্রতিটি কলামের জন্য একই মান একসাথে সংরক্ষণ করে।

উদাহরণস্বরূপ, রেকর্ডে আইডি, নাম এবং বিভাগের ক্ষেত্র অন্তর্ভুক্ত রয়েছে। এই ক্ষেত্রে, সমস্ত আইডি কলামের মানগুলি একত্রে সংরক্ষণ করা হবে, নাম কলামের মানগুলি এবং আরও অনেক কিছু। টেবিল এই মত কিছু দেখাবে:

ID
নাম
বিভাগ

1
এমপ 1
d1

2
এমপ 2
d2

3
এমপ 3
d3

স্ট্রিং বিন্যাসে, ডেটা নিম্নলিখিত হিসাবে সংরক্ষণ করা হবে:

1
এমপ 1
d1
2
এমপ 2
d2
3
এমপ 3
d3

একটি কলামার ফাইল বিন্যাসে, একই ডেটা এইভাবে সংরক্ষণ করা হবে:

1
2
3
এমপ 1
এমপ 2
এমপ 3
d1
d2
d3

যখন আপনাকে একটি টেবিল থেকে একাধিক কলাম জিজ্ঞাসা করতে হয় তখন কলামার বিন্যাস আরও কার্যকর হয়। এটি শুধুমাত্র প্রয়োজনীয় কলামগুলি পড়বে কারণ তারা সংলগ্ন। এইভাবে, I/O ক্রিয়াকলাপগুলি সর্বনিম্ন রাখা হয়।

উদাহরণস্বরূপ, আপনার শুধুমাত্র NAME কলামটি প্রয়োজন৷ ভিতরে স্ট্রিং বিন্যাস ডেটাসেটের প্রতিটি রেকর্ড লোড করতে হবে, ফিল্ড দ্বারা পার্স করতে হবে এবং তারপর NAME ডেটা বের করতে হবে। কলাম বিন্যাস আপনাকে সরাসরি নাম কলামে ড্রিল করতে দেয় কারণ সেই কলামের সমস্ত মান একসাথে সংরক্ষণ করা হয়। আপনাকে পুরো রেকর্ডিং স্ক্যান করতে হবে না।

এইভাবে, কলামার বিন্যাস ক্যোয়ারী কর্মক্ষমতা উন্নত করে কারণ এটি প্রয়োজনীয় কলামগুলি পেতে কম লুকআপ সময় প্রয়োজন এবং I/O অপারেশনের সংখ্যা হ্রাস করে কারণ শুধুমাত্র পছন্দসই কলামগুলি পড়া হয়৷

অনন্য বৈশিষ্ট্য এক কাঠের মেঝে যে এই বিন্যাসে এটা করতে পারেন নেস্টেড কাঠামোর সাথে ডেটা সংরক্ষণ করুন. এর মানে হল যে একটি Parquet ফাইলে, এমনকি নেস্টেড ক্ষেত্রগুলি নেস্টেড কাঠামোর সমস্ত ক্ষেত্রগুলি না পড়েও পৃথকভাবে পড়া যেতে পারে। Parquet নেস্টেড কাঠামো সংরক্ষণ করার জন্য একটি ছিন্নভিন্ন এবং সমাবেশ অ্যালগরিদম ব্যবহার করে।

Hadoop এ Parquet ফাইল ফরম্যাট বুঝতে, আপনাকে নিম্নলিখিত শর্তাবলী জানতে হবে:

1. স্ট্রিং গ্রুপ (সারি গোষ্ঠী): সারিতে ডেটার যৌক্তিক অনুভূমিক বিভাজন। একটি সারি গ্রুপ ডেটা সেটের প্রতিটি কলামের একটি অংশ নিয়ে গঠিত।
2. কলাম খণ্ড (কলাম খণ্ড): একটি নির্দিষ্ট কলামের একটি খণ্ড। এই কলামের খণ্ডগুলি সারিগুলির একটি নির্দিষ্ট গোষ্ঠীতে বাস করে এবং ফাইলে সংলগ্ন হওয়ার গ্যারান্টি দেওয়া হয়।
3. পৃষ্ঠা (পৃষ্ঠা): কলামের খণ্ডগুলো একের পর এক লেখা পাতায় বিভক্ত। পৃষ্ঠাগুলির একটি সাধারণ শিরোনাম রয়েছে, তাই পড়ার সময় আপনি অপ্রয়োজনীয়গুলি এড়িয়ে যেতে পারেন৷

এখানে শিরোনামে শুধু জাদু সংখ্যা রয়েছে PAR1 (4 বাইট) যা ফাইলটিকে একটি Parquet ফাইল হিসাবে চিহ্নিত করে৷

ফুটার নিম্নলিখিত বলে:

1. ফাইল মেটাডেটা যাতে প্রতিটি কলামের মেটাডেটার শুরুর স্থানাঙ্ক থাকে। পড়ার সময়, আগ্রহের সমস্ত কলাম খণ্ড খুঁজে পেতে আপনাকে প্রথমে ফাইলের মেটাডেটা পড়তে হবে। তারপর কলামের অংশগুলো পর্যায়ক্রমে পড়তে হবে। অন্যান্য মেটাডেটা ফর্ম্যাট সংস্করণ, স্কিমা এবং অতিরিক্ত কী-মান জোড়া অন্তর্ভুক্ত করে।
2. মেটাডেটা দৈর্ঘ্য (4 বাইট)।
3. জাদু সংখ্যা PAR1 (4 বাইট).

ORC ফাইল ফরম্যাট

অপ্টিমাইজ করা সারি-কলাম ফাইল বিন্যাস (অপ্টিমাইজ করা সারি কলাম, ওআরসি) ডেটা সঞ্চয় করার একটি অত্যন্ত কার্যকর উপায় অফার করে এবং অন্যান্য বিন্যাসের সীমাবদ্ধতা অতিক্রম করার জন্য ডিজাইন করা হয়েছে। একটি নিখুঁতভাবে সংক্ষিপ্ত আকারে ডেটা সঞ্চয় করে, আপনাকে অপ্রয়োজনীয় বিবরণ এড়িয়ে যেতে দেয় - বড়, জটিল বা ম্যানুয়ালি রক্ষণাবেক্ষণ করা সূচী নির্মাণের প্রয়োজন ছাড়াই।

ORC ফরম্যাটের সুবিধা:

1. একটি ফাইল হল প্রতিটি কাজের আউটপুট, যা NameNode (নাম নোড) এর লোড হ্রাস করে।
2. ডেটটাইম, দশমিক এবং জটিল ডেটা টাইপ (স্ট্রাকট, তালিকা, মানচিত্র এবং ইউনিয়ন) সহ হাইভ ডেটা প্রকারের জন্য সমর্থন।
3. বিভিন্ন RecordReader প্রক্রিয়া দ্বারা একই ফাইলের একযোগে পড়া।
4. মার্কার জন্য স্ক্যান ছাড়া ফাইল বিভক্ত করার ক্ষমতা.
5. ফাইল ফুটারে তথ্যের উপর ভিত্তি করে রিড/রাইট প্রসেসের জন্য সর্বাধিক সম্ভাব্য হিপ মেমরি বরাদ্দের অনুমান।
6. মেটাডেটা প্রোটোকল বাফার বাইনারি সিরিয়ালাইজেশন ফরম্যাটে সংরক্ষণ করা হয়, যা ক্ষেত্রগুলিকে যোগ এবং সরানোর অনুমতি দেয়।

ORC একটি একক ফাইলে স্ট্রিংগুলির সংগ্রহ সংরক্ষণ করে এবং সংগ্রহের মধ্যে, স্ট্রিং ডেটা একটি কলামার বিন্যাসে সংরক্ষণ করা হয়।

একটি ORC ফাইল ফাইলের ফুটারে স্ট্রাইপ নামক লাইনের গ্রুপ এবং সমর্থনকারী তথ্য সংরক্ষণ করে। ফাইলের শেষে পোস্টস্ক্রিপ্টে কম্প্রেশন প্যারামিটার এবং সংকুচিত ফুটারের আকার রয়েছে।

ডিফল্ট স্ট্রাইপের আকার হল 250 MB৷ এই ধরনের বড় স্ট্রাইপের কারণে, HDFS থেকে পড়া আরও দক্ষতার সাথে সঞ্চালিত হয়: বড় সংলগ্ন ব্লকগুলিতে।

ফাইল ফুটার ফাইলের লেনের তালিকা, প্রতি লেনের সারির সংখ্যা এবং প্রতিটি কলামের ডেটা টাইপ রেকর্ড করে। প্রতিটি কলামের জন্য গণনা, সর্বনিম্ন, সর্বোচ্চ এবং যোগফলের ফলাফলও সেখানে লেখা আছে।

স্ট্রিপের ফুটারে স্ট্রিম অবস্থানের একটি ডিরেক্টরি রয়েছে।

টেবিল স্ক্যান করার সময় সারি ডেটা ব্যবহার করা হয়।

সূচক ডেটাতে প্রতিটি কলামের জন্য সর্বনিম্ন এবং সর্বোচ্চ মান এবং প্রতিটি কলামের সারির অবস্থান অন্তর্ভুক্ত থাকে। ORC সূচীগুলি শুধুমাত্র স্ট্রাইপ এবং সারি গোষ্ঠী নির্বাচন করার জন্য ব্যবহৃত হয়, প্রশ্নের উত্তর দেওয়ার জন্য নয়।

বিভিন্ন ফাইল ফরম্যাটের তুলনা

Parquet এর তুলনায় অভ্র

1. অভ্র একটি সারি স্টোরেজ ফরম্যাট, যখন Parquet কলামে ডেটা সঞ্চয় করে।
2. Parquet বিশ্লেষণাত্মক প্রশ্নের জন্য ভাল উপযুক্ত, যার অর্থ রিড অপারেশন এবং অনুসন্ধান ডেটা লেখার চেয়ে অনেক বেশি দক্ষ।
3. অভ্র-তে লেখার ক্রিয়াকলাপগুলি Parquet-এর তুলনায় আরও দক্ষতার সাথে সঞ্চালিত হয়।
4. অভ্র সার্কিট বিবর্তনের সাথে আরও পরিপক্কভাবে কাজ করে। Parquet শুধুমাত্র স্কিমা যোগ সমর্থন করে, যখন Avro বহুমুখী বিবর্তন সমর্থন করে, অর্থাৎ, কলাম যোগ করা বা পরিবর্তন করা।
5. মাল্টি-কলাম টেবিলে কলামের একটি উপসেট জিজ্ঞাসা করার জন্য Parquet আদর্শ। অভ্র ইটিএল অপারেশনের জন্য উপযুক্ত যেখানে আমরা সমস্ত কলাম জিজ্ঞাসা করি।

ORC বনাম Parquet

1. Parquet নেস্টেড ডেটা আরও ভাল সঞ্চয় করে।
2. ওআরসি পুশডাউনের পূর্বাভাস দেওয়ার জন্য আরও উপযুক্ত।
3. ORC ACID বৈশিষ্ট্য সমর্থন করে।
4. ওআরসি ডেটা ভালভাবে সংকুচিত করে।

টপিক আর কি পড়া:

1. ক্লাউডে বড় ডেটা বিশ্লেষণ: কীভাবে একটি কোম্পানি ডেটা-ভিত্তিক হতে পারে.
2. ডেটাবেস স্কিমাগুলির জন্য একটি নম্র নির্দেশিকা.
3. ডিজিটাল রূপান্তর নিয়ে আমাদের টেলিগ্রাম চ্যানেল.

উত্স: www.habr.com