വലിയ ഡാറ്റയിലെ ഫയൽ ഫോർമാറ്റുകൾ: ഒരു ഹ്രസ്വ വിദ്യാഭ്യാസ പരിപാടി

റെമറിൻ എഴുതിയ കാലാവസ്ഥാ ദേവത

ടീം Mail.ru ക്ലൗഡ് സൊല്യൂഷനുകൾ ഓഫറുകൾ ലേഖന വിവർത്തനം ബിഗ് ഡാറ്റയിൽ ഏതൊക്കെ ഫയൽ ഫോർമാറ്റുകളാണ് ഉള്ളത്, ഹഡൂപ്പ് ഫോർമാറ്റുകളുടെ ഏറ്റവും സാധാരണമായ സവിശേഷതകൾ എന്തൊക്കെയാണ്, ഏത് ഫോർമാറ്റാണ് ഉപയോഗിക്കാൻ നല്ലത് എന്നതിനെ കുറിച്ച് ക്ലെയർവോയൻറിൽ നിന്നുള്ള എഞ്ചിനീയർ രാഹുൽ ഭാട്ടിയ.

വ്യത്യസ്ത ഫയൽ ഫോർമാറ്റുകൾ ആവശ്യമായിരിക്കുന്നത് എന്തുകൊണ്ട്?

MapReduce, Spark എന്നിവ പോലുള്ള HDFS-പ്രാപ്‌തമാക്കിയ ആപ്ലിക്കേഷനുകൾക്കുള്ള ഒരു പ്രധാന പ്രകടന തടസ്സം ഡാറ്റ തിരയാനും വായിക്കാനും എഴുതാനും എടുക്കുന്ന സമയമാണ്. സ്ഥിരമായ ഒന്നിന് പകരം വികസിച്ചുകൊണ്ടിരിക്കുന്ന ഒരു സ്കീമയോ അല്ലെങ്കിൽ ചില സംഭരണ ​​പരിമിതികളോ ഉണ്ടെങ്കിലോ വലിയ ഡാറ്റാ സെറ്റുകൾ കൈകാര്യം ചെയ്യുന്നതിലെ ബുദ്ധിമുട്ട് ഈ പ്രശ്നങ്ങൾ സങ്കീർണ്ണമാക്കുന്നു.

വലിയ ഡാറ്റ പ്രോസസ്സ് ചെയ്യുന്നത് സ്റ്റോറേജ് സബ്സിസ്റ്റത്തിലെ ലോഡ് വർദ്ധിപ്പിക്കുന്നു - തെറ്റ് സഹിഷ്ണുത കൈവരിക്കുന്നതിന് ഹഡൂപ്പ് ഡാറ്റ അനാവശ്യമായി സംഭരിക്കുന്നു. ഡിസ്കുകൾക്ക് പുറമേ, പ്രോസസർ, നെറ്റ്വർക്ക്, ഇൻപുട്ട്/ഔട്ട്പുട്ട് സിസ്റ്റം തുടങ്ങിയവ ലോഡ് ചെയ്യപ്പെടുന്നു. ഡാറ്റയുടെ അളവ് വർദ്ധിക്കുന്നതിനനുസരിച്ച്, അത് പ്രോസസ്സ് ചെയ്യുന്നതിനും സംഭരിക്കുന്നതിനുമുള്ള ചെലവും വർദ്ധിക്കുന്നു.

വിവിധ ഫയൽ ഫോർമാറ്റുകളിൽ സോളർ ഈ പ്രശ്നങ്ങൾ കൃത്യമായി പരിഹരിക്കാൻ കണ്ടുപിടിച്ചതാണ്. ഉചിതമായ ഫയൽ ഫോർമാറ്റ് തിരഞ്ഞെടുക്കുന്നത് ചില പ്രധാന നേട്ടങ്ങൾ നൽകും:

1. വേഗതയേറിയ വായന സമയം.
2. വേഗതയേറിയ റെക്കോർഡിംഗ് സമയം.
3. പങ്കിട്ട ഫയലുകൾ.
4. സ്കീമ പരിണാമത്തിനുള്ള പിന്തുണ.
5. വിപുലീകരിച്ച കംപ്രഷൻ പിന്തുണ.

ചില ഫയൽ ഫോർമാറ്റുകൾ പൊതുവായ ഉപയോഗത്തിനും മറ്റുള്ളവ കൂടുതൽ നിർദ്ദിഷ്ട ഉപയോഗങ്ങൾക്കുമായി ഉദ്ദേശിച്ചുള്ളതാണ്, ചിലത് നിർദ്ദിഷ്ട ഡാറ്റ സവിശേഷതകൾ നിറവേറ്റുന്നതിനായി രൂപകൽപ്പന ചെയ്തിട്ടുള്ളവയാണ്. അതിനാൽ തിരഞ്ഞെടുപ്പ് വളരെ വലുതാണ്.

Avro ഫയൽ ഫോർമാറ്റ്

വേണ്ടി ഡാറ്റ സീരിയലൈസേഷൻ Avro വ്യാപകമായി ഉപയോഗിക്കുന്നു - അത് സ്ട്രിംഗ് അടിസ്ഥാനമാക്കിയുള്ളത്, അതായത്, ഹഡൂപ്പിലെ ഒരു സ്ട്രിംഗ് ഡാറ്റ സ്റ്റോറേജ് ഫോർമാറ്റ്. ഇത് JSON ഫോർമാറ്റിൽ സ്കീമ സംഭരിക്കുന്നു, ഏത് പ്രോഗ്രാമിനും വായിക്കാനും വ്യാഖ്യാനിക്കാനും എളുപ്പമാക്കുന്നു. ഡാറ്റ തന്നെ ബൈനറി ഫോർമാറ്റിലാണ്, ഒതുക്കമുള്ളതും കാര്യക്ഷമവുമാണ്.

അവ്രോയുടെ സീരിയലൈസേഷൻ സംവിധാനം ഭാഷ നിഷ്പക്ഷമാണ്. നിലവിൽ C, C++, C#, Java, Python, Ruby എന്നീ ഭാഷകളിൽ ഫയലുകൾ പ്രോസസ്സ് ചെയ്യാൻ കഴിയും.

കാലത്തിനനുസരിച്ച് മാറുന്ന, അതായത് വികസിക്കുന്ന ഡാറ്റാ സ്കീമകൾക്കുള്ള ശക്തമായ പിന്തുണയാണ് അവ്റോയുടെ പ്രധാന സവിശേഷത. ഫീൽഡുകൾ ഇല്ലാതാക്കുകയോ ചേർക്കുകയോ മാറ്റുകയോ ചെയ്യുന്ന സ്കീമ മാറ്റങ്ങൾ Avro മനസ്സിലാക്കുന്നു.

Avro വൈവിധ്യമാർന്ന ഡാറ്റാ ഘടനകളെ പിന്തുണയ്ക്കുന്നു. ഉദാഹരണത്തിന്, നിങ്ങൾക്ക് ഒരു അറേ, ഒരു എണ്ണപ്പെട്ട തരം, ഒരു സബ് റെക്കോർഡ് എന്നിവ ഉൾക്കൊള്ളുന്ന ഒരു റെക്കോർഡ് സൃഷ്ടിക്കാൻ കഴിയും.

ഒരു ഡാറ്റ തടാകത്തിന്റെ ലാൻഡിംഗ് (ട്രാൻസിഷൻ) സോണിലേക്ക് എഴുതുന്നതിന് ഈ ഫോർമാറ്റ് അനുയോജ്യമാണ് (ഡാറ്റ തടാകം, അല്ലെങ്കിൽ ഡാറ്റാ തടാകം - ഡാറ്റ സ്രോതസ്സുകൾക്ക് പുറമേ വിവിധ തരം ഡാറ്റകൾ നേരിട്ട് സംഭരിക്കുന്നതിനുള്ള ഉദാഹരണങ്ങളുടെ ഒരു ശേഖരം).

അതിനാൽ, ഇനിപ്പറയുന്ന കാരണങ്ങളാൽ ഒരു ഡാറ്റ തടാകത്തിന്റെ ലാൻഡിംഗ് സോണിലേക്ക് എഴുതുന്നതിന് ഈ ഫോർമാറ്റ് ഏറ്റവും അനുയോജ്യമാണ്:

1. ഈ സോണിൽ നിന്നുള്ള ഡാറ്റ സാധാരണയായി ഡൗൺസ്ട്രീം സിസ്റ്റങ്ങൾ വഴി കൂടുതൽ പ്രോസസ്സിംഗിനായി പൂർണ്ണമായി വായിക്കുന്നു - ഈ സാഹചര്യത്തിൽ ഒരു വരി അടിസ്ഥാനമാക്കിയുള്ള ഫോർമാറ്റ് കൂടുതൽ കാര്യക്ഷമമാണ്.
2. ഡൌൺസ്ട്രീം സിസ്റ്റങ്ങൾക്ക് ഫയലുകളിൽ നിന്ന് സ്കീമ ടേബിളുകൾ എളുപ്പത്തിൽ വീണ്ടെടുക്കാൻ കഴിയും - ബാഹ്യ മെറ്റാ സ്റ്റോറേജിൽ സ്കീമകൾ പ്രത്യേകം സംഭരിക്കേണ്ട ആവശ്യമില്ല.
3. യഥാർത്ഥ സ്കീമയിലെ ഏത് മാറ്റവും എളുപ്പത്തിൽ പ്രോസസ്സ് ചെയ്യപ്പെടും (സ്കീമ പരിണാമം).

പാർക്ക്വെറ്റ് ഫയൽ ഫോർമാറ്റ്

പാർക്ക്വെറ്റ് എന്നത് സംഭരിക്കുന്ന ഹഡൂപ്പിനുള്ള ഒരു ഓപ്പൺ സോഴ്‌സ് ഫയൽ ഫോർമാറ്റാണ് ഫ്ലാറ്റ് കോളം ഫോർമാറ്റിൽ നെസ്റ്റഡ് ഡാറ്റാ ഘടനകൾ.

പരമ്പരാഗത വരി സമീപനവുമായി താരതമ്യപ്പെടുത്തുമ്പോൾ, സംഭരണത്തിന്റെയും പ്രകടനത്തിന്റെയും കാര്യത്തിൽ പാർക്ക്വെറ്റ് കൂടുതൽ കാര്യക്ഷമമാണ്.

വിശാലമായ (നിരവധി നിരകൾ) പട്ടികയിൽ നിന്ന് പ്രത്യേക കോളങ്ങൾ വായിക്കുന്ന ചോദ്യങ്ങൾക്ക് ഇത് പ്രത്യേകിച്ചും ഉപയോഗപ്രദമാണ്. ഫയൽ ഫോർമാറ്റിന് നന്ദി, ആവശ്യമായ കോളങ്ങൾ മാത്രമേ വായിക്കൂ, അതിനാൽ I/O എന്നത് ഏറ്റവും കുറഞ്ഞ അളവിലായി സൂക്ഷിച്ചിരിക്കുന്നു.

ഒരു ചെറിയ വിശദീകരണവും വിശദീകരണവും: Hadoop-ലെ Parquet ഫയൽ ഫോർമാറ്റ് നന്നായി മനസ്സിലാക്കാൻ, കോളം അടിസ്ഥാനമാക്കിയുള്ള - അതായത് കോളം - ഫോർമാറ്റ് എന്താണെന്ന് നോക്കാം. ഈ ഫോർമാറ്റ് ഓരോ കോളത്തിനും സമാനമായ മൂല്യങ്ങൾ സംഭരിക്കുന്നു.

ഉദാഹരണത്തിന്, രേഖയിൽ ഐഡി, പേര്, ഡിപ്പാർട്ട്മെന്റ് ഫീൽഡുകൾ എന്നിവ ഉൾപ്പെടുന്നു. ഈ സാഹചര്യത്തിൽ, എല്ലാ ഐഡി കോളം മൂല്യങ്ങളും നെയിം കോളം മൂല്യങ്ങളും മറ്റും ഒരുമിച്ച് സംഭരിക്കും. പട്ടിക ഇതുപോലെ കാണപ്പെടും:

ID
പേര്
വകുപ്പ്

1
emp1
d1

2
emp2
d2

3
emp3
d3

സ്ട്രിംഗ് ഫോർമാറ്റിൽ, ഡാറ്റ ഇനിപ്പറയുന്ന രീതിയിൽ സംരക്ഷിക്കപ്പെടും:

1
emp1
d1
2
emp2
d2
3
emp3
d3

ഒരു കോളം ഫയൽ ഫോർമാറ്റിൽ, അതേ ഡാറ്റ ഇതുപോലെ സംരക്ഷിക്കപ്പെടും:

1
2
3
emp1
emp2
emp3
d1
d2
d3

നിങ്ങൾക്ക് ഒരു പട്ടികയിൽ നിന്ന് ഒന്നിലധികം കോളങ്ങൾ അന്വേഷിക്കേണ്ടിവരുമ്പോൾ കോളം ഫോർമാറ്റ് കൂടുതൽ കാര്യക്ഷമമാണ്. അത് ആവശ്യമായ കോളങ്ങൾ മാത്രം വായിക്കും, കാരണം അവ തൊട്ടടുത്താണ്. ഈ രീതിയിൽ, I/O ഓപ്പറേഷനുകൾ ഒരു മിനിമം ആയി സൂക്ഷിക്കുന്നു.

ഉദാഹരണത്തിന്, നിങ്ങൾക്ക് NAME കോളം മാത്രമേ ആവശ്യമുള്ളൂ. IN സ്ട്രിംഗ് ഫോർമാറ്റ് ഡാറ്റാസെറ്റിലെ ഓരോ റെക്കോർഡും ലോഡ് ചെയ്യുകയും ഫീൽഡ് പ്രകാരം പാഴ്‌സ് ചെയ്യുകയും തുടർന്ന് NAME ഡാറ്റ എക്‌സ്‌ട്രാക്‌റ്റ് ചെയ്യുകയും വേണം. കോളം ഫോർമാറ്റ് നെയിം കോളത്തിലേക്ക് നേരിട്ട് താഴേക്ക് തുളയ്ക്കാൻ നിങ്ങളെ അനുവദിക്കുന്നു, കാരണം ആ കോളത്തിന്റെ എല്ലാ മൂല്യങ്ങളും ഒരുമിച്ച് സംഭരിച്ചിരിക്കുന്നു. നിങ്ങൾ മുഴുവൻ റെക്കോർഡിംഗും സ്കാൻ ചെയ്യേണ്ടതില്ല.

അതിനാൽ, കോളം ഫോർമാറ്റ് അന്വേഷണ പ്രകടനം മെച്ചപ്പെടുത്തുന്നു, കാരണം ആവശ്യമായ കോളങ്ങളിൽ എത്താൻ കുറച്ച് ലുക്ക്അപ്പ് സമയം വേണ്ടിവരും, ആവശ്യമുള്ള കോളങ്ങൾ മാത്രം വായിക്കുന്നതിനാൽ I/O പ്രവർത്തനങ്ങളുടെ എണ്ണം കുറയ്ക്കുന്നു.

അതുല്യമായ സവിശേഷതകളിൽ ഒന്ന് പാർക്ക്വെറ്റ് ഈ ഫോർമാറ്റിൽ അതിന് കഴിയും നെസ്റ്റഡ് ഘടനകൾ ഉപയോഗിച്ച് ഡാറ്റ സംഭരിക്കുക. ഇതിനർത്ഥം, ഒരു Parquet ഫയലിൽ, നെസ്റ്റഡ് ഘടനയിലെ എല്ലാ ഫീൽഡുകളും വായിക്കാതെ തന്നെ നെസ്റ്റഡ് ഫീൽഡുകൾ പോലും വ്യക്തിഗതമായി വായിക്കാൻ കഴിയും എന്നാണ്. നെസ്റ്റഡ് ഘടനകൾ സംഭരിക്കുന്നതിന് Parquet ഒരു ഷ്രെഡിംഗ്, അസംബ്ലി അൽഗോരിതം ഉപയോഗിക്കുന്നു.

ഹഡൂപ്പിലെ Parquet ഫയൽ ഫോർമാറ്റ് മനസിലാക്കാൻ, നിങ്ങൾ ഇനിപ്പറയുന്ന നിബന്ധനകൾ അറിയേണ്ടതുണ്ട്:

1. സ്ട്രിങ്ങുകളുടെ കൂട്ടം (വരി ഗ്രൂപ്പ്): വരികളായി ഡാറ്റയുടെ ലോജിക്കൽ തിരശ്ചീന വിഭജനം. ഒരു വരി ഗ്രൂപ്പിൽ ഡാറ്റാ സെറ്റിലെ ഓരോ നിരയുടെയും ഒരു ശകലം അടങ്ങിയിരിക്കുന്നു.
2. നിര ശകലം (കോളം ഭാഗം): ഒരു പ്രത്യേക നിരയുടെ ഒരു ഭാഗം. ഈ നിര ശകലങ്ങൾ ഒരു നിർദ്ദിഷ്‌ട വരി വരികളിലാണ് ജീവിക്കുന്നത്, അവ ഫയലിൽ തുടർച്ചയായി ഉണ്ടായിരിക്കുമെന്ന് ഉറപ്പുനൽകുന്നു.
3. പേജ് (പേജ്): നിര ശകലങ്ങൾ ഒന്നിനുപുറകെ ഒന്നായി എഴുതിയ പേജുകളായി തിരിച്ചിരിക്കുന്നു. പേജുകൾക്ക് പൊതുവായ ഒരു തലക്കെട്ടുണ്ട്, അതിനാൽ വായിക്കുമ്പോൾ നിങ്ങൾക്ക് അനാവശ്യമായവ ഒഴിവാക്കാം.

ഇവിടെ ശീർഷകത്തിൽ മാജിക് നമ്പർ അടങ്ങിയിരിക്കുന്നു PAR1 (4 ബൈറ്റുകൾ) ഫയലിനെ ഒരു Parquet ഫയലായി തിരിച്ചറിയുന്നു.

അടിക്കുറിപ്പ് ഇനിപ്പറയുന്നവ പറയുന്നു:

1. ഓരോ നിരയുടെയും മെറ്റാഡാറ്റയുടെ ആരംഭ കോർഡിനേറ്റുകൾ അടങ്ങുന്ന ഫയൽ മെറ്റാഡാറ്റ. വായിക്കുമ്പോൾ, താൽപ്പര്യമുള്ള എല്ലാ കോളം ശകലങ്ങളും കണ്ടെത്താൻ നിങ്ങൾ ആദ്യം ഫയലിന്റെ മെറ്റാഡാറ്റ വായിക്കണം. നിര ഭാഗങ്ങൾ തുടർച്ചയായി വായിക്കണം. മറ്റ് മെറ്റാഡാറ്റയിൽ ഫോർമാറ്റ് പതിപ്പ്, സ്കീമ, കൂടാതെ ഏതെങ്കിലും അധിക കീ-വാല്യൂ ജോഡി എന്നിവ ഉൾപ്പെടുന്നു.
2. മെറ്റാഡാറ്റ ദൈർഘ്യം (4 ബൈറ്റുകൾ).
3. മാന്ത്രിക സംഖ്യ PAR1 (4 ബൈറ്റുകൾ).

ORC ഫയൽ ഫോർമാറ്റ്

ഒപ്റ്റിമൈസ് ചെയ്ത വരി-നിര ഫയൽ ഫോർമാറ്റ് (ഒപ്റ്റിമൈസ് ചെയ്ത വരി കോളം, CRO) ഡാറ്റ സംഭരിക്കുന്നതിനുള്ള വളരെ കാര്യക്ഷമമായ മാർഗം വാഗ്ദാനം ചെയ്യുന്നു, മറ്റ് ഫോർമാറ്റുകളുടെ പരിമിതികൾ മറികടക്കാൻ രൂപകൽപ്പന ചെയ്തിട്ടുള്ളതാണ്. വലിയതോ സങ്കീർണ്ണമോ സ്വമേധയാ പരിപാലിക്കുന്നതോ ആയ സൂചികകളുടെ നിർമ്മാണം ആവശ്യമില്ലാതെ - അനാവശ്യമായ വിശദാംശങ്ങൾ ഒഴിവാക്കാൻ നിങ്ങളെ അനുവദിക്കുന്ന, തികച്ചും ഒതുക്കമുള്ള രൂപത്തിൽ ഡാറ്റ സംഭരിക്കുന്നു.

ORC ഫോർമാറ്റിന്റെ പ്രയോജനങ്ങൾ:

1. ഓരോ ടാസ്ക്കിന്റെയും ഔട്ട്പുട്ടാണ് ഒരു ഫയൽ, ഇത് നെയിംനോഡിലെ ലോഡ് കുറയ്ക്കുന്നു (നെയിം നോഡ്).
2. DateTime, ദശാംശവും സങ്കീർണ്ണവുമായ ഡാറ്റാ തരങ്ങൾ (ഘടന, പട്ടിക, മാപ്പ്, യൂണിയൻ) എന്നിവയുൾപ്പെടെ Hive ഡാറ്റ തരങ്ങൾക്കുള്ള പിന്തുണ.
3. വ്യത്യസ്‌ത RecordReader പ്രോസസ്സുകൾ വഴി ഒരേ ഫയലിന്റെ ഒരേസമയം റീഡിംഗ്.
4. മാർക്കറുകൾക്കായി സ്കാൻ ചെയ്യാതെ ഫയലുകൾ വിഭജിക്കാനുള്ള കഴിവ്.
5. ഫയൽ ഫൂട്ടറിലെ വിവരങ്ങളെ അടിസ്ഥാനമാക്കി റീഡ്/റൈറ്റ് പ്രോസസ്സുകൾക്കായി സാധ്യമായ പരമാവധി ഹീപ്പ് മെമ്മറി അലോക്കേഷന്റെ ഏകദേശ കണക്ക്.
6. ഫീൽഡുകൾ ചേർക്കാനും നീക്കം ചെയ്യാനും അനുവദിക്കുന്ന പ്രോട്ടോക്കോൾ ബഫറുകളുടെ ബൈനറി സീരിയലൈസേഷൻ ഫോർമാറ്റിലാണ് മെറ്റാഡാറ്റ സംഭരിച്ചിരിക്കുന്നത്.

ORC സ്ട്രിംഗുകളുടെ ശേഖരങ്ങൾ ഒരൊറ്റ ഫയലിൽ സംഭരിക്കുന്നു, കൂടാതെ ശേഖരത്തിനുള്ളിൽ, സ്ട്രിംഗ് ഡാറ്റ ഒരു കോളം ഫോർമാറ്റിൽ സംഭരിക്കുന്നു.

ഒരു ORC ഫയൽ സ്ട്രൈപ്പുകൾ എന്ന് വിളിക്കപ്പെടുന്ന വരികളുടെ ഗ്രൂപ്പുകളും ഫയലിന്റെ അടിക്കുറിപ്പിൽ പിന്തുണയ്ക്കുന്ന വിവരങ്ങളും സംഭരിക്കുന്നു. ഫയലിന്റെ അവസാനഭാഗത്തുള്ള പോസ്റ്റ്സ്ക്രിപ്റ്റിൽ കംപ്രഷൻ പാരാമീറ്ററുകളും കംപ്രസ് ചെയ്ത ഫൂട്ടറിന്റെ വലുപ്പവും അടങ്ങിയിരിക്കുന്നു.

സ്ഥിരസ്ഥിതി സ്ട്രൈപ്പ് വലുപ്പം 250 MB ആണ്. അത്തരം വലിയ വരകൾ കാരണം, HDFS-ൽ നിന്നുള്ള വായന കൂടുതൽ കാര്യക്ഷമമായി നടപ്പിലാക്കുന്നു: വലിയ തുടർച്ചയായ ബ്ലോക്കുകളിൽ.

ഫയൽ ഫൂട്ടർ ഫയലിലെ ലെയ്നുകളുടെ ലിസ്റ്റ്, ഓരോ ലെയ്നിലെ വരികളുടെ എണ്ണം, ഓരോ നിരയുടെയും ഡാറ്റ തരം എന്നിവ രേഖപ്പെടുത്തുന്നു. ഓരോ നിരയുടെയും എണ്ണം, മിനിറ്റ്, പരമാവധി, തുക എന്നിവയുടെ ഫലമായ മൂല്യവും അവിടെ എഴുതിയിരിക്കുന്നു.

സ്ട്രിപ്പിന്റെ അടിക്കുറിപ്പിൽ സ്ട്രീം ലൊക്കേഷനുകളുടെ ഒരു ഡയറക്‌ടറി അടങ്ങിയിരിക്കുന്നു.

പട്ടികകൾ സ്കാൻ ചെയ്യുമ്പോൾ വരി ഡാറ്റ ഉപയോഗിക്കുന്നു.

സൂചിക ഡാറ്റയിൽ ഓരോ നിരയുടെയും ഏറ്റവും കുറഞ്ഞതും കൂടിയതുമായ മൂല്യങ്ങളും ഓരോ നിരയിലെയും വരികളുടെ സ്ഥാനവും ഉൾപ്പെടുന്നു. ORC സൂചികകൾ സ്ട്രൈപ്പുകളും വരി ഗ്രൂപ്പുകളും തിരഞ്ഞെടുക്കുന്നതിന് മാത്രമാണ് ഉപയോഗിക്കുന്നത്, ചോദ്യങ്ങൾക്ക് ഉത്തരം നൽകാനല്ല.

വ്യത്യസ്ത ഫയൽ ഫോർമാറ്റുകളുടെ താരതമ്യം

പാർക്ക്വെറ്റുമായി താരതമ്യം ചെയ്യുമ്പോൾ അവ്രൊ

1. Avro ഒരു വരി സ്റ്റോറേജ് ഫോർമാറ്റാണ്, അതേസമയം Parquet കോളങ്ങളിൽ ഡാറ്റ സംഭരിക്കുന്നു.
2. അനലിറ്റിക്കൽ അന്വേഷണങ്ങൾക്ക് പാർക്ക്വെറ്റ് കൂടുതൽ അനുയോജ്യമാണ്, അതായത് റീഡ് ഓപ്പറേഷനുകളും ഡാറ്റ അന്വേഷണവും എഴുതുന്നതിനേക്കാൾ വളരെ കാര്യക്ഷമമാണ്.
3. പാർക്ക്വെറ്റിനേക്കാൾ കാര്യക്ഷമമായി അവ്റോയിലെ എഴുത്ത് പ്രവർത്തനങ്ങൾ നടത്തുന്നു.
4. അവ്രോ സർക്യൂട്ട് പരിണാമത്തെ കൂടുതൽ പക്വതയോടെ കൈകാര്യം ചെയ്യുന്നു. Parquet സ്കീമ കൂട്ടിച്ചേർക്കലിനെ മാത്രമേ പിന്തുണയ്ക്കൂ, അതേസമയം Avro മൾട്ടിഫങ്ഷണൽ പരിണാമത്തെ പിന്തുണയ്ക്കുന്നു, അതായത്, നിരകൾ കൂട്ടിച്ചേർക്കുകയോ മാറ്റുകയോ ചെയ്യുന്നു.
5. ഒരു മൾട്ടി-കോളം പട്ടികയിലെ നിരകളുടെ ഒരു ഉപവിഭാഗം അന്വേഷിക്കുന്നതിന് പാർക്ക്വെറ്റ് അനുയോജ്യമാണ്. ഞങ്ങൾ എല്ലാ കോളങ്ങളും അന്വേഷിക്കുന്ന ETL പ്രവർത്തനങ്ങൾക്ക് Avro അനുയോജ്യമാണ്.

ORC vs പാർക്ക്വെറ്റ്

1. പാർക്കറ്റ് നെസ്റ്റഡ് ഡാറ്റ മികച്ച രീതിയിൽ സംഭരിക്കുന്നു.
2. പുഷ്‌ഡൗൺ പ്രവചിക്കാൻ ഒആർസി കൂടുതൽ അനുയോജ്യമാണ്.
3. ORC ACID പ്രോപ്പർട്ടികളെ പിന്തുണയ്ക്കുന്നു.
4. ORC ഡാറ്റ മികച്ച രീതിയിൽ കംപ്രസ് ചെയ്യുന്നു.

വിഷയത്തിൽ മറ്റെന്താണ് വായിക്കേണ്ടത്:

1. ക്ലൗഡിലെ വലിയ ഡാറ്റ വിശകലനം: ഒരു കമ്പനിക്ക് എങ്ങനെ ഡാറ്റാധിഷ്ഠിതമാകാം.
2. ഡാറ്റാബേസ് സ്കീമുകളിലേക്കുള്ള ഒരു എളിയ ഗൈഡ്.
3. ഡിജിറ്റൽ പരിവർത്തനത്തെക്കുറിച്ചുള്ള ഞങ്ങളുടെ ടെലിഗ്രാം ചാനൽ.

അവലംബം: www.habr.com