મોટા ડેટામાં ફાઇલ ફોર્મેટ્સ: સંક્ષિપ્ત શૈક્ષણિક પ્રોગ્રામ

રીમારિન દ્વારા હવામાન દેવતા

ટીમ Mail.ru ક્લાઉડ સોલ્યુશન્સ તક આપે છે લેખ અનુવાદ મોટા ડેટામાં કયા ફાઇલ ફોર્મેટ્સ છે, હડુપ ફોર્મેટની સૌથી સામાન્ય સુવિધાઓ શું છે અને કયા ફોર્મેટનો ઉપયોગ કરવો વધુ સારું છે તે વિશે ક્લેરવોયન્ટના એન્જિનિયર રાહુલ ભાટિયા.

શા માટે વિવિધ ફાઇલ ફોર્મેટની જરૂર છે?

HDFS-સક્ષમ એપ્લીકેશનો જેમ કે MapReduce અને Spark માટે એક મુખ્ય પ્રદર્શન અવરોધ એ ડેટા શોધવા, વાંચવા અને લખવામાં જે સમય લે છે તે છે. આ સમસ્યાઓ મોટા ડેટા સેટ્સનું સંચાલન કરવામાં મુશ્કેલીને કારણે થાય છે જો અમારી પાસે નિશ્ચિત સ્કીમાને બદલે વિકસતી સ્કીમા હોય, અથવા જો ત્યાં કેટલાક સ્ટોરેજ અવરોધો હોય.

મોટા ડેટા પર પ્રક્રિયા કરવાથી સ્ટોરેજ સબસિસ્ટમ પરનો ભાર વધે છે - Hadoop ફોલ્ટ ટોલરન્સ હાંસલ કરવા માટે અનાવશ્યક રીતે ડેટા સ્ટોર કરે છે. ડિસ્ક ઉપરાંત, પ્રોસેસર, નેટવર્ક, ઇનપુટ/આઉટપુટ સિસ્ટમ, વગેરે લોડ થાય છે. જેમ જેમ ડેટાનું પ્રમાણ વધતું જાય છે તેમ તેમ તેની પ્રક્રિયા અને સંગ્રહનો ખર્ચ પણ વધે છે.

માં વિવિધ ફાઇલ ફોર્મેટ Hadoop આ સમસ્યાઓનો ચોક્કસ ઉકેલ લાવવા માટે શોધ કરી. યોગ્ય ફાઇલ ફોર્મેટ પસંદ કરવાથી કેટલાક નોંધપાત્ર લાભો મળી શકે છે:

1. ઝડપી વાંચન સમય.
2. ઝડપી રેકોર્ડિંગ સમય.
3. શેર કરેલી ફાઇલો.
4. સ્કીમા ઉત્ક્રાંતિ માટે આધાર.
5. વિસ્તૃત કમ્પ્રેશન સપોર્ટ.

કેટલાક ફાઇલ ફોર્મેટ સામાન્ય ઉપયોગ માટે બનાવાયેલ છે, અન્ય વધુ ચોક્કસ ઉપયોગ માટે, અને કેટલાક ચોક્કસ ડેટા લાક્ષણિકતાઓને પહોંચી વળવા માટે રચાયેલ છે. તેથી પસંદગી ખરેખર ખૂબ મોટી છે.

એવરો ફાઇલ ફોર્મેટ

માટે ડેટા સીરીયલાઇઝેશન એવરો વ્યાપકપણે ઉપયોગમાં લેવાય છે - તે શબ્દમાળા આધારિત, એટલે કે, Hadoop માં સ્ટ્રિંગ ડેટા સ્ટોરેજ ફોર્મેટ. તે સ્કીમાને JSON ફોર્મેટમાં સંગ્રહિત કરે છે, જે કોઈપણ પ્રોગ્રામ દ્વારા વાંચવા અને અર્થઘટન કરવાનું સરળ બનાવે છે. ડેટા પોતે બાઈનરી ફોર્મેટમાં છે, કોમ્પેક્ટ અને કાર્યક્ષમ છે.

એવરોની સીરીયલાઇઝેશન સિસ્ટમ ભાષા તટસ્થ છે. ફાઇલો વિવિધ ભાષાઓમાં પ્રક્રિયા કરી શકાય છે, હાલમાં C, C++, C#, Java, Python અને Ruby.

એવરોની મુખ્ય વિશેષતા એ ડેટા સ્કીમા માટે તેનો મજબૂત આધાર છે જે સમય જતાં બદલાય છે, એટલે કે વિકાસ થાય છે. એવરો સ્કીમા ફેરફારોને સમજે છે - ફિલ્ડને કાઢી નાખવું, ઉમેરવું અથવા બદલવું.

એવરો વિવિધ ડેટા સ્ટ્રક્ચર્સને સપોર્ટ કરે છે. ઉદાહરણ તરીકે, તમે એક એવો રેકોર્ડ બનાવી શકો છો જેમાં એરે, એક ગણિત પ્રકાર અને સબરેકોર્ડ હોય.

આ ફોર્મેટ ડેટા લેક (ડેટા તળાવ, અથવા ડેટા લેક - સીધા ડેટા સ્ત્રોતો ઉપરાંત વિવિધ પ્રકારના ડેટા સ્ટોર કરવા માટેના ઉદાહરણોનો સંગ્રહ).

તેથી, નીચેના કારણોસર ડેટા લેકના લેન્ડિંગ ઝોન પર લખવા માટે આ ફોર્મેટ સૌથી યોગ્ય છે:

1. આ ઝોનમાંથી ડેટા સામાન્ય રીતે ડાઉનસ્ટ્રીમ સિસ્ટમ્સ દ્વારા આગળની પ્રક્રિયા માટે સંપૂર્ણ રીતે વાંચવામાં આવે છે - અને આ કિસ્સામાં પંક્તિ-આધારિત ફોર્મેટ વધુ કાર્યક્ષમ છે.
2. ડાઉનસ્ટ્રીમ સિસ્ટમ્સ સરળતાથી ફાઇલોમાંથી સ્કીમા કોષ્ટકો પુનઃપ્રાપ્ત કરી શકે છે - બાહ્ય મેટા સ્ટોરેજમાં સ્કીમાને અલગથી સ્ટોર કરવાની જરૂર નથી.
3. મૂળ યોજનામાં કોઈપણ ફેરફાર સરળતાથી પ્રક્રિયા કરવામાં આવે છે (સ્કીમા ઉત્ક્રાંતિ).

લાકડાનું પાતળું પડ ફાઇલ ફોર્મેટ

Parquet Hadoop માટે ઓપન સોર્સ ફાઇલ ફોર્મેટ છે જે સ્ટોર કરે છે ફ્લેટ કોલમર ફોર્મેટમાં નેસ્ટેડ ડેટા સ્ટ્રક્ચર્સ.

પરંપરાગત પંક્તિ અભિગમની તુલનામાં, સંગ્રહ અને કામગીરીની દ્રષ્ટિએ Parquet વધુ કાર્યક્ષમ છે.

આ ખાસ કરીને ક્વેરી માટે ઉપયોગી છે જે વિશાળ (ઘણા કૉલમ) કોષ્ટકમાંથી ચોક્કસ કૉલમ વાંચે છે. ફાઇલ ફોર્મેટ માટે આભાર, ફક્ત જરૂરી કૉલમ જ વાંચવામાં આવે છે, તેથી I/O ને ન્યૂનતમ રાખવામાં આવે છે.

એક નાનો વિષયાંતર અને સમજૂતી: Hadoop માં Parquet ફાઇલ ફોર્મેટને વધુ સારી રીતે સમજવા માટે, ચાલો જોઈએ કે કૉલમ-આધારિત - એટલે કે કૉલમર - ફોર્મેટ શું છે. આ ફોર્મેટ દરેક કૉલમ માટે સમાન મૂલ્યોને એકસાથે સંગ્રહિત કરે છે.

ઉદાહરણ તરીકે, રેકોર્ડમાં ID, નામ અને વિભાગ ફીલ્ડનો સમાવેશ થાય છે. આ કિસ્સામાં, બધા ID કૉલમ મૂલ્યો એકસાથે સંગ્રહિત કરવામાં આવશે, જેમ કે નામ કૉલમ મૂલ્યો, વગેરે. ટેબલ આના જેવું કંઈક દેખાશે:

ID
નામ
વિભાગ

1
emp1
d1

2
emp2
d2

3
emp3
d3

સ્ટ્રિંગ ફોર્મેટમાં, ડેટા નીચે પ્રમાણે સાચવવામાં આવશે:

1
emp1
d1
2
emp2
d2
3
emp3
d3

કૉલમર ફાઇલ ફોર્મેટમાં, સમાન ડેટા આ રીતે સાચવવામાં આવશે:

1
2
3
emp1
emp2
emp3
d1
d2
d3

જ્યારે તમારે કોષ્ટકમાંથી બહુવિધ કૉલમ્સની ક્વેરી કરવાની જરૂર હોય ત્યારે કૉલમર ફોર્મેટ વધુ કાર્યક્ષમ હોય છે. તે માત્ર જરૂરી કૉલમ વાંચશે કારણ કે તે અડીને છે. આ રીતે, I/O કામગીરીને ન્યૂનતમ રાખવામાં આવે છે.

ઉદાહરણ તરીકે, તમારે ફક્ત NAME કૉલમની જરૂર છે. IN સ્ટ્રિંગ ફોર્મેટ ડેટાસેટમાંના દરેક રેકોર્ડને લોડ કરવાની, ફીલ્ડ દ્વારા વિશ્લેષિત કરવાની અને પછી NAME ડેટા કાઢવાની જરૂર છે. કૉલમ ફોર્મેટ તમને સીધા જ નામ કૉલમમાં ડ્રિલ ડાઉન કરવાની મંજૂરી આપે છે કારણ કે તે કૉલમ માટેના તમામ મૂલ્યો એકસાથે સંગ્રહિત છે. તમારે સમગ્ર રેકોર્ડિંગ સ્કેન કરવાની જરૂર નથી.

આમ, કૉલમર ફોર્મેટ ક્વેરી કામગીરીને સુધારે છે કારણ કે તેને જરૂરી કૉલમ્સ સુધી પહોંચવા માટે ઓછા લુકઅપ સમયની જરૂર પડે છે અને I/O ઑપરેશનની સંખ્યા ઘટાડે છે કારણ કે માત્ર ઇચ્છિત કૉલમ જ વાંચવામાં આવે છે.

અનન્ય લક્ષણો પૈકી એક દોરી આ ફોર્મેટમાં તે કરી શકે છે નેસ્ટેડ સ્ટ્રક્ચર્સ સાથે ડેટા સ્ટોર કરો. આનો અર્થ એ છે કે Parquet ફાઇલમાં, નેસ્ટેડ સ્ટ્રક્ચરમાંના તમામ ફીલ્ડ્સને વાંચ્યા વિના પણ નેસ્ટેડ ફીલ્ડ્સ વ્યક્તિગત રીતે વાંચી શકાય છે. નેસ્ટેડ સ્ટ્રક્ચર્સને સ્ટોર કરવા માટે લાકડાનું પાતળું પડ કાપણી અને એસેમ્બલી અલ્ગોરિધમનો ઉપયોગ કરે છે.

Hadoop માં Parquet ફાઇલ ફોર્મેટને સમજવા માટે, તમારે નીચેના શબ્દો જાણવાની જરૂર છે:

1. પંક્તિ જૂથ (પંક્તિ જૂથ): પંક્તિઓમાં ડેટાનું તાર્કિક આડું વિભાજન. પંક્તિ જૂથમાં ડેટા સેટમાં દરેક કૉલમના ટુકડાનો સમાવેશ થાય છે.
2. કૉલમ ટુકડો (કૉલમનો ભાગ): ચોક્કસ કૉલમનો ટુકડો. આ કૉલમના ટુકડા પંક્તિઓના ચોક્કસ જૂથમાં રહે છે અને ફાઇલમાં સંલગ્ન હોવાની ખાતરી આપવામાં આવે છે.
3. પૃષ્ઠ (પાનું): કૉલમના ટુકડાઓ એક પછી એક લખેલા પૃષ્ઠોમાં વિભાજિત થાય છે. પૃષ્ઠો એક સામાન્ય શીર્ષક ધરાવે છે, જેથી તમે વાંચતી વખતે બિનજરૂરીને છોડી શકો.

અહીં શીર્ષકમાં ફક્ત જાદુઈ સંખ્યા છે PAR1 (4 બાઇટ્સ) જે ફાઇલને Parquet ફાઇલ તરીકે ઓળખે છે.

ફૂટર નીચે મુજબ કહે છે:

1. ફાઇલ મેટાડેટા જેમાં દરેક કૉલમના મેટાડેટાના પ્રારંભિક કોઓર્ડિનેટ્સ હોય છે. વાંચતી વખતે, તમારે રુચિના તમામ કૉલમ ટુકડાઓ શોધવા માટે પ્રથમ ફાઇલનો મેટાડેટા વાંચવો આવશ્યક છે. પછી કૉલમના ભાગોને ક્રમિક રીતે વાંચવા જોઈએ. અન્ય મેટાડેટામાં ફોર્મેટ વર્ઝન, સ્કીમા અને કોઈપણ વધારાની કી-વેલ્યુ જોડીનો સમાવેશ થાય છે.
2. મેટાડેટા લંબાઈ (4 બાઇટ્સ).
3. જાદુઈ સંખ્યા PAR1 (4 બાઇટ્સ).

ORC ફાઇલ ફોર્મેટ

ઑપ્ટિમાઇઝ પંક્તિ-કૉલમ ફાઇલ ફોર્મેટ (ઑપ્ટિમાઇઝ પંક્તિ કૉલમ, ઓઆરસી) ડેટા સ્ટોર કરવાની ખૂબ જ કાર્યક્ષમ રીત પ્રદાન કરે છે અને અન્ય ફોર્મેટની મર્યાદાઓને દૂર કરવા માટે ડિઝાઇન કરવામાં આવી હતી. ડેટાને સંપૂર્ણ કોમ્પેક્ટ સ્વરૂપમાં સંગ્રહિત કરે છે, જે તમને બિનજરૂરી વિગતોને છોડી દેવાની મંજૂરી આપે છે - મોટા, જટિલ અથવા મેન્યુઅલી જાળવવામાં આવેલા અનુક્રમણિકાઓના નિર્માણની જરૂર વગર.

ORC ફોર્મેટના ફાયદા:

1. એક ફાઇલ એ દરેક કાર્યનું આઉટપુટ છે, જે NameNode (નામ નોડ) પરનો ભાર ઘટાડે છે.
2. Hive ડેટા પ્રકારો માટે સપોર્ટ, જેમાં તારીખ સમય, દશાંશ અને જટિલ ડેટા પ્રકારો (સ્ટ્રક્ચર, સૂચિ, નકશો અને યુનિયન) નો સમાવેશ થાય છે.
3. વિવિધ રેકોર્ડરીડર પ્રક્રિયાઓ દ્વારા સમાન ફાઇલનું એક સાથે વાંચન.
4. માર્કર્સ માટે સ્કેન કર્યા વિના ફાઇલોને વિભાજિત કરવાની ક્ષમતા.
5. ફાઇલ ફૂટરમાં માહિતીના આધારે રીડ/રાઇટ પ્રક્રિયાઓ માટે મહત્તમ શક્ય હીપ મેમરી ફાળવણીનો અંદાજ.
6. મેટાડેટા પ્રોટોકોલ બફર્સ બાઈનરી સીરીયલાઈઝેશન ફોર્મેટમાં સંગ્રહિત થાય છે, જે ફીલ્ડ્સને ઉમેરવા અને દૂર કરવાની મંજૂરી આપે છે.

ORC એક ફાઇલમાં સ્ટ્રિંગના સંગ્રહને સંગ્રહિત કરે છે, અને સંગ્રહની અંદર, સ્ટ્રિંગ ડેટા કૉલમર ફોર્મેટમાં સંગ્રહિત થાય છે.

ORC ફાઇલ ફાઇલના ફૂટરમાં પટ્ટાઓ અને સહાયક માહિતી તરીકે ઓળખાતી રેખાઓના જૂથોને સંગ્રહિત કરે છે. ફાઇલના અંતે પોસ્ટસ્ક્રીપ્ટમાં કમ્પ્રેશન પરિમાણો અને સંકુચિત ફૂટરનું કદ શામેલ છે.

ડિફૉલ્ટ સ્ટ્રાઇપનું કદ 250 MB છે. આવા મોટા પટ્ટાઓને લીધે, HDFS માંથી વાંચન વધુ અસરકારક રીતે કરવામાં આવે છે: મોટા સંલગ્ન બ્લોક્સમાં.

ફાઇલ ફૂટર ફાઇલમાં લેનની સૂચિ, લેન દીઠ પંક્તિઓની સંખ્યા અને દરેક કૉલમનો ડેટા પ્રકાર રેકોર્ડ કરે છે. દરેક કૉલમ માટે ગણતરી, લઘુત્તમ, મહત્તમ અને સરવાળોનું પરિણામી મૂલ્ય પણ ત્યાં લખેલું છે.

સ્ટ્રીપના ફૂટરમાં સ્ટ્રીમ સ્થાનોની ડિરેક્ટરી શામેલ છે.

કોષ્ટકો સ્કેન કરતી વખતે પંક્તિ ડેટાનો ઉપયોગ થાય છે.

ઇન્ડેક્સ ડેટામાં દરેક કૉલમ માટે લઘુત્તમ અને મહત્તમ મૂલ્યો અને દરેક કૉલમમાં પંક્તિઓની સ્થિતિનો સમાવેશ થાય છે. ORC ઇન્ડેક્સનો ઉપયોગ ફક્ત પટ્ટાઓ અને પંક્તિ જૂથો પસંદ કરવા માટે થાય છે, પ્રશ્નોના જવાબ આપવા માટે નહીં.

વિવિધ ફાઇલ ફોર્મેટની સરખામણી

Parquet સરખામણીમાં Avro

1. એવરો એક પંક્તિ સ્ટોરેજ ફોર્મેટ છે, જ્યારે Parquet કૉલમમાં ડેટા સ્ટોર કરે છે.
2. વિશ્લેષણાત્મક ક્વેરી માટે Parquet વધુ યોગ્ય છે, એટલે કે રીડ ઓપરેશન્સ અને ક્વેરી ડેટા લખવા કરતાં વધુ કાર્યક્ષમ છે.
3. એવરોમાં લખવાની કામગીરી Parquet કરતાં વધુ અસરકારક રીતે કરવામાં આવે છે.
4. એવરો સર્કિટ ઉત્ક્રાંતિ સાથે વધુ પરિપક્વતાથી વ્યવહાર કરે છે. Parquet માત્ર સ્કીમા એડિશનને સપોર્ટ કરે છે, જ્યારે Avro મલ્ટિફંક્શનલ ઇવોલ્યુશનને સપોર્ટ કરે છે, એટલે કે કૉલમ ઉમેરવા અથવા બદલવાનું.
5. મલ્ટિ-કૉલમ કોષ્ટકમાં કૉલમના સબસેટની પૂછપરછ કરવા માટે લાકડાનું પાતળું પડ આદર્શ છે. એવરો ETL ઑપરેશન્સ માટે યોગ્ય છે જ્યાં અમે તમામ કૉલમને ક્વેરી કરીએ છીએ.

ORC vs Parquet

1. Parquet નેસ્ટેડ ડેટાને વધુ સારી રીતે સ્ટોર કરે છે.
2. ORC પુશડાઉનની આગાહી કરવા માટે વધુ યોગ્ય છે.
3. ORC ACID ગુણધર્મોને સપોર્ટ કરે છે.
4. ORC ડેટાને વધુ સારી રીતે સંકુચિત કરે છે.

વિષય પર બીજું શું વાંચવું:

1. ક્લાઉડમાં મોટા ડેટા વિશ્લેષણ: કંપની કેવી રીતે ડેટા-લક્ષી બની શકે છે.
2. ડેટાબેઝ સ્કીમા માટે નમ્ર માર્ગદર્શિકા.
3. ડિજિટલ ટ્રાન્સફોર્મેશન વિશે અમારી ટેલિગ્રામ ચેનલ.

સોર્સ: www.habr.com