Failivormingud suurtes andmetes: lühike ülevaade

Ilm Deity by Remarin

Meeskond Mail.ru Pilve Lahendused pakub artikli tõlge insener Rahul Bhatiast ettevõttest Clairvoyant, mis käsitleb suurte andmete failivormateid, kõige levinumaid Hadoopi failivormaatide funktsioone ja millist vormingut eelistada.

Miks on erinevad failivormingud vajalikud

HDFS-i toetavate rakenduste, nagu MapReduce ja Spark, jõudluse tõsine kitsaskoht on otsinguaeg, andmete lugemine ja kirjutamine. Need probleemid süvenevad suure andmehulkade haldamise raskustega, kui meil pole fikseeritud, vaid areneda lastud skeemi või on olemas teatud säilitamisseisundid.

Suurte andmete töötlemine koormab salvestussüsteemi — Hadoop salvestab andmeid liigseks koormuseks usaldusväärsuse saavutamiseks. Lisaks ketastele koormatakse protsessorit, võrku, sisend-väljund süsteeme jne. Andmemahu suurenedes tõuseb ka nende töötlemise ja säilitamise hind.

Erinevad failivormingud Hadoop on välja töötatud just nende probleemide lahendamiseks. Õige failivormingu valimine võib tuua kaasa olulisi eeliseid:

1. Kiirem lugemisaeg.
2. Kiirem kirjutamisaeg.
3. Jagatavad failid.
4. Toetamine skeemide evolutsioonile.
5. Täpsem toetamine tihendusele.

Mõned failivormingud on mõeldud laiemaks kasutamiseks, teised spetsiifiliste stsenaariumide jaoks ning mõned on välja töötatud arvestades konkreetseid andmete omadusi. Seega on valik tõeliselt ulatuslik.

Avro failivorming

Tooge andmete serialiseerimiseks on laialdaselt kasutusel Avro — see on reageerivateehk reaktiivne, andmehölmamise format Hadoopis. See salvestab skeemi JSON-vormingus, mis lihtsustab selle lugemist ja tõlgendamist mis tahes programmiga. Andmed ise on salvestatud binaarses vormingus, kompaktne ja efektiivne.

Avro serialiseerimissüsteem on keeleneutraalne. Failide töötlemine võib toimuda erinevates keeltes, sealhulgas C, C++, C#, Java, Python ja Ruby.

Avro peamine omadus on andmeskeemide kindel tugi, mis ajas muutuvad, st evolutsioon. Avro mõistab skeemi muudatusi — väljade eemaldamine, lisamine või muutmine.

Avro toetab mitmesuguseid andmestruktuure. Näiteks saab luua kirje, mis sisaldab massiivi, loendatavat tüüpi ja alusrekordit.

See formaat sobib ideaalselt andmete järgu landing (ülemineku) tsooni kirjutamiseks,andmetevaik, või data lake — instantside kogum, mis salvestab erinevat tüüpi andmeid koos andmeallikatega.

Seega, andmete järgu landing tsooni kirjutamiseks sobib see formaat kõige paremini järgmistel põhjustel:

1. Selle tsooni andmed loetakse tavaliselt tervikuna täiendavaks töötlemiseks alumistes süsteemides — ja ridade põhine formaat on sel juhul tõhusam.
2. Alumised süsteemid saavad hõlpsasti skeemide tabeleid failidest välja ekstrakteerida — skeeme ei pea eraldi välistesse metaandmehoidlatesse salvestama.
3. Igane muudatus algses skeemis on lihtne töödelda (skeemi areng).

Parquet failiformaat

Parquet on avatud lähtekoodiga failiformaat Hadoopile, mis salvestab sisemisi andmestruktuure tasapinnalises veergude formaadis..

Traditsioonilise ridade lähenemisega võrreldes on Parquet salvestamise ja jõudluse osas tõhusam.

See on eriti kasulik päringute jaoks, mis loevad laia (paljude veergudega) tabelist kindlaid veerge. Failiformaatide tõttu loetakse ainult vajalikke veerge, nii et sisse- ja väljundteenused on minimaalsetes piirides.

Kerge kõrvalepõikamine: et paremini mõista Parquet failiformaati Hadoopis, vaatame, mis on veergude põhine — ehk veergude — formaat. Sellises formaadis hoitakse kokku sama tüüpi väärtusi igast veerust.

Näiteks, kirje sisaldab välju ID, Name ja Department. Sellisel juhul hoitakse kõik ID veeru väärtused koos, nagu ka Name veeru väärtused ja nii edasi. Tabel näeb välja umbes selline:

ID
Nimi
Department

1
emp1
d1

2
emp2
d2

3
emp3
d3

Ridade formaadis salvestatakse andmed järgmiselt:

1
emp1
d1
2
emp2
d2
3
emp3
d3

Veergude formaadis salvestatakse samad andmed nii:

1
2
3
emp1
emp2
emp3
d1
d2
d3

Veergude formaat on tõhusam, kui teil on vaja küsida tabelist mitmeid veerge. See loeb ainult vajalikke veerge, kuna need asuvad külg külje kõrval. Seega on sisse- ja väljundtegevused minimaalsetes piirides.

Näiteks, kui vajate ainult veergu NAME. Ridade formaadis. Iga andmeid andmestikus tuleb laadida, jaotada väljade kaupa ja seejärel andmeid NAME välja võtta. Veerufaili formaat võimaldab liikuda otse nime veergu, kuna kõik selle veeru väärtused on koos. Ei pea skaneerima kogu kirje.

Seega tõstab veerufaili formaat päringute jõudlust, kuna vajalikesse veergudesse pääsemiseks kulub vähem otsinguaega ja väheneb sisendi/väljundi operatsioonide arv, kuna loetakse vaid vajalikke veerge.

Üks unikaalne omadus Parquet on see, et sellises formaadis suudab see salvestada andmeid, millel on sissepoole suunatud struktuurid. See tähendab, et Parquet failis on isegi sissepoole suunatud väljad võimalik lugeda eraldi, ilma et peaks lugema kõiki välju sissepoole suunatud struktuuris. Sissepoole suunatud struktuuride salvestamiseks kasutab Parquet purustamise ja kokkupaneku algoritmi.

Kuna mõista Parquet faili formaati Hadoopis, tuleb teada järgmisi termineid:

1. Ridade grupp (row group): loogiline horisontaalne jaotamine andmetest ridadeks. Ridade grupp koosneb iga veeru fragmentidest andmestikus.
2. Veeru fragment (column chunk): konkreetse veeru fragment. Need veeru fragmentid elavad kindlas ridade grupis ja on garanteeritud, et nad on failis külgnevad.
3. Leht (page): veeru fragmentid jagatakse lehtedeks, mis on kirjutatud järjestikku. Lehtedel on ühine pealkiri, nii et lugemisel saab jätta vahele mittevajalikud.

Siin sisaldab pealkiri lihtsalt maagilist numbrit PAR1 (4 baiti), mis tuvastab faili kui Parquet formaadis faili.

Footeris on kirjas järgnev:

1. Faili metaandmed, mis sisaldavad iga veeru metaandmete algust. Lugemisel tuleb esmalt lugeda faili metaandmed, et leida kõik huvipakkuvad veeru fragmentid. Seejärel tuleb veeru fragmente lugeda järjestikku. Täiendavalt sisaldavad metaandmed formaadi versiooni, skeemi ja kõiki täiendavaid võtme- ja väärtuspaaride.
2. Metaandmete pikkus (4 baiti).
3. Maagiline number PAR1 (4 baiti).

ORC failiformaat

Optimeeritud rida-veerg formaat (Optimized Row Columnar, ORC) pakub väga tõhusat meetodit andmete salvestamiseks ja on loodud ületama teiste formaatide piiranguid. Salvestab andmed ideaalselt kompaktne kujul, võimaldades jätta kõrvale mittevajalikke üksikasju — samas ei nõua see suurte, keeruliste või käsitsi hallatavate indeksite loomist.

ORC formaadi eelised:

1. Iga ülesande väljundiks on üks fail, mis vähendab NameNode'i (nime sõlme) koormust.
2. Hive andmetüüpide tugi, sealhulgas DateTime, kümnend- ja kompleksandmetüübid (struktuur, loend, kaart ja ühinemine).
3. Korraga saab sama faili lugeda erinevad RecordReader protsessid.
4. Failide jagamise võimalus ilma markerite olemasolu skannimiseta.
5. Mälukoguse piirangute maksimaalse võimaliku eraldamise hindamine lugemis-/kirjutamisprotsesside jaoks faili jaluse teabe põhjal.
6. Metaandmed salvestatakse binaarformas, kasutades Protocol Buffers, mis võimaldab väljade lisamist ja eemaldamist.

ORC salvestab stringsalongid ühte faili, samas kui salongi sisesed stringandmed salvestatakse veergude formaadis.

ORC fail salvestab rühmad stringidest, mida nimetatakse ribadeks (stripes) ja abiteabe faili jaluses. Faili lõpus olev postskript sisaldab tihendamisparameetreid ja tihendatud jaluse suurust.

Vaikimisi ribade suurus on 250 MB. Sellise suurusega ribade tõttu toimub lugemine HDFS-ist efektiivsemalt: suurte pidevate plokkidena.

Faili jaluses on kirjas ribade loetelu failis, ridade arv ribas ja iga veeru andmetüüp. Seal on ka iga veeru jaoks salvestatud tulemuseks väärtused count, min, max ja sum.

Riba jalus sisaldab voolu asukohtade katalooge.

Stringandmeid kasutatakse tabelite skannimisel.

Indeksandmed sisaldavad iga veeru minimaalseid ja maksimaalseid väärtusi ning ridade positsioone igas veerus. ORC indekseid kasutatakse ainult ribade ja stringigruppide valimiseks, mitte päringutele vastamiseks.

Erinevate failivormingute võrdlemine

Avro võrreldes Parquet

1. Avro on ridade järgi salvestamise formaat, samas kui Parquet salvestab andmed veergude kaupa.
2. Parquet sobib paremini analüütiliste päringute jaoks, see tähendab, et andmete lugemise ja pärimise operatsioonid on palju tõhusamad kui kirjutamine.
3. Kirjutamise operatsioonid Avros toimuvad tõhusamalt kui Parquet'is.
4. Avro töötab skeemide evolutsiooniga küpselt. Parquet toetab ainult skeemi lisamist, samas kui Avros on rakendatud mitmekesist evolutsiooni, see tähendab veergude lisamist või muutmist.
5. Parquet on ideaalne mitme veeru tabelis veergude alamhulkade päringute tegemiseks. Avro sobib ETL-operatsioonideks, kus küsime kõiki veerge.

ORC võrreldes Parquetiga

1. Parquet hoiab sissekandetud andmeid paremini.
2. ORC on paremini kohandatud eelkontrollide edastamiseks (predicate pushdown).
3. ORC toetab ACID omadusi.
4. ORC surub andmed paremini kokku.

Mida veel selle kohta lugeda:

1. Suure andmehulkade analüüs pilves: kuidas ettevõtted võivad olla andmesuunalised.
2. Mugav juhend andmebaasiskeemide kohta.
3. Meie Telegrami kanal digitaaltransformatsiooni kohta.

Allikas: habr.com