{"id":84416,"date":"2020-06-07T13:42:50","date_gmt":"2020-06-07T11:42:50","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/formaty-fajlov-v-bolshih-dannyh-kratkij-likbez"},"modified":"2020-06-07T13:42:50","modified_gmt":"2020-06-07T11:42:50","slug":"formaty-fajlov-v-bolshih-dannyh-kratkij-likbez","status":"publish","type":"post","link":"https:\/\/prohoster.info\/et\/blog\/administrirovanie\/formaty-fajlov-v-bolshih-dannyh-kratkij-likbez","title":{"rendered":"Failiformaadid suurte andmete puhul: l\u00fchike \u00fclevaade","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"Failiformaadid
\nWeather Deity by Remarin<\/i><\/a><\/noindex> <\/p>\n

Meeskond Mail.ru Cloud Solutions<\/a><\/noindex> pakub artikli t\u00f5lke<\/a><\/noindex> Clairvoyant'i insener Rahul Bhati r\u00e4\u00e4gib, millised failiformaadid on suurtel andmepumpadel, millised on k\u00f5ige levinumad Hadoopi failiformaatide funktsioonid ja milline formaat on parem kasutada.
\n<\/a><\/noindex><\/p>\n

Miks on erinevad failiformaadid vajalikud<\/h2>\n

\nHDFS-i toetavate rakenduste, nagu MapReduce ja Spark, j\u00f5udluse t\u00f5sine kitsaskoht on andmete otsingu, lugemise ja kirjutamise aeg. Need probleemid s\u00fcvenevad, kui meil on mittefikseeritud, vaid arenev skeem v\u00f5i kehtivad ladustamise piirangud.<\/p>\n

Suurte andmete t\u00f6\u00f6tlemine suurendab salvestusseadme koormust \u2014 Hadoop salvestab andmeid \u00fcleliigseena, et saavutada t\u00f6\u00f6kindlus. Lisaks ketastele koormavad t\u00f6\u00f6tlust, v\u00f5rku, sisend-v\u00e4ljundis\u00fcsteemi jne. Andmemahtude kasvades suureneb ka nende t\u00f6\u00f6tlemise ja salvestamise kulu.<\/p>\n

Erinevad failiformaadid Hadoop<\/a><\/noindex> on loodud just nende probleemide lahendamiseks. Sobiva failiformaadi valimine v\u00f5ib pakkuda m\u00e4rkimisv\u00e4\u00e4rseid eeliseid:<\/p>\n

    \n
  1. Kiirem lugemisaeg.<\/li>\n
  2. Kiirem kirjutamisaeg.<\/li>\n
  3. Jagatavad failid.<\/li>\n
  4. Scheemade toetamist.<\/li>\n
  5. T\u00e4psem tihenduse tugi.<\/li>\n<\/ol>\n

    \nM\u00f5ned failiformaadid on m\u00f5eldud \u00fcldiseks kasutamiseks, teised aga spetsiifilisematele variantidele, ja osa neist on loodud arvestama konkreetsete andmete omadustega. Seega on valik t\u00f5eliselt suur.<\/p>\n

    Avro failiformaat<\/h2>\n

    \nKuna andmete serialiseerimine <\/i>Avro-d kasutatakse laialdaselt \u2014 see on rea peal p\u00f5hinev<\/i>andmete salvestamise formaat Hadoopis. See salvestab skeemi JSON formaadis, mis lihtsustab selle lugemist ja t\u00f5lgendamist igas programmis. Andmed ise on salvestatud binaarformaadis, kompaktselt ja t\u00f5husalt.<\/p>\n

    Avro serialiseerimiss\u00fcsteem on keele neutraalne. Faile saab t\u00f6\u00f6delda paljude keeltega, sealhulgas C, C++, C#, Java, Python ja Ruby.<\/p>\n

    Avro peamine omadus on usaldusv\u00e4\u00e4rne toetus andmeskeemidele, mis aja jooksul muutuvad, st evolveeruvad. Avro m\u00f5istab skeemi muudatusi \u2014 v\u00e4ljade eemaldamist, lisamist v\u00f5i muutmist.<\/p>\n

    Avro toetab erinevaid andmestruktuure. N\u00e4iteks saab luua kirje, mis sisaldab massiivi, \u00fcmberloetavat t\u00fc\u00fcpi ja alamkirjet.<\/p>\n

    \"Failiformaadid
    \nSee formaat sobib suurep\u00e4raselt andmete j\u00e4rve maandumis- (\u00fclemineku) tsooni kirjutamiseks (    andmete j\u00e4rv<\/a><\/noindex>, v\u00f5i data lake \u2014 erinevat t\u00fc\u00fcpi andmete hoidmise instantside kogum, millele on lisatud andmeallikaid otse). <\/p>\n

    Seega on selle formaadi kasutamine andmete j\u00e4rve maandumiszona kirjutamiseks parim valik j\u00e4rgmistele p\u00f5hjustele:<\/p>\n

      \n
    1. Andmed sellest tsoonist loetakse tavaliselt t\u00e4ielikult edasiseks t\u00f6\u00f6tlemiseks madalama s\u00fcsteemide poolt \u2014 ja ridadep\u00f5hine formaat on sel juhul efektiivsem.<\/li>\n
    2. Madalamad s\u00fcsteemid saavad h\u00f5lpsasti faili skeemide tabeleid ekstraktida \u2014 skeemide eraldi hoidmine v\u00e4listes meta-hoidlates pole vajalik.<\/li>\n
    3. K\u00fcsimustele, mis on seotud algse skeemi muutmisega, on lihtne reageerida (skeemi evolutsioon).<\/li>\n<\/ol>\n

      <\/p>\n

      Parquet failivormaat<\/h2>\n

      \nParquet on avatud l\u00e4htekoodiga failiformaat Hadoopi jaoks, mis salvestab sisemised andmestruktuurid tasapinnalisel veergude kujul<\/i>.<\/p>\n

      V\u00f5rreldes traditsioonilise ridade l\u00e4henemisega on Parquet salvestamise ja j\u00f5udluse poolest efektiivsem.<\/p>\n

      See on eriti kasulik p\u00e4ringute jaoks, mis loevad teatud veerge laias (palju veerge sisaldavas) tabelis. Failiformaadi t\u00f5ttu loetakse ainult vajalikud veerud, nii et sisend-v\u00e4ljund on minimeeritud.<\/p>\n

      L\u00fchike k\u00f5rvaln\u00e4ide<\/strong>: et paremini m\u00f5ista Hadoopi Parquet faili formaati, vaatame, mis on veerup\u00f5hine \u2014 ehk veerge kasutav \u2014 formaat. Sellises formaadis hoitakse koos sarnaseid v\u00e4\u00e4rtusi igast veerust. <\/p>\n

      Piem\u0113ram<\/a><\/noindex>, rekord sisaldab v\u00e4lju ID, Name ja Department. Sel juhul hoitakse k\u00f5iki veeru ID v\u00e4\u00e4rtusi koos, samuti veeru Name v\u00e4\u00e4rtusi ja nii edasi. Tabel n\u00e4eks v\u00e4lja umbes selline:<\/p>\n

      ID<\/strong>
      \nNimi<\/strong>
      \nDepartment<\/strong><\/p>\n

      1
      \nemp1
      \nd1<\/p>\n

      2
      \nemp2
      \nd2<\/p>\n

      3
      \nemp3
      \nd3<\/p>\n

      \nStringiformaadis salvestatakse andmed j\u00e4rgmiselt:<\/p>\n

      1
      \nemp1
      \nd1
      \n2
      \nemp2
      \nd2
      \n3
      \nemp3
      \nd3<\/p>\n

      \nVeerup\u00f5hises failiformaadis salvestatakse samad andmed nii:<\/p>\n

      1
      \n2
      \n3
      \nemp1
      \nemp2
      \nemp3
      \nd1
      \nd2
      \nd3<\/p>\n

      \nVeerup\u00f5hine formaat on t\u00f5husam, kui peate tabelist k\u00fcsima mitut veergu. See loeb ainult vajalikke veerge, kuna need asuvad k\u00f5rvuti. Nii et sisend-v\u00e4ljund toimingud on minimeeritud.<\/p>\n

      N\u00e4iteks vajate ainult veergu NAME. V stringiformaadis<\/a><\/noindex> Iga andmekirje komplekti tuleb laadida, sorteerida v\u00e4ljade j\u00e4rgi ja seej\u00e4rel v\u00e4lja v\u00f5tta andmed NAME. Veergude formaat v\u00f5imaldab minna otse veergu Name, kuna k\u00f5ik selle veeru v\u00e4\u00e4rtused on salvestatud koos. Ainult kogu kirje skaneerimist ei ole vaja.<\/p>\n

      Seega suurendab veergude formaat p\u00e4ringute j\u00f5udlust, kuna vajalike veergude leidmiseks kulub v\u00e4hem otsinguaega ja v\u00e4hendatakse sisend-v\u00e4ljundoperatsioonide arvu, kuna loetakse ainult vajalikke veerge.<\/p>\n

      \u00dcks ainulaadseid jooni Parquet<\/a><\/noindex> on see, et selle formaadi korral ta suudab salvestada andmeid s\u00fcgavate struktuuridega<\/i>. See t\u00e4hendab, et Parquet-failis saab isegi s\u00fcgavad v\u00e4ljad lugeda eraldi, ilma et oleks vaja lugeda k\u00f5iki v\u00e4li s\u00fcgavas struktuuris. S\u00fcgavate struktuuride salvestamiseks kasutab Parquet purustamise ja kokkupaneku algoritmi.<\/p>\n

      \"Failiformaadid
      \nParquet-failiformaadi m\u00f5istmiseks Hadoopis on vajalik teada j\u00e4rgmisi termineid:<\/p>\n

        \n
      1. Ridade grupp<\/strong> (row group): andmete loogiline horisontaalne jagamine ridade kaupa. Ridade grupp koosneb iga veeru fragmendist andmekomplektis.<\/li>\n
      2. Veeru fragment<\/strong> (column chunk): konkreetse veeru fragment. Need veeru fragmentid elavad kindlas ridade grupis ja on garanteeritult faile j\u00e4rjestikku.<\/li>\n
      3. Lehek\u00fclg<\/strong> (page): veeru fragmentid jagunevad lehtedeks, mis on j\u00e4rjestikku salvestatud. Lehtedel on \u00fchine pealkiri, seega saab lugemise ajal v\u00e4ltida ebaolulisi osi.<\/li>\n<\/ol>\n

        \n\"Failiformaadid
        \nSiin peab pealkiri lihtsalt sisaldama maagilist numbrit PAR1<\/i> (4 baiti), mis identifitseerib faili kui Parquet formaadi faili.<\/p>\n

        Jalakirjas on kirjas j\u00e4rgmine:<\/p>\n

          \n
        1. Faili metaandmed, mis sisaldavad iga veeru metaandmete algkoordinaate. Kui lugeda, tuleb esmalt lugeda faili metaandmed, et leida k\u00f5ik huvipakkuvad veeru fragmentid. Seej\u00e4rel tuleks veeru fragmente lugeda j\u00e4rjestikku. Samuti sisaldavad metaandmed formaadi versiooni, skeemi ja k\u00f5iki t\u00e4iendavaid v\u00f5tme-v\u00e4\u00e4rtuse paare.<\/li>\n
        2. Metaandmete pikkus (4 baiti).<\/li>\n
        3. Kuninglik number PAR1<\/i> (4 baiti).<\/li>\n<\/ol>\n

          <\/p>\n

          ORC failiformaadid<\/h2>\n

          \nOptimeeritud riba-veergude failivorming<\/i> (Optimized Row Columnar, ORC<\/a><\/noindex>) pakub v\u00e4ga t\u00f5husat andmete salvestamise viisi ja on loodud, et \u00fcletada teiste formaadiga seotud piiranguid. Salvestab andmed ideaalselt kompaktsetes vormingutes, j\u00e4ttes v\u00e4lja mittevajalikud detailid \u2014 samal ajal ei n\u00f5ua see suure, keerulise v\u00f5i k\u00e4sitsi hallatava indeksi loomist. <\/p>\n

          ORC formaadi eelised:<\/p>\n

            \n
          1. Iga \u00fclesande kohta tuleb \u00fcks fail, mis v\u00e4hendab koormust NameNode'ile.<\/li>\n
          2. Toetab Hive andme t\u00fc\u00fcpe, sealhulgas DateTime, k\u00fcmnendarvud ja keerulised andmet\u00fc\u00fcbid (struktuur, loend, kaart ja liit).<\/li>\n
          3. Sama faili saab samaaegselt lugeda erinevate RecordReaderite protsesside poolt.<\/li>\n
          4. Failide jagamise v\u00f5imalus ilma markerite otsimise skannimise vajaduseta.<\/li>\n
          5. Maksimaalse v\u00f5imalikku m\u00e4lu eraldust pileti lugemise\/kirjutamise protsessidele hinnatakse faili jaluses olevate andmete p\u00f5hjal.<\/li>\n
          6. Metaandmed salvestatakse protokollide Buffers\u2019i binaarse serialiseerimise formaadis, mis v\u00f5imaldab v\u00e4ljade lisamist ja eemaldamist.<\/li>\n<\/ol>\n

            \n\"Failiformaadid
            \nORC salvestab stringikogusid \u00fches failis, samas kui kogumi sees on stringiandmed salvestatud veergude formaadis.<\/p>\n

            ORC-fail salvestab ridade gruppe, mida nimetatakse ribadeks (stripes) ja abiteavet faili jaluses. Faili l\u00f5pus olev Postscript sisaldab kokkusurumise parameetreid ja kokkusurutud jaluse suurust.<\/p>\n

            Vaikimisi on riba suurus 250 MB. Niiv\u00f5rd suurte ribadega toimub lugemine HDFS-ist t\u00f5husamalt: suurtes j\u00e4rjepidevates plokkides.<\/p>\n

            Faili jaluses on salvestatud ribade loend, ridade arv ribas ja iga veeru andmet\u00fc\u00fcp. Seal on samuti salvestatud iga veeru tulemuslikud v\u00e4\u00e4rtused count, min, max ja sum.<\/p>\n

            Riba jalus sisaldab voogude asukohtade katalooge.<\/p>\n

            Reaalandmeid kasutatakse tabelite skannimisel.<\/p>\n

            Indeksandmed sisaldavad iga veeru minimaalseid ja maksimaalseid v\u00e4\u00e4rtusi ning ridade positsioone igas veerus. ORC-indekseid kasutatakse ainult ribade ja ridade gruppide valimiseks, mitte p\u00e4ringute vastamiseks.<\/p>\n

            Erinevate faili formaatide v\u00f5rdlemine<\/h2>\n

            <\/p>\n

            Avro v\u00f5rreldes Parquet'ga<\/h3>\n

            <\/p>\n

              \n
            1. Avro on ridade kaupa salvestamise formaat, samas kui Parquet salvestab andmeid veergude kaupa.<\/li>\n
            2. Parquet sobib paremini anal\u00fc\u00fctiliste p\u00e4ringute jaoks, st andmete lugemise ja p\u00e4ringute tegemise operatsioonid on palju t\u00f5husamad kui kirjutamine.<\/li>\n
            3. Avro kirjutamistegevused on efektiivsemad kui Parquetis.<\/li>\n
            4. Avro t\u00f6\u00f6tab skeemide arenguga paremini. Parquet toetab ainult skeemide lisamist, samas kui Avros on mitmeotstarbeline areng, st veergude lisamine v\u00f5i muutmine.<\/li>\n
            5. Parquet sobib ideaalselt mitme veeruga tabelis veergude alamhulga p\u00e4rimiseks. Avro sobib ETL-operatsioonide jaoks, kus p\u00e4rime k\u00f5iki veerge.<\/li>\n<\/ol>\n

              <\/p>\n

              ORC v\u00f5rreldes Parquetiga<\/h3>\n

              <\/p>\n

                \n
              1. Parquet salvestab sisemisi andmeid paremini.<\/li>\n
              2. ORC on paremini kohandatud p\u00e4ringute edastamiseks (predicate pushdown).<\/li>\n
              3. ORC toetab ACID omadusi.<\/li>\n
              4. ORC surub andmed paremini kokku.<\/li>\n<\/ol>\n

                \nMida veel teemast lugeda<\/strong>:<\/p>\n

                  \n
                1. Suure andmeanal\u00fc\u00fcs pilves: kuidas ettev\u00f5tteid andmete keskseks muuta<\/a><\/noindex>.<\/li>\n
                2. V\u00e4hene juhend andmebaasi skeemide kohta<\/a><\/noindex>.<\/li>\n
                3. Meie Telegrami kanal digitaaltransformatsiooni kohta<\/a><\/noindex>. \n<\/li>\n<\/ol>\n

                  Allikas: habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"

                  Weather Deity by Remarin \u041a\u043e\u043c\u0430\u043d\u0434\u0430 Mail.ru Cloud Solutions \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0435\u0442 \u043f\u0435\u0440\u0435\u0432\u043e\u0434 \u0441\u0442\u0430\u0442\u044c\u0438 \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u0430 \u0420\u0430\u0445\u0443\u043b\u0430 \u0411\u0445\u0430\u0442\u0438\u0438 \u0438\u0437 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438 Clairvoyant \u043e \u0442\u043e\u043c, \u043a\u0430\u043a\u0438\u0435 \u0435\u0441\u0442\u044c \u0444\u043e\u0440\u043c\u0430\u0442\u044b \u0444\u0430\u0439\u043b\u043e\u0432 \u0432 \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445, \u043a\u0430\u043a\u0438\u0435 \u0441\u0430\u043c\u044b\u0435 \u0440\u0430\u0441\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0435\u043d\u043d\u044b\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0444\u043e\u0440\u043c\u0430\u0442\u043e\u0432 Hadoop \u0438 \u043a\u0430\u043a\u043e\u0439 \u0444\u043e\u0440\u043c\u0430\u0442 \u043b\u0443\u0447\u0448\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c. \u0417\u0430\u0447\u0435\u043c \u043d\u0443\u0436\u043d\u044b \u0440\u0430\u0437\u043d\u044b\u0435 \u0444\u043e\u0440\u043c\u0430\u0442\u044b \u0444\u0430\u0439\u043b\u043e\u0432 \u0421\u0435\u0440\u044c\u0435\u0437\u043d\u043e\u0435 \u0443\u0437\u043a\u043e\u0435 \u043c\u0435\u0441\u0442\u043e \u0432 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u0439 \u0441 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u043e\u0439 HDFS, \u0442\u0430\u043a\u0438\u0445 \u043a\u0430\u043a MapReduce \u0438 […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":84417,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-84416","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd47Suureteabe failivormingud: l\u00fchike \u00fclevaade | ProHoster","description":"Weather Deity by Remarin Meeskond Mail.ru Cloud Solutions pakub \u00fcleviimist insener Rahul Bhatia artiklist ettev\u00f5ttest Clairvoyant, kus arutatakse, millised on suureteabe failivormingud, millised on Hadoopi failivormingute k\u00f5ige levinumad funktsioonid ja millist vormingut eelistada. Miks on vajalikud erinevad failivormingud t\u00f5sine kitsaskoht rakenduste j\u00f5udluses, mis toetavad HDFS-i, nagu MapReduce ja","canonical_url":"https:\/\/prohoster.info\/et\/blog\/administrirovanie\/formaty-fajlov-v-bolshih-dannyh-kratkij-likbez","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"et_EE","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u0424\u043e\u0440\u043c\u0430\u0442\u044b \u0444\u0430\u0439\u043b\u043e\u0432 \u0432 \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445: \u043a\u0440\u0430\u0442\u043a\u0438\u0439 \u043b\u0438\u043a\u0431\u0435\u0437 | ProHoster","og:description":"Weather Deity by Remarin \u041a\u043e\u043c\u0430\u043d\u0434\u0430 Mail.ru Cloud Solutions \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0435\u0442 \u043f\u0435\u0440\u0435\u0432\u043e\u0434 \u0441\u0442\u0430\u0442\u044c\u0438 \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u0430 \u0420\u0430\u0445\u0443\u043b\u0430 \u0411\u0445\u0430\u0442\u0438\u0438 \u0438\u0437 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438 Clairvoyant \u043e \u0442\u043e\u043c, \u043a\u0430\u043a\u0438\u0435 \u0435\u0441\u0442\u044c \u0444\u043e\u0440\u043c\u0430\u0442\u044b \u0444\u0430\u0439\u043b\u043e\u0432 \u0432 \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445, \u043a\u0430\u043a\u0438\u0435 \u0441\u0430\u043c\u044b\u0435 \u0440\u0430\u0441\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0435\u043d\u043d\u044b\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0444\u043e\u0440\u043c\u0430\u0442\u043e\u0432 Hadoop \u0438 \u043a\u0430\u043a\u043e\u0439 \u0444\u043e\u0440\u043c\u0430\u0442 \u043b\u0443\u0447\u0448\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c. \u0417\u0430\u0447\u0435\u043c \u043d\u0443\u0436\u043d\u044b \u0440\u0430\u0437\u043d\u044b\u0435 \u0444\u043e\u0440\u043c\u0430\u0442\u044b \u0444\u0430\u0439\u043b\u043e\u0432 \u0421\u0435\u0440\u044c\u0435\u0437\u043d\u043e\u0435 \u0443\u0437\u043a\u043e\u0435 \u043c\u0435\u0441\u0442\u043e \u0432 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u0439 \u0441 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u043e\u0439 HDFS, \u0442\u0430\u043a\u0438\u0445 \u043a\u0430\u043a MapReduce \u0438","og:url":"https:\/\/prohoster.info\/et\/blog\/administrirovanie\/formaty-fajlov-v-bolshih-dannyh-kratkij-likbez","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2020-06-07T11:42:50+00:00","article:modified_time":"2020-06-07T11:42:50+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"84416","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":null,"breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 14:58:40","updated":"2022-09-28 08:24:46"},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/posts\/84416","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/comments?post=84416"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/posts\/84416\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/media\/84417"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/media?parent=84416"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/categories?post=84416"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/tags?post=84416"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}