แแฃแแแ
แ แแขแแ แแ แแก แกแแญแแ แ แคแแแแแก แกแฎแแแแแกแฎแแ แคแแ แแแขแ?
HDFS-แแ แฉแแ แแฃแแ แแแแแแแชแแแแแกแแแแก, แ แแแแ แแชแแ MapReduce แแ Spark, แแฃแจแแแแแก แซแแ แแแแแ แจแแคแแ แฎแแแ แแ แแก แแแแแชแแแแแแก แซแแแแแก, แฌแแแแแฎแแแกแ แแ แฉแแฌแแ แแก แแ แ. แแ แแ แแแแแแแแก แแแแขแแแ แแแแแชแแแแ แแแแ แแแแ แแแแก แแแ แแแแก แกแแ แแฃแแ, แแฃ แฉแแแ แแแแฅแแก แแแแแแแแ แแแฃแแ แกแฅแแแ แแ แแ แ แคแแฅแกแแ แแแฃแแ, แแ แแฃ แแ แกแแแแแก แจแแแแฎแแแก แแแ แแแแฃแแ แจแแแฆแฃแแแแแ.
แแแแ แแแแแชแแแแแแก แแแแฃแจแแแแแ แแ แแแก แแแขแแแ แแแแก แจแแแแฎแแแก แฅแแแกแแกแขแแแแแ - Hadoop แแแแฎแแแก แแแแแชแแแแแก แแแแแแขแแ แจแแชแแแแแแแก แขแแแแ แแแขแแแแก แแแกแแฆแฌแแแแ. แแแกแแแแแก แแแ แแ แแขแแแ แแแแ แแ แแชแแกแแ แ, แฅแกแแแ, แจแแแแแแแ/แแแแแแแแแแ แกแแกแขแแแ แแ แ.แจ. แแแแแชแแแแ แแแชแฃแแแแแก แแ แแแกแแแ แแ แแแ แแแ แแแแ แแแแ แแแแฃแจแแแแแแกแ แแ แจแแแแฎแแแก แฆแแ แแแฃแแแแ.
แคแแแแแก แกแฎแแแแแกแฎแแ แคแแ แแแขแจแ
- แฃแคแ แ แกแฌแ แแคแ แแแแฎแแแก แแ แ.
- แฉแแฌแแ แแก แฃแคแ แ แกแฌแ แแคแ แแ แ.
- แแแแแแ แแแฃแแ แคแแแแแแ.
- แกแฅแแแแก แแแแแฃแชแแแก แแฎแแ แแแญแแ แ.
- แแแคแแ แแแแแฃแแ แจแแแฃแแจแแแก แแฎแแ แแแญแแ แ.
แแแแแแ แแ แคแแแแแก แคแแ แแแขแ แแแแแฃแแแแแแแ แแแแแแ แแแแแงแแแแแแกแแแแก, แแแแ แฃแคแ แ แกแแแชแแคแแแฃแ แ แแแแแงแแแแแแกแแแแก, แแแแ แแ แจแแฅแแแแแแ แแแแแชแแแแ แกแแแชแแคแแแฃแ แ แแแฎแแกแแแแแแแแแแก แแแกแแแแแงแแคแแแแแแแ. แแกแ แ แแ แแ แฉแแแแแ แแแ แแแแช แกแแแแแแ แแแแแ.
Avro แคแแแแแก แคแแ แแแขแ
แแงแแแแแ แแแแแชแแแแ แกแแ แแแแแแแชแแ แแแ แ แคแแ แแแ แแแแแแงแแแแแ - แแก แกแแแแแแแแ, แแแฃ แกแแแแแแแแ แแแแแชแแแแ แจแแแแฎแแแก แคแแ แแแขแ Hadoop-แจแ. แแก แแแแฎแแแก แกแฅแแแแก JSON แคแแ แแแขแจแ, แ แแช แแแแแแแแแก แฌแแแแแฎแแแก แแ แแแขแแ แแ แแขแแชแแแก แแแแแกแแแแ แ แแ แแแ แแแแ. แแแแแ แแแแแชแแแแแ แแ แแแแ แคแแ แแแขแจแแ, แแแแแแฅแขแฃแ แ แแ แแคแแฅแขแฃแ แ.
Avro-แก แกแแ แแแแแแแชแแแก แกแแกแขแแแ แแแแแ แแแ แแแแขแ แแแฃแ แแ. แคแแแแแแแก แแแแฃแจแแแแแ แจแแกแแซแแแแแแแ แกแฎแแแแแกแฎแแ แแแแแ, แแแแแแแ C, C++, C#, Java, Python แแ Ruby.
Avro-แก แแแแแแ แ แแแฎแแกแแแแแแแแแ แแแแแชแแแแ แกแฅแแแแแแก แซแแแแ แ แแฎแแ แแแญแแ แ, แ แแแแแแแช แแ แแแ แแแแแแแแแแแจแ แแชแแแแแ, แแแฃ แแแแแ แแแแ. Avro-แก แแกแแแก แกแฅแแแแก แชแแแแแแแแแ - แแแแแแแก แฌแแจแแ, แแแแแขแแแ แแ แจแแชแแแ.
Avro แแฎแแ แก แฃแญแแ แก แแแแแชแแแแ แแ แแแแแคแแ แแแแ แกแขแ แฃแฅแขแฃแ แแแก. แแแแแแแแแ, แจแแแแซแแแแ แจแแฅแแแแ แฉแแแแฌแแ แ, แ แแแแแแช แจแแแชแแแก แแแกแแแก, แฉแแแแแแแแ แขแแแก แแ แฅแแแฉแแแแฌแแ แก.
แแก แคแแ แแแขแ แแแแแแฃแ แแ แแแแแชแแแแ แขแแแก แกแแแแกแแแขแ (แแแ แแแแแแแ) แแแแแจแ แฉแแกแแฌแแ แแ (
แแกแ แ แแ, แแก แคแแ แแแขแ แกแแฃแแแแแกแแ แจแแแคแแ แแแ แแแแแชแแแแ แขแแแก แกแแแแกแแแขแ แแแแแจแ แฉแแกแแฌแแ แแ แจแแแแแแ แแแแแแแแแก แแแแ:
- แแ แแแแแก แแแแแชแแแแแ, แ แแแแ แช แฌแแกแ, แแแแแฎแแแ แแแแแแแแ, แจแแแแแแแ แแแแฃแจแแแแแแกแแแแก แฅแแแแ แแแแแแแก แกแแกแขแแแแแแก แแแแ - แแ แแฌแแ แแแแ แแแคแฃแซแแแแฃแแ แคแแ แแแขแ แฃแคแ แ แแคแแฅแขแฃแ แแ แแ แจแแแแฎแแแแแจแ.
- แฅแแแแแ แแแงแแแแแ แกแแกแขแแแแแก แจแแฃแซแแแแ แแแ แขแแแแ แแแแแฆแแ แกแฅแแแแแแก แชแฎแ แแแแแ แคแแแแแแแแแ - แแ แแ แแก แกแแญแแ แ แกแฅแแแแแแก แชแแแแ แจแแแแฎแแ แแแ แ แแแขแ แกแแชแแแจแ.
- แแ แแแแแแแฃแ แ แกแฅแแแแก แแแแแกแแแแ แ แชแแแแแแแ แแแแแแแ แแฃแจแแแแแแ (แกแฅแแแแก แแแแแฃแชแแ).
แแแ แแแขแแก แคแแแแแก แคแแ แแแขแ
แแแ แแแขแ แแ แแก แฆแแ แแแแแก แคแแแแแก แคแแ แแแขแ Hadoop-แแกแแแแก, แ แแแแแแช แแแแฎแแแก แฌแงแแแแแ แแแแแชแแแแ แกแขแ แฃแฅแขแฃแ แแแ แแ แขแงแแ แกแแแขแฃแ แคแแ แแแขแจแ.
แขแ แแแแชแแฃแแ แ แแแแก แแแแแแแแกแแแ แจแแแแ แแแแ, แแแ แแแขแ แฃแคแ แ แแคแแฅแขแฃแ แแ แจแแแแฎแแแกแ แแ แจแแกแ แฃแแแแแก แแแแแกแแแ แแกแแ.
แแก แแแแกแแแฃแแ แแแแ แกแแกแแ แแแแแแ แแ แแแแฎแแแแแแแกแแแแก, แ แแแแแแแช แแแแฎแฃแแแแแ แแแแแ แแขแฃแ แกแแแขแแแก แคแแ แแ (แแแแ แ แกแแแขแแก) แชแฎแ แแแแแแ. แคแแแแแก แคแแ แแแขแแก แฌแงแแแแแแ แแแแแฎแแแ แแฎแแแแ แกแแญแแ แ แกแแแขแแแ, แแแแขแแ I/O แแแแแแฃแแแแแแ แแแงแแแแแแ.
แแชแแ แ แแแแแฎแแแแ แแ แแฎแกแแ: Hadoop-แจแ Parquet แคแแแแแก แคแแ แแแขแแก แฃแแแ แแแกแแแแแแ, แแแแฎแแ, แ แ แแ แแก แกแแแขแแ แแแคแฃแซแแแแฃแแ - แแแฃ แกแแแขแฃแ แ - แคแแ แแแขแ. แแก แคแแ แแแขแ แแแแฎแแแก แแกแแแแก แแแแจแแแแแแแแแก แแแแแแฃแแ แกแแแขแแกแแแแก แแ แแแ.
ID
แกแแฎแแแ
แแแแงแแคแแแแแ
1
แแแ 1
d1
2
แแแ 2
d2
3
แแแ 3
d3
แกแแแแแแแแ แคแแ แแแขแจแ แแแแแชแแแแแ แจแแแแแฎแแแ แจแแแแแแแแแ แแ:
1
แแแ 1
d1
2
แแแ 2
d2
3
แแแ 3
d3
แคแแแแแก แกแแแขแแก แคแแ แแแขแจแ, แแแแแ แแแแแชแแแแแ แจแแแแแฎแแแ แจแแแแแแแแแ แแ:
1
2
3
แแแ 1
แแแ 2
แแแ 3
d1
d2
d3
แกแแแขแแแแแ แคแแ แแแขแ แฃแคแ แ แแคแแฅแขแฃแ แแ, แ แแแแกแแช แชแฎแ แแแแแแ แ แแแแแแแแ แกแแแขแแก แแแแฎแแแแ แแญแแ แแแแแ. แแก แฌแแแแแแฎแแแก แแฎแแแแ แกแแญแแ แ แกแแแขแแแก, แ แแแแแ แแกแแแ แแแแแแแแ แแ. แแ แแแแ, I/O แแแแ แแชแแแแ แแแแแแฃแแแแแแ แแแงแแแแแแ.
แแแแแแแแแ, แกแแญแแ แแ แแฎแแแแ NAME แกแแแขแ. IN
แแแ แแแแ, แกแแแขแแแแแ แคแแ แแแขแ แแฃแแฏแแแแกแแแก แจแแแแแฎแแแก แจแแกแ แฃแแแแแก, แ แแแแแ แแก แแแแแฎแแแก แแแแแแ แกแแซแแแแ แแ แแก แกแแญแแ แ แกแแแขแแแแแแ แแแกแแกแแแแแแ แแ แแแชแแ แแแก I/O แแแแ แแชแแแแแก แ แแแแแแแแแก, แ แแแแแ แแฎแแแแ แกแแกแฃแ แแแแ แกแแแขแแแ แแแแแฎแแแ.
แแ แ-แแ แแ แฃแแแแแแฃแ แ แแแแกแแแ
Hadoop-แจแ แแแ แแแขแแก แคแแแแแก แคแแ แแแขแแก แแแกแแแแแแ, แแฅแแแ แฃแแแ แแชแแแแ แจแแแแแแ แขแแ แแแแแแ:
- แกแแแแแแก แฏแแฃแคแ (แแฌแแ แแแแก แฏแแฃแคแ): แแแแแชแแแแ แแแแแแฃแ แ แฐแแ แแแแแขแแแฃแ แ แแแงแแคแ แ แแแแแแ. แแฌแแ แแแแก แฏแแฃแคแ แจแแแแแแ แแแแแชแแแแ แแแแ แแแแก แแแแแแฃแแ แกแแแขแแก แคแ แแแแแแขแแกแแแ.
- แกแแแขแแก แคแ แแแแแแขแ (แกแแแขแแก แแแฌแแแ): แแแแแ แแขแฃแแ แกแแแขแแก แคแ แแแแแแขแ. แกแแแขแแก แแก แคแ แแแแแแขแแแ แชแฎแแแ แแแแ แแฌแแ แแแแแแก แแแแแ แแขแฃแ แฏแแฃแคแจแ แแ แแแ แแแขแแ แแแฃแแแ, แ แแ แแกแแแ แแแแแแแแ แแ แแ แแแ แคแแแแจแ.
- แแแแ แแ (แแแแ แแ): แกแแแขแแก แคแ แแแแแแขแแแ แแงแแคแ แแ แแแแแแแแก แแแงแแแแแแ แแแฌแแ แแ แแแแ แแแแแ. แแแแ แแแแก แแฅแแ แกแแแ แแ แกแแแแฃแ แ, แแกแ แ แแ แแฅแแแ แจแแแแซแแแแ แแแแแขแแแแ แแ แแกแแญแแ แ แแแแฎแแแกแแก.
แแฅ แกแแแแฃแ แ แจแแแชแแแก แแฎแแแแ แฏแแแแกแแฃแ แ แแชแฎแแก PAR1 (4 แแแแขแ), แ แแแแแแช แแแแกแแแฆแแ แแแก แคแแแแก, แ แแแแ แช แแแ แแแขแแก แคแแแแก.
แแแแแจแ แแแแฅแแแแแ แจแแแแแแ:
- แคแแแแแก แแแขแแแแแแชแแแแแ, แ แแแแแแแช แจแแแชแแแก แแแแแแฃแแ แกแแแขแแก แแแขแแแแแแชแแแแแแก แกแแฌแงแแก แแแแ แแแแแขแแแก. แฌแแแแแฎแแแกแแก แฏแแ แฃแแแ แฌแแแแแแฎแแ แคแแแแแก แแแขแแแแแแชแแแแแ, แ แแแ แแแแแแ แงแแแแ แกแแแแขแแ แแกแ แกแแแขแแก แคแ แแแแแแขแ. แจแแแแแ แกแแแขแแแแก แแแฌแแแแแ แแแแแแแแแแ แฃแแแ แฃแแแ แฌแแแแแแฎแแ. แกแฎแแ แแแขแแแแแแชแแแแแ แแแแชแแแก แคแแ แแแขแแก แแแ แกแแแก, แกแฅแแแแก แแ แแแแแกแแแแ แแแแแขแแแแ แแแกแแฆแแแ-แแแแจแแแแแแแแก แฌแงแแแแแแก.
- แแแขแแแแแแชแแแแแแก แกแแแ แซแ (4 แแแแขแ).
- แฏแแแแกแแฃแ แ แแแแแ แ PAR1 (4 แแแแขแ).
ORC แคแแแแแก แคแแ แแแขแ
แแฌแแ แแแ-แกแแแขแแก แคแแแแแก แแแขแแแแแแแฃแแ แคแแ แแแขแ (แแแขแแแแแแแฃแแ แแฌแแ แแแแก แกแแแขแ,
ORC แคแแ แแแขแแก แฃแแแ แแขแแกแแแแแ:
- แแ แแ แคแแแแ แแ แแก แแแแแแฃแแ แแแแชแแแแก แแแแแแแแแแ, แ แแแแแแช แแแชแแ แแแก แแแขแแแ แแแแก NameNode-แแ (แกแแฎแแแแก แแแแแซแแ).
- Hive แแแแแชแแแแ แขแแแแแแก แแฎแแ แแแญแแ แ, แแแ แจแแ แแก DateTime, แแแแแแแ แแ แ แแฃแแ แแแแแชแแแแ แขแแแแแ (แกแขแ แฃแฅแขแฃแ แ, แกแแ, แ แฃแแ แแ แแแแจแแ แ).
- แแ แแ แแ แแแแแ แคแแแแแก แแ แแแ แแฃแแ แแแแฎแแ แกแฎแแแแแกแฎแแ RecordReader แแ แแชแแกแแแแ.
- แคแแแแแแแก แแแงแแคแแก แจแแกแแซแแแแแแแ แแแ แแแ แแแแก แกแแแแแ แแแแก แแแ แแจแ.
- แแ แแแแก แแแฎแกแแแ แแแแก แแแฅแกแแแแแฃแ แ แจแแกแแซแแ แแแแแฌแแแแแแก แจแแคแแกแแแ แฌแแแแแฎแแแก/แฉแแฌแแ แแก แแ แแชแแกแแแแกแแแแก, แคแแแแแก แฅแแแแ แแแแแแขแแขแฃแแ แแแคแแ แแแชแแแก แกแแคแฃแซแแแแแ.
- แแแขแแแแแแชแแแแแ แแแแฎแแแ Protocol Buffers-แแก แแ แแแแแ แกแแ แแแแแแแชแแแก แคแแ แแแขแจแ, แ แแแแแแช แกแแจแฃแแแแแแก แแซแแแแก แแแแแแก แแแแแแขแแก แแ แฌแแจแแแแก.
ORC แแแแฎแแแก แกแขแ แแฅแแแแแแก แแแแแฅแชแแแแก แแ แ แคแแแแจแ, แฎแแแ แแแแแฅแชแแแก แจแแแแแ, แกแขแ แแฅแแแแแแก แแแแแชแแแแแ แแแแฎแแแ แกแแแขแแก แคแแ แแแขแจแ.
ORC แคแแแแ แแแแฎแแแก แฎแแแแแแก แฏแแฃแคแแแก, แ แแแแแกแแช แแฌแแแแแ แแแแแแ แแ แแแแฎแแแ แ แแแคแแ แแแชแแ แคแแแแแก แฅแแแแ แแแฌแแแจแ. แคแแแแแก แแแแแก Postscript แจแแแชแแแก แจแแแฃแแจแแแก แแแ แแแแขแ แแแก แแ แจแแแฃแแจแฃแแ แฅแแแแ แแแแแแขแแขแฃแแแก แแแแแก.
แแแแฃแแแกแฎแแแแ แแแแแก แแแแแ 250 แแ. แแกแแแ แแแแ แแแแแแแก แแแแ HDFS-แแแ แแแแฎแแ แฃแคแ แ แแคแแฅแขแฃแ แแ แฎแแแแ: แแแ แแแแแฏแแแแ แแแแแแแจแ.
แคแแแแแก แฅแแแแ แแแแแแขแแขแฃแแ แฉแแแฌแแ แก แคแแแแจแ แแ แกแแแฃแแ แฎแแแแแแก แกแแแก, แกแขแ แแฅแแแแแแก แ แแแแแแแแแก แแแแ แแแแแ แแ แแแแแแฃแแ แกแแแขแแก แแแแแชแแแแ แขแแแก. แแฅ แแกแแแ แแฌแแ แแแ แแแแแแฃแแ แกแแแขแแก แแแแแแแก, min, max แแ แฏแแแแก แจแแแแแแ แแแฆแแแฃแแ แแแแจแแแแแแแ.
แแแแแก แฅแแแแ แแแแแแขแแขแฃแแ แจแแแชแแแก แแแแแแแก แแแแแแ แแแแแก แแแ แแฅแขแแ แแแก.
แแฌแแ แแแแก แแแแแชแแแแแ แแแแแแงแแแแแ แชแฎแ แแแแแแก แกแแแแแ แแแแกแแก.
แแแแแฅแกแแก แแแแแชแแแแแ แแแแชแแแก แแแแแแแแฃแ แแ แแแฅแกแแแแแฃแ แแแแจแแแแแแแแแก แแแแแแฃแแ แกแแแขแแกแแแแก แแ แ แแแแแแก แแแแแชแแแก แแแแแแฃแ แกแแแขแจแ. ORC แแแแแฅแกแแแ แแแแแแงแแแแแ แแฎแแแแ แแแแแแแกแ แแ แแฌแแ แแแแแแก แฏแแฃแคแแแแก แจแแกแแ แฉแแแแ แแ แแ แ แจแแแแแฎแแแแแ แแแกแฃแฎแแก แแแกแแชแแแแ.
แกแฎแแแแแกแฎแแ แคแแแแแก แคแแ แแแขแแก แจแแแแ แแแ
แแแ แ แแแ แแแขแแแ แจแแแแ แแแแ
- Avro แแ แแก แแฌแแ แแแแก แจแแแแฎแแแก แคแแ แแแขแ, แฎแแแ แแแ แแแขแ แแแแฎแแแก แแแแแชแแแแแก แกแแแขแแแจแ.
- แแแ แแแขแ แฃแแแแแกแแ แจแแแคแแ แแแ แแแแแแขแแแฃแ แจแแแแแฎแแแแก, แ แแช แแแแก แแแจแแแแก, แ แแ แฌแแแแแฎแแแก แแแแ แแชแแแแ แแ แแแแฎแแแแแก แแแแแชแแแแแ แแแแ แแ แฃแคแ แ แแคแแฅแขแฃแ แแ, แแแแ แ แฉแแฌแแ แ.
- Avro-แจแ แฉแแฌแแ แแก แแแแ แแชแแแแ แฃแคแ แ แแคแแฅแขแฃแ แแ แกแ แฃแแแแแ, แแแแ แ แแแ แแแขแจแ.
- แแแ แ แฃแคแ แ แแแแฌแแคแแแฃแแแ แแฅแชแแแ แฌแ แแฃแแ แแแแแฃแชแแแก. แแแ แแแขแ แแฎแแ แก แฃแญแแ แก แแฎแแแแ แกแฅแแแแก แแแแแขแแแแก, แฎแแแ Avro แแฎแแ แก แฃแญแแ แก แแ แแแแแคแฃแแฅแชแแฃแ แแแแแฃแชแแแก, แแแฃ แกแแแขแแแแก แแแแแขแแแแก แแ แจแแชแแแแก.
- แแแ แแแขแ แแแแแแฃแ แแ แกแแแขแแแแก แฅแแแฏแแฃแคแแก แแแแฎแแแแแกแแแแก แแ แแแแแกแแแขแแแ แชแฎแ แแแจแ. Avro แจแแกแแคแแ แแกแแ ETL แแแแ แแชแแแแแกแแแแก, แกแแแแช แฉแแแ แแแแแฎแฃแแแแ แงแแแแ แกแแแขแก.
ORC vs แแแ แแแขแ
- แแแ แแแขแ แฃแแแ แแแแฎแแแก แฉแแแแแฃแ แแแแแชแแแแแก.
- ORC แฃแแแแแกแแ แจแแแคแแ แแแ แแ แแแแแแขแแก แแแฌแแแแก.
- ORC แแฎแแ แก แฃแญแแ แก ACID แแแแกแแแแแก.
- ORC แฃแแแ แจแแแฃแแจแแแก แแแแแชแแแแแก.
แแแแแ แ แ แฌแแแแแแแฎแแ แแแแแแ:
แแแแ แแแแแชแแแแ แแแแแแแ แฆแ แฃแแแแจแ: แ แแแแ แจแแแซแแแแ แแแแแแแแ แแแฎแแแก แแแแแชแแแแแแ แแ แแแแขแแ แแแฃแแ .แแแแแแแแแแ แแแแแแแแแแ แแแแแชแแแแ แแแแแก แกแฅแแแแแแกแแแแก .แฉแแแแ แขแแแแแ แแแแก แแ แฎแ แชแแคแ แฃแแ แขแ แแแกแคแแ แแแชแแแก แจแแกแแฎแแ .
แฌแงแแ แ: www.habr.com