ΠŸΡ€Π°ΠΊΡ‚ΠΈΡ‡Π΅ΡΠΊΠΎΠ΅ ΠΏΡ€ΠΈΠΌΠ΅Π½Π΅Π½ΠΈΠ΅ Spark schemaEvolution

Π£Π²Π°ΠΆΠ°Π΅ΠΌΠΈ Ρ‡ΠΈΡ‚Π°Ρ‚Π΅Π»ΠΈ, Π΄ΠΎΠ±ΡŠΡ€ Π΄Π΅Π½!

Π’ настоящата статия водСщият консултант Π² бизнСс Π½Π°ΠΏΡ€Π°Π²Π»Π΅Π½ΠΈΠ΅ Big Data Solutions Π½Π° компания β€žΠΠ΅ΠΎΡ„Π»Π΅ΠΊΡβ€œ ΠΏΠΎΠ΄Ρ€ΠΎΠ±Π½ΠΎ описва Π²Π°Ρ€ΠΈΠ°Π½Ρ‚ΠΈΡ‚Π΅ Π·Π° ΠΈΠ·Π³Ρ€Π°ΠΆΠ΄Π°Π½Π΅ Π½Π° Π²ΠΈΡ‚Ρ€ΠΈΠ½ΠΈ с ΠΏΡ€ΠΎΠΌΠ΅Π½Π»ΠΈΠ²Π° структура, ΠΈΠ·ΠΏΠΎΠ»Π·Π²Π°ΠΉΠΊΠΈ Apache Spark.

Π’ Ρ€Π°ΠΌΠΊΠΈΡ‚Π΅ Π½Π° ΠΏΡ€ΠΎΠ΅ΠΊΡ‚Π° Π·Π° Π°Π½Π°Π»ΠΈΠ· Π½Π° Π΄Π°Π½Π½ΠΈ чСсто възниква Π·Π°Π΄Π°Ρ‡Π°Ρ‚Π° Π·Π° ΠΈΠ·Π³Ρ€Π°ΠΆΠ΄Π°Π½Π΅ Π½Π° Π²ΠΈΡ‚Ρ€ΠΈΠ½ΠΈ Π½Π° основата Π½Π° слабо структурирани Π΄Π°Π½Π½ΠΈ.

ОбикновСно Ρ‚ΠΎΠ²Π° са Π»ΠΎΠ³ΠΎΠ²Π΅ ΠΈΠ»ΠΈ ΠΎΡ‚Π³ΠΎΠ²ΠΎΡ€ΠΈ ΠΎΡ‚ Ρ€Π°Π·Π»ΠΈΡ‡Π½ΠΈ систСми, Π·Π°ΠΏΠ°Π·Π²Π°Π½ΠΈ във Ρ„ΠΎΡ€ΠΌΠ°Ρ‚ JSON ΠΈΠ»ΠΈ XML. Π”Π°Π½Π½ΠΈΡ‚Π΅ сС изнасят Π² Hadoop, слСд ΠΊΠΎΠ΅Ρ‚ΠΎ ΠΎΡ‚ тях трябва Π΄Π° сС изградят Π²ΠΈΡ‚Ρ€ΠΈΠ½ΠΈ. МоТСм Π΄Π° ΠΎΡ€Π³Π°Π½ΠΈΠ·ΠΈΡ€Π°ΠΌΠ΅ Π΄ΠΎΡΡ‚ΡŠΠΏ Π΄ΠΎ ΡΡŠΠ·Π΄Π°Π΄Π΅Π½Π°Ρ‚Π° Π²ΠΈΡ‚Ρ€ΠΈΠ½Π°, Π½Π°ΠΏΡ€ΠΈΠΌΠ΅Ρ€, Ρ‡Ρ€Π΅Π· Impala.

Π’ Ρ‚ΠΎΠ·ΠΈ случай схСмата Π½Π° Ρ†Π΅Π»Π΅Π²Π°Ρ‚Π° Π²ΠΈΡ‚Ρ€ΠΈΠ½Π° ΠΏΡ€Π΅Π΄Π²Π°Ρ€ΠΈΡ‚Π΅Π»Π½ΠΎ Π½Π΅ Π΅ извСстна. ОсвСн Ρ‚ΠΎΠ²Π°, схСмата Π½Π΅ ΠΌΠΎΠΆΠ΅ Π΄Π° бъдС ΡΡŠΡΡ‚Π°Π²Π΅Π½Π° ΠΏΡ€Π΅Π΄Π²Π°Ρ€ΠΈΡ‚Π΅Π»Π½ΠΎ, Ρ‚ΡŠΠΉ ΠΊΠ°Ρ‚ΠΎ зависи ΠΎΡ‚ Π΄Π°Π½Π½ΠΈΡ‚Π΅, Π° Π½ΠΈΠ΅ сС справямС със самитС слабо структурирани Π΄Π°Π½Π½ΠΈ.

НапримСр, днСс Π΅ рСгистриран Ρ‚Π°ΠΊΡŠΠ² ΠΎΡ‚Π³ΠΎΠ²ΠΎΡ€:

{source: "app1", error_code: ""}

Π° ΡƒΡ‚Ρ€Π΅ ΠΎΡ‚ Ρ‚Π°Π·ΠΈ ΡΡŠΡ‰Π° систСма ΠΈΠ΄Π²Π° Ρ‚Π°ΠΊΡŠΠ² ΠΎΡ‚Π³ΠΎΠ²ΠΎΡ€:

{source: "app1", error_code: "error", description: "Network error"}

Π’ Ρ€Π΅Π·ΡƒΠ»Ρ‚Π°Ρ‚ Π½Π° Ρ‚ΠΎΠ²Π° Π² Π²ΠΈΡ‚Ρ€ΠΈΠ½Π°Ρ‚Π° трябва Π΄Π° сС Π΄ΠΎΠ±Π°Π²ΠΈ ΠΎΡ‰Π΅ Π΅Π΄Π½ΠΎ ΠΏΠΎΠ»Π΅ β€” description, ΠΈ Π΄Π°Π»ΠΈ Ρ‰Π΅ Π΄ΠΎΠΉΠ΄Π΅ ΠΈΠ»ΠΈ Π½Π΅, Π½ΠΈΠΊΠΎΠΉ Π½Π΅ Π·Π½Π°Π΅.

Π—Π°Π΄Π°Ρ‡Π°Ρ‚Π° Π·Π° създаванС Π½Π° Π²ΠΈΡ‚Ρ€ΠΈΠ½Π° с Ρ‚Π°ΠΊΠΈΠ²Π° Π΄Π°Π½Π½ΠΈ Π΅ доста стандартна ΠΈ Spark Ρ€Π°Π·ΠΏΠΎΠ»Π°Π³Π° с Ρ€Π΅Π΄ΠΈΡ†Π° инструмСнти Π·Π° Ρ‚ΠΎΠ²Π°. Π—Π° парсиранС Π½Π° ΠΈΠ·Ρ…ΠΎΠ΄Π½ΠΈ Π΄Π°Π½Π½ΠΈ ΠΈΠΌΠ° ΠΏΠΎΠ΄Π΄Ρ€ΡŠΠΆΠΊΠ° ΠΈ Π·Π° JSON, ΠΈ Π·Π° XML, Π° Π·Π° нСизвСстна ΠΏΡ€Π΅Π΄Π²Π°Ρ€ΠΈΡ‚Π΅Π»Π½ΠΎ схСма Π΅ ΠΏΡ€Π΅Π΄Π²ΠΈΠ΄Π΅Π½Π° ΠΏΠΎΠ΄Π΄Ρ€ΡŠΠΆΠΊΠ° schemaEvolution.

ΠžΡ‚ ΠΏΡ€ΡŠΠ² ΠΏΠΎΠ³Π»Π΅Π΄ Ρ€Π΅ΡˆΠ΅Π½ΠΈΠ΅Ρ‚ΠΎ ΠΈΠ·Π³Π»Π΅ΠΆΠ΄Π° просто. Врябва Π΄Π° Π²Π·Π΅ΠΌΠ΅ΠΌ ΠΏΠ°ΠΏΠΊΠ° с JSON ΠΈ Π΄Π° я ΠΏΡ€ΠΎΡ‡Π΅Ρ‚Π΅ΠΌ Π² dataframe. Spark Ρ‰Π΅ създадС схСма, Π° Π²Π»ΠΎΠΆΠ΅Π½ΠΈΡ‚Π΅ Π΄Π°Π½Π½ΠΈ Ρ‰Π΅ Π±ΡŠΠ΄Π°Ρ‚ ΠΏΡ€Π΅ΠΎΠ±Ρ€Π°Π·ΡƒΠ²Π°Π½ΠΈ Π² структури. Π‘Π»Π΅Π΄ Ρ‚ΠΎΠ²Π° всичко трябва Π΄Π° сС Π·Π°ΠΏΠ°Π·ΠΈ Π² parquet, ΠΊΠΎΠΉΡ‚ΠΎ Π²ΠΊΠ»ΡŽΡ‡ΠΈΡ‚Π΅Π»Π½ΠΎ сС ΠΏΠΎΠ΄Π΄ΡŠΡ€ΠΆΠ° ΠΈ Π² Impala, рСгистрирайки Π²ΠΈΡ‚Ρ€ΠΈΠ½Π°Ρ‚Π° Π² Hive metastore.

На ΠΏΡ€ΡŠΠ² ΠΏΠΎΠ³Π»Π΅Π΄ ΠΈΠ·Π³Π»Π΅ΠΆΠ΄Π° просто.

Π’ΡŠΠΏΡ€Π΅ΠΊΠΈ Ρ‚ΠΎΠ²Π°, ΠΎΡ‚ ΠΊΡ€Π°Ρ‚ΠΊΠΈΡ‚Π΅ ΠΏΡ€ΠΈΠΌΠ΅Ρ€ΠΈ Π² докумСнтацията Π½Π΅ Π΅ ясно ΠΊΠ°ΠΊΠ²ΠΎ Π΄Π° сС ΠΏΡ€Π°Π²ΠΈ с Ρ€Π΅Π΄ΠΈΡ†Π° ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌΠΈ Π½Π° ΠΏΡ€Π°ΠΊΡ‚ΠΈΠΊΠ°.

Π’ докумСнтацията сС описва ΠΏΠΎΠ΄Ρ…ΠΎΠ΄, ΠΊΠΎΠΉΡ‚ΠΎ Π½Π΅ Π΅ Π·Π° създаванС Π½Π° Π²ΠΈΡ‚Ρ€ΠΈΠ½Π°, Π° Π·Π° Ρ‡Π΅Ρ‚Π΅Π½Π΅ Π½Π° JSON ΠΈΠ»ΠΈ XML Π² dataframe.

А ΠΈΠΌΠ΅Π½Π½ΠΎ, просто сС посочва ΠΊΠ°ΠΊ Π΄Π° сС ΠΏΡ€ΠΎΡ‡Π΅Ρ‚Π΅ ΠΈ разпарсира JSON:

df = spark.read.json(path...)

Π’ΠΎΠ²Π° Π΅ Π΄ΠΎΡΡ‚Π°Ρ‚ΡŠΡ‡Π½ΠΎ, Π·Π° Π΄Π° Π½Π°ΠΏΡ€Π°Π²ΠΈ Π΄Π°Π½Π½ΠΈΡ‚Π΅ Π΄ΠΎΡΡ‚ΡŠΠΏΠ½ΠΈ Π·Π° Spark.

На ΠΏΡ€Π°ΠΊΡ‚ΠΈΠΊΠ° сцСнарият Π΅ ΠΌΠ½ΠΎΠ³ΠΎ ΠΏΠΎ-слоТСн, ΠΎΡ‚ΠΊΠΎΠ»ΠΊΠΎΡ‚ΠΎ просто Π΄Π° сС ΠΏΡ€ΠΎΡ‡Π΅Ρ‚Π°Ρ‚ JSON Ρ„Π°ΠΉΠ»ΠΎΠ²Π΅ ΠΎΡ‚ ΠΏΠ°ΠΏΠΊΠ° ΠΈ Π΄Π° сС създадС dataframe. Битуацията ΠΈΠ·Π³Π»Π΅ΠΆΠ΄Π° Ρ‚Π°ΠΊΠ°: Π²Π΅Ρ‡Π΅ ΠΈΠΌΠ° ΠΎΠΏΡ€Π΅Π΄Π΅Π»Π΅Π½Π° Π²ΠΈΡ‚Ρ€ΠΈΠ½Π°, всСки Π΄Π΅Π½ ΠΈΠ΄Π²Π°Ρ‚ Π½ΠΎΠ²ΠΈ Π΄Π°Π½Π½ΠΈ, ΠΊΠΎΠΈΡ‚ΠΎ трябва Π΄Π° сС добавят Π² Π²ΠΈΡ‚Ρ€ΠΈΠ½Π°Ρ‚Π°, Π±Π΅Π· Π΄Π° забравямС, Ρ‡Π΅ схСмата ΠΌΠΎΠΆΠ΅ Π΄Π° сС Ρ€Π°Π·Π»ΠΈΡ‡Π°Π²Π°.

ΠžΠ±ΠΈΠΊΠ½ΠΎΠ²Π΅Π½Π°Ρ‚Π° схСма Π·Π° ΠΈΠ·Π³Ρ€Π°ΠΆΠ΄Π°Π½Π΅ Π½Π° Π²ΠΈΡ‚Ρ€ΠΈΠ½Π° ΠΈΠ·Π³Π»Π΅ΠΆΠ΄Π° Ρ‚Π°ΠΊΠ°:

Π‘Ρ‚ΡŠΠΏΠΊΠ° 1. Π”Π°Π½Π½ΠΈΡ‚Π΅ сС Π·Π°Ρ€Π΅ΠΆΠ΄Π°Ρ‚ Π² Hadoop с послСдващо Π΅ΠΆΠ΅Π΄Π½Π΅Π²Π½ΠΎ обновяванС ΠΈ сС складират Π² Π½ΠΎΠ²Π° партиция. ΠŸΠΎΠ»ΡƒΡ‡Π°Π²Π° сС ΠΏΠ°Ρ€Ρ‚ΠΈΡ†ΠΈΠΎΠ½ΠΈΡ€Π°Π½Π° ΠΏΠΎ Π΄Π½ΠΈ ΠΏΠ°ΠΏΠΊΠ° с ΠΈΠ·Ρ…ΠΎΠ΄Π½ΠΈ Π΄Π°Π½Π½ΠΈ.

Π‘Ρ‚ΡŠΠΏΠΊΠ° 2. По Π²Ρ€Π΅ΠΌΠ΅ Π½Π° ΠΈΠ½ΠΈΡ†ΠΈΠ°Π»ΠΈΠ·ΠΈΡ€Π°Ρ‰ΠΎΡ‚ΠΎ Π·Π°Ρ€Π΅ΠΆΠ΄Π°Π½Π΅ Ρ‚Π°Π·ΠΈ ΠΏΠ°ΠΏΠΊΠ° сС Ρ‡Π΅Ρ‚Π΅ ΠΈ парсира с ΠΏΠΎΠΌΠΎΡ‰Ρ‚Π° Π½Π° Spark. ΠŸΠΎΠ»ΡƒΡ‡Π΅Π½ΠΈΡΡ‚ dataframe сС Π·Π°ΠΏΠ°Π·Π²Π° Π² Ρ„ΠΎΡ€ΠΌΠ°Ρ‚, Π΄ΠΎΡΡ‚ΡŠΠΏΠ΅Π½ Π·Π° Π°Π½Π°Π»ΠΈΠ·, Π½Π°ΠΏΡ€ΠΈΠΌΠ΅Ρ€ Π² parquet, ΠΊΠΎΠΉΡ‚ΠΎ слСд Ρ‚ΠΎΠ²Π° ΠΌΠΎΠΆΠ΅ Π΄Π° сС ΠΈΠΌΠΏΠΎΡ€Ρ‚ΠΈΡ€Π° Π² Impala. Π’Π°ΠΊΠ° сС създава Ρ†Π΅Π»Π΅Π²Π° Π²ΠΈΡ‚Ρ€ΠΈΠ½Π° с всички Π΄Π°Π½Π½ΠΈ, Π½Π°Ρ‚Ρ€ΡƒΠΏΠ°Π½ΠΈ Π΄ΠΎ Ρ‚ΠΎΠ·ΠΈ ΠΌΠΎΠΌΠ΅Π½Ρ‚.

Π‘Ρ‚ΡŠΠΏΠΊΠ° 3. Бъздава сС Π·Π°Ρ€Π΅ΠΆΠ΄Π°Π½Π΅, ΠΊΠΎΠ΅Ρ‚ΠΎ всСки Π΄Π΅Π½ Ρ‰Π΅ обновява Π²ΠΈΡ‚Ρ€ΠΈΠ½Π°Ρ‚Π°.
Появява сС Π²ΡŠΠΏΡ€ΠΎΡΡŠΡ‚ Π·Π° ΠΈΠ½ΠΊΡ€Π΅ΠΌΠ΅Π½Ρ‚Π°Π»Π½ΠΎΡ‚ΠΎ Π·Π°Ρ€Π΅ΠΆΠ΄Π°Π½Π΅, нСобходимостта ΠΎΡ‚ ΠΏΠ°Ρ€Ρ‚ΠΈΡ†ΠΈΠΎΠ½ΠΈΡ€Π°Π½Π΅ Π½Π° Π²ΠΈΡ‚Ρ€ΠΈΠ½Π°Ρ‚Π° ΠΈ Π²ΡŠΠΏΡ€ΠΎΡΡŠΡ‚ Π·Π° ΠΏΠΎΠ΄Π΄Ρ€ΡŠΠΆΠΊΠ°Ρ‚Π° Π½Π° ΠΎΠ±Ρ‰Π°Ρ‚Π° схСма Π½Π° Π²ΠΈΡ‚Ρ€ΠΈΠ½Π°Ρ‚Π°.

Π”Π° Π΄Π°Π΄Π΅ΠΌ ΠΏΡ€ΠΈΠΌΠ΅Ρ€. Π”Π° ΠΏΡ€Π΅Π΄ΠΏΠΎΠ»ΠΎΠΆΠΈΠΌ, Ρ‡Π΅ Π΅ Ρ€Π΅Π°Π»ΠΈΠ·ΠΈΡ€Π°Π½Π° ΠΏΡŠΡ€Π²Π°Ρ‚Π° ΡΡ‚ΡŠΠΏΠΊΠ° Π·Π° ΠΈΠ·Π³Ρ€Π°ΠΆΠ΄Π°Π½Π΅ Π½Π° Ρ…Ρ€Π°Π½ΠΈΠ»ΠΈΡ‰Π΅ ΠΈ Π΅ настроСна ΠΈΠ·Π²Π°ΠΆΠ΄Π°Π½Π΅Ρ‚ΠΎ Π½Π° JSON Ρ„Π°ΠΉΠ»ΠΎΠ²Π΅ Π² ΠΏΠ°ΠΏΠΊΠ°.

Π‘ΡŠΠ·Π΄Π°Π²Π°Π½Π΅Ρ‚ΠΎ Π½Π° dataframe ΠΎΡ‚ тях, Π·Π° Π΄Π° бъдС Π·Π°ΠΏΠ°Π·Π΅Π½ ΠΊΠ°Ρ‚ΠΎ Π²ΠΈΡ‚Ρ€ΠΈΠ½Π°, Π½Π΅ прСдставлява ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌ. Π’ΠΎΠ²Π° Π΅ ΠΈΠΌΠ΅Π½Π½ΠΎ ΠΏΡŠΡ€Π²Π°Ρ‚Π° ΡΡ‚ΡŠΠΏΠΊΠ°, която лСсно ΠΌΠΎΠΆΠ΅ Π΄Π° бъдС Π½Π°ΠΌΠ΅Ρ€Π΅Π½Π° Π² докумСнтацията Π½Π° Spark:

df = spark.read.option("mergeSchema", True).json(".../*")
df.printSchema()

root
|-- a: long (nullable = true)
|-- b: string (nullable = true)
|-- c: struct (nullable = true)
|-- d: long (nullable = true)

Всичко ΠΈΠ·Π³Π»Π΅ΠΆΠ΄Π° Π½Π°Ρ€Π΅Π΄.

ΠŸΡ€ΠΎΡ‡Π΅Ρ‚ΠΎΡ…ΠΌΠ΅ ΠΈ парснахмС JSON, слСд ΠΊΠΎΠ΅Ρ‚ΠΎ Π·Π°ΠΏΠ°Π·Π²Π°ΠΌΠ΅ dataframe ΠΊΠ°Ρ‚ΠΎ parquet, рСгистрирайки Π² Hive ΠΏΠΎ ΡƒΠ΄ΠΎΠ±Π΅Π½ Π½Π°Ρ‡ΠΈΠ½:

df.write.format(β€œparquet”).option('path','').saveAsTable('')

ΠŸΠΎΠ»ΡƒΡ‡Π°Π²Π°ΠΌΠ΅ Π²ΠΈΡ‚Ρ€ΠΈΠ½Π°.

Но Π½Π° слСдващия Π΄Π΅Π½ Π½ΠΎΠ²ΠΈ Π΄Π°Π½Π½ΠΈ са Π΄ΠΎΠ±Π°Π²Π΅Π½ΠΈ ΠΎΡ‚ ΠΈΠ·Ρ‚ΠΎΡ‡Π½ΠΈΠΊΠ°. ИмамС ΠΏΠ°ΠΏΠΊΠ° с JSON ΠΈ Π²ΠΈΡ‚Ρ€ΠΈΠ½Π°, създадСна Π½Π° Π±Π°Π·Π°Ρ‚Π° Π½Π° Ρ‚Π°Π·ΠΈ ΠΏΠ°ΠΏΠΊΠ°. Π‘Π»Π΅Π΄ Π·Π°Ρ€Π΅ΠΆΠ΄Π°Π½Π΅Ρ‚ΠΎ Π½Π° слСдващия ΠΏΠ°ΠΊΠ΅Ρ‚ Π΄Π°Π½Π½ΠΈ ΠΎΡ‚ ΠΈΠ·Ρ‚ΠΎΡ‡Π½ΠΈΠΊΠ°, Π²ΠΈΡ‚Ρ€ΠΈΠ½Π°Ρ‚Π° Π½Π΅ Ρ€Π°Π·ΠΏΠΎΠ»Π°Π³Π° с Π΄Π°Π½Π½ΠΈ Π·Π° Π΅Π΄ΠΈΠ½ Π΄Π΅Π½.

Π›ΠΎΠ³ΠΈΡ‡Π½ΠΎ Ρ€Π΅ΡˆΠ΅Π½ΠΈΠ΅ Π΅ Π΄Π° ΠΏΠ°Ρ€Ρ‚ΠΈΡ†ΠΈΠΎΠ½ΠΈΡ€Π°ΠΌΠ΅ Π²ΠΈΡ‚Ρ€ΠΈΠ½Π°Ρ‚Π° ΠΏΠΎ Π΄Π½ΠΈ, ΠΊΠΎΠ΅Ρ‚ΠΎ Ρ‰Π΅ ΠΏΠΎΠ·Π²ΠΎΠ»ΠΈ Π½Π° всСки слСдващ Π΄Π΅Π½ Π΄Π° добавя Π½ΠΎΠ²Π° партиция. Π’ΠΎΠ·ΠΈ ΠΌΠ΅Ρ…Π°Π½ΠΈΠ·ΡŠΠΌ ΡΡŠΡ‰ΠΎ Π΅ Π΄ΠΎΠ±Ρ€Π΅ ΠΏΠΎΠ·Π½Π°Ρ‚, Spark позволява записванСто Π½Π° ΠΏΠ°Ρ€Ρ‚ΠΈΡ†ΠΈΠΈ ΠΎΡ‚Π΄Π΅Π»Π½ΠΎ.

ΠŸΡŠΡ€Π²ΠΎ ΠΈΠ·Π²ΡŠΡ€ΡˆΠ²Π°ΠΌΠ΅ ΠΈΠ½ΠΈΡ†ΠΈΠ°Π»ΠΈΠ·ΠΈΡ€Π°Ρ‰ΠΎ Π·Π°Ρ€Π΅ΠΆΠ΄Π°Π½Π΅, Π·Π°ΠΏΠ°Π·Π²Π°ΠΉΠΊΠΈ Π΄Π°Π½Π½ΠΈΡ‚Π΅, ΠΊΠ°ΠΊΡ‚ΠΎ бСшС описано ΠΏΠΎ-Π³ΠΎΡ€Π΅, добавяйки само ΠΏΠ°Ρ€Ρ‚ΠΈΡ†ΠΈΠΎΠ½ΠΈΡ€Π°Π½Π΅Ρ‚ΠΎ. Π’ΠΎΠ²Π° дСйствиС сС Π½Π°Ρ€ΠΈΡ‡Π° инициализация Π½Π° Π²ΠΈΡ‚Ρ€ΠΈΠ½Π°Ρ‚Π° ΠΈ сС ΠΏΡ€Π°Π²ΠΈ само вСднъТ:

df.write.partitionBy("date_load").mode("overwrite").parquet(dbpath + "\/" + db + "\/" + destTable)

На слСдващия Π΄Π΅Π½ Π·Π°Ρ€Π΅ΠΆΠ΄Π°ΠΌΠ΅ само Π½ΠΎΠ²Π°Ρ‚Π° партиция:

df.coalesce(1).write.mode("overwrite").parquet(dbpath + "\/" + db + "\/" + destTable +"\/date_load=" + date_load + "\/" )

ΠžΡΡ‚Π°Π²Π° само Π΄Π° пСрСрСгистрирамС Π² Hive, Π·Π° Π΄Π° ΠΎΠ±Π½ΠΎΠ²ΠΈΠΌ схСмата.
Π’ΡŠΠΏΡ€Π΅ΠΊΠΈ Ρ‚ΠΎΠ²Π°, Ρ‚ΡƒΠΊ ΠΈ Π²ΡŠΠ·Π½ΠΈΠΊΠ²Π°Ρ‚ ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌΠΈ.

ΠŸΡ€ΠΎΠ±Π»Π΅ΠΌΠ° Π½ΠΎΠΌΠ΅Ρ€ Π΅Π΄Π½ΠΎ. Π Π°Π½ΠΎ ΠΈΠ»ΠΈ късно ΠΏΠΎΠ»ΡƒΡ‡Π΅Π½ΠΎΡ‚ΠΎ parquet няма Π΄Π° ΠΌΠΎΠΆΠ΅ Π΄Π° бъдС ΠΏΡ€ΠΎΡ‡Π΅Ρ‚Π΅Π½ΠΎ. Π’ΠΎΠ²Π° сС дълТи Π½Π° различния ΠΏΠΎΠ΄Ρ…ΠΎΠ΄ Π½Π° parquet ΠΈ JSON към ΠΏΡ€Π°Π·Π½ΠΈΡ‚Π΅ ΠΏΠΎΠ»Π΅Ρ‚Π°.

НСка Ρ€Π°Π·Π³Π»Π΅Π΄Π°ΠΌΠ΅ Ρ‚ΠΈΠΏΠΈΡ‡Π½Π° ситуация. НапримСр, Π²Ρ‡Π΅Ρ€Π° ΠΏΠΎΠ»ΡƒΡ‡Π°Π²Π°ΠΌΠ΅ JSON:

Π”Π΅Π½ 1: {"a": {"b": 1}},

Π° днСс ΡΡŠΡ‰ΠΈΡΡ‚ JSON ΠΈΠ·Π³Π»Π΅ΠΆΠ΄Π° Ρ‚Π°ΠΊΠ°:

Π”Π΅Π½ 2: {"a": null}

Π”Π° ΠΏΡ€Π΅Π΄ΠΏΠΎΠ»ΠΎΠΆΠΈΠΌ, Ρ‡Π΅ ΠΈΠΌΠ°ΠΌΠ΅ Π΄Π²Π΅ Ρ€Π°Π·Π»ΠΈΡ‡Π½ΠΈ ΠΏΠ°Ρ€Ρ‚ΠΈΡ†ΠΈΠΈ, Π² ΠΊΠΎΠΈΡ‚ΠΎ ΠΈΠΌΠ° ΠΏΠΎ Π΅Π΄ΠΈΠ½ Ρ€Π΅Π΄.
ΠšΠΎΠ³Π°Ρ‚ΠΎ Ρ‡Π΅Ρ‚Π΅ΠΌ ΠΈΠ·Ρ…ΠΎΠ΄Π½ΠΈΡ‚Π΅ Π΄Π°Π½Π½ΠΈ изцяло, Spark Ρ‰Π΅ успСС Π΄Π° ΠΎΠΏΡ€Π΅Π΄Π΅Π»ΠΈ Ρ‚ΠΈΠΏΠ° ΠΈ Ρ‰Π΅ Ρ€Π°Π·Π±Π΅Ρ€Π΅, Ρ‡Π΅ "a" Π΅ ΠΏΠΎΠ»Π΅ ΠΎΡ‚ Ρ‚ΠΈΠΏ "структура", с Π²Π»ΠΎΠΆΠ΅Π½ΠΎ ΠΏΠΎΠ»Π΅ "b" ΠΎΡ‚ Ρ‚ΠΈΠΏ INT. Но Π°ΠΊΠΎ всяка партиция Π΅ Π·Π°ΠΏΠ°Π·Π΅Π½Π° ΠΏΠΎΠΎΡ‚Π΄Π΅Π»Π½ΠΎ, Ρ‰Π΅ сС ΠΏΠΎΠ»ΡƒΡ‡ΠΈ parquet с Π½Π΅ΡΡŠΠ²ΠΌΠ΅ΡΡ‚ΠΈΠΌΠΈ схСми Π½Π° ΠΏΠ°Ρ€Ρ‚ΠΈΡ†ΠΈΠΈΡ‚Π΅:

df1 (a: <struct>)
df2 (a: STRING NULLABLE)

Π’Π°Π·ΠΈ ситуация Π΅ Π΄ΠΎΠ±Ρ€Π΅ извСстна, Π·Π°Ρ‚ΠΎΠ²Π° Π΅ Π΄ΠΎΠ±Π°Π²Π΅Π½Π° спСциална опция β€” ΠΏΡ€ΠΈ парсинг Π½Π° ΠΈΠ·Ρ…ΠΎΠ΄Π½ΠΈΡ‚Π΅ Π΄Π°Π½Π½ΠΈ Π΄Π° Π±ΡŠΠ΄Π°Ρ‚ ΠΏΡ€Π΅ΠΌΠ°Ρ…Π²Π°Π½ΠΈ ΠΏΡ€Π°Π·Π½ΠΈΡ‚Π΅ ΠΏΠΎΠ»Π΅Ρ‚Π°:

df = spark.read.json("...", dropFieldIfAllNull=True)

Π’ Ρ‚Π°ΠΊΡŠΠ² случай parquet Ρ‰Π΅ сС ΡΡŠΡΡ‚ΠΎΠΈ ΠΎΡ‚ ΠΏΠ°Ρ€Ρ‚ΠΈΡ†ΠΈΠΈ, ΠΊΠΎΠΈΡ‚ΠΎ ΠΌΠΎΠ³Π°Ρ‚ Π΄Π° Π±ΡŠΠ΄Π°Ρ‚ ΠΏΡ€ΠΎΡ‡Π΅Ρ‚Π΅Π½ΠΈ Π·Π°Π΅Π΄Π½ΠΎ.
Π’ΡŠΠΏΡ€Π΅ΠΊΠΈ Ρ‚ΠΎΠ²Π°, Ρ‚Π΅Π·ΠΈ, ΠΊΠΎΠΈΡ‚ΠΎ са Π³ΠΎ ΠΏΡ€Π°Π²ΠΈΠ»ΠΈ Π½Π° ΠΏΡ€Π°ΠΊΡ‚ΠΈΠΊΠ°, Ρ‰Π΅ сС усмихнат Π³ΠΎΡ€Ρ‡ΠΈΠ²ΠΎ. Π—Π°Ρ‰ΠΎ? Π—Π°Ρ‰ΠΎΡ‚ΠΎ вСроятно Ρ‰Π΅ Π²ΡŠΠ·Π½ΠΈΠΊΠ½Π°Ρ‚ ΠΎΡ‰Π΅ Π΄Π²Π΅ ситуации. Или Ρ‚Ρ€ΠΈ. Или Ρ‡Π΅Ρ‚ΠΈΡ€ΠΈ. ΠŸΡŠΡ€Π²Π°Ρ‚Π°, която ΠΏΠΎΡ‡Ρ‚ΠΈ сигурно Ρ‰Π΅ сС случи, Π΅, Ρ‡Π΅ числовитС Ρ‚ΠΈΠΏΠΎΠ²Π΅ Ρ‰Π΅ ΠΈΠ·Π³Π»Π΅ΠΆΠ΄Π°Ρ‚ Ρ€Π°Π·Π»ΠΈΡ‡Π½ΠΎ Π² Ρ€Π°Π·Π»ΠΈΡ‡Π½ΠΈΡ‚Π΅ JSON Ρ„Π°ΠΉΠ»ΠΎΠ²Π΅. НапримСр, {intField: 1} ΠΈ {intField: 1.1}. Ако Ρ‚Π°ΠΊΠΈΠ²Π° ΠΏΠΎΠ»Π΅Ρ‚Π° ΠΏΠΎΠΏΠ°Π΄Π½Π°Ρ‚ Π² Π΅Π΄Π½Π° партиция, ΠΌΠ΅Ρ€ΠΆ схСмата Ρ‰Π΅ Π³ΠΈ ΠΏΡ€ΠΎΡ‡Π΅Ρ‚Π΅ ΠΏΡ€Π°Π²ΠΈΠ»Π½ΠΎ, ΠΏΡ€ΠΈΠ²Π΅ΠΆΠ΄Π°ΠΉΠΊΠΈ към Π½Π°ΠΉ-точния Ρ‚ΠΈΠΏ. Но Π°ΠΊΠΎ са Π² Ρ€Π°Π·Π»ΠΈΡ‡Π½ΠΈ, Ρ‚ΠΎ Π² Π΅Π΄Π½Π° Ρ‰Π΅ ΠΈΠΌΠ° intField: int, Π° Π² Π΄Ρ€ΡƒΠ³Π° intField: double.

Π—Π° ΠΎΠ±Ρ€Π°Π±ΠΎΡ‚ΠΊΠ° Π½Π° Ρ‚Π°Π·ΠΈ ситуация ΠΈΠΌΠ° слСдния Ρ„Π»Π°Π³:

df = spark.read.json("...", dropFieldIfAllNull=True, primitivesAsString=True)

Π‘Π΅Π³Π° ΠΈΠΌΠ°ΠΌΠ΅ ΠΏΠ°ΠΏΠΊΠ°, Π² която сС Π½Π°ΠΌΠΈΡ€Π°Ρ‚ ΠΏΠ°Ρ€Ρ‚ΠΈΡ†ΠΈΠΈ, ΠΊΠΎΠΈΡ‚ΠΎ ΠΌΠΎΠ³Π°Ρ‚ Π΄Π° Π±ΡŠΠ΄Π°Ρ‚ ΠΏΡ€ΠΎΡ‡Π΅Ρ‚Π΅Π½ΠΈ Π² Π΅Π΄ΠΈΠ½Π΅Π½ dataframe ΠΈ Π²Π°Π»ΠΈΠ΄Π΅Π½ parquet Π½Π° цялата Π²ΠΈΡ‚Ρ€ΠΈΠ½Π°. Π”Π°? НС.

Врябва Π΄Π° си спомним, Ρ‡Π΅ рСгистрирахмС Ρ‚Π°Π±Π»ΠΈΡ†Π° Π² Hive. Hive Π½Π΅ Π΅ чувствитСлСн към Ρ€Π΅Π³ΠΈΡΡ‚ΡŠΡ€Π° Π² ΠΈΠΌΠ΅Π½Π°Ρ‚Π° Π½Π° ΠΏΠΎΠ»Π΅Ρ‚Π°Ρ‚Π°, Π° parquet Π΅ чувствитСлСн. Π—Π°Ρ‚ΠΎΠ²Π° ΠΏΠ°Ρ€Ρ‚ΠΈΡ†ΠΈΠΈ с схСми: field1: int, ΠΈ Field1: int Π·Π° Hive са ΠΎΠ΄ΠΈΠ½Π°ΠΊΠΎΠ²ΠΈ, Π½ΠΎ Π·Π° Spark Π½Π΅. Врябва Π΄Π° Π½Π΅ Π·Π°Π±Ρ€Π°Π²ΠΈΠΌ Π΄Π° ΠΏΡ€ΠΈΠ²Π΅Π΄Π΅ΠΌ ΠΈΠΌΠ΅Π½Π°Ρ‚Π° Π½Π° ΠΏΠΎΠ»Π΅Ρ‚Π°Ρ‚Π° Π² Π΄ΠΎΠ»Π΅Π½ Ρ€Π΅Π³ΠΈΡΡ‚ΡŠΡ€.

Π‘Π»Π΅Π΄ Ρ‚ΠΎΠ²Π°, ΠΈΠ·Π³Π»Π΅ΠΆΠ΄Π°, всичко Π΅ Π½Π°Ρ€Π΅Π΄.

Π’ΡŠΠΏΡ€Π΅ΠΊΠΈ Ρ‚ΠΎΠ²Π°, Π½Π΅ всичко Π΅ Ρ‚ΠΎΠ»ΠΊΠΎΠ²Π° просто. Π’ΡŠΠ·Π½ΠΈΠΊΠ²Π° вторият, ΡΡŠΡ‰ΠΎ Ρ‚Π°ΠΊΠ° Π΄ΠΎΠ±Ρ€Π΅ извСстСн ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌ. Въй ΠΊΠ°Ρ‚ΠΎ всяка Π½ΠΎΠ²Π° партиция сС Π·Π°ΠΏΠ°Π·Π²Π° ΠΎΡ‚Π΄Π΅Π»Π½ΠΎ, Π² ΠΏΠ°ΠΏΠΊΠ°Ρ‚Π° Π½Π° партицията Ρ‰Π΅ Π±ΡŠΠ΄Π°Ρ‚ настанСни слуТСбни Ρ„Π°ΠΉΠ»ΠΎΠ²Π΅ Π½Π° Spark, Π½Π°ΠΏΡ€ΠΈΠΌΠ΅Ρ€, Ρ„Π»Π°Π³ Π·Π° ΡƒΡΠΏΠ΅ΡˆΠ½ΠΎΡΡ‚ Π½Π° опСрацията _SUCCESS. Π’ΠΎΠ²Π° Ρ‰Π΅ Π΄ΠΎΠ²Π΅Π΄Π΅ Π΄ΠΎ Π³Ρ€Π΅ΡˆΠΊΠ° ΠΏΡ€ΠΈ ΠΎΠΏΠΈΡ‚ Π·Π° parquet. Π—Π° Π΄Π° ΠΈΠ·Π±Π΅Π³Π½Π΅ΠΌ Ρ‚ΠΎΠ²Π°, трябва Π΄Π° ΠΊΠΎΠ½Ρ„ΠΈΠ³ΡƒΡ€ΠΈΡ€Π°ΠΌΠ΅ настройкитС, забранявайки Π½Π° Spark Π΄Π° добавя слуТСбни Ρ„Π°ΠΉΠ»ΠΎΠ²Π΅ Π² ΠΏΠ°ΠΏΠΊΠ°Ρ‚Π°:

hadoopConf = sc._jsc.hadoopConfiguration()
hadoopConf.set("parquet.enable.summary-metadata", "false")
hadoopConf.set("mapreduce.fileoutputcommitter.marksuccessfuljobs", "false")

ИзглСТда, всСки Π΄Π΅Π½ Π² ΠΏΠ°ΠΏΠΊΠ°Ρ‚Π° Π½Π° Ρ†Π΅Π»Π΅Π²Π°Ρ‚Π° Π²ΠΈΡ‚Ρ€ΠΈΠ½Π° сС добавя Π½ΠΎΠ²Π° партиция parquet, Π² която сС ΡΡŠΡ…Ρ€Π°Π½ΡΠ²Π°Ρ‚ парсиранитС Π΄Π°Π½Π½ΠΈ Π·Π° дСня. НиС ΠΏΡ€Π΅Π΄Π²Π°Ρ€ΠΈΡ‚Π΅Π»Π½ΠΎ сС ΠΏΠΎΠ³Ρ€ΠΈΠΆΠΈΠΌ Π΄Π° няма ΠΏΠ°Ρ€Ρ‚ΠΈΡ†ΠΈΠΈ с ΠΊΠΎΠ½Ρ„Π»ΠΈΠΊΡ‚ Π½Π° Ρ‚ΠΈΠΏΠΎΠ²Π΅ Π΄Π°Π½Π½ΠΈ.

Но ΠΏΡ€Π΅Π΄ нас стои трСтия ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌ. Π‘Π΅Π³Π° ΠΎΠ±Ρ‰Π°Ρ‚Π° схСма Π½Π΅ Π΅ извСстна, освСн Ρ‚ΠΎΠ²Π° Π² Hive Ρ‚Π°Π±Π»ΠΈΡ†Π°Ρ‚Π° Π΅ с Π½Π΅ΠΏΡ€Π°Π²ΠΈΠ»Π½Π° схСма, Ρ‚ΡŠΠΉ ΠΊΠ°Ρ‚ΠΎ всяка Π½ΠΎΠ²Π° партиция вСроятно Π΅ внСсла изкривяванС Π² схСмата.

НСобходимо Π΅ Π΄Π° рСгистрирамС Ρ‚Π°Π±Π»ΠΈΡ†Π°Ρ‚Π° ΠΎΡ‚Π½ΠΎΠ²ΠΎ. Π’ΠΎΠ²Π° ΠΌΠΎΠΆΠ΅ Π΄Π° сС Π½Π°ΠΏΡ€Π°Π²ΠΈ просто: ΠΎΡ‚Π½ΠΎΠ²ΠΎ Π΄Π° ΠΏΡ€ΠΎΡ‡Π΅Ρ‚Π΅ΠΌ parquet Π²ΠΈΡ‚Ρ€ΠΈΠ½ΠΈΡ‚Π΅, Π΄Π° Π²Π·Π΅ΠΌΠ΅ΠΌ схСмата ΠΈ Π΄Π° създадСм Π½Π° Π½Π΅ΠΉΠ½Π° основа DDL, с ΠΊΠΎΠ΅Ρ‚ΠΎ ΠΎΡ‚Π½ΠΎΠ²ΠΎ Π΄Π° рСгистрирамС ΠΏΠ°ΠΏΠΊΠ°Ρ‚Π° Π² Hive ΠΊΠ°Ρ‚ΠΎ външна Ρ‚Π°Π±Π»ΠΈΡ†Π°, обновявайки схСмата Π½Π° Ρ†Π΅Π»Π΅Π²Π°Ρ‚Π° Π²ΠΈΡ‚Ρ€ΠΈΠ½Π°.

ΠŸΡ€Π΅Π΄ΠΈ нас възниква Ρ‡Π΅Ρ‚Π²ΡŠΡ€Ρ‚ΠΈ ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌ. ΠšΠΎΠ³Π°Ρ‚ΠΎ рСгистрирахмС Ρ‚Π°Π±Π»ΠΈΡ†Π°Ρ‚Π° Π·Π° ΠΏΡŠΡ€Π²ΠΈ ΠΏΡŠΡ‚, сС ΠΎΠΏΠΈΡ€Π°Ρ…ΠΌΠ΅ Π½Π° Spark. Π‘Π΅Π³Π° Π³ΠΎ ΠΏΡ€Π°Π²ΠΈΠΌ сами ΠΈ трябва Π΄Π° ΠΏΠΎΠΌΠ½ΠΈΠΌ, Ρ‡Π΅ ΠΏΠΎΠ»Π΅Ρ‚Π°Ρ‚Π° parquet ΠΌΠΎΠ³Π°Ρ‚ Π΄Π° Π·Π°ΠΏΠΎΡ‡Π²Π°Ρ‚ с символи, нСдопустими Π·Π° Hive. НапримСр, Spark ΠΈΠ·Ρ…Π²ΡŠΡ€Π»Ρ Ρ€Π΅Π΄ΠΎΠ²Π΅, ΠΊΠΎΠΈΡ‚ΠΎ Π½Π΅ Π΅ успял Π΄Π° парсира Π² ΠΏΠΎΠ»Π΅Ρ‚ΠΎ β€žcorrupt_recordβ€œ. Π’Π°ΠΊΠΎΠ²Π° ΠΏΠΎΠ»Π΅ няма Π΄Π° ΠΌΠΎΠΆΠ΅ Π΄Π° бъдС рСгистрирано Π² Hive Π±Π΅Π· Π΄Π° бъдС Π΅ΠΊΡ€Π°Π½ΠΈΡ€Π°Π½ΠΎ.

Π—Π½Π°Π΅ΠΉΠΊΠΈ Ρ‚ΠΎΠ²Π°, ΠΏΠΎΠ»ΡƒΡ‡Π°Π²Π°ΠΌΠ΅ схСмата:

f_def = ""
for f in pf.dtypes:
  if f[0] != "date_load":
    f_def = f_def + "," + f[0].replace("_corrupt_record", "`_corrupt_record`") + " " + f[1].replace(":", "`:").replace("<", "<`").replace(",", ",`").replace("array<`", "array<") 
table_define = "CREATE EXTERNAL TABLE jsonevolvtable (" + f_def[1:] + " ) "
table_define = table_define + "PARTITIONED BY (date_load string) STORED AS PARQUET LOCATION '\/user\/admin\/testJson\/testSchemaEvolution\/pq\/'"
hc.sql("drop table if exists jsonevolvtable")
hc.sql(table_define)

Код ("_corrupt_record", "`_corrupt_record`") + " " + f[1].replace(":", "`:").replace("<", "<`").replace(",", ",`").replace("array<`", "array<") ΠΏΡ€Π°Π²ΠΈ бСзопасСн DDL, тоСст вмСсто:

create table tname (_field1 string, 1field string)

Π‘ Ρ‚Π°ΠΊΠΈΠ²Π° ΠΈΠΌΠ΅Π½Π° Π½Π° ΠΏΠΎΠ»Π΅Ρ‚Π° ΠΊΠ°Ρ‚ΠΎ β€ž_field1, 1fieldβ€œ, сС ΠΏΡ€Π°Π²ΠΈ бСзопасСн DDL, ΠΊΡŠΠ΄Π΅Ρ‚ΠΎ ΠΈΠΌΠ΅Π½Π°Ρ‚Π° Π½Π° ΠΏΠΎΠ»Π΅Ρ‚Π° са Π΅ΠΊΡ€Π°Π½ΠΈΡ€Π°Π½ΠΈ: create table `tname` (`_field1` string, `1field` string).

Π’ΡŠΠ·Π½ΠΈΠΊΠ²Π° Π²ΡŠΠΏΡ€ΠΎΡΡŠΡ‚: ΠΊΠ°ΠΊ ΠΏΡ€Π°Π²ΠΈΠ»Π½ΠΎ Π΄Π° ΠΏΠΎΠ»ΡƒΡ‡ΠΈΠΌ dataframe с пълна схСма (Π² ΠΊΠΎΠ΄Π° pf)? Как Π΄Π° ΠΏΠΎΠ»ΡƒΡ‡ΠΈΠΌ Ρ‚ΠΎΠ·ΠΈ pf? Π’ΠΎΠ²Π° Π΅ пСтия ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌ. Π”Π° ΠΏΡ€Π΅Ρ‡Π΅Ρ‚Π΅ΠΌ схСмата Π½Π° всички ΠΏΠ°Ρ€Ρ‚ΠΈΡ†ΠΈΠΈ ΠΎΡ‚ ΠΏΠ°ΠΏΠΊΠ°Ρ‚Π° с parquet Ρ„Π°ΠΉΠ»ΠΎΠ²Π΅Ρ‚Π΅ Π½Π° Ρ†Π΅Π»Π΅Π²Π°Ρ‚Π° Π²ΠΈΡ‚Ρ€ΠΈΠ½Π°? Π’ΠΎΠ²Π° Π΅ Π½Π°ΠΉ-сигурният ΠΌΠ΅Ρ‚ΠΎΠ΄, Π½ΠΎ ΠΈ Π½Π°ΠΉ-тСТкия.

Π‘Ρ…Π΅ΠΌΠ°Ρ‚Π° Π²Π΅Ρ‡Π΅ ΡΡŠΡ‰Π΅ΡΡ‚Π²ΡƒΠ²Π° Π² Hive. Новата схСма ΠΌΠΎΠΆΠ΅ Π΄Π° бъдС ΠΏΠΎΠ»ΡƒΡ‡Π΅Π½Π°, ΠΊΠ°Ρ‚ΠΎ сС ΠΊΠΎΠΌΠ±ΠΈΠ½ΠΈΡ€Π° схСмата Π½Π° цялата Ρ‚Π°Π±Π»ΠΈΡ†Π° с Π½ΠΎΠ²Π°Ρ‚Π° партиция. Π—Π½Π°Ρ‡ΠΈ трябва Π΄Π° Π²Π·Π΅ΠΌΠ΅ΠΌ схСмата Π½Π° Ρ‚Π°Π±Π»ΠΈΡ†Π°Ρ‚Π° ΠΎΡ‚ Hive ΠΈ Π΄Π° я ΠΊΠΎΠΌΠ±ΠΈΠ½ΠΈΡ€Π°ΠΌΠ΅ с Π½ΠΎΠ²Π°Ρ‚Π° партиция. Π’ΠΎΠ²Π° ΠΌΠΎΠΆΠ΅ Π΄Π° сС Π½Π°ΠΏΡ€Π°Π²ΠΈ, ΠΊΠ°Ρ‚ΠΎ ΠΏΡ€ΠΎΡ‡Π΅Ρ‚Π΅ΠΌ тСстовитС ΠΌΠ΅Ρ‚Π°Π΄Π°Π½Π½ΠΈ ΠΎΡ‚ Hive, Π·Π°ΠΏΠ°Π·ΠΈΠΌ Π³ΠΈ Π² Π²Ρ€Π΅ΠΌΠ΅Π½Π½ΠΎ ΠΏΠ°ΠΏΠΊΠ° ΠΈ ΠΏΡ€ΠΎΡ‡Π΅Ρ‚Π΅ΠΌ ΠΈ Π΄Π²Π΅Ρ‚Π΅ ΠΏΠ°Ρ€Ρ‚ΠΈΡ†ΠΈΠΈ навСднъТ с Spark.

По ΡΡŠΡ‰Π΅ΡΡ‚Π²ΠΎ ΠΈΠΌΠ°ΠΌΠ΅ всичко Π½Π΅ΠΎΠ±Ρ…ΠΎΠ΄ΠΈΠΌΠΎ: ΠΎΡ€ΠΈΠ³ΠΈΠ½Π°Π»Π½Π°Ρ‚Π° схСма Π½Π° Ρ‚Π°Π±Π»ΠΈΡ†Π°Ρ‚Π° Π² Hive ΠΈ Π½ΠΎΠ²Π°Ρ‚Π° партиция. ДосиС ΡΡŠΡ‰ΠΎ смС Π½Π° Ρ€Π°Π·ΠΏΠΎΠ»ΠΎΠΆΠ΅Π½ΠΈΠ΅. ΠžΡΡ‚Π°Π²Π° само Π΄Π° ΠΏΠΎΠ»ΡƒΡ‡ΠΈΠΌ Π½ΠΎΠ²Π°Ρ‚Π° схСма, Π² която сС ΠΊΠΎΠΌΠ±ΠΈΠ½ΠΈΡ€Π° схСмата Π½Π° Π²ΠΈΡ‚Ρ€ΠΈΠ½Π°Ρ‚Π° с Π½ΠΎΠ²ΠΈΡ‚Π΅ ΠΏΠΎΠ»Π΅Ρ‚Π° ΠΎΡ‚ ΡΡŠΠ·Π΄Π°Π΄Π΅Π½Π°Ρ‚Π° партиция:

from pyspark.sql import HiveContext
from pyspark.sql.functions import lit
hc = HiveContext(spark)
df = spark.read.json("...", dropFieldIfAllNull=True)
df.write.mode("overwrite").parquet(".../date_load=12-12-2019")
pe = hc.sql("select * from jsonevolvtable limit 1")
pe.write.mode("overwrite").parquet(".../fakePartiton/")
pf = spark.read.option("mergeSchema", True).parquet(".../date_load=12-12-2019/*", ".../fakePartiton/*")

Π‘Π»Π΅Π΄ Ρ‚ΠΎΠ²Π° създавамС DDL Π·Π° рСгистрация Π½Π° Ρ‚Π°Π±Π»ΠΈΡ†Π°Ρ‚Π°, ΠΊΠ°ΠΊΡ‚ΠΎ Π² ΠΏΡ€Π΅Π΄ΠΈΡˆΠ½ΠΈΡ Ρ„Ρ€Π°Π³ΠΌΠ΅Π½Ρ‚.
Ако цялата Π²Π΅Ρ€ΠΈΠ³Π° Ρ€Π°Π±ΠΎΡ‚ΠΈ ΠΏΡ€Π°Π²ΠΈΠ»Π½ΠΎ, Π° ΠΈΠΌΠ΅Π½Π½ΠΎ β€” Π΅ ΠΈΠ·Π²ΡŠΡ€ΡˆΠ΅Π½ΠΎ ΠΈΠ½ΠΈΡ†ΠΈΠ°Π»ΠΈΠ·ΠΈΡ€Π°Π½Π΅ Π½Π° Π·Π°Ρ€Π΅ΠΆΠ΄Π°Π½Π΅ ΠΈ Π² Hive Π΅ създадСна ΠΏΡ€Π°Π²ΠΈΠ»Π½ΠΎ ΠΎΡ„ΠΎΡ€ΠΌΠ΅Π½Π° Ρ‚Π°Π±Π»ΠΈΡ†Π°, ΠΏΠΎΠ»ΡƒΡ‡Π°Π²Π°ΠΌΠ΅ Π°ΠΊΡ‚ΡƒΠ°Π»ΠΈΠ·ΠΈΡ€Π°Π½Π° схСма Π½Π° Ρ‚Π°Π±Π»ΠΈΡ†Π°Ρ‚Π°.

И послСдният ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌ Π΅, Ρ‡Π΅ Π½Π΅ ΠΌΠΎΠΆΠ΅ просто Π΄Π° Π΄ΠΎΠ±Π°Π²ΠΈΡ‚Π΅ партиция Π² Ρ‚Π°Π±Π»ΠΈΡ†Π°Ρ‚Π° Hive, Ρ‚ΡŠΠΉ ΠΊΠ°Ρ‚ΠΎ тя Ρ‰Π΅ сС ΠΏΡ€ΠΎΠ²Π°Π»ΠΈ. НСобходимо Π΅ Π΄Π° Π½Π°ΠΊΠ°Ρ€Π°Ρ‚Π΅ Hive Π΄Π° ΠΏΠΎΠΏΡ€Π°Π²ΠΈ структурата Π½Π° ΠΏΠ°Ρ€Ρ‚ΠΈΡ†ΠΈΠΈΡ‚Π΅:

from pyspark.sql import HiveContext
hc = HiveContext(spark) 
hc.sql("MSCK REPAIR TABLE " + db + "." + destTable)

ΠŸΡ€ΠΎΡΡ‚Π°Ρ‚Π° Π·Π°Π΄Π°Ρ‡Π° ΠΏΠΎ Ρ‡Π΅Ρ‚Π΅Π½Π΅ Π½Π° JSON ΠΈ създаванС Π½Π° Π²ΠΈΡ‚Ρ€ΠΈΠ½Π° Π½Π° Π±Π°Π·Π°Ρ‚Π° Π½Π° Π½Π΅Π³ΠΎ сС изразява Π² прСодоляванС Π½Π° Ρ€Π΅Π΄ΠΈΡ†Π° нСявни трудности, Ρ€Π΅ΡˆΠ΅Π½ΠΈΡΡ‚Π° Π½Π° ΠΊΠΎΠΈΡ‚ΠΎ трябва Π΄Π° сС Ρ‚ΡŠΡ€ΡΡΡ‚ ΠΏΠΎΠΎΡ‚Π΄Π΅Π»Π½ΠΎ. И Π²ΡŠΠΏΡ€Π΅ΠΊΠΈ Ρ‡Π΅ Ρ€Π΅ΡˆΠ΅Π½ΠΈΡΡ‚Π° са прости, Π½Π°ΠΌΠΈΡ€Π°Π½Π΅Ρ‚ΠΎ ΠΈΠΌ ΠΎΡ‚Π½Π΅ΠΌΠ° ΠΌΠ½ΠΎΠ³ΠΎ Π²Ρ€Π΅ΠΌΠ΅.

Π—Π° Π΄Π° Ρ€Π΅Π°Π»ΠΈΠ·ΠΈΡ€Π°ΠΌΠ΅ ΠΈΠ·Π³Ρ€Π°ΠΆΠ΄Π°Π½Π΅Ρ‚ΠΎ Π½Π° Π²ΠΈΡ‚Ρ€ΠΈΠ½Π°, Ρ‚Ρ€ΡΠ±Π²Π°ΡˆΠ΅:

  • Π”Π° Π΄ΠΎΠ±Π°Π²ΠΈΠΌ ΠΏΠ°Ρ€Ρ‚ΠΈΡ†ΠΈΠΈ Π² Π²ΠΈΡ‚Ρ€ΠΈΠ½Π°Ρ‚Π°, освобоТдавайки сС ΠΎΡ‚ слуТСбнитС Ρ„Π°ΠΉΠ»ΠΎΠ²Π΅
  • Π”Π° сС Ρ€Π°Π·Π±Π΅Ρ€Π΅ΠΌ с ΠΏΡ€Π°Π·Π½ΠΈΡ‚Π΅ ΠΏΠΎΠ»Π΅Ρ‚Π° Π² ΠΈΠ·Ρ…ΠΎΠ΄Π½ΠΈΡ‚Π΅ Π΄Π°Π½Π½ΠΈ, ΠΊΠΎΠΈΡ‚ΠΎ Spark Π΅ Ρ‚ΠΈΠΏΠΈΠ·ΠΈΡ€Π°Π»
  • Π”Π° ΠΏΡ€ΠΈΠ²Π΅Π΄Π΅ΠΌ проститС Ρ‚ΠΈΠΏΠΎΠ²Π΅ към Π½ΠΈΠ·ΠΎΠ²Π΅
  • Π”Π° ΠΏΡ€ΠΈΠ²Π΅Π΄Π΅ΠΌ ΠΈΠΌΠ΅Π½Π°Ρ‚Π° Π½Π° ΠΏΠΎΠ»Π΅Ρ‚Π°Ρ‚Π° към ΠΌΠ°Π»ΠΊΠΈ Π±ΡƒΠΊΠ²ΠΈ
  • Π”Π° Ρ€Π°Π·Π΄Π΅Π»ΠΈΠΌ ΠΈΠ·Π²Π΅ΠΆΠ΄Π°Π½Π΅Ρ‚ΠΎ Π½Π° Π΄Π°Π½Π½ΠΈ ΠΈ рСгистрацията Π½Π° Ρ‚Π°Π±Π»ΠΈΡ†Π°Ρ‚Π° Π² Hive (създаванС Π½Π° DDL)
  • Π”Π° Π½Π΅ Π·Π°Π±Ρ€Π°Π²ΠΈΠΌ Π΄Π° Π΅ΠΊΡ€Π°Π½ΠΈΡ€Π°ΠΌΠ΅ ΠΈΠΌΠ΅Π½Π°Ρ‚Π° Π½Π° ΠΏΠΎΠ»Π΅Ρ‚Π°Ρ‚Π°, ΠΊΠΎΠΈΡ‚ΠΎ ΠΌΠΎΠ³Π°Ρ‚ Π΄Π° Π½Π΅ са ΡΡŠΠ²ΠΌΠ΅ΡΡ‚ΠΈΠΌΠΈ с Hive
  • Π”Π° Π½Π°ΡƒΡ‡ΠΈΠΌ ΠΊΠ°ΠΊ Π΄Π° Π°ΠΊΡ‚ΡƒΠ°Π»ΠΈΠ·ΠΈΡ€Π°ΠΌΠ΅ рСгистрацията Π½Π° Ρ‚Π°Π±Π»ΠΈΡ†Π°Ρ‚Π° Π² Hive

Π’ Π·Π°ΠΊΠ»ΡŽΡ‡Π΅Π½ΠΈΠ΅, отбСлязвамС, Ρ‡Π΅ Ρ€Π΅ΡˆΠ΅Π½ΠΈΠ΅Ρ‚ΠΎ Π·Π° ΠΈΠ·Π³Ρ€Π°ΠΆΠ΄Π°Π½Π΅ Π½Π° Π²ΠΈΡ‚Ρ€ΠΈΠ½ΠΈ ΠΊΡ€ΠΈΠ΅ мноТСство ΠΏΠΎΠ΄Π²ΠΎΠ΄Π½ΠΈ камъни. Π—Π°Ρ‚ΠΎΠ²Π°, ΠΏΡ€ΠΈ възникванС Π½Π° затруднСния Π² рСализацията, Π΅ ΠΏΠΎ-Π΄ΠΎΠ±Ρ€Π΅ Π΄Π° сС ΠΎΠ±ΡŠΡ€Π½Π΅Ρ‚Π΅ към ΠΎΠΏΠΈΡ‚Π΅Π½ ΠΏΠ°Ρ€Ρ‚Π½ΡŒΠΎΡ€ с ΡƒΡΠΏΠ΅ΡˆΠ½Π° СкспСртиза.

Π‘Π»Π°Π³ΠΎΠ΄Π°Ρ€ΠΈΠΌ Π·Π° ΠΏΡ€ΠΎΡ‡ΠΈΡ‚Π°Π½Π΅Ρ‚ΠΎ Π½Π° Ρ‚Π°Π·ΠΈ статия, надявамС сС информацията Π΄Π° бъдС ΠΏΠΎΠ»Π΅Π·Π½Π°.

Π˜Π·Ρ‚ΠΎΡ‡Π½ΠΈΠΊ: habr.com

ΠšΡƒΠΏΠ΅Ρ‚Π΅ Π½Π°Π΄Π΅ΠΆΠ΄Π΅Π½ хостинг Π·Π° сайтовС със Π·Π°Ρ‰ΠΈΡ‚Π° ΠΎΡ‚ DDoS, VPS ΠΈ VDS ΡΡŠΡ€Π²ΡŠΡ€ΠΈ πŸ”₯ ΠšΡƒΠΏΠ΅Ρ‚Π΅ Π½Π°Π΄Π΅ΠΆΠ΄Π΅Π½ хостинг Π·Π° сайтовС със Π·Π°Ρ‰ΠΈΡ‚Π° ΠΎΡ‚ DDoS, VPS ΠΈ VDS ΡΡŠΡ€Π²ΡŠΡ€ΠΈ | ProHoster