Π£Π²Π°ΠΆΠ°Π΅ΠΌΠΈ ΡΠΈΡΠ°ΡΠ΅Π»ΠΈ, Π΄ΠΎΠ±ΡΡ Π΄Π΅Π½!
Π Π½Π°ΡΡΠΎΡΡΠ°ΡΠ° ΡΡΠ°ΡΠΈΡ Π²ΠΎΠ΄Π΅ΡΠΈΡΡ ΠΊΠΎΠ½ΡΡΠ»ΡΠ°Π½Ρ Π² Π±ΠΈΠ·Π½Π΅Ρ Π½Π°ΠΏΡΠ°Π²Π»Π΅Π½ΠΈΠ΅ Big Data Solutions Π½Π° ΠΊΠΎΠΌΠΏΠ°Π½ΠΈΡ βΠΠ΅ΠΎΡΠ»Π΅ΠΊΡβ ΠΏΠΎΠ΄ΡΠΎΠ±Π½ΠΎ ΠΎΠΏΠΈΡΠ²Π° Π²Π°ΡΠΈΠ°Π½ΡΠΈΡΠ΅ Π·Π° ΠΈΠ·Π³ΡΠ°ΠΆΠ΄Π°Π½Π΅ Π½Π° Π²ΠΈΡΡΠΈΠ½ΠΈ Ρ ΠΏΡΠΎΠΌΠ΅Π½Π»ΠΈΠ²Π° ΡΡΡΡΠΊΡΡΡΠ°, ΠΈΠ·ΠΏΠΎΠ»Π·Π²Π°ΠΉΠΊΠΈ Apache Spark.
Π ΡΠ°ΠΌΠΊΠΈΡΠ΅ Π½Π° ΠΏΡΠΎΠ΅ΠΊΡΠ° Π·Π° Π°Π½Π°Π»ΠΈΠ· Π½Π° Π΄Π°Π½Π½ΠΈ ΡΠ΅ΡΡΠΎ Π²ΡΠ·Π½ΠΈΠΊΠ²Π° Π·Π°Π΄Π°ΡΠ°ΡΠ° Π·Π° ΠΈΠ·Π³ΡΠ°ΠΆΠ΄Π°Π½Π΅ Π½Π° Π²ΠΈΡΡΠΈΠ½ΠΈ Π½Π° ΠΎΡΠ½ΠΎΠ²Π°ΡΠ° Π½Π° ΡΠ»Π°Π±ΠΎ ΡΡΡΡΠΊΡΡΡΠΈΡΠ°Π½ΠΈ Π΄Π°Π½Π½ΠΈ.
ΠΠ±ΠΈΠΊΠ½ΠΎΠ²Π΅Π½ΠΎ ΡΠΎΠ²Π° ΡΠ° Π»ΠΎΠ³ΠΎΠ²Π΅ ΠΈΠ»ΠΈ ΠΎΡΠ³ΠΎΠ²ΠΎΡΠΈ ΠΎΡ ΡΠ°Π·Π»ΠΈΡΠ½ΠΈ ΡΠΈΡΡΠ΅ΠΌΠΈ, Π·Π°ΠΏΠ°Π·Π²Π°Π½ΠΈ Π²ΡΠ² ΡΠΎΡΠΌΠ°Ρ JSON ΠΈΠ»ΠΈ XML. ΠΠ°Π½Π½ΠΈΡΠ΅ ΡΠ΅ ΠΈΠ·Π½Π°ΡΡΡ Π² Hadoop, ΡΠ»Π΅Π΄ ΠΊΠΎΠ΅ΡΠΎ ΠΎΡ ΡΡΡ ΡΡΡΠ±Π²Π° Π΄Π° ΡΠ΅ ΠΈΠ·Π³ΡΠ°Π΄ΡΡ Π²ΠΈΡΡΠΈΠ½ΠΈ. ΠΠΎΠΆΠ΅ΠΌ Π΄Π° ΠΎΡΠ³Π°Π½ΠΈΠ·ΠΈΡΠ°ΠΌΠ΅ Π΄ΠΎΡΡΡΠΏ Π΄ΠΎ ΡΡΠ·Π΄Π°Π΄Π΅Π½Π°ΡΠ° Π²ΠΈΡΡΠΈΠ½Π°, Π½Π°ΠΏΡΠΈΠΌΠ΅Ρ, ΡΡΠ΅Π· Impala.
Π ΡΠΎΠ·ΠΈ ΡΠ»ΡΡΠ°ΠΉ ΡΡ Π΅ΠΌΠ°ΡΠ° Π½Π° ΡΠ΅Π»Π΅Π²Π°ΡΠ° Π²ΠΈΡΡΠΈΠ½Π° ΠΏΡΠ΅Π΄Π²Π°ΡΠΈΡΠ΅Π»Π½ΠΎ Π½Π΅ Π΅ ΠΈΠ·Π²Π΅ΡΡΠ½Π°. ΠΡΠ²Π΅Π½ ΡΠΎΠ²Π°, ΡΡ Π΅ΠΌΠ°ΡΠ° Π½Π΅ ΠΌΠΎΠΆΠ΅ Π΄Π° Π±ΡΠ΄Π΅ ΡΡΡΡΠ°Π²Π΅Π½Π° ΠΏΡΠ΅Π΄Π²Π°ΡΠΈΡΠ΅Π»Π½ΠΎ, ΡΡΠΉ ΠΊΠ°ΡΠΎ Π·Π°Π²ΠΈΡΠΈ ΠΎΡ Π΄Π°Π½Π½ΠΈΡΠ΅, Π° Π½ΠΈΠ΅ ΡΠ΅ ΡΠΏΡΠ°Π²ΡΠΌΠ΅ ΡΡΡ ΡΠ°ΠΌΠΈΡΠ΅ ΡΠ»Π°Π±ΠΎ ΡΡΡΡΠΊΡΡΡΠΈΡΠ°Π½ΠΈ Π΄Π°Π½Π½ΠΈ.
ΠΠ°ΠΏΡΠΈΠΌΠ΅Ρ, Π΄Π½Π΅Ρ Π΅ ΡΠ΅Π³ΠΈΡΡΡΠΈΡΠ°Π½ ΡΠ°ΠΊΡΠ² ΠΎΡΠ³ΠΎΠ²ΠΎΡ:
{source: "app1", error_code: ""}Π° ΡΡΡΠ΅ ΠΎΡ ΡΠ°Π·ΠΈ ΡΡΡΠ° ΡΠΈΡΡΠ΅ΠΌΠ° ΠΈΠ΄Π²Π° ΡΠ°ΠΊΡΠ² ΠΎΡΠ³ΠΎΠ²ΠΎΡ:
{source: "app1", error_code: "error", description: "Network error"}Π ΡΠ΅Π·ΡΠ»ΡΠ°Ρ Π½Π° ΡΠΎΠ²Π° Π² Π²ΠΈΡΡΠΈΠ½Π°ΡΠ° ΡΡΡΠ±Π²Π° Π΄Π° ΡΠ΅ Π΄ΠΎΠ±Π°Π²ΠΈ ΠΎΡΠ΅ Π΅Π΄Π½ΠΎ ΠΏΠΎΠ»Π΅ β description, ΠΈ Π΄Π°Π»ΠΈ ΡΠ΅ Π΄ΠΎΠΉΠ΄Π΅ ΠΈΠ»ΠΈ Π½Π΅, Π½ΠΈΠΊΠΎΠΉ Π½Π΅ Π·Π½Π°Π΅.
ΠΠ°Π΄Π°ΡΠ°ΡΠ° Π·Π° ΡΡΠ·Π΄Π°Π²Π°Π½Π΅ Π½Π° Π²ΠΈΡΡΠΈΠ½Π° Ρ ΡΠ°ΠΊΠΈΠ²Π° Π΄Π°Π½Π½ΠΈ Π΅ Π΄ΠΎΡΡΠ° ΡΡΠ°Π½Π΄Π°ΡΡΠ½Π° ΠΈ Spark ΡΠ°Π·ΠΏΠΎΠ»Π°Π³Π° Ρ ΡΠ΅Π΄ΠΈΡΠ° ΠΈΠ½ΡΡΡΡΠΌΠ΅Π½ΡΠΈ Π·Π° ΡΠΎΠ²Π°. ΠΠ° ΠΏΠ°ΡΡΠΈΡΠ°Π½Π΅ Π½Π° ΠΈΠ·Ρ ΠΎΠ΄Π½ΠΈ Π΄Π°Π½Π½ΠΈ ΠΈΠΌΠ° ΠΏΠΎΠ΄Π΄ΡΡΠΆΠΊΠ° ΠΈ Π·Π° JSON, ΠΈ Π·Π° XML, Π° Π·Π° Π½Π΅ΠΈΠ·Π²Π΅ΡΡΠ½Π° ΠΏΡΠ΅Π΄Π²Π°ΡΠΈΡΠ΅Π»Π½ΠΎ ΡΡ Π΅ΠΌΠ° Π΅ ΠΏΡΠ΅Π΄Π²ΠΈΠ΄Π΅Π½Π° ΠΏΠΎΠ΄Π΄ΡΡΠΆΠΊΠ° schemaEvolution.
ΠΡ ΠΏΡΡΠ² ΠΏΠΎΠ³Π»Π΅Π΄ ΡΠ΅ΡΠ΅Π½ΠΈΠ΅ΡΠΎ ΠΈΠ·Π³Π»Π΅ΠΆΠ΄Π° ΠΏΡΠΎΡΡΠΎ. Π’ΡΡΠ±Π²Π° Π΄Π° Π²Π·Π΅ΠΌΠ΅ΠΌ ΠΏΠ°ΠΏΠΊΠ° Ρ JSON ΠΈ Π΄Π° Ρ ΠΏΡΠΎΡΠ΅ΡΠ΅ΠΌ Π² dataframe. Spark ΡΠ΅ ΡΡΠ·Π΄Π°Π΄Π΅ ΡΡ Π΅ΠΌΠ°, Π° Π²Π»ΠΎΠΆΠ΅Π½ΠΈΡΠ΅ Π΄Π°Π½Π½ΠΈ ΡΠ΅ Π±ΡΠ΄Π°Ρ ΠΏΡΠ΅ΠΎΠ±ΡΠ°Π·ΡΠ²Π°Π½ΠΈ Π² ΡΡΡΡΠΊΡΡΡΠΈ. Π‘Π»Π΅Π΄ ΡΠΎΠ²Π° Π²ΡΠΈΡΠΊΠΎ ΡΡΡΠ±Π²Π° Π΄Π° ΡΠ΅ Π·Π°ΠΏΠ°Π·ΠΈ Π² parquet, ΠΊΠΎΠΉΡΠΎ Π²ΠΊΠ»ΡΡΠΈΡΠ΅Π»Π½ΠΎ ΡΠ΅ ΠΏΠΎΠ΄Π΄ΡΡΠΆΠ° ΠΈ Π² Impala, ΡΠ΅Π³ΠΈΡΡΡΠΈΡΠ°ΠΉΠΊΠΈ Π²ΠΈΡΡΠΈΠ½Π°ΡΠ° Π² Hive metastore.
ΠΠ° ΠΏΡΡΠ² ΠΏΠΎΠ³Π»Π΅Π΄ ΠΈΠ·Π³Π»Π΅ΠΆΠ΄Π° ΠΏΡΠΎΡΡΠΎ.
ΠΡΠΏΡΠ΅ΠΊΠΈ ΡΠΎΠ²Π°, ΠΎΡ ΠΊΡΠ°ΡΠΊΠΈΡΠ΅ ΠΏΡΠΈΠΌΠ΅ΡΠΈ Π² Π΄ΠΎΠΊΡΠΌΠ΅Π½ΡΠ°ΡΠΈΡΡΠ° Π½Π΅ Π΅ ΡΡΠ½ΠΎ ΠΊΠ°ΠΊΠ²ΠΎ Π΄Π° ΡΠ΅ ΠΏΡΠ°Π²ΠΈ Ρ ΡΠ΅Π΄ΠΈΡΠ° ΠΏΡΠΎΠ±Π»Π΅ΠΌΠΈ Π½Π° ΠΏΡΠ°ΠΊΡΠΈΠΊΠ°.
Π Π΄ΠΎΠΊΡΠΌΠ΅Π½ΡΠ°ΡΠΈΡΡΠ° ΡΠ΅ ΠΎΠΏΠΈΡΠ²Π° ΠΏΠΎΠ΄Ρ ΠΎΠ΄, ΠΊΠΎΠΉΡΠΎ Π½Π΅ Π΅ Π·Π° ΡΡΠ·Π΄Π°Π²Π°Π½Π΅ Π½Π° Π²ΠΈΡΡΠΈΠ½Π°, Π° Π·Π° ΡΠ΅ΡΠ΅Π½Π΅ Π½Π° JSON ΠΈΠ»ΠΈ XML Π² dataframe.
Π ΠΈΠΌΠ΅Π½Π½ΠΎ, ΠΏΡΠΎΡΡΠΎ ΡΠ΅ ΠΏΠΎΡΠΎΡΠ²Π° ΠΊΠ°ΠΊ Π΄Π° ΡΠ΅ ΠΏΡΠΎΡΠ΅ΡΠ΅ ΠΈ ΡΠ°Π·ΠΏΠ°ΡΡΠΈΡΠ° JSON:
df = spark.read.json(path...)Π’ΠΎΠ²Π° Π΅ Π΄ΠΎΡΡΠ°ΡΡΡΠ½ΠΎ, Π·Π° Π΄Π° Π½Π°ΠΏΡΠ°Π²ΠΈ Π΄Π°Π½Π½ΠΈΡΠ΅ Π΄ΠΎΡΡΡΠΏΠ½ΠΈ Π·Π° Spark.
ΠΠ° ΠΏΡΠ°ΠΊΡΠΈΠΊΠ° ΡΡΠ΅Π½Π°ΡΠΈΡΡ Π΅ ΠΌΠ½ΠΎΠ³ΠΎ ΠΏΠΎ-ΡΠ»ΠΎΠΆΠ΅Π½, ΠΎΡΠΊΠΎΠ»ΠΊΠΎΡΠΎ ΠΏΡΠΎΡΡΠΎ Π΄Π° ΡΠ΅ ΠΏΡΠΎΡΠ΅ΡΠ°Ρ JSON ΡΠ°ΠΉΠ»ΠΎΠ²Π΅ ΠΎΡ ΠΏΠ°ΠΏΠΊΠ° ΠΈ Π΄Π° ΡΠ΅ ΡΡΠ·Π΄Π°Π΄Π΅ dataframe. Π‘ΠΈΡΡΠ°ΡΠΈΡΡΠ° ΠΈΠ·Π³Π»Π΅ΠΆΠ΄Π° ΡΠ°ΠΊΠ°: Π²Π΅ΡΠ΅ ΠΈΠΌΠ° ΠΎΠΏΡΠ΅Π΄Π΅Π»Π΅Π½Π° Π²ΠΈΡΡΠΈΠ½Π°, Π²ΡΠ΅ΠΊΠΈ Π΄Π΅Π½ ΠΈΠ΄Π²Π°Ρ Π½ΠΎΠ²ΠΈ Π΄Π°Π½Π½ΠΈ, ΠΊΠΎΠΈΡΠΎ ΡΡΡΠ±Π²Π° Π΄Π° ΡΠ΅ Π΄ΠΎΠ±Π°Π²ΡΡ Π² Π²ΠΈΡΡΠΈΠ½Π°ΡΠ°, Π±Π΅Π· Π΄Π° Π·Π°Π±ΡΠ°Π²ΡΠΌΠ΅, ΡΠ΅ ΡΡ Π΅ΠΌΠ°ΡΠ° ΠΌΠΎΠΆΠ΅ Π΄Π° ΡΠ΅ ΡΠ°Π·Π»ΠΈΡΠ°Π²Π°.
ΠΠ±ΠΈΠΊΠ½ΠΎΠ²Π΅Π½Π°ΡΠ° ΡΡ Π΅ΠΌΠ° Π·Π° ΠΈΠ·Π³ΡΠ°ΠΆΠ΄Π°Π½Π΅ Π½Π° Π²ΠΈΡΡΠΈΠ½Π° ΠΈΠ·Π³Π»Π΅ΠΆΠ΄Π° ΡΠ°ΠΊΠ°:
Π‘ΡΡΠΏΠΊΠ° 1. ΠΠ°Π½Π½ΠΈΡΠ΅ ΡΠ΅ Π·Π°ΡΠ΅ΠΆΠ΄Π°Ρ Π² Hadoop Ρ ΠΏΠΎΡΠ»Π΅Π΄Π²Π°ΡΠΎ Π΅ΠΆΠ΅Π΄Π½Π΅Π²Π½ΠΎ ΠΎΠ±Π½ΠΎΠ²ΡΠ²Π°Π½Π΅ ΠΈ ΡΠ΅ ΡΠΊΠ»Π°Π΄ΠΈΡΠ°Ρ Π² Π½ΠΎΠ²Π° ΠΏΠ°ΡΡΠΈΡΠΈΡ. ΠΠΎΠ»ΡΡΠ°Π²Π° ΡΠ΅ ΠΏΠ°ΡΡΠΈΡΠΈΠΎΠ½ΠΈΡΠ°Π½Π° ΠΏΠΎ Π΄Π½ΠΈ ΠΏΠ°ΠΏΠΊΠ° Ρ ΠΈΠ·Ρ ΠΎΠ΄Π½ΠΈ Π΄Π°Π½Π½ΠΈ.
Π‘ΡΡΠΏΠΊΠ° 2. ΠΠΎ Π²ΡΠ΅ΠΌΠ΅ Π½Π° ΠΈΠ½ΠΈΡΠΈΠ°Π»ΠΈΠ·ΠΈΡΠ°ΡΠΎΡΠΎ Π·Π°ΡΠ΅ΠΆΠ΄Π°Π½Π΅ ΡΠ°Π·ΠΈ ΠΏΠ°ΠΏΠΊΠ° ΡΠ΅ ΡΠ΅ΡΠ΅ ΠΈ ΠΏΠ°ΡΡΠΈΡΠ° Ρ ΠΏΠΎΠΌΠΎΡΡΠ° Π½Π° Spark. ΠΠΎΠ»ΡΡΠ΅Π½ΠΈΡΡ dataframe ΡΠ΅ Π·Π°ΠΏΠ°Π·Π²Π° Π² ΡΠΎΡΠΌΠ°Ρ, Π΄ΠΎΡΡΡΠΏΠ΅Π½ Π·Π° Π°Π½Π°Π»ΠΈΠ·, Π½Π°ΠΏΡΠΈΠΌΠ΅Ρ Π² parquet, ΠΊΠΎΠΉΡΠΎ ΡΠ»Π΅Π΄ ΡΠΎΠ²Π° ΠΌΠΎΠΆΠ΅ Π΄Π° ΡΠ΅ ΠΈΠΌΠΏΠΎΡΡΠΈΡΠ° Π² Impala. Π’Π°ΠΊΠ° ΡΠ΅ ΡΡΠ·Π΄Π°Π²Π° ΡΠ΅Π»Π΅Π²Π° Π²ΠΈΡΡΠΈΠ½Π° Ρ Π²ΡΠΈΡΠΊΠΈ Π΄Π°Π½Π½ΠΈ, Π½Π°ΡΡΡΠΏΠ°Π½ΠΈ Π΄ΠΎ ΡΠΎΠ·ΠΈ ΠΌΠΎΠΌΠ΅Π½Ρ.
Π‘ΡΡΠΏΠΊΠ° 3. Π‘ΡΠ·Π΄Π°Π²Π° ΡΠ΅ Π·Π°ΡΠ΅ΠΆΠ΄Π°Π½Π΅, ΠΊΠΎΠ΅ΡΠΎ Π²ΡΠ΅ΠΊΠΈ Π΄Π΅Π½ ΡΠ΅ ΠΎΠ±Π½ΠΎΠ²ΡΠ²Π° Π²ΠΈΡΡΠΈΠ½Π°ΡΠ°.
ΠΠΎΡΠ²ΡΠ²Π° ΡΠ΅ Π²ΡΠΏΡΠΎΡΡΡ Π·Π° ΠΈΠ½ΠΊΡΠ΅ΠΌΠ΅Π½ΡΠ°Π»Π½ΠΎΡΠΎ Π·Π°ΡΠ΅ΠΆΠ΄Π°Π½Π΅, Π½Π΅ΠΎΠ±Ρ
ΠΎΠ΄ΠΈΠΌΠΎΡΡΡΠ° ΠΎΡ ΠΏΠ°ΡΡΠΈΡΠΈΠΎΠ½ΠΈΡΠ°Π½Π΅ Π½Π° Π²ΠΈΡΡΠΈΠ½Π°ΡΠ° ΠΈ Π²ΡΠΏΡΠΎΡΡΡ Π·Π° ΠΏΠΎΠ΄Π΄ΡΡΠΆΠΊΠ°ΡΠ° Π½Π° ΠΎΠ±ΡΠ°ΡΠ° ΡΡ
Π΅ΠΌΠ° Π½Π° Π²ΠΈΡΡΠΈΠ½Π°ΡΠ°.
ΠΠ° Π΄Π°Π΄Π΅ΠΌ ΠΏΡΠΈΠΌΠ΅Ρ. ΠΠ° ΠΏΡΠ΅Π΄ΠΏΠΎΠ»ΠΎΠΆΠΈΠΌ, ΡΠ΅ Π΅ ΡΠ΅Π°Π»ΠΈΠ·ΠΈΡΠ°Π½Π° ΠΏΡΡΠ²Π°ΡΠ° ΡΡΡΠΏΠΊΠ° Π·Π° ΠΈΠ·Π³ΡΠ°ΠΆΠ΄Π°Π½Π΅ Π½Π° Ρ ΡΠ°Π½ΠΈΠ»ΠΈΡΠ΅ ΠΈ Π΅ Π½Π°ΡΡΡΠΎΠ΅Π½Π° ΠΈΠ·Π²Π°ΠΆΠ΄Π°Π½Π΅ΡΠΎ Π½Π° JSON ΡΠ°ΠΉΠ»ΠΎΠ²Π΅ Π² ΠΏΠ°ΠΏΠΊΠ°.
Π‘ΡΠ·Π΄Π°Π²Π°Π½Π΅ΡΠΎ Π½Π° dataframe ΠΎΡ ΡΡΡ , Π·Π° Π΄Π° Π±ΡΠ΄Π΅ Π·Π°ΠΏΠ°Π·Π΅Π½ ΠΊΠ°ΡΠΎ Π²ΠΈΡΡΠΈΠ½Π°, Π½Π΅ ΠΏΡΠ΅Π΄ΡΡΠ°Π²Π»ΡΠ²Π° ΠΏΡΠΎΠ±Π»Π΅ΠΌ. Π’ΠΎΠ²Π° Π΅ ΠΈΠΌΠ΅Π½Π½ΠΎ ΠΏΡΡΠ²Π°ΡΠ° ΡΡΡΠΏΠΊΠ°, ΠΊΠΎΡΡΠΎ Π»Π΅ΡΠ½ΠΎ ΠΌΠΎΠΆΠ΅ Π΄Π° Π±ΡΠ΄Π΅ Π½Π°ΠΌΠ΅ΡΠ΅Π½Π° Π² Π΄ΠΎΠΊΡΠΌΠ΅Π½ΡΠ°ΡΠΈΡΡΠ° Π½Π° Spark:
df = spark.read.option("mergeSchema", True).json(".../*")
df.printSchema()
root
|-- a: long (nullable = true)
|-- b: string (nullable = true)
|-- c: struct (nullable = true)
|-- d: long (nullable = true)ΠΡΠΈΡΠΊΠΎ ΠΈΠ·Π³Π»Π΅ΠΆΠ΄Π° Π½Π°ΡΠ΅Π΄.
ΠΡΠΎΡΠ΅ΡΠΎΡ ΠΌΠ΅ ΠΈ ΠΏΠ°ΡΡΠ½Π°Ρ ΠΌΠ΅ JSON, ΡΠ»Π΅Π΄ ΠΊΠΎΠ΅ΡΠΎ Π·Π°ΠΏΠ°Π·Π²Π°ΠΌΠ΅ dataframe ΠΊΠ°ΡΠΎ parquet, ΡΠ΅Π³ΠΈΡΡΡΠΈΡΠ°ΠΉΠΊΠΈ Π² Hive ΠΏΠΎ ΡΠ΄ΠΎΠ±Π΅Π½ Π½Π°ΡΠΈΠ½:
df.write.format(βparquetβ).option('path','').saveAsTable('') ΠΠΎΠ»ΡΡΠ°Π²Π°ΠΌΠ΅ Π²ΠΈΡΡΠΈΠ½Π°.
ΠΠΎ Π½Π° ΡΠ»Π΅Π΄Π²Π°ΡΠΈΡ Π΄Π΅Π½ Π½ΠΎΠ²ΠΈ Π΄Π°Π½Π½ΠΈ ΡΠ° Π΄ΠΎΠ±Π°Π²Π΅Π½ΠΈ ΠΎΡ ΠΈΠ·ΡΠΎΡΠ½ΠΈΠΊΠ°. ΠΠΌΠ°ΠΌΠ΅ ΠΏΠ°ΠΏΠΊΠ° Ρ JSON ΠΈ Π²ΠΈΡΡΠΈΠ½Π°, ΡΡΠ·Π΄Π°Π΄Π΅Π½Π° Π½Π° Π±Π°Π·Π°ΡΠ° Π½Π° ΡΠ°Π·ΠΈ ΠΏΠ°ΠΏΠΊΠ°. Π‘Π»Π΅Π΄ Π·Π°ΡΠ΅ΠΆΠ΄Π°Π½Π΅ΡΠΎ Π½Π° ΡΠ»Π΅Π΄Π²Π°ΡΠΈΡ ΠΏΠ°ΠΊΠ΅Ρ Π΄Π°Π½Π½ΠΈ ΠΎΡ ΠΈΠ·ΡΠΎΡΠ½ΠΈΠΊΠ°, Π²ΠΈΡΡΠΈΠ½Π°ΡΠ° Π½Π΅ ΡΠ°Π·ΠΏΠΎΠ»Π°Π³Π° Ρ Π΄Π°Π½Π½ΠΈ Π·Π° Π΅Π΄ΠΈΠ½ Π΄Π΅Π½.
ΠΠΎΠ³ΠΈΡΠ½ΠΎ ΡΠ΅ΡΠ΅Π½ΠΈΠ΅ Π΅ Π΄Π° ΠΏΠ°ΡΡΠΈΡΠΈΠΎΠ½ΠΈΡΠ°ΠΌΠ΅ Π²ΠΈΡΡΠΈΠ½Π°ΡΠ° ΠΏΠΎ Π΄Π½ΠΈ, ΠΊΠΎΠ΅ΡΠΎ ΡΠ΅ ΠΏΠΎΠ·Π²ΠΎΠ»ΠΈ Π½Π° Π²ΡΠ΅ΠΊΠΈ ΡΠ»Π΅Π΄Π²Π°Ρ Π΄Π΅Π½ Π΄Π° Π΄ΠΎΠ±Π°Π²Ρ Π½ΠΎΠ²Π° ΠΏΠ°ΡΡΠΈΡΠΈΡ. Π’ΠΎΠ·ΠΈ ΠΌΠ΅Ρ
Π°Π½ΠΈΠ·ΡΠΌ ΡΡΡΠΎ Π΅ Π΄ΠΎΠ±ΡΠ΅ ΠΏΠΎΠ·Π½Π°Ρ, Spark ΠΏΠΎΠ·Π²ΠΎΠ»ΡΠ²Π° Π·Π°ΠΏΠΈΡΠ²Π°Π½Π΅ΡΠΎ Π½Π° ΠΏΠ°ΡΡΠΈΡΠΈΠΈ ΠΎΡΠ΄Π΅Π»Π½ΠΎ.
ΠΡΡΠ²ΠΎ ΠΈΠ·Π²ΡΡΡΠ²Π°ΠΌΠ΅ ΠΈΠ½ΠΈΡΠΈΠ°Π»ΠΈΠ·ΠΈΡΠ°ΡΠΎ Π·Π°ΡΠ΅ΠΆΠ΄Π°Π½Π΅, Π·Π°ΠΏΠ°Π·Π²Π°ΠΉΠΊΠΈ Π΄Π°Π½Π½ΠΈΡΠ΅, ΠΊΠ°ΠΊΡΠΎ Π±Π΅ΡΠ΅ ΠΎΠΏΠΈΡΠ°Π½ΠΎ ΠΏΠΎ-Π³ΠΎΡΠ΅, Π΄ΠΎΠ±Π°Π²ΡΠΉΠΊΠΈ ΡΠ°ΠΌΠΎ ΠΏΠ°ΡΡΠΈΡΠΈΠΎΠ½ΠΈΡΠ°Π½Π΅ΡΠΎ. Π’ΠΎΠ²Π° Π΄Π΅ΠΉΡΡΠ²ΠΈΠ΅ ΡΠ΅ Π½Π°ΡΠΈΡΠ° ΠΈΠ½ΠΈΡΠΈΠ°Π»ΠΈΠ·Π°ΡΠΈΡ Π½Π° Π²ΠΈΡΡΠΈΠ½Π°ΡΠ° ΠΈ ΡΠ΅ ΠΏΡΠ°Π²ΠΈ ΡΠ°ΠΌΠΎ Π²Π΅Π΄Π½ΡΠΆ:
df.write.partitionBy("date_load").mode("overwrite").parquet(dbpath + "\/" + db + "\/" + destTable)
ΠΠ° ΡΠ»Π΅Π΄Π²Π°ΡΠΈΡ Π΄Π΅Π½ Π·Π°ΡΠ΅ΠΆΠ΄Π°ΠΌΠ΅ ΡΠ°ΠΌΠΎ Π½ΠΎΠ²Π°ΡΠ° ΠΏΠ°ΡΡΠΈΡΠΈΡ:
df.coalesce(1).write.mode("overwrite").parquet(dbpath + "\/" + db + "\/" + destTable +"\/date_load=" + date_load + "\/" )
ΠΡΡΠ°Π²Π° ΡΠ°ΠΌΠΎ Π΄Π° ΠΏΠ΅ΡΠ΅ΡΠ΅Π³ΠΈΡΡΡΠΈΡΠ°ΠΌΠ΅ Π² Hive, Π·Π° Π΄Π° ΠΎΠ±Π½ΠΎΠ²ΠΈΠΌ ΡΡ
Π΅ΠΌΠ°ΡΠ°.
ΠΡΠΏΡΠ΅ΠΊΠΈ ΡΠΎΠ²Π°, ΡΡΠΊ ΠΈ Π²ΡΠ·Π½ΠΈΠΊΠ²Π°Ρ ΠΏΡΠΎΠ±Π»Π΅ΠΌΠΈ.
ΠΡΠΎΠ±Π»Π΅ΠΌΠ° Π½ΠΎΠΌΠ΅Ρ Π΅Π΄Π½ΠΎ. Π Π°Π½ΠΎ ΠΈΠ»ΠΈ ΠΊΡΡΠ½ΠΎ ΠΏΠΎΠ»ΡΡΠ΅Π½ΠΎΡΠΎ parquet Π½ΡΠΌΠ° Π΄Π° ΠΌΠΎΠΆΠ΅ Π΄Π° Π±ΡΠ΄Π΅ ΠΏΡΠΎΡΠ΅ΡΠ΅Π½ΠΎ. Π’ΠΎΠ²Π° ΡΠ΅ Π΄ΡΠ»ΠΆΠΈ Π½Π° ΡΠ°Π·Π»ΠΈΡΠ½ΠΈΡ ΠΏΠΎΠ΄Ρ
ΠΎΠ΄ Π½Π° parquet ΠΈ JSON ΠΊΡΠΌ ΠΏΡΠ°Π·Π½ΠΈΡΠ΅ ΠΏΠΎΠ»Π΅ΡΠ°.
ΠΠ΅ΠΊΠ° ΡΠ°Π·Π³Π»Π΅Π΄Π°ΠΌΠ΅ ΡΠΈΠΏΠΈΡΠ½Π° ΡΠΈΡΡΠ°ΡΠΈΡ. ΠΠ°ΠΏΡΠΈΠΌΠ΅Ρ, Π²ΡΠ΅ΡΠ° ΠΏΠΎΠ»ΡΡΠ°Π²Π°ΠΌΠ΅ JSON:
ΠΠ΅Π½ 1: {"a": {"b": 1}},
Π° Π΄Π½Π΅Ρ ΡΡΡΠΈΡΡ JSON ΠΈΠ·Π³Π»Π΅ΠΆΠ΄Π° ΡΠ°ΠΊΠ°:
ΠΠ΅Π½ 2: {"a": null}
ΠΠ° ΠΏΡΠ΅Π΄ΠΏΠΎΠ»ΠΎΠΆΠΈΠΌ, ΡΠ΅ ΠΈΠΌΠ°ΠΌΠ΅ Π΄Π²Π΅ ΡΠ°Π·Π»ΠΈΡΠ½ΠΈ ΠΏΠ°ΡΡΠΈΡΠΈΠΈ, Π² ΠΊΠΎΠΈΡΠΎ ΠΈΠΌΠ° ΠΏΠΎ Π΅Π΄ΠΈΠ½ ΡΠ΅Π΄.
ΠΠΎΠ³Π°ΡΠΎ ΡΠ΅ΡΠ΅ΠΌ ΠΈΠ·Ρ
ΠΎΠ΄Π½ΠΈΡΠ΅ Π΄Π°Π½Π½ΠΈ ΠΈΠ·ΡΡΠ»ΠΎ, Spark ΡΠ΅ ΡΡΠΏΠ΅Π΅ Π΄Π° ΠΎΠΏΡΠ΅Π΄Π΅Π»ΠΈ ΡΠΈΠΏΠ° ΠΈ ΡΠ΅ ΡΠ°Π·Π±Π΅ΡΠ΅, ΡΠ΅ "a" Π΅ ΠΏΠΎΠ»Π΅ ΠΎΡ ΡΠΈΠΏ "ΡΡΡΡΠΊΡΡΡΠ°", Ρ Π²Π»ΠΎΠΆΠ΅Π½ΠΎ ΠΏΠΎΠ»Π΅ "b" ΠΎΡ ΡΠΈΠΏ INT. ΠΠΎ Π°ΠΊΠΎ Π²ΡΡΠΊΠ° ΠΏΠ°ΡΡΠΈΡΠΈΡ Π΅ Π·Π°ΠΏΠ°Π·Π΅Π½Π° ΠΏΠΎΠΎΡΠ΄Π΅Π»Π½ΠΎ, ΡΠ΅ ΡΠ΅ ΠΏΠΎΠ»ΡΡΠΈ parquet Ρ Π½Π΅ΡΡΠ²ΠΌΠ΅ΡΡΠΈΠΌΠΈ ΡΡ
Π΅ΠΌΠΈ Π½Π° ΠΏΠ°ΡΡΠΈΡΠΈΠΈΡΠ΅:
df1 (a: <struct>)
df2 (a: STRING NULLABLE)
Π’Π°Π·ΠΈ ΡΠΈΡΡΠ°ΡΠΈΡ Π΅ Π΄ΠΎΠ±ΡΠ΅ ΠΈΠ·Π²Π΅ΡΡΠ½Π°, Π·Π°ΡΠΎΠ²Π° Π΅ Π΄ΠΎΠ±Π°Π²Π΅Π½Π° ΡΠΏΠ΅ΡΠΈΠ°Π»Π½Π° ΠΎΠΏΡΠΈΡ β ΠΏΡΠΈ ΠΏΠ°ΡΡΠΈΠ½Π³ Π½Π° ΠΈΠ·Ρ
ΠΎΠ΄Π½ΠΈΡΠ΅ Π΄Π°Π½Π½ΠΈ Π΄Π° Π±ΡΠ΄Π°Ρ ΠΏΡΠ΅ΠΌΠ°Ρ
Π²Π°Π½ΠΈ ΠΏΡΠ°Π·Π½ΠΈΡΠ΅ ΠΏΠΎΠ»Π΅ΡΠ°:
df = spark.read.json("...", dropFieldIfAllNull=True)
Π ΡΠ°ΠΊΡΠ² ΡΠ»ΡΡΠ°ΠΉ parquet ΡΠ΅ ΡΠ΅ ΡΡΡΡΠΎΠΈ ΠΎΡ ΠΏΠ°ΡΡΠΈΡΠΈΠΈ, ΠΊΠΎΠΈΡΠΎ ΠΌΠΎΠ³Π°Ρ Π΄Π° Π±ΡΠ΄Π°Ρ ΠΏΡΠΎΡΠ΅ΡΠ΅Π½ΠΈ Π·Π°Π΅Π΄Π½ΠΎ.
ΠΡΠΏΡΠ΅ΠΊΠΈ ΡΠΎΠ²Π°, ΡΠ΅Π·ΠΈ, ΠΊΠΎΠΈΡΠΎ ΡΠ° Π³ΠΎ ΠΏΡΠ°Π²ΠΈΠ»ΠΈ Π½Π° ΠΏΡΠ°ΠΊΡΠΈΠΊΠ°, ΡΠ΅ ΡΠ΅ ΡΡΠΌΠΈΡ
Π½Π°Ρ Π³ΠΎΡΡΠΈΠ²ΠΎ. ΠΠ°ΡΠΎ? ΠΠ°ΡΠΎΡΠΎ Π²Π΅ΡΠΎΡΡΠ½ΠΎ ΡΠ΅ Π²ΡΠ·Π½ΠΈΠΊΠ½Π°Ρ ΠΎΡΠ΅ Π΄Π²Π΅ ΡΠΈΡΡΠ°ΡΠΈΠΈ. ΠΠ»ΠΈ ΡΡΠΈ. ΠΠ»ΠΈ ΡΠ΅ΡΠΈΡΠΈ. ΠΡΡΠ²Π°ΡΠ°, ΠΊΠΎΡΡΠΎ ΠΏΠΎΡΡΠΈ ΡΠΈΠ³ΡΡΠ½ΠΎ ΡΠ΅ ΡΠ΅ ΡΠ»ΡΡΠΈ, Π΅, ΡΠ΅ ΡΠΈΡΠ»ΠΎΠ²ΠΈΡΠ΅ ΡΠΈΠΏΠΎΠ²Π΅ ΡΠ΅ ΠΈΠ·Π³Π»Π΅ΠΆΠ΄Π°Ρ ΡΠ°Π·Π»ΠΈΡΠ½ΠΎ Π² ΡΠ°Π·Π»ΠΈΡΠ½ΠΈΡΠ΅ JSON ΡΠ°ΠΉΠ»ΠΎΠ²Π΅. ΠΠ°ΠΏΡΠΈΠΌΠ΅Ρ, {intField: 1} ΠΈ {intField: 1.1}. ΠΠΊΠΎ ΡΠ°ΠΊΠΈΠ²Π° ΠΏΠΎΠ»Π΅ΡΠ° ΠΏΠΎΠΏΠ°Π΄Π½Π°Ρ Π² Π΅Π΄Π½Π° ΠΏΠ°ΡΡΠΈΡΠΈΡ, ΠΌΠ΅ΡΠΆ ΡΡ
Π΅ΠΌΠ°ΡΠ° ΡΠ΅ Π³ΠΈ ΠΏΡΠΎΡΠ΅ΡΠ΅ ΠΏΡΠ°Π²ΠΈΠ»Π½ΠΎ, ΠΏΡΠΈΠ²Π΅ΠΆΠ΄Π°ΠΉΠΊΠΈ ΠΊΡΠΌ Π½Π°ΠΉ-ΡΠΎΡΠ½ΠΈΡ ΡΠΈΠΏ. ΠΠΎ Π°ΠΊΠΎ ΡΠ° Π² ΡΠ°Π·Π»ΠΈΡΠ½ΠΈ, ΡΠΎ Π² Π΅Π΄Π½Π° ΡΠ΅ ΠΈΠΌΠ° intField: int, Π° Π² Π΄ΡΡΠ³Π° intField: double.
ΠΠ° ΠΎΠ±ΡΠ°Π±ΠΎΡΠΊΠ° Π½Π° ΡΠ°Π·ΠΈ ΡΠΈΡΡΠ°ΡΠΈΡ ΠΈΠΌΠ° ΡΠ»Π΅Π΄Π½ΠΈΡ ΡΠ»Π°Π³:
df = spark.read.json("...", dropFieldIfAllNull=True, primitivesAsString=True)
Π‘Π΅Π³Π° ΠΈΠΌΠ°ΠΌΠ΅ ΠΏΠ°ΠΏΠΊΠ°, Π² ΠΊΠΎΡΡΠΎ ΡΠ΅ Π½Π°ΠΌΠΈΡΠ°Ρ ΠΏΠ°ΡΡΠΈΡΠΈΠΈ, ΠΊΠΎΠΈΡΠΎ ΠΌΠΎΠ³Π°Ρ Π΄Π° Π±ΡΠ΄Π°Ρ ΠΏΡΠΎΡΠ΅ΡΠ΅Π½ΠΈ Π² Π΅Π΄ΠΈΠ½Π΅Π½ dataframe ΠΈ Π²Π°Π»ΠΈΠ΄Π΅Π½ parquet Π½Π° ΡΡΠ»Π°ΡΠ° Π²ΠΈΡΡΠΈΠ½Π°. ΠΠ°? ΠΠ΅.
Π’ΡΡΠ±Π²Π° Π΄Π° ΡΠΈ ΡΠΏΠΎΠΌΠ½ΠΈΠΌ, ΡΠ΅ ΡΠ΅Π³ΠΈΡΡΡΠΈΡΠ°Ρ
ΠΌΠ΅ ΡΠ°Π±Π»ΠΈΡΠ° Π² Hive. Hive Π½Π΅ Π΅ ΡΡΠ²ΡΡΠ²ΠΈΡΠ΅Π»Π΅Π½ ΠΊΡΠΌ ΡΠ΅Π³ΠΈΡΡΡΡΠ° Π² ΠΈΠΌΠ΅Π½Π°ΡΠ° Π½Π° ΠΏΠΎΠ»Π΅ΡΠ°ΡΠ°, Π° parquet Π΅ ΡΡΠ²ΡΡΠ²ΠΈΡΠ΅Π»Π΅Π½. ΠΠ°ΡΠΎΠ²Π° ΠΏΠ°ΡΡΠΈΡΠΈΠΈ Ρ ΡΡ
Π΅ΠΌΠΈ: field1: int, ΠΈ Field1: int Π·Π° Hive ΡΠ° ΠΎΠ΄ΠΈΠ½Π°ΠΊΠΎΠ²ΠΈ, Π½ΠΎ Π·Π° Spark Π½Π΅. Π’ΡΡΠ±Π²Π° Π΄Π° Π½Π΅ Π·Π°Π±ΡΠ°Π²ΠΈΠΌ Π΄Π° ΠΏΡΠΈΠ²Π΅Π΄Π΅ΠΌ ΠΈΠΌΠ΅Π½Π°ΡΠ° Π½Π° ΠΏΠΎΠ»Π΅ΡΠ°ΡΠ° Π² Π΄ΠΎΠ»Π΅Π½ ΡΠ΅Π³ΠΈΡΡΡΡ.
Π‘Π»Π΅Π΄ ΡΠΎΠ²Π°, ΠΈΠ·Π³Π»Π΅ΠΆΠ΄Π°, Π²ΡΠΈΡΠΊΠΎ Π΅ Π½Π°ΡΠ΅Π΄.
ΠΡΠΏΡΠ΅ΠΊΠΈ ΡΠΎΠ²Π°, Π½Π΅ Π²ΡΠΈΡΠΊΠΎ Π΅ ΡΠΎΠ»ΠΊΠΎΠ²Π° ΠΏΡΠΎΡΡΠΎ. ΠΡΠ·Π½ΠΈΠΊΠ²Π° Π²ΡΠΎΡΠΈΡΡ, ΡΡΡΠΎ ΡΠ°ΠΊΠ° Π΄ΠΎΠ±ΡΠ΅ ΠΈΠ·Π²Π΅ΡΡΠ΅Π½ ΠΏΡΠΎΠ±Π»Π΅ΠΌ. Π’ΡΠΉ ΠΊΠ°ΡΠΎ Π²ΡΡΠΊΠ° Π½ΠΎΠ²Π° ΠΏΠ°ΡΡΠΈΡΠΈΡ ΡΠ΅ Π·Π°ΠΏΠ°Π·Π²Π° ΠΎΡΠ΄Π΅Π»Π½ΠΎ, Π² ΠΏΠ°ΠΏΠΊΠ°ΡΠ° Π½Π° ΠΏΠ°ΡΡΠΈΡΠΈΡΡΠ° ΡΠ΅ Π±ΡΠ΄Π°Ρ Π½Π°ΡΡΠ°Π½Π΅Π½ΠΈ ΡΠ»ΡΠΆΠ΅Π±Π½ΠΈ ΡΠ°ΠΉΠ»ΠΎΠ²Π΅ Π½Π° Spark, Π½Π°ΠΏΡΠΈΠΌΠ΅Ρ, ΡΠ»Π°Π³ Π·Π° ΡΡΠΏΠ΅ΡΠ½ΠΎΡΡ Π½Π° ΠΎΠΏΠ΅ΡΠ°ΡΠΈΡΡΠ° _SUCCESS. Π’ΠΎΠ²Π° ΡΠ΅ Π΄ΠΎΠ²Π΅Π΄Π΅ Π΄ΠΎ Π³ΡΠ΅ΡΠΊΠ° ΠΏΡΠΈ ΠΎΠΏΠΈΡ Π·Π° parquet. ΠΠ° Π΄Π° ΠΈΠ·Π±Π΅Π³Π½Π΅ΠΌ ΡΠΎΠ²Π°, ΡΡΡΠ±Π²Π° Π΄Π° ΠΊΠΎΠ½ΡΠΈΠ³ΡΡΠΈΡΠ°ΠΌΠ΅ Π½Π°ΡΡΡΠΎΠΉΠΊΠΈΡΠ΅, Π·Π°Π±ΡΠ°Π½ΡΠ²Π°ΠΉΠΊΠΈ Π½Π° Spark Π΄Π° Π΄ΠΎΠ±Π°Π²Ρ ΡΠ»ΡΠΆΠ΅Π±Π½ΠΈ ΡΠ°ΠΉΠ»ΠΎΠ²Π΅ Π² ΠΏΠ°ΠΏΠΊΠ°ΡΠ°:
hadoopConf = sc._jsc.hadoopConfiguration()
hadoopConf.set("parquet.enable.summary-metadata", "false")
hadoopConf.set("mapreduce.fileoutputcommitter.marksuccessfuljobs", "false")
ΠΠ·Π³Π»Π΅ΠΆΠ΄Π°, Π²ΡΠ΅ΠΊΠΈ Π΄Π΅Π½ Π² ΠΏΠ°ΠΏΠΊΠ°ΡΠ° Π½Π° ΡΠ΅Π»Π΅Π²Π°ΡΠ° Π²ΠΈΡΡΠΈΠ½Π° ΡΠ΅ Π΄ΠΎΠ±Π°Π²Ρ Π½ΠΎΠ²Π° ΠΏΠ°ΡΡΠΈΡΠΈΡ parquet, Π² ΠΊΠΎΡΡΠΎ ΡΠ΅ ΡΡΡ
ΡΠ°Π½ΡΠ²Π°Ρ ΠΏΠ°ΡΡΠΈΡΠ°Π½ΠΈΡΠ΅ Π΄Π°Π½Π½ΠΈ Π·Π° Π΄Π΅Π½Ρ. ΠΠΈΠ΅ ΠΏΡΠ΅Π΄Π²Π°ΡΠΈΡΠ΅Π»Π½ΠΎ ΡΠ΅ ΠΏΠΎΠ³ΡΠΈΠΆΠΈΠΌ Π΄Π° Π½ΡΠΌΠ° ΠΏΠ°ΡΡΠΈΡΠΈΠΈ Ρ ΠΊΠΎΠ½ΡΠ»ΠΈΠΊΡ Π½Π° ΡΠΈΠΏΠΎΠ²Π΅ Π΄Π°Π½Π½ΠΈ.
ΠΠΎ ΠΏΡΠ΅Π΄ Π½Π°Ρ ΡΡΠΎΠΈ ΡΡΠ΅ΡΠΈΡ ΠΏΡΠΎΠ±Π»Π΅ΠΌ. Π‘Π΅Π³Π° ΠΎΠ±ΡΠ°ΡΠ° ΡΡ
Π΅ΠΌΠ° Π½Π΅ Π΅ ΠΈΠ·Π²Π΅ΡΡΠ½Π°, ΠΎΡΠ²Π΅Π½ ΡΠΎΠ²Π° Π² Hive ΡΠ°Π±Π»ΠΈΡΠ°ΡΠ° Π΅ Ρ Π½Π΅ΠΏΡΠ°Π²ΠΈΠ»Π½Π° ΡΡ
Π΅ΠΌΠ°, ΡΡΠΉ ΠΊΠ°ΡΠΎ Π²ΡΡΠΊΠ° Π½ΠΎΠ²Π° ΠΏΠ°ΡΡΠΈΡΠΈΡ Π²Π΅ΡΠΎΡΡΠ½ΠΎ Π΅ Π²Π½Π΅ΡΠ»Π° ΠΈΠ·ΠΊΡΠΈΠ²ΡΠ²Π°Π½Π΅ Π² ΡΡ
Π΅ΠΌΠ°ΡΠ°.
ΠΠ΅ΠΎΠ±Ρ
ΠΎΠ΄ΠΈΠΌΠΎ Π΅ Π΄Π° ΡΠ΅Π³ΠΈΡΡΡΠΈΡΠ°ΠΌΠ΅ ΡΠ°Π±Π»ΠΈΡΠ°ΡΠ° ΠΎΡΠ½ΠΎΠ²ΠΎ. Π’ΠΎΠ²Π° ΠΌΠΎΠΆΠ΅ Π΄Π° ΡΠ΅ Π½Π°ΠΏΡΠ°Π²ΠΈ ΠΏΡΠΎΡΡΠΎ: ΠΎΡΠ½ΠΎΠ²ΠΎ Π΄Π° ΠΏΡΠΎΡΠ΅ΡΠ΅ΠΌ parquet Π²ΠΈΡΡΠΈΠ½ΠΈΡΠ΅, Π΄Π° Π²Π·Π΅ΠΌΠ΅ΠΌ ΡΡ
Π΅ΠΌΠ°ΡΠ° ΠΈ Π΄Π° ΡΡΠ·Π΄Π°Π΄Π΅ΠΌ Π½Π° Π½Π΅ΠΉΠ½Π° ΠΎΡΠ½ΠΎΠ²Π° DDL, Ρ ΠΊΠΎΠ΅ΡΠΎ ΠΎΡΠ½ΠΎΠ²ΠΎ Π΄Π° ΡΠ΅Π³ΠΈΡΡΡΠΈΡΠ°ΠΌΠ΅ ΠΏΠ°ΠΏΠΊΠ°ΡΠ° Π² Hive ΠΊΠ°ΡΠΎ Π²ΡΠ½ΡΠ½Π° ΡΠ°Π±Π»ΠΈΡΠ°, ΠΎΠ±Π½ΠΎΠ²ΡΠ²Π°ΠΉΠΊΠΈ ΡΡ
Π΅ΠΌΠ°ΡΠ° Π½Π° ΡΠ΅Π»Π΅Π²Π°ΡΠ° Π²ΠΈΡΡΠΈΠ½Π°.
ΠΡΠ΅Π΄ΠΈ Π½Π°Ρ Π²ΡΠ·Π½ΠΈΠΊΠ²Π° ΡΠ΅ΡΠ²ΡΡΡΠΈ ΠΏΡΠΎΠ±Π»Π΅ΠΌ. ΠΠΎΠ³Π°ΡΠΎ ΡΠ΅Π³ΠΈΡΡΡΠΈΡΠ°Ρ
ΠΌΠ΅ ΡΠ°Π±Π»ΠΈΡΠ°ΡΠ° Π·Π° ΠΏΡΡΠ²ΠΈ ΠΏΡΡ, ΡΠ΅ ΠΎΠΏΠΈΡΠ°Ρ
ΠΌΠ΅ Π½Π° Spark. Π‘Π΅Π³Π° Π³ΠΎ ΠΏΡΠ°Π²ΠΈΠΌ ΡΠ°ΠΌΠΈ ΠΈ ΡΡΡΠ±Π²Π° Π΄Π° ΠΏΠΎΠΌΠ½ΠΈΠΌ, ΡΠ΅ ΠΏΠΎΠ»Π΅ΡΠ°ΡΠ° parquet ΠΌΠΎΠ³Π°Ρ Π΄Π° Π·Π°ΠΏΠΎΡΠ²Π°Ρ Ρ ΡΠΈΠΌΠ²ΠΎΠ»ΠΈ, Π½Π΅Π΄ΠΎΠΏΡΡΡΠΈΠΌΠΈ Π·Π° Hive. ΠΠ°ΠΏΡΠΈΠΌΠ΅Ρ, Spark ΠΈΠ·Ρ
Π²ΡΡΠ»Ρ ΡΠ΅Π΄ΠΎΠ²Π΅, ΠΊΠΎΠΈΡΠΎ Π½Π΅ Π΅ ΡΡΠΏΡΠ» Π΄Π° ΠΏΠ°ΡΡΠΈΡΠ° Π² ΠΏΠΎΠ»Π΅ΡΠΎ βcorrupt_recordβ. Π’Π°ΠΊΠΎΠ²Π° ΠΏΠΎΠ»Π΅ Π½ΡΠΌΠ° Π΄Π° ΠΌΠΎΠΆΠ΅ Π΄Π° Π±ΡΠ΄Π΅ ΡΠ΅Π³ΠΈΡΡΡΠΈΡΠ°Π½ΠΎ Π² Hive Π±Π΅Π· Π΄Π° Π±ΡΠ΄Π΅ Π΅ΠΊΡΠ°Π½ΠΈΡΠ°Π½ΠΎ.
ΠΠ½Π°Π΅ΠΉΠΊΠΈ ΡΠΎΠ²Π°, ΠΏΠΎΠ»ΡΡΠ°Π²Π°ΠΌΠ΅ ΡΡ
Π΅ΠΌΠ°ΡΠ°:
f_def = ""
for f in pf.dtypes:
if f[0] != "date_load":
f_def = f_def + "," + f[0].replace("_corrupt_record", "`_corrupt_record`") + " " + f[1].replace(":", "`:").replace("<", "<`").replace(",", ",`").replace("array<`", "array<")
table_define = "CREATE EXTERNAL TABLE jsonevolvtable (" + f_def[1:] + " ) "
table_define = table_define + "PARTITIONED BY (date_load string) STORED AS PARQUET LOCATION '\/user\/admin\/testJson\/testSchemaEvolution\/pq\/'"
hc.sql("drop table if exists jsonevolvtable")
hc.sql(table_define)
ΠΠΎΠ΄ ("_corrupt_record", "`_corrupt_record`") + " " + f[1].replace(":", "`:").replace("<", "<`").replace(",", ",`").replace("array<`", "array<") ΠΏΡΠ°Π²ΠΈ Π±Π΅Π·ΠΎΠΏΠ°ΡΠ΅Π½ DDL, ΡΠΎΠ΅ΡΡ Π²ΠΌΠ΅ΡΡΠΎ:
create table tname (_field1 string, 1field string)
Π‘ ΡΠ°ΠΊΠΈΠ²Π° ΠΈΠΌΠ΅Π½Π° Π½Π° ΠΏΠΎΠ»Π΅ΡΠ° ΠΊΠ°ΡΠΎ β_field1, 1fieldβ, ΡΠ΅ ΠΏΡΠ°Π²ΠΈ Π±Π΅Π·ΠΎΠΏΠ°ΡΠ΅Π½ DDL, ΠΊΡΠ΄Π΅ΡΠΎ ΠΈΠΌΠ΅Π½Π°ΡΠ° Π½Π° ΠΏΠΎΠ»Π΅ΡΠ° ΡΠ° Π΅ΠΊΡΠ°Π½ΠΈΡΠ°Π½ΠΈ: create table `tname` (`_field1` string, `1field` string).
ΠΡΠ·Π½ΠΈΠΊΠ²Π° Π²ΡΠΏΡΠΎΡΡΡ: ΠΊΠ°ΠΊ ΠΏΡΠ°Π²ΠΈΠ»Π½ΠΎ Π΄Π° ΠΏΠΎΠ»ΡΡΠΈΠΌ dataframe Ρ ΠΏΡΠ»Π½Π° ΡΡ
Π΅ΠΌΠ° (Π² ΠΊΠΎΠ΄Π° pf)? ΠΠ°ΠΊ Π΄Π° ΠΏΠΎΠ»ΡΡΠΈΠΌ ΡΠΎΠ·ΠΈ pf? Π’ΠΎΠ²Π° Π΅ ΠΏΠ΅ΡΠΈΡ ΠΏΡΠΎΠ±Π»Π΅ΠΌ. ΠΠ° ΠΏΡΠ΅ΡΠ΅ΡΠ΅ΠΌ ΡΡ
Π΅ΠΌΠ°ΡΠ° Π½Π° Π²ΡΠΈΡΠΊΠΈ ΠΏΠ°ΡΡΠΈΡΠΈΠΈ ΠΎΡ ΠΏΠ°ΠΏΠΊΠ°ΡΠ° Ρ parquet ΡΠ°ΠΉΠ»ΠΎΠ²Π΅ΡΠ΅ Π½Π° ΡΠ΅Π»Π΅Π²Π°ΡΠ° Π²ΠΈΡΡΠΈΠ½Π°? Π’ΠΎΠ²Π° Π΅ Π½Π°ΠΉ-ΡΠΈΠ³ΡΡΠ½ΠΈΡΡ ΠΌΠ΅ΡΠΎΠ΄, Π½ΠΎ ΠΈ Π½Π°ΠΉ-ΡΠ΅ΠΆΠΊΠΈΡ.
Π‘Ρ
Π΅ΠΌΠ°ΡΠ° Π²Π΅ΡΠ΅ ΡΡΡΠ΅ΡΡΠ²ΡΠ²Π° Π² Hive. ΠΠΎΠ²Π°ΡΠ° ΡΡ
Π΅ΠΌΠ° ΠΌΠΎΠΆΠ΅ Π΄Π° Π±ΡΠ΄Π΅ ΠΏΠΎΠ»ΡΡΠ΅Π½Π°, ΠΊΠ°ΡΠΎ ΡΠ΅ ΠΊΠΎΠΌΠ±ΠΈΠ½ΠΈΡΠ° ΡΡ
Π΅ΠΌΠ°ΡΠ° Π½Π° ΡΡΠ»Π°ΡΠ° ΡΠ°Π±Π»ΠΈΡΠ° Ρ Π½ΠΎΠ²Π°ΡΠ° ΠΏΠ°ΡΡΠΈΡΠΈΡ. ΠΠ½Π°ΡΠΈ ΡΡΡΠ±Π²Π° Π΄Π° Π²Π·Π΅ΠΌΠ΅ΠΌ ΡΡ
Π΅ΠΌΠ°ΡΠ° Π½Π° ΡΠ°Π±Π»ΠΈΡΠ°ΡΠ° ΠΎΡ Hive ΠΈ Π΄Π° Ρ ΠΊΠΎΠΌΠ±ΠΈΠ½ΠΈΡΠ°ΠΌΠ΅ Ρ Π½ΠΎΠ²Π°ΡΠ° ΠΏΠ°ΡΡΠΈΡΠΈΡ. Π’ΠΎΠ²Π° ΠΌΠΎΠΆΠ΅ Π΄Π° ΡΠ΅ Π½Π°ΠΏΡΠ°Π²ΠΈ, ΠΊΠ°ΡΠΎ ΠΏΡΠΎΡΠ΅ΡΠ΅ΠΌ ΡΠ΅ΡΡΠΎΠ²ΠΈΡΠ΅ ΠΌΠ΅ΡΠ°Π΄Π°Π½Π½ΠΈ ΠΎΡ Hive, Π·Π°ΠΏΠ°Π·ΠΈΠΌ Π³ΠΈ Π² Π²ΡΠ΅ΠΌΠ΅Π½Π½ΠΎ ΠΏΠ°ΠΏΠΊΠ° ΠΈ ΠΏΡΠΎΡΠ΅ΡΠ΅ΠΌ ΠΈ Π΄Π²Π΅ΡΠ΅ ΠΏΠ°ΡΡΠΈΡΠΈΠΈ Π½Π°Π²Π΅Π΄Π½ΡΠΆ Ρ Spark.
ΠΠΎ ΡΡΡΠ΅ΡΡΠ²ΠΎ ΠΈΠΌΠ°ΠΌΠ΅ Π²ΡΠΈΡΠΊΠΎ Π½Π΅ΠΎΠ±Ρ
ΠΎΠ΄ΠΈΠΌΠΎ: ΠΎΡΠΈΠ³ΠΈΠ½Π°Π»Π½Π°ΡΠ° ΡΡ
Π΅ΠΌΠ° Π½Π° ΡΠ°Π±Π»ΠΈΡΠ°ΡΠ° Π² Hive ΠΈ Π½ΠΎΠ²Π°ΡΠ° ΠΏΠ°ΡΡΠΈΡΠΈΡ. ΠΠΎΡΠΈΠ΅ ΡΡΡΠΎ ΡΠΌΠ΅ Π½Π° ΡΠ°Π·ΠΏΠΎΠ»ΠΎΠΆΠ΅Π½ΠΈΠ΅. ΠΡΡΠ°Π²Π° ΡΠ°ΠΌΠΎ Π΄Π° ΠΏΠΎΠ»ΡΡΠΈΠΌ Π½ΠΎΠ²Π°ΡΠ° ΡΡ
Π΅ΠΌΠ°, Π² ΠΊΠΎΡΡΠΎ ΡΠ΅ ΠΊΠΎΠΌΠ±ΠΈΠ½ΠΈΡΠ° ΡΡ
Π΅ΠΌΠ°ΡΠ° Π½Π° Π²ΠΈΡΡΠΈΠ½Π°ΡΠ° Ρ Π½ΠΎΠ²ΠΈΡΠ΅ ΠΏΠΎΠ»Π΅ΡΠ° ΠΎΡ ΡΡΠ·Π΄Π°Π΄Π΅Π½Π°ΡΠ° ΠΏΠ°ΡΡΠΈΡΠΈΡ:
from pyspark.sql import HiveContext
from pyspark.sql.functions import lit
hc = HiveContext(spark)
df = spark.read.json("...", dropFieldIfAllNull=True)
df.write.mode("overwrite").parquet(".../date_load=12-12-2019")
pe = hc.sql("select * from jsonevolvtable limit 1")
pe.write.mode("overwrite").parquet(".../fakePartiton/")
pf = spark.read.option("mergeSchema", True).parquet(".../date_load=12-12-2019/*", ".../fakePartiton/*")
Π‘Π»Π΅Π΄ ΡΠΎΠ²Π° ΡΡΠ·Π΄Π°Π²Π°ΠΌΠ΅ DDL Π·Π° ΡΠ΅Π³ΠΈΡΡΡΠ°ΡΠΈΡ Π½Π° ΡΠ°Π±Π»ΠΈΡΠ°ΡΠ°, ΠΊΠ°ΠΊΡΠΎ Π² ΠΏΡΠ΅Π΄ΠΈΡΠ½ΠΈΡ ΡΡΠ°Π³ΠΌΠ΅Π½Ρ.
ΠΠΊΠΎ ΡΡΠ»Π°ΡΠ° Π²Π΅ΡΠΈΠ³Π° ΡΠ°Π±ΠΎΡΠΈ ΠΏΡΠ°Π²ΠΈΠ»Π½ΠΎ, Π° ΠΈΠΌΠ΅Π½Π½ΠΎ β Π΅ ΠΈΠ·Π²ΡΡΡΠ΅Π½ΠΎ ΠΈΠ½ΠΈΡΠΈΠ°Π»ΠΈΠ·ΠΈΡΠ°Π½Π΅ Π½Π° Π·Π°ΡΠ΅ΠΆΠ΄Π°Π½Π΅ ΠΈ Π² Hive Π΅ ΡΡΠ·Π΄Π°Π΄Π΅Π½Π° ΠΏΡΠ°Π²ΠΈΠ»Π½ΠΎ ΠΎΡΠΎΡΠΌΠ΅Π½Π° ΡΠ°Π±Π»ΠΈΡΠ°, ΠΏΠΎΠ»ΡΡΠ°Π²Π°ΠΌΠ΅ Π°ΠΊΡΡΠ°Π»ΠΈΠ·ΠΈΡΠ°Π½Π° ΡΡ
Π΅ΠΌΠ° Π½Π° ΡΠ°Π±Π»ΠΈΡΠ°ΡΠ°.
Π ΠΏΠΎΡΠ»Π΅Π΄Π½ΠΈΡΡ ΠΏΡΠΎΠ±Π»Π΅ΠΌ Π΅, ΡΠ΅ Π½Π΅ ΠΌΠΎΠΆΠ΅ ΠΏΡΠΎΡΡΠΎ Π΄Π° Π΄ΠΎΠ±Π°Π²ΠΈΡΠ΅ ΠΏΠ°ΡΡΠΈΡΠΈΡ Π² ΡΠ°Π±Π»ΠΈΡΠ°ΡΠ° Hive, ΡΡΠΉ ΠΊΠ°ΡΠΎ ΡΡ ΡΠ΅ ΡΠ΅ ΠΏΡΠΎΠ²Π°Π»ΠΈ. ΠΠ΅ΠΎΠ±Ρ
ΠΎΠ΄ΠΈΠΌΠΎ Π΅ Π΄Π° Π½Π°ΠΊΠ°ΡΠ°ΡΠ΅ Hive Π΄Π° ΠΏΠΎΠΏΡΠ°Π²ΠΈ ΡΡΡΡΠΊΡΡΡΠ°ΡΠ° Π½Π° ΠΏΠ°ΡΡΠΈΡΠΈΠΈΡΠ΅:
from pyspark.sql import HiveContext
hc = HiveContext(spark)
hc.sql("MSCK REPAIR TABLE " + db + "." + destTable)
ΠΡΠΎΡΡΠ°ΡΠ° Π·Π°Π΄Π°ΡΠ° ΠΏΠΎ ΡΠ΅ΡΠ΅Π½Π΅ Π½Π° JSON ΠΈ ΡΡΠ·Π΄Π°Π²Π°Π½Π΅ Π½Π° Π²ΠΈΡΡΠΈΠ½Π° Π½Π° Π±Π°Π·Π°ΡΠ° Π½Π° Π½Π΅Π³ΠΎ ΡΠ΅ ΠΈΠ·ΡΠ°Π·ΡΠ²Π° Π² ΠΏΡΠ΅ΠΎΠ΄ΠΎΠ»ΡΠ²Π°Π½Π΅ Π½Π° ΡΠ΅Π΄ΠΈΡΠ° Π½Π΅ΡΠ²Π½ΠΈ ΡΡΡΠ΄Π½ΠΎΡΡΠΈ, ΡΠ΅ΡΠ΅Π½ΠΈΡΡΠ° Π½Π° ΠΊΠΎΠΈΡΠΎ ΡΡΡΠ±Π²Π° Π΄Π° ΡΠ΅ ΡΡΡΡΡΡ ΠΏΠΎΠΎΡΠ΄Π΅Π»Π½ΠΎ. Π Π²ΡΠΏΡΠ΅ΠΊΠΈ ΡΠ΅ ΡΠ΅ΡΠ΅Π½ΠΈΡΡΠ° ΡΠ° ΠΏΡΠΎΡΡΠΈ, Π½Π°ΠΌΠΈΡΠ°Π½Π΅ΡΠΎ ΠΈΠΌ ΠΎΡΠ½Π΅ΠΌΠ° ΠΌΠ½ΠΎΠ³ΠΎ Π²ΡΠ΅ΠΌΠ΅.
ΠΠ° Π΄Π° ΡΠ΅Π°Π»ΠΈΠ·ΠΈΡΠ°ΠΌΠ΅ ΠΈΠ·Π³ΡΠ°ΠΆΠ΄Π°Π½Π΅ΡΠΎ Π½Π° Π²ΠΈΡΡΠΈΠ½Π°, ΡΡΡΠ±Π²Π°ΡΠ΅:
- ΠΠ° Π΄ΠΎΠ±Π°Π²ΠΈΠΌ ΠΏΠ°ΡΡΠΈΡΠΈΠΈ Π² Π²ΠΈΡΡΠΈΠ½Π°ΡΠ°, ΠΎΡΠ²ΠΎΠ±ΠΎΠΆΠ΄Π°Π²Π°ΠΉΠΊΠΈ ΡΠ΅ ΠΎΡ ΡΠ»ΡΠΆΠ΅Π±Π½ΠΈΡΠ΅ ΡΠ°ΠΉΠ»ΠΎΠ²Π΅
- ΠΠ° ΡΠ΅ ΡΠ°Π·Π±Π΅ΡΠ΅ΠΌ Ρ ΠΏΡΠ°Π·Π½ΠΈΡΠ΅ ΠΏΠΎΠ»Π΅ΡΠ° Π² ΠΈΠ·Ρ
ΠΎΠ΄Π½ΠΈΡΠ΅ Π΄Π°Π½Π½ΠΈ, ΠΊΠΎΠΈΡΠΎ Spark Π΅ ΡΠΈΠΏΠΈΠ·ΠΈΡΠ°Π»
- ΠΠ° ΠΏΡΠΈΠ²Π΅Π΄Π΅ΠΌ ΠΏΡΠΎΡΡΠΈΡΠ΅ ΡΠΈΠΏΠΎΠ²Π΅ ΠΊΡΠΌ Π½ΠΈΠ·ΠΎΠ²Π΅
- ΠΠ° ΠΏΡΠΈΠ²Π΅Π΄Π΅ΠΌ ΠΈΠΌΠ΅Π½Π°ΡΠ° Π½Π° ΠΏΠΎΠ»Π΅ΡΠ°ΡΠ° ΠΊΡΠΌ ΠΌΠ°Π»ΠΊΠΈ Π±ΡΠΊΠ²ΠΈ
- ΠΠ° ΡΠ°Π·Π΄Π΅Π»ΠΈΠΌ ΠΈΠ·Π²Π΅ΠΆΠ΄Π°Π½Π΅ΡΠΎ Π½Π° Π΄Π°Π½Π½ΠΈ ΠΈ ΡΠ΅Π³ΠΈΡΡΡΠ°ΡΠΈΡΡΠ° Π½Π° ΡΠ°Π±Π»ΠΈΡΠ°ΡΠ° Π² Hive (ΡΡΠ·Π΄Π°Π²Π°Π½Π΅ Π½Π° DDL)
- ΠΠ° Π½Π΅ Π·Π°Π±ΡΠ°Π²ΠΈΠΌ Π΄Π° Π΅ΠΊΡΠ°Π½ΠΈΡΠ°ΠΌΠ΅ ΠΈΠΌΠ΅Π½Π°ΡΠ° Π½Π° ΠΏΠΎΠ»Π΅ΡΠ°ΡΠ°, ΠΊΠΎΠΈΡΠΎ ΠΌΠΎΠ³Π°Ρ Π΄Π° Π½Π΅ ΡΠ° ΡΡΠ²ΠΌΠ΅ΡΡΠΈΠΌΠΈ Ρ Hive
- ΠΠ° Π½Π°ΡΡΠΈΠΌ ΠΊΠ°ΠΊ Π΄Π° Π°ΠΊΡΡΠ°Π»ΠΈΠ·ΠΈΡΠ°ΠΌΠ΅ ΡΠ΅Π³ΠΈΡΡΡΠ°ΡΠΈΡΡΠ° Π½Π° ΡΠ°Π±Π»ΠΈΡΠ°ΡΠ° Π² Hive
Π Π·Π°ΠΊΠ»ΡΡΠ΅Π½ΠΈΠ΅, ΠΎΡΠ±Π΅Π»ΡΠ·Π²Π°ΠΌΠ΅, ΡΠ΅ ΡΠ΅ΡΠ΅Π½ΠΈΠ΅ΡΠΎ Π·Π° ΠΈΠ·Π³ΡΠ°ΠΆΠ΄Π°Π½Π΅ Π½Π° Π²ΠΈΡΡΠΈΠ½ΠΈ ΠΊΡΠΈΠ΅ ΠΌΠ½ΠΎΠΆΠ΅ΡΡΠ²ΠΎ ΠΏΠΎΠ΄Π²ΠΎΠ΄Π½ΠΈ ΠΊΠ°ΠΌΡΠ½ΠΈ. ΠΠ°ΡΠΎΠ²Π°, ΠΏΡΠΈ Π²ΡΠ·Π½ΠΈΠΊΠ²Π°Π½Π΅ Π½Π° Π·Π°ΡΡΡΠ΄Π½Π΅Π½ΠΈΡ Π² ΡΠ΅Π°Π»ΠΈΠ·Π°ΡΠΈΡΡΠ°, Π΅ ΠΏΠΎ-Π΄ΠΎΠ±ΡΠ΅ Π΄Π° ΡΠ΅ ΠΎΠ±ΡΡΠ½Π΅ΡΠ΅ ΠΊΡΠΌ ΠΎΠΏΠΈΡΠ΅Π½ ΠΏΠ°ΡΡΠ½ΡΠΎΡ Ρ ΡΡΠΏΠ΅ΡΠ½Π° Π΅ΠΊΡΠΏΠ΅ΡΡΠΈΠ·Π°.
ΠΠ»Π°Π³ΠΎΠ΄Π°ΡΠΈΠΌ Π·Π° ΠΏΡΠΎΡΠΈΡΠ°Π½Π΅ΡΠΎ Π½Π° ΡΠ°Π·ΠΈ ΡΡΠ°ΡΠΈΡ, Π½Π°Π΄ΡΠ²Π°ΠΌΠ΅ ΡΠ΅ ΠΈΠ½ΡΠΎΡΠΌΠ°ΡΠΈΡΡΠ° Π΄Π° Π±ΡΠ΄Π΅ ΠΏΠΎΠ»Π΅Π·Π½Π°.
ΠΠ·ΡΠΎΡΠ½ΠΈΠΊ: habr.com
ΠΡΠΏΠ΅ΡΠ΅ Π½Π°Π΄Π΅ΠΆΠ΄Π΅Π½ Ρ
ΠΎΡΡΠΈΠ½Π³ Π·Π° ΡΠ°ΠΉΡΠΎΠ²Π΅ ΡΡΡ Π·Π°ΡΠΈΡΠ° ΠΎΡ DDoS, VPS ΠΈ VDS ΡΡΡΠ²ΡΡΠΈ π₯ ΠΡΠΏΠ΅ΡΠ΅ Π½Π°Π΄Π΅ΠΆΠ΄Π΅Π½ Ρ
ΠΎΡΡΠΈΠ½Π³ Π·Π° ΡΠ°ΠΉΡΠΎΠ²Π΅ ΡΡΡ Π·Π°ΡΠΈΡΠ° ΠΎΡ DDoS, VPS ΠΈ VDS ΡΡΡΠ²ΡΡΠΈ | ProHoster
