ເຂົ້າໄປໃນທະເລສາບ Delta: ການບັງຄັບໃຊ້ Schema ແລະວິວັດທະນາການ

Hey Habr! ຂ້າ​ພະ​ເຈົ້າ​ນໍາ​ສະ​ເຫນີ​ໃຫ້​ທ່ານ​ສົນ​ໃຈ​ການ​ແປ​ພາ​ສາ​ຂອງ​ບົດ​ຄວາມ​ໄດ້​ "ການດໍານ້ໍາເຂົ້າໄປໃນທະເລສາບ Delta: ການບັງຄັບໃຊ້ Schema & Evolution" ຜູ້ຂຽນ Burak Yavuz, Brenner Heintz ແລະ Denny Lee, ເຊິ່ງໄດ້ຖືກກະກຽມໃນຄວາມຄາດຫວັງຂອງການເລີ່ມຕົ້ນຂອງຫຼັກສູດ. ວິສະວະກອນຂໍ້ມູນ ຈາກ OTUS.

ຂໍ້ມູນ, ຄືກັບປະສົບການຂອງພວກເຮົາ, ແມ່ນສະສົມ ແລະພັດທະນາຢ່າງຕໍ່ເນື່ອງ. ເພື່ອຮັກສາ, ຮູບແບບຈິດໃຈຂອງໂລກຂອງພວກເຮົາຕ້ອງປັບຕົວເຂົ້າກັບຂໍ້ມູນໃຫມ່, ບາງອັນມີຂະຫນາດໃຫມ່ - ວິທີການໃຫມ່ຂອງການສັງເກດສິ່ງທີ່ພວກເຮົາບໍ່ເຄີຍຄິດກ່ຽວກັບມາກ່ອນ. ຮູບແບບທາງຈິດເຫຼົ່ານີ້ບໍ່ແຕກຕ່າງກັນຫຼາຍຈາກຕາຕະລາງຕາຕະລາງທີ່ກໍານົດວິທີທີ່ພວກເຮົາຈັດປະເພດແລະປຸງແຕ່ງຂໍ້ມູນໃຫມ່.

ນີ້ນໍາພວກເຮົາໄປຫາບັນຫາຂອງການຄຸ້ມຄອງ schema. ເມື່ອຄວາມທ້າທາຍທາງທຸລະກິດ ແລະຄວາມຕ້ອງການປ່ຽນແປງຕາມເວລາ, ໂຄງສ້າງຂອງຂໍ້ມູນຂອງທ່ານກໍ່ຄືກັນ. Delta Lake ເຮັດໃຫ້ມັນງ່າຍທີ່ຈະແນະນໍາການວັດແທກໃຫມ່ຍ້ອນວ່າການປ່ຽນແປງຂໍ້ມູນ. ຜູ້ໃຊ້ສາມາດເຂົ້າເຖິງ semantics ງ່າຍໆເພື່ອຈັດການຕາຕະລາງຕາຕະລາງຂອງພວກເຂົາ. ເຄື່ອງມືເຫຼົ່ານີ້ລວມມີການບັງຄັບໃຊ້ Schema, ເຊິ່ງປົກປ້ອງຜູ້ໃຊ້ຈາກການເຮັດໃຫ້ຕາຕະລາງຂອງເຂົາເຈົ້າມົນລະພິດໂດຍບໍ່ໄດ້ຕັ້ງໃຈດ້ວຍຄວາມຜິດພາດຫຼືຂໍ້ມູນທີ່ບໍ່ຈໍາເປັນ, ແລະ Schema Evolution, ເຊິ່ງອະນຸຍາດໃຫ້ຖັນໃຫມ່ຂອງຂໍ້ມູນທີ່ມີຄຸນຄ່າຖືກເພີ່ມໂດຍອັດຕະໂນມັດໃນສະຖານທີ່ທີ່ເຫມາະສົມ. ໃນບົດຄວາມນີ້, ພວກເຮົາຈະເລິກເຂົ້າໄປໃນການນໍາໃຊ້ເຄື່ອງມືເຫຼົ່ານີ້.

ຄວາມເຂົ້າໃຈຕາຕະລາງຕາຕະລາງ

ແຕ່ລະ DataFrame ໃນ Apache Spark ມີ schema ທີ່ກໍານົດຮູບແບບຂອງຂໍ້ມູນ, ເຊັ່ນ: ປະເພດຂໍ້ມູນ, ຖັນ, ແລະ metadata. ດ້ວຍ Delta Lake, ແຜນຜັງຕາຕະລາງຖືກເກັບໄວ້ໃນຮູບແບບ JSON ພາຍໃນບັນທຶກການເຮັດທຸລະກໍາ.

ການບັງຄັບໃຊ້ໂຄງການແມ່ນຫຍັງ?

ການບັງຄັບໃຊ້ Schema, ເຊິ່ງເອີ້ນກັນວ່າ Schema Validation, ແມ່ນກົນໄກຄວາມປອດໄພໃນ Delta Lake ທີ່ຮັບປະກັນຄຸນນະພາບຂໍ້ມູນໂດຍການປະຕິເສດບັນທຶກທີ່ບໍ່ກົງກັບ schema ຂອງຕາຕະລາງ. ເຊັ່ນດຽວກັນກັບ hostess ຢູ່ຫນ້າຮ້ານຂອງຮ້ານອາຫານທີ່ຈອງເທົ່ານັ້ນ, ນາງກວດເບິ່ງວ່າແຕ່ລະຄໍລໍາຂອງຂໍ້ມູນທີ່ເຂົ້າໄປໃນຕາຕະລາງແມ່ນຢູ່ໃນບັນຊີລາຍຊື່ທີ່ສອດຄ້ອງກັນຂອງຖັນທີ່ຄາດໄວ້ (ໃນຄໍາສັບຕ່າງໆອື່ນໆ, ບໍ່ວ່າຈະມີ "ການຈອງ" ສໍາລັບແຕ່ລະຄົນ. ), ແລະປະຕິເສດການບັນທຶກໃດໆທີ່ມີຄໍລໍາທີ່ບໍ່ມີຢູ່ໃນບັນຊີລາຍຊື່.

ການບັງຄັບໃຊ້ schema ເຮັດວຽກແນວໃດ?

Delta Lake ໃຊ້ການກວດສອບ schema-on-write, ຊຶ່ງຫມາຍຄວາມວ່າການຂຽນໃຫມ່ທັງຫມົດໃນຕາຕະລາງຖືກກວດສອບເພື່ອຄວາມເຂົ້າກັນໄດ້ກັບ schema ຂອງຕາຕະລາງເປົ້າຫມາຍໃນເວລາຂຽນ. ຖ້າ schema ບໍ່ສອດຄ່ອງ, Delta Lake ຈະຍົກເລີກການເຮັດທຸລະກໍາທັງຫມົດ (ບໍ່ມີຂໍ້ມູນຖືກຂຽນໄວ້) ແລະຍົກຂໍ້ຍົກເວັ້ນເພື່ອແຈ້ງໃຫ້ຜູ້ໃຊ້ຮູ້ກ່ຽວກັບຄວາມບໍ່ສອດຄ່ອງ.
Delta Lake ໃຊ້ກົດລະບຽບຕໍ່ໄປນີ້ເພື່ອກໍານົດວ່າບັນທຶກແມ່ນເຂົ້າກັນໄດ້ກັບຕາຕະລາງ. ກອບຂໍ້ມູນທີ່ສາມາດຂຽນໄດ້:

• ບໍ່ສາມາດມີຖັນເພີ່ມເຕີມທີ່ບໍ່ໄດ້ຢູ່ໃນໂຄງຮ່າງຂອງຕາຕາລາງເປົ້າໝາຍ. ໃນທາງກົງກັນຂ້າມ, ທຸກສິ່ງທຸກຢ່າງຈະດີຖ້າຂໍ້ມູນຂາເຂົ້າບໍ່ມີຄໍລໍາທັງຫມົດຈາກຕາຕະລາງ - ຖັນເຫຼົ່ານີ້ພຽງແຕ່ຈະຖືກມອບຫມາຍຄ່າ null.
• ບໍ່ສາມາດມີປະເພດຂໍ້ມູນຖັນທີ່ແຕກຕ່າງຈາກປະເພດຂໍ້ມູນຂອງຖັນໃນຕາຕະລາງເປົ້າໝາຍ. ຖ້າຖັນຕາຕະລາງເປົ້າຫມາຍມີຂໍ້ມູນ StringType, ແຕ່ຄໍລໍາທີ່ສອດຄ້ອງກັນໃນ DataFrame ມີຂໍ້ມູນ IntegerType, ການບັງຄັບໃຊ້ schema ຈະຖິ້ມຂໍ້ຍົກເວັ້ນແລະປ້ອງກັນບໍ່ໃຫ້ການປະຕິບັດການຂຽນ.
• ບໍ່ສາມາດມີຊື່ຖັນທີ່ແຕກຕ່າງພຽງແຕ່ໃນກໍລະນີ. ນີ້ຫມາຍຄວາມວ່າທ່ານບໍ່ສາມາດມີຄໍລໍາທີ່ມີຊື່ 'Foo' ແລະ 'foo' ກໍານົດຢູ່ໃນຕາຕະລາງດຽວກັນ. ໃນຂະນະທີ່ Spark ສາມາດຖືກນໍາໃຊ້ໃນໂຫມດທີ່ລະອຽດອ່ອນຫຼືຕົວພິມນ້ອຍ (ຄ່າເລີ່ມຕົ້ນ), Delta Lake ແມ່ນການເກັບຮັກສາກໍລະນີແຕ່ບໍ່ມີຄວາມຮູ້ສຶກພາຍໃນການເກັບຮັກສາ schema. Parquet ແມ່ນຕົວພິມນ້ອຍໃຫຍ່ໃນເວລາທີ່ເກັບຮັກສາແລະສົ່ງຄືນຂໍ້ມູນຖັນ. ເພື່ອຫຼີກເວັ້ນຄວາມຜິດພາດທີ່ເປັນໄປໄດ້, ຂໍ້ມູນເສຍຫາຍ, ຫຼືການສູນເສຍຂໍ້ມູນ (ບາງສິ່ງບາງຢ່າງທີ່ພວກເຮົາມີປະສົບການສ່ວນຕົວຢູ່ທີ່ Databricks), ພວກເຮົາຕັດສິນໃຈເພີ່ມຂໍ້ຈໍາກັດນີ້.

ເພື່ອສະແດງໃຫ້ເຫັນເລື່ອງນີ້, ໃຫ້ພວກເຮົາເບິ່ງສິ່ງທີ່ເກີດຂື້ນໃນລະຫັດຂ້າງລຸ່ມນີ້ເມື່ອພວກເຮົາພະຍາຍາມເພີ່ມຄໍລໍາທີ່ສ້າງຂຶ້ນໃຫມ່ໃນຕາຕະລາງ Delta Lake ທີ່ຍັງບໍ່ທັນໄດ້ກໍານົດເພື່ອຍອມຮັບພວກມັນ.

# Сгенерируем DataFrame ссуд, который мы добавим в нашу таблицу Delta Lake
loans = sql("""
            SELECT addr_state, CAST(rand(10)*count as bigint) AS count,
            CAST(rand(10) * 10000 * count AS double) AS amount
            FROM loan_by_state_delta
            """)

# Вывести исходную схему DataFrame
original_loans.printSchema()

root
  |-- addr_state: string (nullable = true)
  |-- count: integer (nullable = true)
 
# Вывести новую схему DataFrame
loans.printSchema()
 
root
  |-- addr_state: string (nullable = true)
  |-- count: integer (nullable = true)
  |-- amount: double (nullable = true) # new column
 
# Попытка добавить новый DataFrame (с новым столбцом) в существующую таблицу
loans.write.format("delta") 
           .mode("append") 
           .save(DELTALAKE_PATH)

Returns:

A schema mismatch detected when writing to the Delta table.
 
To enable schema migration, please set:
'.option("mergeSchema", "true")'
 
Table schema:
root
-- addr_state: string (nullable = true)
-- count: long (nullable = true)
 
Data schema:
root
-- addr_state: string (nullable = true)
-- count: long (nullable = true)
-- amount: double (nullable = true)
 
If Table ACLs are enabled, these options will be ignored. Please use the ALTER TABLE command for changing the schema.

ແທນທີ່ຈະເພີ່ມຖັນໃຫມ່ໂດຍອັດຕະໂນມັດ, Delta Lake ວາງ schema ແລະຢຸດການຂຽນ. ເພື່ອຊ່ວຍກໍານົດວ່າຖັນໃດ (ຫຼືຊຸດຂອງຄໍລໍາ) ເຮັດໃຫ້ເກີດຄວາມແຕກຕ່າງກັນ, Spark ຜົນໄດ້ຮັບທັງສອງ schemas ຈາກ stack trace ສໍາລັບການປຽບທຽບ.

ຜົນປະໂຫຍດຂອງການບັງຄັບໃຊ້ schema ແມ່ນຫຍັງ?

ເນື່ອງຈາກວ່າການບັງຄັບໃຊ້ schema ແມ່ນການກວດສອບທີ່ເຂັ້ມງວດ, ມັນເປັນເຄື່ອງມືທີ່ດີເລີດທີ່ຈະໃຊ້ເປັນຜູ້ຮັກສາປະຕູໄປຫາຊຸດຂໍ້ມູນທີ່ສະອາດ, ປ່ຽນແປງຢ່າງສົມບູນທີ່ກຽມພ້ອມສໍາລັບການຜະລິດຫຼືການບໍລິໂພກ. ໂດຍປົກກະຕິແລ້ວໃຊ້ກັບຕາຕະລາງທີ່ປ້ອນຂໍ້ມູນໂດຍກົງ:

• ຂັ້ນຕອນການຮຽນຮູ້ເຄື່ອງຈັກ
• BI dashboards
• ເຄື່ອງມືການວິເຄາະຂໍ້ມູນ ແລະການສ້າງພາບ
• ລະ​ບົບ​ການ​ຜະ​ລິດ​ໃດ​ຫນຶ່ງ​ທີ່​ຮຽກ​ຮ້ອງ​ໃຫ້​ມີ​ໂຄງ​ສ້າງ​ສູງ​, ການ​ພິມ​ຢ່າງ​ແຂງ​ແຮງ schemas semantic​.

ເພື່ອກະກຽມຂໍ້ມູນຂອງເຂົາເຈົ້າສໍາລັບອຸປະສັກສຸດທ້າຍນີ້, ຜູ້ໃຊ້ຫຼາຍຄົນໃຊ້ສະຖາປັດຕະຍະກໍາ "multi-hop" ທີ່ງ່າຍດາຍທີ່ຄ່ອຍໆແນະນໍາໂຄງສ້າງເຂົ້າໄປໃນຕາຕະລາງຂອງພວກເຂົາ. ເພື່ອຮຽນຮູ້ເພີ່ມເຕີມກ່ຽວກັບເລື່ອງນີ້, ທ່ານສາມາດກວດເບິ່ງບົດຄວາມ ການຮຽນຮູ້ເຄື່ອງຈັກໃນລະດັບການຜະລິດກັບ Delta Lake.

ແນ່ນອນ, ການບັງຄັບໃຊ້ schema ສາມາດນໍາໃຊ້ໄດ້ທຸກບ່ອນໃນທໍ່ຂອງທ່ານ, ແຕ່ຈື່ໄວ້ວ່າການຖ່າຍທອດໄປຫາຕາຕະລາງໃນກໍລະນີນີ້ສາມາດເຮັດໃຫ້ອຸກອັ່ງເພາະວ່າ, ຕົວຢ່າງ, ທ່ານລືມວ່າທ່ານເພີ່ມຄໍລໍາອື່ນໃສ່ຂໍ້ມູນຂາເຂົ້າ.

ປ້ອງກັນການເຈືອຈາງຂອງຂໍ້ມູນ

ດຽວນີ້ເຈົ້າອາດຈະສົງໄສວ່າ, ແມ່ນຫຍັງທີ່ສັບສົນ? ຫຼັງຈາກທີ່ທັງຫມົດ, ບາງຄັ້ງຄວາມຜິດພາດ "schema mismatch" ທີ່ບໍ່ຄາດຄິດສາມາດເຮັດໃຫ້ທ່ານຢູ່ໃນຂະບວນການເຮັດວຽກຂອງທ່ານ, ໂດຍສະເພາະຖ້າທ່ານໃຫມ່ກັບ Delta Lake. ເປັນຫຍັງບໍ່ພຽງແຕ່ໃຫ້ schema ປ່ຽນແປງຕາມຄວາມຕ້ອງການເພື່ອໃຫ້ຂ້ອຍສາມາດຂຽນ DataFrame ຂອງຂ້ອຍໄດ້ບໍ່ວ່າຈະເປັນແນວໃດ?

ດັ່ງຄຳເກົ່າແກ່ທີ່ກ່າວໄວ້ວ່າ, "ການປ້ອງກັນໜຶ່ງອັນແມ່ນຄຸ້ມຄ່າກັບການປິ່ນປົວ." ໃນບາງຈຸດ, ຖ້າທ່ານບໍ່ເອົາໃຈໃສ່ໃນການບັງຄັບໃຊ້ schema ຂອງທ່ານ, ບັນຫາຄວາມເຂົ້າກັນໄດ້ຂອງປະເພດຂໍ້ມູນຈະຢູ່ຫລັງຫົວທີ່ຂີ້ຮ້າຍຂອງພວກເຂົາ - ແຫຼ່ງຂໍ້ມູນວັດຖຸດິບທີ່ເບິ່ງຄືວ່າຈະປະກອບດ້ວຍກໍລະນີແຂບ, ຖັນທີ່ເສຍຫາຍ, ການສ້າງແຜນທີ່ທີ່ບໍ່ຖືກຕ້ອງ, ຫຼືສິ່ງທີ່ຫນ້າຢ້ານກົວອື່ນໆທີ່ຈະຝັນໃນ. ຝັນຮ້າຍ. ວິທີການທີ່ດີທີ່ສຸດແມ່ນເພື່ອຢຸດສັດຕູເຫຼົ່ານີ້ຢູ່ທີ່ປະຕູຮົ້ວ - ດ້ວຍການບັງຄັບໃຊ້ schema - ແລະຈັດການກັບພວກມັນໃນຄວາມສະຫວ່າງ, ແທນທີ່ຈະຕໍ່ມາເມື່ອພວກເຂົາເລີ່ມລີ້ຢູ່ໃນຄວາມເລິກຊ້ໍາຂອງລະຫັດການຜະລິດຂອງທ່ານ.

ການບັງຄັບໃຊ້ schema ເຮັດໃຫ້ທ່ານຫມັ້ນໃຈວ່າ schema ຂອງຕາຕະລາງຂອງເຈົ້າຈະບໍ່ປ່ຽນແປງເວັ້ນເສຍແຕ່ວ່າທ່ານອະນຸມັດການປ່ຽນແປງ. ນີ້ປ້ອງກັນການເຈືອຈາງຂອງຂໍ້ມູນ, ເຊິ່ງສາມາດເກີດຂື້ນໄດ້ເມື່ອມີຖັນໃຫມ່ຖືກເພີ່ມເລື້ອຍໆເລື້ອຍໆ, ຕາຕະລາງທີ່ຖືກບີບອັດໃນເມື່ອກ່ອນສູນເສຍຄວາມຫມາຍແລະປະໂຫຍດຂອງພວກເຂົາຍ້ອນການນ້ໍາຖ້ວມຂອງຂໍ້ມູນ. ໂດຍການຊຸກຍູ້ໃຫ້ທ່ານຕັ້ງໃຈ, ຕັ້ງມາດຕະຖານສູງ, ແລະຄາດຫວັງວ່າມີຄຸນນະພາບສູງ, ການບັງຄັບໃຊ້ schema ເຮັດສິ່ງທີ່ມັນຖືກອອກແບບມາເພື່ອເຮັດ - ຊ່ວຍໃຫ້ທ່ານມີສະຕິແລະສະເປຣດຊີດຂອງທ່ານສະອາດ.

ຖ້າ​ຫາກ​ທ່ານ​ພິ​ຈາ​ລະ​ນາ​ເພີ່ມ​ເຕີມ​ທ່ານ​ຕັດ​ສິນ​ໃຈ​ວ່າ​ທ່ານ​ແທ້​ ຕ້ອງການ ເພີ່ມຖັນໃຫມ່ - ບໍ່ມີບັນຫາ, ຂ້າງລຸ່ມນີ້ແມ່ນການແກ້ໄຂຫນຶ່ງແຖວ. ການແກ້ໄຂແມ່ນວິວັດທະນາການຂອງວົງຈອນ!

ວິວັດທະນາການ schema ແມ່ນຫຍັງ?

Schema evolution ແມ່ນຄຸນສົມບັດທີ່ຊ່ວຍໃຫ້ຜູ້ໃຊ້ສາມາດປ່ຽນຕາຕະລາງປະຈຸບັນໄດ້ຢ່າງງ່າຍດາຍຕາມຂໍ້ມູນທີ່ປ່ຽນແປງໃນໄລຍະເວລາ. ມັນຖືກນໍາໃຊ້ຫຼາຍທີ່ສຸດໃນເວລາທີ່ປະຕິບັດການເພີ່ມເຕີມຫຼືການຂຽນຄືນໃຫມ່ເພື່ອປັບຕົວແບບອັດຕະໂນມັດເພື່ອປະກອບມີຫນຶ່ງຫຼືຫຼາຍຖັນໃຫມ່.

ວິວັດທະນາການ schema ເຮັດວຽກແນວໃດ?

ປະຕິບັດຕາມຕົວຢ່າງຈາກພາກກ່ອນ, ນັກພັດທະນາສາມາດໃຊ້ schema evolution ໄດ້ຢ່າງງ່າຍດາຍເພື່ອເພີ່ມຄໍລໍາໃຫມ່ທີ່ຖືກປະຕິເສດກ່ອນຫນ້ານີ້ເນື່ອງຈາກຄວາມບໍ່ສອດຄ່ອງຂອງ schema. ວິວັດທະນາວົງຈອນຖືກເປີດໃຊ້ໂດຍການເພີ່ມ .option('mergeSchema', 'true') ກັບທີມງານ Spark ຂອງທ່ານ .write или .writeStream.

# Добавьте параметр mergeSchema
loans.write.format("delta") 
           .option("mergeSchema", "true") 
           .mode("append") 
           .save(DELTALAKE_SILVER_PATH)

ເພື່ອເບິ່ງກາຟ, ດໍາເນີນການສອບຖາມ Spark SQL ຕໍ່ໄປນີ້

# Создайте график с новым столбцом, чтобы подтвердить, что запись прошла успешно
%sql
SELECT addr_state, sum(`amount`) AS amount
FROM loan_by_state_delta
GROUP BY addr_state
ORDER BY sum(`amount`)
DESC LIMIT 10

ອີກທາງເລືອກ, ທ່ານສາມາດກໍານົດທາງເລືອກນີ້ສໍາລັບກອງປະຊຸມ Spark ທັງຫມົດໂດຍການເພີ່ມ spark.databricks.delta.schema.autoMerge = True ກັບການຕັ້ງຄ່າ Spark. ແຕ່ໃຫ້ໃຊ້ມັນຢ່າງລະມັດລະວັງ, ເພາະວ່າການບັງຄັບໃຊ້ schema ຈະບໍ່ແຈ້ງເຕືອນທ່ານເຖິງຄວາມບໍ່ສອດຄ່ອງຂອງ schema ອີກຕໍ່ໄປ.

ໂດຍການລວມເອົາພາລາມິເຕີໃນຄໍາຮ້ອງຂໍ mergeSchema, ຄໍລໍາທັງຫມົດທີ່ຢູ່ໃນ DataFrame ແຕ່ບໍ່ແມ່ນຢູ່ໃນຕາຕະລາງເປົ້າຫມາຍຈະຖືກເພີ່ມໂດຍອັດຕະໂນມັດໃສ່ໃນຕອນທ້າຍຂອງ schema ເປັນສ່ວນຫນຶ່ງຂອງການເຮັດທຸລະກໍາການຂຽນ. ສາມາດເພີ່ມຊ່ອງຂໍ້ມູນ Nested ໄດ້ ແລະສິ່ງເຫຼົ່ານີ້ຈະຖືກເພີ່ມໃສ່ໃນຕອນທ້າຍຂອງຖັນໂຄງສ້າງທີ່ສອດຄ້ອງກັນ.

ວິສະວະກອນວັນທີແລະນັກວິທະຍາສາດຂໍ້ມູນສາມາດນໍາໃຊ້ທາງເລືອກນີ້ເພື່ອເພີ່ມຄໍລໍາໃຫມ່ (ບາງທີ metric ຕິດຕາມບໍ່ດົນມານີ້ຫຼືຄໍລໍາປະສິດທິພາບການຂາຍຂອງເດືອນນີ້) ກັບຕາຕະລາງການຜະລິດການຮຽນຮູ້ເຄື່ອງຈັກທີ່ມີຢູ່ແລ້ວຂອງເຂົາເຈົ້າໂດຍບໍ່ມີການທໍາລາຍຮູບແບບທີ່ມີຢູ່ແລ້ວໂດຍອີງໃສ່ຄໍລໍາເກົ່າ.

ປະເພດຂອງການປ່ຽນແປງ schema ຕໍ່ໄປນີ້ແມ່ນອະນຸຍາດໃຫ້ເປັນສ່ວນຫນຶ່ງຂອງ schema evolution ໃນລະຫວ່າງການເພີ່ມຕາຕະລາງຫຼືຂຽນໃຫມ່:

• ການເພີ່ມຖັນໃໝ່ (ນີ້ແມ່ນສະຖານະການທົ່ວໄປທີ່ສຸດ)
• ການປ່ຽນປະເພດຂໍ້ມູນຈາກ NullType -> ປະເພດອື່ນໆ ຫຼືການສົ່ງເສີມຈາກ ByteType -> ShortType -> IntegerType

ການ​ປ່ຽນ​ແປງ​ອື່ນໆ​ທີ່​ບໍ່​ໄດ້​ອະ​ນຸ​ຍາດ​ໃຫ້​ພາຍ​ໃນ schema evolution ຮຽກ​ຮ້ອງ​ໃຫ້ schema ແລະ​ຂໍ້​ມູນ​ໄດ້​ຮັບ​ການ​ຂຽນ​ຄືນ​ໃຫມ່​ໂດຍ​ການ​ເພີ່ມ .option("overwriteSchema", "true"). ຕົວຢ່າງ, ໃນກໍລະນີທີ່ຖັນ "Foo" ໃນເບື້ອງຕົ້ນເປັນຈໍານວນເຕັມແລະ schema ໃຫມ່ແມ່ນປະເພດຂໍ້ມູນສະຕຣິງ, ຫຼັງຈາກນັ້ນໄຟລ໌ Parquet (ຂໍ້ມູນ) ທັງຫມົດຈະຕ້ອງຖືກຂຽນຄືນໃຫມ່. ການປ່ຽນແປງດັ່ງກ່າວລວມມີ:

• ການລຶບຖັນ
• ການ​ປ່ຽນ​ແປງ​ປະ​ເພດ​ຂໍ້​ມູນ​ຂອງ​ຖັນ​ທີ່​ມີ​ຢູ່​ແລ້ວ (ໃນ​ສະ​ຖານ​ທີ່​)
• ການປ່ຽນຊື່ຖັນທີ່ແຕກຕ່າງພຽງແຕ່ໃນກໍລະນີ (ຕົວຢ່າງ, "Foo" ແລະ "foo")

ສຸດທ້າຍ, ດ້ວຍການເປີດຕົວຕໍ່ໄປຂອງ Spark 3.0, DDL ຢ່າງຊັດເຈນຈະໄດ້ຮັບການສະຫນັບສະຫນູນຢ່າງເຕັມທີ່ (ໃຊ້ ALTER TABLE), ໃຫ້ຜູ້ໃຊ້ສາມາດປະຕິບັດດັ່ງຕໍ່ໄປນີ້ກ່ຽວກັບຕາຕະລາງຕາຕະລາງ:

• ເພີ່ມຖັນ
• ການ​ປ່ຽນ​ແປງ​ຄໍາ​ຄິດ​ເຫັນ​ຖັນ​
• ການຕັ້ງຄ່າຄຸນສົມບັດຕາຕະລາງທີ່ຄວບຄຸມພຶດຕິກໍາຂອງຕາຕະລາງ, ເຊັ່ນ: ກໍານົດໄລຍະເວລາທີ່ບັນທຶກການເຮັດທຸລະກໍາຖືກເກັບໄວ້.

ຜົນປະໂຫຍດຂອງການວິວັດທະນາວົງຈອນແມ່ນຫຍັງ?

ການວິວັດທະນາການ Schema ສາມາດໃຊ້ໄດ້ທຸກຄັ້ງທີ່ທ່ານ ຕັ້ງໃຈ ປ່ຽນ schema ຂອງຕາຕະລາງຂອງທ່ານ (ກົງກັນຂ້າມກັບເວລາທີ່ເຈົ້າເພີ່ມຖັນໃສ່ DataFrame ຂອງທ່ານໂດຍບັງເອີນທີ່ບໍ່ຄວນຢູ່ທີ່ນັ້ນ). ນີ້ແມ່ນວິທີທີ່ງ່າຍທີ່ສຸດໃນການເຄື່ອນຍ້າຍ schema ຂອງທ່ານເພາະວ່າມັນຈະເພີ່ມຊື່ຖັນທີ່ຖືກຕ້ອງແລະປະເພດຂໍ້ມູນໂດຍອັດຕະໂນມັດໂດຍບໍ່ຈໍາເປັນຕ້ອງປະກາດຢ່າງຊັດເຈນ.

ສະຫລຸບ

ການບັງຄັບໃຊ້ Schema ປະຕິເສດຄໍລໍາໃຫມ່ຫຼືການປ່ຽນແປງ schema ອື່ນໆທີ່ບໍ່ເຫມາະສົມກັບຕາຕະລາງຂອງທ່ານ. ໂດຍການກໍານົດແລະຮັກສາມາດຕະຖານສູງເຫຼົ່ານີ້, ນັກວິເຄາະແລະວິສະວະກອນສາມາດໄວ້ວາງໃຈໄດ້ວ່າຂໍ້ມູນຂອງພວກເຂົາມີຄວາມຊື່ສັດສູງສຸດ, ສື່ສານມັນຢ່າງຊັດເຈນແລະຊັດເຈນ, ໃຫ້ພວກເຂົາຕັດສິນໃຈທຸລະກິດທີ່ດີກວ່າ.

ໃນທາງກົງກັນຂ້າມ, ການວິວັດທະນາການ schema ເສີມການບັງຄັບໃຊ້ໂດຍການເຮັດໃຫ້ງ່າຍດາຍ ຖືກກ່າວຫາ ການປ່ຽນແປງ schema ອັດຕະໂນມັດ. ຫຼັງຈາກທີ່ທັງຫມົດ, ມັນບໍ່ຄວນຈະເປັນການຍາກທີ່ຈະເພີ່ມຖັນ.

ການ​ປະ​ຕິ​ບັດ​ການ​ບັງ​ຄັບ​ຂອງ​ໂຄງ​ການ​ແມ່ນ yang​, ບ່ອນ​ທີ່​ວິ​ວັດ​ການ​ຂອງ​ໂຄງ​ການ​ແມ່ນ yin​. ເມື່ອນໍາໃຊ້ຮ່ວມກັນ, ຄຸນສົມບັດເຫຼົ່ານີ້ເຮັດໃຫ້ການສະກັດກັ້ນສຽງລົບກວນແລະການປັບສັນຍານງ່າຍກວ່າທີ່ເຄີຍ.

ພວກເຮົາຍັງຕ້ອງຂໍຂອບໃຈ Mukul Murthy ແລະ Pranav Anand ສໍາລັບການປະກອບສ່ວນຂອງເຂົາເຈົ້າໃນບົດຄວາມນີ້.

ບົດຄວາມອື່ນໆໃນຊຸດນີ້:

ເຂົ້າໄປໃນ Delta Lake: Unpacking the Transaction Log

ບົດຂຽນທີ່ກ່ຽວຂ້ອງ

ການຮຽນຮູ້ເຄື່ອງຈັກໃນລະດັບການຜະລິດກັບ Delta Lake

ທະເລສາບຂໍ້ມູນແມ່ນຫຍັງ?

ຊອກຫາເພີ່ມເຕີມກ່ຽວກັບຫຼັກສູດ

ແຫຼ່ງຂໍ້ມູນ: www.habr.com