ഡെൽറ്റ ലേക്ക് ഡൈവ്: എൻഫോഴ്സ്മെന്റ് ആൻഡ് സ്കീം എവല്യൂഷൻ

ഹേ ഹബർ! ലേഖനത്തിന്റെ വിവർത്തനം ഞാൻ നിങ്ങളുടെ ശ്രദ്ധയിൽപ്പെടുത്തുന്നു "ഡെൽറ്റ തടാകത്തിലേക്ക് ഡൈവിംഗ്: സ്കീമ എൻഫോഴ്സ്മെൻ്റ് & എവല്യൂഷൻ" കോഴ്‌സിൻ്റെ ആരംഭം പ്രതീക്ഷിച്ച് തയ്യാറാക്കിയ രചയിതാക്കളായ ബുറാക് യാവുസ്, ബ്രെന്നർ ഹെയ്ൻ്റ്‌സ്, ഡെന്നി ലീ എന്നിവർ "ഡാറ്റ എഞ്ചിനീയർ" OTUS ൽ നിന്ന്.

നമ്മുടെ അനുഭവം പോലെ ഡാറ്റയും നിരന്തരം ശേഖരിക്കപ്പെടുകയും വികസിക്കുകയും ചെയ്യുന്നു. തുടരുന്നതിന്, നമ്മുടെ മാനസിക മാതൃകകൾ പുതിയ ഡാറ്റയുമായി പൊരുത്തപ്പെടണം, അവയിൽ ചിലത് പുതിയ മാനങ്ങൾ ഉൾക്കൊള്ളുന്നു - മുമ്പ് നമുക്ക് അറിയാത്ത കാര്യങ്ങൾ നിരീക്ഷിക്കുന്നതിനുള്ള പുതിയ വഴികൾ. പുതിയ വിവരങ്ങൾ ഞങ്ങൾ എങ്ങനെ തരംതിരിക്കുകയും പ്രോസസ്സ് ചെയ്യുകയും ചെയ്യുന്നു എന്ന് നിർണ്ണയിക്കുന്ന ടേബിൾ സ്കീമകളിൽ നിന്ന് ഈ മാനസിക മാതൃകകൾ വളരെ വ്യത്യസ്തമല്ല.

ഇത് സ്കീമ മാനേജ്മെൻ്റിൻ്റെ പ്രശ്നത്തിലേക്ക് നമ്മെ എത്തിക്കുന്നു. ബിസിനസ്സ് വെല്ലുവിളികളും ആവശ്യകതകളും കാലത്തിനനുസരിച്ച് മാറുന്നതിനനുസരിച്ച് നിങ്ങളുടെ ഡാറ്റയുടെ ഘടനയും മാറുന്നു. ഡാറ്റ മാറുന്നതിനനുസരിച്ച് പുതിയ അളവുകൾ അവതരിപ്പിക്കുന്നത് ഡെൽറ്റ തടാകം എളുപ്പമാക്കുന്നു. ഉപയോക്താക്കൾക്ക് അവരുടെ ടേബിൾ സ്‌കീമകൾ നിയന്ത്രിക്കാൻ ലളിതമായ സെമാൻ്റിക്‌സിലേക്ക് ആക്‌സസ് ഉണ്ട്. ഈ ടൂളുകളിൽ സ്‌കീമ എൻഫോഴ്‌സ്‌മെൻ്റ് ഉൾപ്പെടുന്നു, ഇത് ഉപയോക്താക്കളുടെ ടേബിളുകൾ തെറ്റായി അല്ലെങ്കിൽ അനാവശ്യ ഡാറ്റ ഉപയോഗിച്ച് മലിനമാക്കുന്നതിൽ നിന്നും ഉപയോക്താക്കളെ സംരക്ഷിക്കുന്നു, കൂടാതെ മൂല്യവത്തായ ഡാറ്റയുടെ പുതിയ കോളങ്ങൾ ഉചിതമായ സ്ഥലങ്ങളിലേക്ക് സ്വയമേവ ചേർക്കാൻ അനുവദിക്കുന്ന സ്കീമ എവല്യൂഷൻ. ഈ ലേഖനത്തിൽ, ഈ ഉപകരണങ്ങൾ ഉപയോഗിക്കുന്നതിന് ഞങ്ങൾ കൂടുതൽ ആഴത്തിൽ ഇറങ്ങും.

പട്ടിക സ്കീമകൾ മനസ്സിലാക്കുന്നു

അപ്പാച്ചെ സ്പാർക്കിലെ ഓരോ ഡാറ്റാഫ്രെയിമിലും ഡാറ്റാ തരങ്ങൾ, കോളങ്ങൾ, മെറ്റാഡാറ്റ എന്നിവ പോലുള്ള ഡാറ്റയുടെ രൂപം നിർവചിക്കുന്ന ഒരു സ്കീമ അടങ്ങിയിരിക്കുന്നു. ഡെൽറ്റ തടാകത്തിൽ, ടേബിൾ സ്കീമ ഇടപാട് ലോഗിനുള്ളിൽ JSON ഫോർമാറ്റിൽ സംഭരിച്ചിരിക്കുന്നു.

എന്താണ് സ്കീം എൻഫോഴ്സ്മെൻ്റ്?

പട്ടികയുടെ സ്കീമയുമായി പൊരുത്തപ്പെടാത്ത റെക്കോർഡുകൾ നിരസിച്ചുകൊണ്ട് ഡാറ്റ നിലവാരം ഉറപ്പാക്കുന്ന ഡെൽറ്റ തടാകത്തിലെ ഒരു സുരക്ഷാ സംവിധാനമാണ് സ്കീമ വാലിഡേഷൻ എന്നും അറിയപ്പെടുന്ന സ്കീമ എൻഫോഴ്സ്മെൻ്റ്. ഒരു ജനപ്രിയ റിസർവേഷൻ മാത്രമുള്ള റെസ്റ്റോറൻ്റിൻ്റെ മുൻ മേശയിലെ ഹോസ്റ്റസിനെപ്പോലെ, പട്ടികയിൽ നൽകിയ ഡാറ്റയുടെ ഓരോ നിരയും പ്രതീക്ഷിക്കുന്ന നിരകളുടെ അനുബന്ധ പട്ടികയിലാണോ (മറ്റൊരു രീതിയിൽ പറഞ്ഞാൽ, അവയിൽ ഓരോന്നിനും ഒരു "റിസർവേഷൻ" ഉണ്ടോ എന്ന് അവൾ പരിശോധിക്കുന്നു. ), കൂടാതെ ലിസ്റ്റിൽ ഇല്ലാത്ത കോളങ്ങളുള്ള എല്ലാ രേഖകളും നിരസിക്കുന്നു.

സ്കീമ എൻഫോഴ്സ്മെൻ്റ് എങ്ങനെയാണ് പ്രവർത്തിക്കുന്നത്?

ഡെൽറ്റ തടാകം സ്കീമ-ഓൺ-റൈറ്റ് ചെക്കിംഗ് ഉപയോഗിക്കുന്നു, അതായത് പട്ടികയിലേക്കുള്ള എല്ലാ പുതിയ റൈറ്റുകളും റൈറ്റ് സമയത്ത് ടാർഗെറ്റ് ടേബിളിൻ്റെ സ്കീമയുമായി പൊരുത്തപ്പെടുന്നുണ്ടോയെന്ന് പരിശോധിക്കുന്നു. സ്കീമ പൊരുത്തമില്ലാത്തതാണെങ്കിൽ, ഡെൽറ്റ തടാകം ഇടപാട് പൂർണ്ണമായും നിർത്തലാക്കുന്നു (ഡാറ്റയൊന്നും എഴുതിയിട്ടില്ല) കൂടാതെ പൊരുത്തക്കേട് ഉപയോക്താവിനെ അറിയിക്കുന്നതിന് ഒരു അപവാദം ഉയർത്തുന്നു.
ഒരു ടേബിളുമായി ഒരു റെക്കോർഡ് അനുയോജ്യമാണോ എന്ന് നിർണ്ണയിക്കാൻ ഡെൽറ്റ തടാകം ഇനിപ്പറയുന്ന നിയമങ്ങൾ ഉപയോഗിക്കുന്നു. എഴുതാവുന്ന ഡാറ്റ ഫ്രെയിം:

• ടാർഗെറ്റ് ടേബിളിൻ്റെ സ്കീമയിൽ ഇല്ലാത്ത അധിക നിരകൾ ഉൾക്കൊള്ളാൻ കഴിയില്ല. നേരെമറിച്ച്, ഇൻകമിംഗ് ഡാറ്റയിൽ പട്ടികയിൽ നിന്നുള്ള എല്ലാ നിരകളും അടങ്ങിയിട്ടില്ലെങ്കിൽ എല്ലാം ശരിയാണ് - ഈ നിരകൾക്ക് കേവലം ശൂന്യ മൂല്യങ്ങൾ നൽകും.
• ടാർഗെറ്റ് ടേബിളിലെ കോളങ്ങളുടെ ഡാറ്റ തരങ്ങളിൽ നിന്ന് വ്യത്യസ്തമായ കോളം ഡാറ്റ തരങ്ങൾ ഉണ്ടാകരുത്. ടാർഗെറ്റ് ടേബിൾ കോളത്തിൽ StringType ഡാറ്റ അടങ്ങിയിരിക്കുന്നു, എന്നാൽ DataFrame-ലെ അനുബന്ധ കോളത്തിൽ IntegerType ഡാറ്റ അടങ്ങിയിരിക്കുന്നുവെങ്കിൽ, സ്കീമ എൻഫോഴ്‌സ്‌മെൻ്റ് ഒരു ഒഴിവാക്കൽ നൽകുകയും എഴുത്ത് പ്രവർത്തനം നടക്കുന്നത് തടയുകയും ചെയ്യും.
• കേസിൽ മാത്രം വ്യത്യാസമുള്ള കോളം പേരുകൾ അടങ്ങിയിരിക്കരുത്. ഒരേ ടേബിളിൽ നിങ്ങൾക്ക് 'Foo', 'foo' എന്നീ കോളങ്ങൾ നിർവചിക്കാനാവില്ല എന്നാണ് ഇതിനർത്ഥം. കേസ്-സെൻസിറ്റീവ് അല്ലെങ്കിൽ കേസ്-ഇൻസെൻസിറ്റീവ് (ഡിഫോൾട്ട്) മോഡിൽ സ്പാർക്ക് ഉപയോഗിക്കാമെങ്കിലും, ഡെൽറ്റ തടാകം കെയ്‌സ്-പ്രിസർവിംഗ് ആണ്, പക്ഷേ സ്‌കീമ സ്റ്റോറേജിൽ സെൻസിറ്റീവ് ആണ്. നിര വിവരങ്ങൾ സംഭരിക്കുമ്പോഴും തിരികെ നൽകുമ്പോഴും പാർക്ക്വെറ്റ് കേസ് സെൻസിറ്റീവ് ആണ്. സാധ്യമായ പിശകുകൾ, ഡാറ്റ അഴിമതി അല്ലെങ്കിൽ ഡാറ്റ നഷ്ടം (ഡാറ്റാബ്രിക്സിൽ ഞങ്ങൾ വ്യക്തിപരമായി അനുഭവിച്ച ചിലത്), ഈ പരിമിതി ചേർക്കാൻ ഞങ്ങൾ തീരുമാനിച്ചു.

ഇത് വ്യക്തമാക്കുന്നതിന്, ഡെൽറ്റ ലേക്ക് ടേബിളിലേക്ക് പുതിയതായി സൃഷ്ടിച്ച ചില കോളങ്ങൾ ചേർക്കാൻ ശ്രമിക്കുമ്പോൾ ചുവടെയുള്ള കോഡിൽ എന്താണ് സംഭവിക്കുന്നതെന്ന് നോക്കാം, അവ സ്വീകരിക്കാൻ ഇതുവരെ കോൺഫിഗർ ചെയ്തിട്ടില്ല.

# Сгенерируем DataFrame ссуд, который мы добавим в нашу таблицу Delta Lake
loans = sql("""
            SELECT addr_state, CAST(rand(10)*count as bigint) AS count,
            CAST(rand(10) * 10000 * count AS double) AS amount
            FROM loan_by_state_delta
            """)

# Вывести исходную схему DataFrame
original_loans.printSchema()

root
  |-- addr_state: string (nullable = true)
  |-- count: integer (nullable = true)
 
# Вывести новую схему DataFrame
loans.printSchema()
 
root
  |-- addr_state: string (nullable = true)
  |-- count: integer (nullable = true)
  |-- amount: double (nullable = true) # new column
 
# Попытка добавить новый DataFrame (с новым столбцом) в существующую таблицу
loans.write.format("delta") 
           .mode("append") 
           .save(DELTALAKE_PATH)

Returns:

A schema mismatch detected when writing to the Delta table.
 
To enable schema migration, please set:
'.option("mergeSchema", "true")'
 
Table schema:
root
-- addr_state: string (nullable = true)
-- count: long (nullable = true)
 
Data schema:
root
-- addr_state: string (nullable = true)
-- count: long (nullable = true)
-- amount: double (nullable = true)
 
If Table ACLs are enabled, these options will be ignored. Please use the ALTER TABLE command for changing the schema.

പുതിയ നിരകൾ സ്വയമേവ ചേർക്കുന്നതിനുപകരം, ഡെൽറ്റ തടാകം ഒരു സ്കീമ ചുമത്തുകയും എഴുത്ത് നിർത്തുകയും ചെയ്യുന്നു. ഏത് നിരയാണ് (അല്ലെങ്കിൽ നിരകളുടെ കൂട്ടം) പൊരുത്തക്കേട് ഉണ്ടാക്കുന്നത് എന്ന് നിർണ്ണയിക്കാൻ സഹായിക്കുന്നതിന്, താരതമ്യത്തിനായി സ്പാർക്ക് രണ്ട് സ്കീമകളും സ്റ്റാക്ക് ട്രെയ്സിൽ നിന്ന് ഔട്ട്പുട്ട് ചെയ്യുന്നു.

ഒരു സ്കീമ നടപ്പിലാക്കുന്നതിൻ്റെ പ്രയോജനം എന്താണ്?

സ്‌കീമ എൻഫോഴ്‌സ്‌മെൻ്റ് വളരെ കർശനമായ പരിശോധനയായതിനാൽ, ഉൽപ്പാദനത്തിനോ ഉപഭോഗത്തിനോ തയ്യാറുള്ള വൃത്തിയുള്ളതും പൂർണ്ണമായും രൂപാന്തരപ്പെട്ടതുമായ ഡാറ്റാ സെറ്റിൻ്റെ ഗേറ്റ്കീപ്പറായി ഉപയോഗിക്കുന്നതിനുള്ള മികച്ച ഉപകരണമാണിത്. ഡാറ്റ നേരിട്ട് നൽകുന്ന പട്ടികകളിൽ സാധാരണയായി പ്രയോഗിക്കുന്നു:

• മെഷീൻ ലേണിംഗ് അൽഗോരിതം
• BI ഡാഷ്‌ബോർഡുകൾ
• ഡാറ്റ അനലിറ്റിക്സും വിഷ്വലൈസേഷൻ ടൂളുകളും
• ഉയർന്ന ഘടനാപരമായ, ശക്തമായി ടൈപ്പ് ചെയ്ത സെമാൻ്റിക് സ്കീമകൾ ആവശ്യമുള്ള ഏതൊരു പ്രൊഡക്ഷൻ സിസ്റ്റവും.

ഈ അന്തിമ തടസ്സത്തിനായി അവരുടെ ഡാറ്റ തയ്യാറാക്കുന്നതിനായി, പല ഉപയോക്താക്കളും ലളിതമായ "മൾട്ടി-ഹോപ്പ്" ആർക്കിടെക്ചർ ഉപയോഗിക്കുന്നു, അത് ക്രമേണ അവരുടെ പട്ടികകളിലേക്ക് ഘടനയെ അവതരിപ്പിക്കുന്നു. ഇതിനെക്കുറിച്ച് കൂടുതലറിയാൻ, നിങ്ങൾക്ക് ലേഖനം പരിശോധിക്കാം ഡെൽറ്റ തടാകത്തിനൊപ്പം പ്രൊഡക്ഷൻ-ഗ്രേഡ് മെഷീൻ ലേണിംഗ്.

തീർച്ചയായും, സ്കീമ എൻഫോഴ്‌സ്‌മെൻ്റ് നിങ്ങളുടെ പൈപ്പ്‌ലൈനിൽ എവിടെയും ഉപയോഗിക്കാനാകും, എന്നാൽ ഈ സാഹചര്യത്തിൽ ഒരു ടേബിളിലേക്ക് സ്ട്രീം ചെയ്യുന്നത് നിരാശാജനകമാണെന്ന് ഓർക്കുക, ഉദാഹരണത്തിന്, ഇൻകമിംഗ് ഡാറ്റയിലേക്ക് നിങ്ങൾ മറ്റൊരു കോളം ചേർത്തത് നിങ്ങൾ മറന്നു.

ഡാറ്റ ഡൈല്യൂഷൻ തടയുന്നു

ഇപ്പോൾ നിങ്ങൾ ചിന്തിച്ചേക്കാം, എന്തിനെക്കുറിച്ചാണ് ഈ ബഹളം? എല്ലാത്തിനുമുപരി, ചിലപ്പോൾ ഒരു അപ്രതീക്ഷിത "സ്കീമ പൊരുത്തക്കേട്" പിശക് നിങ്ങളുടെ വർക്ക്ഫ്ലോയിൽ നിങ്ങളെ ട്രിപ്പ് ചെയ്തേക്കാം, പ്രത്യേകിച്ചും നിങ്ങൾ ഡെൽറ്റ തടാകത്തിൽ പുതിയ ആളാണെങ്കിൽ. എന്തുകൊണ്ട് സ്കീമയെ ആവശ്യാനുസരണം മാറ്റാൻ അനുവദിക്കരുത്, അതുവഴി എനിക്ക് എന്തുതന്നെയായാലും എൻ്റെ ഡാറ്റാഫ്രെയിം എഴുതാനാകും?

പഴയ പഴഞ്ചൊല്ല് പറയുന്നതുപോലെ, "ഒരു ഔൺസ് പ്രതിരോധം ഒരു പൗണ്ട് ചികിത്സയ്ക്ക് വിലമതിക്കുന്നു." ചില ഘട്ടങ്ങളിൽ, നിങ്ങളുടെ സ്കീമ നടപ്പിലാക്കാൻ നിങ്ങൾ ശ്രദ്ധിച്ചില്ലെങ്കിൽ, ഡാറ്റാ ടൈപ്പ് കോംപാറ്റിബിലിറ്റി പ്രശ്നങ്ങൾ അവരുടെ വൃത്തികെട്ട തല ഉയർത്തും - ഏകതാനമായ അസംസ്കൃത ഡാറ്റ സ്രോതസ്സുകളിൽ എഡ്ജ് കേസുകൾ, കേടായ കോളങ്ങൾ, തെറ്റായ മാപ്പിംഗുകൾ, അല്ലെങ്കിൽ സ്വപ്നം കാണാൻ ഭയപ്പെടുത്തുന്ന മറ്റ് കാര്യങ്ങൾ എന്നിവ അടങ്ങിയിരിക്കാം. പേടിസ്വപ്നങ്ങൾ. ഈ ശത്രുക്കളെ ഗേറ്റിൽ നിർത്തി - സ്കീമ നിർവ്വഹണത്തിലൂടെ - നിങ്ങളുടെ പ്രൊഡക്ഷൻ കോഡിൻ്റെ ഇരുണ്ട ആഴത്തിൽ പതിയിരിക്കാൻ തുടങ്ങുന്നതിനുപകരം വെളിച്ചത്തിൽ അവരുമായി ഇടപെടുക എന്നതാണ് ഏറ്റവും നല്ല സമീപനം.

ഒരു സ്കീമ നടപ്പിലാക്കുന്നത്, നിങ്ങൾ മാറ്റം അംഗീകരിക്കുന്നില്ലെങ്കിൽ നിങ്ങളുടെ ടേബിളിൻ്റെ സ്കീമ മാറില്ല എന്ന ഉറപ്പ് നൽകുന്നു. ഇത് ഡാറ്റ ഡൈല്യൂഷനെ തടയുന്നു, പുതിയ നിരകൾ ഇടയ്ക്കിടെ ചേർക്കുമ്പോൾ സംഭവിക്കാവുന്ന, മുമ്പ് മൂല്യവത്തായതും കംപ്രസ് ചെയ്തതുമായ പട്ടികകൾക്ക് ഡാറ്റാ ഇൻണ്ടേഷൻ കാരണം അവയുടെ അർത്ഥവും ഉപയോഗവും നഷ്ടപ്പെടും. മനഃപൂർവ്വം, ഉയർന്ന നിലവാരം സ്ഥാപിക്കുക, ഉയർന്ന നിലവാരം പ്രതീക്ഷിക്കുക എന്നിവ പ്രോത്സാഹിപ്പിക്കുന്നതിലൂടെ, സ്കീമ എൻഫോഴ്‌സ്‌മെൻ്റ് അത് ചെയ്യാൻ രൂപകൽപ്പന ചെയ്‌തത് കൃത്യമായി ചെയ്യുന്നു-മനസ്സാക്ഷിയുള്ളവരായിരിക്കാനും നിങ്ങളുടെ സ്‌പ്രെഡ്‌ഷീറ്റുകൾ വൃത്തിയായി തുടരാനും നിങ്ങളെ സഹായിക്കുന്നു.

കൂടുതൽ പരിഗണനയിൽ നിങ്ങൾ ശരിക്കും തീരുമാനിക്കുകയാണെങ്കിൽ ആവശ്യം ഒരു പുതിയ കോളം ചേർക്കുക - ഒരു പ്രശ്നവുമില്ല, താഴെ ഒരു ഒറ്റവരി പരിഹാരമാണ്. സർക്യൂട്ടിൻ്റെ പരിണാമമാണ് പരിഹാരം!

എന്താണ് സ്കീമ പരിണാമം?

കാലക്രമേണ മാറുന്ന ഡാറ്റ അനുസരിച്ച് നിലവിലെ ടേബിൾ സ്കീമ എളുപ്പത്തിൽ മാറ്റാൻ ഉപയോക്താക്കളെ അനുവദിക്കുന്ന ഒരു സവിശേഷതയാണ് സ്കീമ പരിണാമം. ഒന്നോ അതിലധികമോ പുതിയ നിരകൾ ഉൾപ്പെടുത്തുന്നതിന് സ്കീമയെ സ്വയമേവ പൊരുത്തപ്പെടുത്തുന്നതിന് ഒരു അനുബന്ധം അല്ലെങ്കിൽ റീറൈറ്റ് ഓപ്പറേഷൻ നടത്തുമ്പോൾ ഇത് മിക്കപ്പോഴും ഉപയോഗിക്കുന്നു.

സ്കീമ പരിണാമം എങ്ങനെയാണ് പ്രവർത്തിക്കുന്നത്?

മുമ്പത്തെ വിഭാഗത്തിൽ നിന്നുള്ള ഉദാഹരണം പിന്തുടർന്ന്, സ്കീമ പൊരുത്തക്കേട് കാരണം മുമ്പ് നിരസിച്ച പുതിയ കോളങ്ങൾ ചേർക്കാൻ ഡവലപ്പർമാർക്ക് സ്കീമ പരിണാമം എളുപ്പത്തിൽ ഉപയോഗിക്കാം. ചേർക്കുന്നതിലൂടെ സർക്യൂട്ട് പരിണാമം സജീവമാക്കുന്നു .option('mergeSchema', 'true') നിങ്ങളുടെ സ്പാർക്ക് ടീമിലേക്ക് .write или .writeStream.

# Добавьте параметр mergeSchema
loans.write.format("delta") 
           .option("mergeSchema", "true") 
           .mode("append") 
           .save(DELTALAKE_SILVER_PATH)

ഗ്രാഫ് കാണുന്നതിന്, ഇനിപ്പറയുന്ന Spark SQL അന്വേഷണം പ്രവർത്തിപ്പിക്കുക

# Создайте график с новым столбцом, чтобы подтвердить, что запись прошла успешно
%sql
SELECT addr_state, sum(`amount`) AS amount
FROM loan_by_state_delta
GROUP BY addr_state
ORDER BY sum(`amount`)
DESC LIMIT 10

പകരമായി, ചേർത്തുകൊണ്ട് മുഴുവൻ സ്പാർക്ക് സെഷനുമായും നിങ്ങൾക്ക് ഈ ഓപ്ഷൻ സജ്ജമാക്കാം spark.databricks.delta.schema.autoMerge = True സ്പാർക്ക് കോൺഫിഗറേഷനിലേക്ക്. എന്നാൽ ഇത് ജാഗ്രതയോടെ ഉപയോഗിക്കുക, കാരണം സ്കീമ എൻഫോഴ്‌സ്‌മെൻ്റ് മനഃപൂർവമല്ലാത്ത സ്കീമ പൊരുത്തക്കേടുകളിലേക്ക് നിങ്ങളെ അറിയിക്കില്ല.

അഭ്യർത്ഥനയിൽ പാരാമീറ്റർ ഉൾപ്പെടുത്തിക്കൊണ്ട് mergeSchema, DataFrame-ൽ ഉള്ളതും എന്നാൽ ടാർഗെറ്റ് ടേബിളിൽ ഇല്ലാത്തതുമായ എല്ലാ കോളങ്ങളും ഒരു എഴുത്ത് ഇടപാടിൻ്റെ ഭാഗമായി സ്കീമയുടെ അവസാനം സ്വയമേവ ചേർക്കും. നെസ്റ്റഡ് ഫീൽഡുകളും ചേർക്കാം, ഇവയും അനുബന്ധ ഘടന നിരകളുടെ അവസാനം ചേർക്കും.

പഴയ കോളങ്ങളെ അടിസ്ഥാനമാക്കി നിലവിലുള്ള മോഡലുകൾ തകർക്കാതെ തന്നെ നിലവിലുള്ള മെഷീൻ ലേണിംഗ് പ്രൊഡക്ഷൻ ടേബിളുകളിലേക്ക് പുതിയ കോളങ്ങൾ (ഒരുപക്ഷേ അടുത്തിടെ ട്രാക്ക് ചെയ്‌ത മെട്രിക് അല്ലെങ്കിൽ ഈ മാസത്തെ സെയിൽസ് പെർഫോമൻസ് കോളം) ചേർക്കാൻ തീയതി എഞ്ചിനീയർമാർക്കും ഡാറ്റാ ശാസ്ത്രജ്ഞർക്കും ഈ ഓപ്‌ഷൻ ഉപയോഗിക്കാം.

ടേബിൾ കൂട്ടിച്ചേർക്കുമ്പോഴോ വീണ്ടും എഴുതുമ്പോഴോ സ്കീമ പരിണാമത്തിൻ്റെ ഭാഗമായി ഇനിപ്പറയുന്ന തരത്തിലുള്ള സ്കീമ മാറ്റങ്ങൾ അനുവദനീയമാണ്:

• പുതിയ നിരകൾ ചേർക്കുന്നു (ഇതാണ് ഏറ്റവും സാധാരണമായ സാഹചര്യം)
• NullType -> മറ്റേതെങ്കിലും തരത്തിൽ നിന്ന് ഡാറ്റ തരങ്ങൾ മാറ്റുക അല്ലെങ്കിൽ ByteType -> ShortType -> IntegerType-ൽ നിന്ന് പ്രമോട്ട് ചെയ്യുക

സ്കീമ പരിണാമത്തിൽ അനുവദനീയമല്ലാത്ത മറ്റ് മാറ്റങ്ങൾക്ക് സ്കീമയും ഡാറ്റയും ചേർത്ത് വീണ്ടും എഴുതേണ്ടതുണ്ട് .option("overwriteSchema", "true"). ഉദാഹരണത്തിന്, "Foo" എന്ന കോളം യഥാർത്ഥത്തിൽ ഒരു പൂർണ്ണസംഖ്യയും പുതിയ സ്കീമ ഒരു സ്ട്രിംഗ് ഡാറ്റാ തരവും ആയിരുന്നെങ്കിൽ, എല്ലാ Parquet(data) ഫയലുകളും വീണ്ടും എഴുതേണ്ടതുണ്ട്. അത്തരം മാറ്റങ്ങൾ ഉൾപ്പെടുന്നു:

• ഒരു കോളം ഇല്ലാതാക്കുന്നു
• നിലവിലുള്ള കോളത്തിൻ്റെ ഡാറ്റ തരം മാറ്റുന്നു (ഇൻ-പ്ലേസ്)
• കേസിൽ മാത്രം വ്യത്യാസമുള്ള നിരകളുടെ പുനർനാമകരണം (ഉദാഹരണത്തിന്, "Foo", "foo")

അവസാനമായി, Spark 3.0-ൻ്റെ അടുത്ത റിലീസിനൊപ്പം, വ്യക്തമായ DDL പൂർണ്ണമായും പിന്തുണയ്‌ക്കും (ALTER TABLE ഉപയോഗിച്ച്), ടേബിൾ സ്‌കീമകളിൽ ഇനിപ്പറയുന്ന പ്രവർത്തനങ്ങൾ നടത്താൻ ഉപയോക്താക്കളെ അനുവദിക്കുന്നു:

• നിരകൾ ചേർക്കുന്നു
• കോളം കമൻ്റുകൾ മാറ്റുന്നു
• ഒരു ഇടപാട് ലോഗ് സംഭരിച്ചിരിക്കുന്ന സമയ ദൈർഘ്യം സജ്ജീകരിക്കുന്നത് പോലെ, പട്ടികയുടെ സ്വഭാവം നിയന്ത്രിക്കുന്ന പട്ടിക പ്രോപ്പർട്ടികൾ ക്രമീകരിക്കുന്നു.

സർക്യൂട്ട് പരിണാമത്തിൻ്റെ പ്രയോജനം എന്താണ്?

നിങ്ങൾ എപ്പോൾ വേണമെങ്കിലും സ്കീമ പരിണാമം ഉപയോഗിക്കാവുന്നതാണ് ഉദ്ദേശിക്കുന്നത് നിങ്ങളുടെ പട്ടികയുടെ സ്കീമ മാറ്റുക (നിങ്ങളുടെ ഡാറ്റാഫ്രെയിമിലേക്ക് ആകസ്മികമായി കോളങ്ങൾ ചേർക്കുമ്പോൾ ഉണ്ടാകാൻ പാടില്ലാത്തത്). നിങ്ങളുടെ സ്‌കീമ മൈഗ്രേറ്റ് ചെയ്യാനുള്ള ഏറ്റവും എളുപ്പമാർഗ്ഗമാണിത്, കാരണം ഇത് കൃത്യമായ കോളം പേരുകളും ഡാറ്റ തരങ്ങളും വ്യക്തമായി പ്രഖ്യാപിക്കാതെ തന്നെ സ്വയമേവ ചേർക്കുന്നു.

തീരുമാനം

നിങ്ങളുടെ പട്ടികയുമായി പൊരുത്തപ്പെടാത്ത പുതിയ നിരകളോ മറ്റ് സ്‌കീമ മാറ്റങ്ങളോ സ്‌കീമ എൻഫോഴ്‌സ്‌മെൻ്റ് നിരസിക്കുന്നു. ഈ ഉയർന്ന നിലവാരങ്ങൾ സജ്ജീകരിക്കുകയും പരിപാലിക്കുകയും ചെയ്യുന്നതിലൂടെ, വിശകലന വിദഗ്ധർക്കും എഞ്ചിനീയർമാർക്കും അവരുടെ ഡാറ്റയ്ക്ക് ഏറ്റവും ഉയർന്ന തലത്തിലുള്ള സമഗ്രതയുണ്ടെന്ന് വിശ്വസിക്കാൻ കഴിയും, അത് വ്യക്തമായും വ്യക്തമായും ആശയവിനിമയം നടത്തുകയും മികച്ച ബിസിനസ്സ് തീരുമാനങ്ങൾ എടുക്കാൻ അവരെ അനുവദിക്കുകയും ചെയ്യുന്നു.

മറുവശത്ത്, സ്കീമ പരിണാമം ലളിതമാക്കിക്കൊണ്ടുള്ള നിർവ്വഹണത്തെ പൂർത്തീകരിക്കുന്നു ആരോപിച്ചു യാന്ത്രിക സ്കീമ മാറ്റങ്ങൾ. എല്ലാത്തിനുമുപരി, ഒരു കോളം ചേർക്കുന്നത് ബുദ്ധിമുട്ടുള്ള കാര്യമല്ല.

സ്കീമിൻ്റെ നിർബന്ധിത പ്രയോഗം യാങ് ആണ്, ഇവിടെ സ്കീമിൻ്റെ പരിണാമം യിൻ ആണ്. ഒരുമിച്ച് ഉപയോഗിക്കുമ്പോൾ, ഈ സവിശേഷതകൾ ശബ്‌ദം അടിച്ചമർത്തലും സിഗ്നൽ ട്യൂണിംഗും എന്നത്തേക്കാളും എളുപ്പമാക്കുന്നു.

ഈ ലേഖനത്തിന് നൽകിയ സംഭാവനകൾക്ക് മുകുൾ മൂർത്തിക്കും പ്രണവ് ആനന്ദിനും നന്ദി അറിയിക്കുന്നു.

ഈ പരമ്പരയിലെ മറ്റ് ലേഖനങ്ങൾ:

ഡെൽറ്റ തടാകത്തിലേക്ക് മുങ്ങുക: ഇടപാട് ലോഗ് അൺപാക്ക് ചെയ്യുന്നു

വിഷയത്തെക്കുറിച്ചുള്ള ലേഖനങ്ങൾ

ഡെൽറ്റ തടാകത്തിനൊപ്പം പ്രൊഡക്ഷൻ-ഗ്രേഡ് മെഷീൻ ലേണിംഗ്

എന്താണ് ഡാറ്റ തടാകം?

കോഴ്സിനെക്കുറിച്ച് കൂടുതൽ കണ്ടെത്തുക

അവലംബം: www.habr.com