ડેલ્ટા લેકમાં ડાઇવ: સ્કીમા એન્ફોર્સમેન્ટ એન્ડ ઇવોલ્યુશન

હે હબર! હું તમારા ધ્યાન પર લેખનો અનુવાદ રજૂ કરું છું "ડેલ્ટા લેકમાં ડાઇવિંગ: સ્કીમા એન્ફોર્સમેન્ટ એન્ડ ઇવોલ્યુશન" લેખકો બુરાક યાવુઝ, બ્રેનર હેન્ટ્ઝ અને ડેની લી, જે કોર્સની શરૂઆતની અપેક્ષાએ તૈયાર કરવામાં આવ્યા હતા. ડેટા એન્જિનિયર OTUS માંથી.

ડેટા, અમારા અનુભવની જેમ, સતત સંચિત અને વિકસિત થઈ રહ્યો છે. ચાલુ રાખવા માટે, વિશ્વના અમારા માનસિક મોડેલોએ નવા ડેટા સાથે અનુકૂલન કરવું આવશ્યક છે, જેમાંના કેટલાકમાં નવા પરિમાણો છે - વસ્તુઓનું અવલોકન કરવાની નવી રીતો જેના વિશે અમને પહેલા કોઈ ખ્યાલ ન હતો. આ માનસિક મોડલ ટેબલ સ્કીમાથી ઘણા અલગ નથી જે નક્કી કરે છે કે અમે નવી માહિતીને કેવી રીતે વર્ગીકૃત અને પ્રક્રિયા કરીએ છીએ.

આ અમને સ્કીમા મેનેજમેન્ટના મુદ્દા પર લાવે છે. જેમ જેમ વ્યવસાયના પડકારો અને જરૂરિયાતો સમય સાથે બદલાય છે, તેમ તમારા ડેટાનું માળખું પણ બદલાય છે. ડેલ્ટા લેક ડેટા ફેરફારો તરીકે નવા માપને રજૂ કરવાનું સરળ બનાવે છે. વપરાશકર્તાઓને તેમના ટેબલ સ્કીમાનું સંચાલન કરવા માટે સરળ સિમેન્ટિક્સની ઍક્સેસ હોય છે. આ સાધનોમાં સ્કીમા એન્ફોર્સમેન્ટનો સમાવેશ થાય છે, જે વપરાશકર્તાઓને ભૂલો અથવા બિનજરૂરી ડેટા સાથે તેમના કોષ્ટકોને અજાણતાં પ્રદૂષિત કરવાથી રક્ષણ આપે છે, અને સ્કીમા ઇવોલ્યુશન, જે મૂલ્યવાન ડેટાના નવા કૉલમ્સને યોગ્ય સ્થાનો પર આપમેળે ઉમેરવાની મંજૂરી આપે છે. આ લેખમાં, અમે આ સાધનોનો ઉપયોગ કરવા માટે વધુ ઊંડાણપૂર્વક જઈશું.

કોષ્ટક યોજનાઓને સમજવી

અપાચે સ્પાર્કમાં દરેક ડેટાફ્રેમમાં એક સ્કીમા હોય છે જે ડેટાના સ્વરૂપને વ્યાખ્યાયિત કરે છે, જેમ કે ડેટા પ્રકારો, કૉલમ્સ અને મેટાડેટા. ડેલ્ટા લેક સાથે, ટેબલ સ્કીમા ટ્રાન્ઝેક્શન લોગની અંદર JSON ફોર્મેટમાં સંગ્રહિત થાય છે.

યોજના અમલીકરણ શું છે?

સ્કીમા એન્ફોર્સમેન્ટ, જેને સ્કીમા વેલિડેશન તરીકે પણ ઓળખવામાં આવે છે, તે ડેલ્ટા લેકમાં એક સુરક્ષા પદ્ધતિ છે જે ટેબલની સ્કીમા સાથે મેળ ખાતા ન હોય તેવા રેકોર્ડ્સને નકારીને ડેટાની ગુણવત્તાની ખાતરી કરે છે. માત્ર રિઝર્વેશન માટેના લોકપ્રિય રેસ્ટોરન્ટના ફ્રન્ટ ડેસ્ક પરની પરિચારિકાની જેમ, તે ટેબલમાં દાખલ કરેલ ડેટાનો દરેક કૉલમ અપેક્ષિત કૉલમ્સની અનુરૂપ સૂચિમાં છે કે કેમ તે તપાસે છે (બીજા શબ્દોમાં કહીએ તો, તે દરેક માટે "આરક્ષણ" છે કે કેમ. ), અને સૂચિમાં ન હોય તેવા કૉલમ સાથેના કોઈપણ રેકોર્ડને નકારી કાઢે છે.

સ્કીમા અમલીકરણ કેવી રીતે કાર્ય કરે છે?

ડેલ્ટા લેક સ્કીમા-ઓન-રાઈટ ચકાસણીનો ઉપયોગ કરે છે, જેનો અર્થ છે કે ટેબલ પરના તમામ નવા લખાણો લખવાના સમયે લક્ષ્ય કોષ્ટકની સ્કીમા સાથે સુસંગતતા માટે તપાસવામાં આવે છે. જો સ્કીમા અસંગત હોય, તો ડેલ્ટા લેક વ્યવહારને સંપૂર્ણપણે રદ કરે છે (કોઈ ડેટા લખાયેલ નથી) અને અસંગતતાની વપરાશકર્તાને સૂચના આપવા માટે અપવાદ ઉભા કરે છે.
રેકોર્ડ ટેબલ સાથે સુસંગત છે કે કેમ તે નક્કી કરવા માટે ડેલ્ટા લેક નીચેના નિયમોનો ઉપયોગ કરે છે. લખી શકાય તેવી ડેટાફ્રેમ:

• લક્ષ્ય કોષ્ટકની યોજનામાં ન હોય તેવા વધારાના કૉલમ સમાવી શકતા નથી. તેનાથી વિપરિત, જો આવનારા ડેટામાં કોષ્ટકમાંથી સંપૂર્ણપણે તમામ કૉલમ ન હોય તો બધું સારું છે - આ કૉલમ્સને ખાલી મૂલ્યો સોંપવામાં આવશે.
• કૉલમ ડેટા પ્રકારો હોઈ શકતા નથી જે લક્ષ્ય કોષ્ટકમાં કૉલમના ડેટા પ્રકારોથી અલગ હોય. જો લક્ષ્ય કોષ્ટક કૉલમમાં StringType ડેટા હોય, પરંતુ DataFrame માં અનુરૂપ કૉલમ IntegerType ડેટા ધરાવે છે, તો સ્કીમા અમલીકરણ અપવાદ કરશે અને લેખન ઑપરેશન થવાથી અટકાવશે.
• કૉલમ નામો સમાવી શકતા નથી જે ફક્ત કિસ્સામાં જ અલગ હોય. આનો અર્થ એ છે કે તમારી પાસે સમાન કોષ્ટકમાં 'Foo' અને 'foo' નામની કૉલમ વ્યાખ્યાયિત નથી. જ્યારે સ્પાર્કનો ઉપયોગ કેસ-સંવેદનશીલ અથવા કેસ-સંવેદનશીલ (ડિફોલ્ટ) મોડમાં થઈ શકે છે, ત્યારે ડેલ્ટા લેક કેસ-સંરક્ષિત છે પરંતુ સ્કીમા સ્ટોરેજમાં અસંવેદનશીલ છે. સ્તંભની માહિતી સંગ્રહિત કરતી વખતે અને પરત કરતી વખતે લાકડી કેસ સંવેદનશીલ હોય છે. સંભવિત ભૂલો, ડેટા ભ્રષ્ટાચાર, અથવા ડેટા ખોટને ટાળવા માટે (કંઈક જેનો આપણે વ્યક્તિગત રીતે Databricks પર અનુભવ કર્યો હતો), અમે આ મર્યાદા ઉમેરવાનું નક્કી કર્યું છે.

આને સમજાવવા માટે, ચાલો જોઈએ કે જ્યારે આપણે ડેલ્ટા લેક ટેબલમાં કેટલીક નવી જનરેટ કરેલ કૉલમ ઉમેરવાનો પ્રયાસ કરીએ છીએ ત્યારે નીચે આપેલા કોડમાં શું થાય છે જે તેમને સ્વીકારવા માટે હજી ગોઠવેલ નથી.

# Сгенерируем DataFrame ссуд, который мы добавим в нашу таблицу Delta Lake
loans = sql("""
            SELECT addr_state, CAST(rand(10)*count as bigint) AS count,
            CAST(rand(10) * 10000 * count AS double) AS amount
            FROM loan_by_state_delta
            """)

# Вывести исходную схему DataFrame
original_loans.printSchema()

root
  |-- addr_state: string (nullable = true)
  |-- count: integer (nullable = true)
 
# Вывести новую схему DataFrame
loans.printSchema()
 
root
  |-- addr_state: string (nullable = true)
  |-- count: integer (nullable = true)
  |-- amount: double (nullable = true) # new column
 
# Попытка добавить новый DataFrame (с новым столбцом) в существующую таблицу
loans.write.format("delta") 
           .mode("append") 
           .save(DELTALAKE_PATH)

Returns:

A schema mismatch detected when writing to the Delta table.
 
To enable schema migration, please set:
'.option("mergeSchema", "true")'
 
Table schema:
root
-- addr_state: string (nullable = true)
-- count: long (nullable = true)
 
Data schema:
root
-- addr_state: string (nullable = true)
-- count: long (nullable = true)
-- amount: double (nullable = true)
 
If Table ACLs are enabled, these options will be ignored. Please use the ALTER TABLE command for changing the schema.

આપમેળે નવી કૉલમ ઉમેરવાને બદલે, ડેલ્ટા લેક સ્કીમા લાદે છે અને લખવાનું બંધ કરે છે. કયો કૉલમ (અથવા કૉલમનો સમૂહ) વિસંગતતાનું કારણ બની રહ્યું છે તે નિર્ધારિત કરવામાં મદદ કરવા માટે, સ્પાર્ક સરખામણી માટે સ્ટેક ટ્રેસમાંથી બંને સ્કીમા આઉટપુટ કરે છે.

સ્કીમા લાગુ કરવાથી શું ફાયદો થાય છે?

કારણ કે સ્કીમા અમલીકરણ એકદમ કડક તપાસ છે, તે ઉત્પાદન અથવા વપરાશ માટે તૈયાર હોય તેવા સ્વચ્છ, સંપૂર્ણ રૂપાંતરિત ડેટા સેટના દ્વારપાળ તરીકે ઉપયોગ કરવા માટે એક ઉત્તમ સાધન છે. સામાન્ય રીતે કોષ્ટકો પર લાગુ થાય છે જે સીધા ડેટા ફીડ કરે છે:

• મશીન લર્નિંગ અલ્ગોરિધમ્સ
• BI ડેશબોર્ડ્સ
• ડેટા એનાલિટિક્સ અને વિઝ્યુલાઇઝેશન ટૂલ્સ
• કોઈપણ ઉત્પાદન પ્રણાલી કે જેને અત્યંત સંરચિત, મજબૂત રીતે ટાઈપ કરેલ સિમેન્ટીક સ્કીમાની જરૂર હોય છે.

આ અંતિમ અવરોધ માટે તેમનો ડેટા તૈયાર કરવા માટે, ઘણા વપરાશકર્તાઓ સરળ "મલ્ટી-હોપ" આર્કિટેક્ચરનો ઉપયોગ કરે છે જે ધીમે ધીમે તેમના કોષ્ટકોમાં માળખું રજૂ કરે છે. આ વિશે વધુ જાણવા માટે, તમે લેખ તપાસી શકો છો ડેલ્ટા લેક સાથે ઉત્પાદન-ગ્રેડ મશીન લર્નિંગ.

અલબત્ત, સ્કીમા અમલીકરણનો ઉપયોગ તમારી પાઇપલાઇનમાં ગમે ત્યાં થઈ શકે છે, પરંતુ યાદ રાખો કે આ કિસ્સામાં ટેબલ પર સ્ટ્રીમિંગ નિરાશાજનક હોઈ શકે છે કારણ કે, ઉદાહરણ તરીકે, તમે ભૂલી ગયા છો કે તમે આવનારા ડેટામાં બીજી કૉલમ ઉમેરી છે.

માહિતી મંદન અટકાવે છે

અત્યાર સુધીમાં તમે વિચારતા હશો કે, આ બધી હલચલ શું છે? છેવટે, કેટલીકવાર અનપેક્ષિત "સ્કીમા મિસમેચ" ભૂલ તમને તમારા વર્કફ્લોમાં લઈ જઈ શકે છે, ખાસ કરીને જો તમે ડેલ્ટા લેકમાં નવા હોવ. શા માટે જરૂરીયાત મુજબ સ્કીમાને બદલવા દો જેથી કરીને હું મારી ડેટાફ્રેમ ગમે તે રીતે લખી શકું?

જૂની કહેવત છે તેમ, "નિવારણનો એક ઔંસ એક પાઉન્ડ ઉપચારની કિંમત છે." અમુક સમયે, જો તમે તમારી સ્કીમાને લાગુ કરવા માટે કાળજી ન લો, તો ડેટા પ્રકાર સુસંગતતાના મુદ્દાઓ તેમના કદરૂપી માથું ફરી વળશે - દેખીતી રીતે સજાતીય કાચા ડેટા સ્ત્રોતોમાં ધારના કિસ્સાઓ, દૂષિત કૉલમ્સ, દૂષિત મેપિંગ્સ અથવા અન્ય ડરામણી વસ્તુઓ હોઈ શકે છે જેના વિશે સ્વપ્ન જોવા માટે ખરાબ સપના શ્રેષ્ઠ અભિગમ એ છે કે આ દુશ્મનોને ગેટ પર રોકો - સ્કીમા અમલીકરણ સાથે - અને તેમની સાથે પ્રકાશમાં વ્યવહાર કરો, જ્યારે તેઓ તમારા ઉત્પાદન કોડની અંધારાવાળી ઊંડાણોમાં છૂપાવવાનું શરૂ કરે છે.

સ્કીમા લાગુ કરવાથી તમને ખાતરી મળે છે કે જ્યાં સુધી તમે ફેરફારને મંજૂરી નહીં આપો ત્યાં સુધી તમારા ટેબલની સ્કીમા બદલાશે નહીં. આ ડેટાના મંદનને અટકાવે છે, જે ત્યારે થઈ શકે છે જ્યારે નવી કૉલમ એટલી વારંવાર ઉમેરવામાં આવે છે કે અગાઉ મૂલ્યવાન, સંકુચિત કોષ્ટકો ડેટા ડૂબી જવાને કારણે તેનો અર્થ અને ઉપયોગિતા ગુમાવે છે. તમને ઈરાદાપૂર્વક બનવા, ઉચ્ચ ધોરણો સેટ કરવા અને ઉચ્ચ ગુણવત્તાની અપેક્ષા રાખવા માટે પ્રોત્સાહિત કરીને, સ્કીમા અમલીકરણ બરાબર તે જ કરે છે જે તે કરવા માટે તૈયાર કરવામાં આવ્યું હતું - તમને પ્રમાણિક રહેવા અને તમારી સ્પ્રેડશીટ્સને સ્વચ્છ રાખવામાં મદદ કરે છે.

જો વધુ વિચારણા પર તમે નક્કી કરો કે તમે ખરેખર કરવાની જરૂર છે નવી કૉલમ ઉમેરો - કોઈ વાંધો નથી, નીચે એક-લાઈન ફિક્સ છે. ઉકેલ એ સર્કિટની ઉત્ક્રાંતિ છે!

સ્કીમા ઉત્ક્રાંતિ શું છે?

સ્કીમા ઇવોલ્યુશન એ એક વિશેષતા છે જે વપરાશકર્તાઓને સમય સાથે બદલાતા ડેટા અનુસાર વર્તમાન ટેબલ સ્કીમાને સરળતાથી બદલવાની મંજૂરી આપે છે. એક અથવા વધુ નવી કૉલમનો સમાવેશ કરવા માટે સ્કીમાને આપમેળે અનુકૂલિત કરવા માટે એપેન્ડ અથવા રિરાઈટ ઑપરેશન કરતી વખતે તેનો મોટાભાગે ઉપયોગ થાય છે.

સ્કીમા ઇવોલ્યુશન કેવી રીતે કામ કરે છે?

અગાઉના વિભાગના ઉદાહરણને અનુસરીને, વિકાસકર્તાઓ સરળતાથી સ્કીમા ઇવોલ્યુશનનો ઉપયોગ નવા કૉલમ ઉમેરવા માટે કરી શકે છે જે અગાઉ સ્કીમા અસંગતતાને કારણે નકારવામાં આવ્યા હતા. સરકીટ ઉત્ક્રાંતિ ઉમેરીને સક્રિય થાય છે .option('mergeSchema', 'true') તમારી સ્પાર્ક ટીમને .write или .writeStream.

# Добавьте параметр mergeSchema
loans.write.format("delta") 
           .option("mergeSchema", "true") 
           .mode("append") 
           .save(DELTALAKE_SILVER_PATH)

ગ્રાફ જોવા માટે, નીચેની Spark SQL ક્વેરી ચલાવો

# Создайте график с новым столбцом, чтобы подтвердить, что запись прошла успешно
%sql
SELECT addr_state, sum(`amount`) AS amount
FROM loan_by_state_delta
GROUP BY addr_state
ORDER BY sum(`amount`)
DESC LIMIT 10

વૈકલ્પિક રીતે, તમે ઉમેરીને સમગ્ર સ્પાર્ક સત્ર માટે આ વિકલ્પ સેટ કરી શકો છો spark.databricks.delta.schema.autoMerge = True સ્પાર્ક રૂપરેખાંકન માટે. પરંતુ સાવધાની સાથે આનો ઉપયોગ કરો, કારણ કે સ્કીમા અમલીકરણ તમને અજાણતા સ્કીમા અસંગતતાઓ માટે ચેતવણી આપશે નહીં.

વિનંતીમાં પરિમાણનો સમાવેશ કરીને mergeSchema, તમામ કૉલમ કે જે ડેટાફ્રેમમાં હાજર છે પરંતુ લક્ષ્ય કોષ્ટકમાં નથી તે લખાણ વ્યવહારના ભાગ રૂપે સ્કીમાના અંતમાં આપમેળે ઉમેરવામાં આવે છે. નેસ્ટેડ ફીલ્ડ્સ પણ ઉમેરી શકાય છે અને આને અનુરૂપ સ્ટ્રક્ચર કૉલમ્સના અંતમાં પણ ઉમેરવામાં આવશે.

ડેટ એન્જિનિયરો અને ડેટા સાયન્ટિસ્ટ આ વિકલ્પનો ઉપયોગ જૂના કૉલમ પર આધારિત હાલના મૉડલને તોડ્યા વિના તેમના હાલના મશીન લર્નિંગ પ્રોડક્શન કોષ્ટકોમાં નવા કૉલમ (કદાચ તાજેતરમાં ટ્રૅક કરાયેલ મેટ્રિક અથવા આ મહિનાનું વેચાણ પ્રદર્શન કૉલમ) ઉમેરવા માટે કરી શકે છે.

કોષ્ટકના ઉમેરા અથવા ફરીથી લખવા દરમિયાન સ્કીમા ઉત્ક્રાંતિના ભાગ રૂપે નીચેના પ્રકારના સ્કીમા ફેરફારોની મંજૂરી છે:

• નવી કૉલમ ઉમેરવી (આ સૌથી સામાન્ય દૃશ્ય છે)
• NullType થી ડેટા પ્રકારો બદલવો -> અન્ય કોઈપણ પ્રકાર અથવા ByteType -> ShortType -> IntegerType માંથી પ્રમોટ કરવું

સ્કીમા ઇવોલ્યુશનમાં અન્ય ફેરફારોને મંજૂરી નથી, તે જરૂરી છે કે સ્કીમા અને ડેટા ઉમેરીને ફરીથી લખવામાં આવે .option("overwriteSchema", "true"). ઉદાહરણ તરીકે, એવા કિસ્સામાં કે જ્યાં કૉલમ "Foo" મૂળ રૂપે પૂર્ણાંક હતી અને નવી સ્કીમા સ્ટ્રિંગ ડેટા પ્રકાર હતી, તો બધી Parquet(data) ફાઇલોને ફરીથી લખવાની જરૂર પડશે. આવા ફેરફારોનો સમાવેશ થાય છે:

• કૉલમ કાઢી નાખવું
• હાલની કૉલમનો ડેટા પ્રકાર બદલવો (સ્થળમાં)
• કૉલમનું નામ બદલવું જે ફક્ત કિસ્સામાં જ અલગ હોય (ઉદાહરણ તરીકે, "Foo" અને "foo")

છેલ્લે, સ્પાર્ક 3.0 ના આગામી પ્રકાશન સાથે, સ્પષ્ટ DDL સંપૂર્ણપણે સમર્થિત હશે (ALTER TABLE નો ઉપયોગ કરીને), વપરાશકર્તાઓ ટેબલ સ્કીમા પર નીચેની ક્રિયાઓ કરવા માટે પરવાનગી આપે છે:

• કૉલમ ઉમેરી રહ્યા છે
• કૉલમ ટિપ્પણીઓ બદલવી
• સેટિંગ ટેબલ પ્રોપર્ટીઝ કે જે ટેબલની વર્તણૂકને નિયંત્રિત કરે છે, જેમ કે ટ્રાન્ઝેક્શન લોગ સંગ્રહિત થાય તે સમયની લંબાઈ સેટ કરવી.

સર્કિટ ઉત્ક્રાંતિનો ફાયદો શું છે?

તમે જ્યારે પણ સ્કીમા ઇવોલ્યુશનનો ઉપયોગ કરી શકો છો ઇરાદો તમારા ટેબલની સ્કીમા બદલો (જ્યારે તમે આકસ્મિક રીતે તમારા ડેટાફ્રેમમાં કૉલમ ઉમેર્યા હોય જે ત્યાં ન હોવા જોઈએ તેનાથી વિપરીત). તમારી સ્કીમાને સ્થાનાંતરિત કરવાનો આ સૌથી સહેલો રસ્તો છે કારણ કે તે સ્પષ્ટપણે જાહેર કર્યા વિના યોગ્ય કૉલમ નામો અને ડેટા પ્રકારો આપમેળે ઉમેરે છે.

નિષ્કર્ષ

સ્કીમા અમલીકરણ કોઈપણ નવી કૉલમ અથવા અન્ય સ્કીમા ફેરફારોને નકારે છે જે તમારા કોષ્ટક સાથે સુસંગત નથી. આ ઉચ્ચ ધોરણોને સેટ કરીને અને જાળવવાથી, વિશ્લેષકો અને એન્જિનિયરો વિશ્વાસ કરી શકે છે કે તેમના ડેટામાં ઉચ્ચતમ સ્તરની અખંડિતતા છે, તે સ્પષ્ટ અને સ્પષ્ટ રીતે વાતચીત કરે છે, તેમને વધુ સારા વ્યવસાયિક નિર્ણયો લેવાની મંજૂરી આપે છે.

બીજી બાજુ, સ્કીમા ઉત્ક્રાંતિ સરળીકરણ દ્વારા અમલીકરણને પૂરક બનાવે છે આરોપ સ્વચાલિત સ્કીમા ફેરફારો. છેવટે, કૉલમ ઉમેરવાનું મુશ્કેલ ન હોવું જોઈએ.

યોજનાની ફરજિયાત અરજી યાંગ છે, જ્યાં યોજનાનું ઉત્ક્રાંતિ યીન છે. જ્યારે એકસાથે ઉપયોગ કરવામાં આવે છે, ત્યારે આ સુવિધાઓ અવાજનું દમન અને સિગ્નલ ટ્યુનિંગને પહેલા કરતાં વધુ સરળ બનાવે છે.

અમે આ લેખમાં તેમના યોગદાન માટે મુકુલ મૂર્તિ અને પ્રણવ આનંદનો પણ આભાર માનીએ છીએ.

આ શ્રેણીના અન્ય લેખો:

ડેલ્ટા લેકમાં ડાઇવ કરો: ટ્રાન્ઝેક્શન લોગને અનપૅક કરો

વિષય પરના લેખો

ડેલ્ટા લેક સાથે ઉત્પાદન-ગ્રેડ મશીન લર્નિંગ

ડેટા લેક શું છે?

કોર્સ વિશે વધુ જાણો

સોર્સ: www.habr.com