ડેલ્ટા લેકમાં ડાઇવ: સ્કીમા એન્ફોર્સમેન્ટ એન્ડ ઇવોલ્યુશન

હે હબર! હું તમારા ધ્યાન પર લેખનો અનુવાદ રજૂ કરું છું "ડેલ્ટા તળાવમાં ડાઇવિંગ: સ્કીમા એન્ફોર્સમેન્ટ અને ઇવોલ્યુશન" બુરાક યાવુઝ, બ્રેનર હેઇન્ટ્ઝ અને ડેની લી દ્વારા, જે કોર્સ લોન્ચની અપેક્ષાએ તૈયાર કરવામાં આવ્યું હતું ડેટા એન્જિનિયર OTUS માંથી.

આપણા અનુભવની જેમ, ડેટા પણ સતત એકઠો થાય છે અને વિકસિત થાય છે. તે ચાલુ રાખવા માટે, વિશ્વના આપણા માનસિક મોડેલોએ નવા ડેટા સાથે અનુકૂલન સાધવું જોઈએ, જેમાંના કેટલાકમાં નવા પરિમાણો હોય છે - એવી વસ્તુઓનું નિરીક્ષણ કરવાની નવી રીતો જેના વિશે આપણે પહેલાં કોઈ ખ્યાલ નહોતો. આ માનસિક મોડેલો સ્પ્રેડશીટ્સમાંના સ્કીમાથી વિપરીત નથી જે નક્કી કરે છે કે આપણે નવી માહિતીનું વર્ગીકરણ અને પ્રક્રિયા કેવી રીતે કરીએ છીએ.

આ આપણને સ્કીમા મેનેજમેન્ટના મુદ્દા પર લાવે છે. જેમ જેમ વ્યવસાયિક ધ્યેયો અને જરૂરિયાતો સમય જતાં બદલાય છે, તેમ તેમ તમારા ડેટાનું માળખું પણ બદલાય છે. ડેલ્ટા લેક ડેટા બદલાતા નવા પરિમાણો રજૂ કરવાનું સરળ બનાવે છે. વપરાશકર્તાઓને તેમના ટેબલ સ્કીમાનું સંચાલન કરવા માટે સરળ અર્થશાસ્ત્રની ઍક્સેસ હોય છે. આ સાધનોમાં સ્કીમા એન્ફોર્સમેન્ટનો સમાવેશ થાય છે, જે વપરાશકર્તાઓને તેમના ટેબલને ભૂલો અથવા બિનજરૂરી ડેટાથી અજાણતાં અવ્યવસ્થિત થવાથી રક્ષણ આપે છે, અને સ્કીમા ઇવોલ્યુશન, જે આપમેળે યોગ્ય સ્થળોએ મૂલ્યવાન ડેટા ધરાવતા નવા કૉલમ ઉમેરે છે. આ લેખમાં, અમે આ સાધનોના ઉપયોગ વિશે વધુ ઊંડાણપૂર્વક ચર્ચા કરીશું.

ટેબલ સ્કીમાને સમજવું

અપાચે સ્પાર્કમાં દરેક ડેટાફ્રેમમાં એક સ્કીમા હોય છે જે ડેટાના ફોર્મને વ્યાખ્યાયિત કરે છે, જેમ કે ડેટા પ્રકારો, કૉલમ અને મેટાડેટા. ડેલ્ટા લેક સાથે, ટેબલ સ્કીમા ટ્રાન્ઝેક્શન લોગમાં JSON ફોર્મેટમાં સંગ્રહિત થાય છે.

યોજના અમલીકરણ શું છે?

સ્કીમા એન્ફોર્સમેન્ટ, જેને સ્કીમા વેલિડેશન તરીકે પણ ઓળખવામાં આવે છે, તે ડેલ્ટા લેકમાં એક સુરક્ષા પદ્ધતિ છે જે ટેબલની સ્કીમાને અનુરૂપ ન હોય તેવા રેકોર્ડ્સને નકારી કાઢીને ડેટા ગુણવત્તા સુનિશ્ચિત કરે છે. લોકપ્રિય રેસ્ટોરન્ટની પરિચારિકાની જેમ જે ફક્ત રિઝર્વેશન સ્વીકારે છે, સ્કીમા એન્ફોર્સમેન્ટ તપાસે છે કે ટેબલમાં દાખલ કરાયેલ ડેટાનો દરેક કોલમ અપેક્ષિત કોલમની અનુરૂપ સૂચિમાં છે કે નહીં (બીજા શબ્દોમાં કહીએ તો, દરેક માટે "રિઝર્વેશન" છે કે કેમ) અને સૂચિમાં ન હોય તેવા કોલમવાળા કોઈપણ રેકોર્ડને નકારી કાઢે છે.

સ્કીમા અમલીકરણ કેવી રીતે કાર્ય કરે છે?

ડેલ્ટા લેક સ્કીમા-ઓન-રાઈટ ચેકિંગનો ઉપયોગ કરે છે, જેનો અર્થ એ થાય કે ટેબલ પરના બધા નવા લખાણો લખવાના સમયે ટાર્ગેટ ટેબલના સ્કીમા સાથે સુસંગતતા માટે તપાસવામાં આવે છે. જો સ્કીમા અસંગત હોય, તો ડેલ્ટા લેક વ્યવહારને સંપૂર્ણપણે રદ કરે છે (કોઈ ડેટા લખાયેલ નથી) અને વપરાશકર્તાને અસંગતતાની સૂચના આપવા માટે અપવાદ ઉઠાવે છે.
ડેલ્ટા લેક નીચેના નિયમોનો ઉપયોગ કરીને નક્કી કરે છે કે રેકોર્ડ ટેબલ સાથે સુસંગત છે કે નહીં. ડેટાફ્રેમ લખવામાં આવી રહ્યો છે:

• તેમાં એવા વધારાના કૉલમ હોઈ શકતા નથી જે લક્ષ્ય કોષ્ટકના સ્કીમામાં હાજર ન હોય. તેનાથી વિપરીત, જો આવનારા ડેટામાં કોષ્ટકમાંથી દરેક કૉલમ ન હોય તો તે ઠીક છે - તે કૉલમને ફક્ત નલ મૂલ્યો સોંપવામાં આવશે.
• લક્ષ્ય કોષ્ટકમાં રહેલા કૉલમ ડેટા પ્રકારોથી અલગ કૉલમ ડેટા પ્રકારો હોઈ શકતા નથી. જો લક્ષ્ય કોષ્ટકમાંના કૉલમમાં StringType ડેટા હોય, પરંતુ DataFrame માં અનુરૂપ કૉલમમાં IntegerType ડેટા હોય, તો સ્કીમા એન્ફોર્સમેન્ટ એક અપવાદ ફેંકશે અને લેખન કામગીરીને અટકાવશે.
• ફક્ત કેસમાં અલગ અલગ હોય તેવા કૉલમ નામો હોઈ શકતા નથી. આનો અર્થ એ છે કે તમે એક જ કોષ્ટકમાં 'Foo' અને 'foo' નામના કૉલમ વ્યાખ્યાયિત કરી શકતા નથી. જ્યારે સ્પાર્કનો ઉપયોગ કેસ-સેન્સિટિવ અથવા કેસ-ઇન્સેન્સિટિવ (ડિફોલ્ટ રૂપે) માં થઈ શકે છે, ત્યારે ડેલ્ટા લેક કેસ સાચવે છે પરંતુ સ્કીમા સ્ટોર કરતી વખતે કેસ-ઇન્સેન્સિટિવ છે. કૉલમ માહિતી સ્ટોર કરતી વખતે અને પુનઃપ્રાપ્ત કરતી વખતે પાર્ક્વેટ કેસ-સેન્સિટિવ છે. સંભવિત ભૂલો, ડેટા ભ્રષ્ટાચાર અથવા ડેટા નુકશાન (જે અમે ડેટાબ્રિક્સમાં વ્યક્તિગત રીતે અનુભવ્યું છે) ટાળવા માટે, અમે આ પ્રતિબંધ ઉમેરવાનું નક્કી કર્યું.

આને સમજાવવા માટે, ચાલો જોઈએ કે જ્યારે આપણે ડેલ્ટા લેક ટેબલમાં કેટલાક નવા જનરેટ થયેલા કોલમ ઉમેરવાનો પ્રયાસ કરીએ છીએ જે હજુ સુધી તેમને સ્વીકારવા માટે ગોઠવેલ નથી ત્યારે નીચેના કોડમાં શું થાય છે.

# Сгенерируем DataFrame ссуд, который мы добавим в нашу таблицу Delta Lake
loans = sql("""
            SELECT addr_state, CAST(rand(10)*count as bigint) AS count,
            CAST(rand(10) * 10000 * count AS double) AS amount
            FROM loan_by_state_delta
            """)

# Вывести исходную схему DataFrame
original_loans.printSchema()

root
  |-- addr_state: string (nullable = true)
  |-- count: integer (nullable = true)
 
# Вывести новую схему DataFrame
loans.printSchema()
 
root
  |-- addr_state: string (nullable = true)
  |-- count: integer (nullable = true)
  |-- amount: double (nullable = true) # new column
 
# Попытка добавить новый DataFrame (с новым столбцом) в существующую таблицу
loans.write.format("delta") 
           .mode("append") 
           .save(DELTALAKE_PATH)

Returns:

A schema mismatch detected when writing to the Delta table.
 
To enable schema migration, please set:
'.option("mergeSchema", "true")'
 
Table schema:
root
-- addr_state: string (nullable = true)
-- count: long (nullable = true)
 
Data schema:
root
-- addr_state: string (nullable = true)
-- count: long (nullable = true)
-- amount: double (nullable = true)
 
If Table ACLs are enabled, these options will be ignored. Please use the ALTER TABLE command for changing the schema.

નવા કૉલમ આપમેળે ઉમેરવાને બદલે, ડેલ્ટા લેક એક સ્કીમા લાગુ કરે છે અને લખવાનું બંધ કરે છે. કયા કૉલમ (અથવા કૉલમના સેટ) વિસંગતતાનું કારણ બની રહ્યા છે તે નક્કી કરવામાં મદદ કરવા માટે, સ્પાર્ક સરખામણી માટે સ્ટેક ટ્રેસમાંથી બંને સ્કીમા પ્રદર્શિત કરે છે.

યોજના લાગુ કરવાથી શું ફાયદો થશે?

સ્કીમા એન્ફોર્સમેન્ટ એ એકદમ કડક તપાસ હોવાથી, ઉત્પાદન અથવા વપરાશ માટે તૈયાર સ્વચ્છ, સંપૂર્ણપણે રૂપાંતરિત ડેટાસેટના ગેટકીપર તરીકે ઉપયોગ કરવા માટે તે એક ઉત્તમ સાધન છે. તે સામાન્ય રીતે એવા કોષ્ટકો પર લાગુ થાય છે જે સીધા ડેટા ફીડ કરે છે:

• મશીન લર્નિંગ અલ્ગોરિધમ્સ
• BI ડેશબોર્ડ્સ
• ડેટા એનાલિટિક્સ અને વિઝ્યુલાઇઝેશન ટૂલ્સ
• કોઈપણ ઉત્પાદન પ્રણાલી જેને કડક રીતે સંરચિત, કડક રીતે ટાઇપ કરેલા સિમેન્ટીક સ્કીમાની જરૂર હોય છે.

આ અંતિમ અવરોધ માટે પોતાનો ડેટા તૈયાર કરવા માટે, ઘણા વપરાશકર્તાઓ એક સરળ "મલ્ટિ-હોપ" આર્કિટેક્ચરનો ઉપયોગ કરે છે જે ધીમે ધીમે તેમના કોષ્ટકોમાં માળખું દાખલ કરે છે. વધુ માહિતી માટે, તમે લેખ વાંચી શકો છો. ડેલ્ટા લેક સાથે પ્રોડક્શન-ગ્રેડ મશીન લર્નિંગ.

અલબત્ત, તમે તમારી પાઇપલાઇનમાં ગમે ત્યાં સ્કીમા એન્ફોર્સમેન્ટનો ઉપયોગ કરી શકો છો, પરંતુ યાદ રાખો કે આ કિસ્સામાં ટેબલ પર લખવું નિરાશાજનક હોઈ શકે છે, ઉદાહરણ તરીકે, કારણ કે તમે ભૂલી ગયા છો કે તમે આવનારા ડેટામાં બીજો કોલમ ઉમેર્યો છે.

ડેટા લિક્વિફેક્શન અટકાવવું

આ સમયે, તમે વિચારી રહ્યા હશો કે આટલો બધો હોબાળો શા માટે છે? છેવટે, ક્યારેક અણધારી "સ્કીમા મિસમેચ" ભૂલ તમારા વર્કફ્લોમાં તમને મુશ્કેલીમાં મૂકી શકે છે, ખાસ કરીને જો તમે ડેલ્ટા લેકમાં નવા છો. શા માટે જરૂરિયાત મુજબ સ્કીમાને બદલવા ન દો જેથી હું ગમે તે હોય મારા ડેટાફ્રેમ લખી શકું?

જૂની કહેવત છે તેમ, "એક ઔંસ નિવારણ એક પાઉન્ડ ઉપચાર જેટલું મૂલ્યવાન છે." કોઈક સમયે, જો તમે તમારા સ્કીમાને લાગુ કરવાની કાળજી નહીં લો, તો ડેટા પ્રકાર સુસંગતતા સમસ્યાઓ તેમના કદરૂપા માથા પર ઉભરી આવશે - દેખીતી રીતે એકરૂપ કાચા ડેટા સ્ત્રોતોમાં એજ કેસ, દૂષિત કૉલમ, દૂષિત મેપિંગ અથવા અન્ય દુઃસ્વપ્નો હોઈ શકે છે. શ્રેષ્ઠ અભિગમ એ છે કે આ દુશ્મનોને ગેટ પર જ રોકો - સ્કીમા અમલીકરણ સાથે - અને ખુલ્લામાં તેમની સાથે વ્યવહાર કરો, પછીથી, જ્યારે તેઓ તમારા પ્રોડક્શન કોડના અંધારા ઊંડાણમાં છુપાઈ રહેવાનું શરૂ કરે છે.

સ્કીમા એન્ફોર્સમેન્ટ ખાતરી કરે છે કે જ્યાં સુધી તમે સ્પષ્ટપણે ફેરફારને મંજૂરી ન આપો ત્યાં સુધી તમારા ટેબલની સ્કીમા બદલાશે નહીં. આ ડેટા ડિલ્યુશનને અટકાવે છે, જે ત્યારે થઈ શકે છે જ્યારે નવા કૉલમ એટલી વારંવાર ઉમેરવામાં આવે છે કે અગાઉ મૂલ્યવાન, કોમ્પેક્ટ કોષ્ટકો ડેટાના પૂરને કારણે તેમનો અર્થ અને ઉપયોગીતા ગુમાવી દે છે. તમને ઇરાદાપૂર્વક બનવા, ઉચ્ચ ધોરણો સેટ કરવા અને ઉચ્ચ ગુણવત્તાની અપેક્ષા રાખવા પ્રોત્સાહિત કરીને, સ્કીમા એન્ફોર્સમેન્ટ બરાબર તે જ કરે છે જે તેનો હેતુ હતો - તમને અખંડિતતા જાળવવા અને તમારા કોષ્ટકોને સ્વચ્છ રાખવામાં મદદ કરે છે.

જો વધુ વિચારણા પછી તમે નક્કી કરો કે તમે ખરેખર કરો છો કરવાની જરૂર છે નવો કોલમ ઉમેરવામાં કોઈ વાંધો નથી; નીચે એક-લાઇન ફિક્સ આપવામાં આવ્યો છે. ઉકેલ સ્કીમા ઇવોલ્યુશન છે!

સ્કીમા ઇવોલ્યુશન શું છે?

સ્કીમા ઇવોલ્યુશન એ એક એવી સુવિધા છે જે વપરાશકર્તાઓને સમય જતાં બદલાતા ડેટાને સમાયોજિત કરવા માટે કોષ્ટકના વર્તમાન સ્કીમાને સરળતાથી સંશોધિત કરવાની મંજૂરી આપે છે. એક અથવા વધુ નવા કૉલમ શામેલ કરવા માટે સ્કીમાને આપમેળે અનુકૂલિત કરવા માટે ઇન્સર્ટ અથવા રિરાઇટ કામગીરી દરમિયાન તેનો સૌથી વધુ ઉપયોગ થાય છે.

સ્કીમા ઇવોલ્યુશન કેવી રીતે કાર્ય કરે છે?

પાછલા વિભાગના ઉદાહરણને અનુસરીને, વિકાસકર્તાઓ સ્કીમા ઇવોલ્યુશનનો ઉપયોગ કરીને નવા કૉલમ ઉમેરી શકે છે જે અગાઉ સ્કીમા બિન-પાલનને કારણે નકારવામાં આવ્યા હતા. સ્કીમા ઇવોલ્યુશન ઉમેરીને સક્રિય થાય છે .option('mergeSchema', 'true') તમારી સ્પાર્ક ટીમને .write или .writeStream.

# Добавьте параметр mergeSchema
loans.write.format("delta") 
           .option("mergeSchema", "true") 
           .mode("append") 
           .save(DELTALAKE_SILVER_PATH)

ગ્રાફ જોવા માટે, નીચે આપેલ સ્પાર્ક SQL ક્વેરી ચલાવો.

# Создайте график с новым столбцом, чтобы подтвердить, что запись прошла успешно
%sql
SELECT addr_state, sum(`amount`) AS amount
FROM loan_by_state_delta
GROUP BY addr_state
ORDER BY sum(`amount`)
DESC LIMIT 10

વૈકલ્પિક રીતે, તમે આ વિકલ્પને સમગ્ર સ્પાર્ક સત્ર માટે ઉમેરીને સેટ કરી શકો છો spark.databricks.delta.schema.autoMerge = True સ્પાર્ક રૂપરેખાંકનમાં. જોકે, આનો ઉપયોગ સાવધાની સાથે કરો, કારણ કે સ્કીમા એન્ફોર્સમેન્ટ હવે તમને અજાણતાં સ્કીમા અસંગતતાઓ વિશે ચેતવણી આપશે નહીં.

વિનંતીમાં પરિમાણનો સમાવેશ કરીને mergeSchemaડેટાફ્રેમમાં હાજર પરંતુ લક્ષ્ય કોષ્ટકમાંથી ખૂટતા બધા કૉલમ રાઇટ ટ્રાન્ઝેક્શન દરમિયાન આપમેળે સ્કીમામાં જોડાઈ જાય છે. નેસ્ટેડ ફીલ્ડ્સ પણ ઉમેરી શકાય છે, અને તે સ્ટ્રક્ચરમાં અનુરૂપ કૉલમમાં પણ જોડવામાં આવશે.

ડેટા એન્જિનિયરો અને વૈજ્ઞાનિકો આ વિકલ્પનો ઉપયોગ જૂના કૉલમ પર આધારિત હાલના મોડેલોને તોડ્યા વિના તેમના હાલના મશીન લર્નિંગ પ્રોડક્શન ટેબલમાં નવા કૉલમ (કદાચ તાજેતરમાં ટ્રેક કરાયેલ મેટ્રિક અથવા આ મહિના માટે વેચાણના આંકડાઓનો કૉલમ) ઉમેરવા માટે કરી શકે છે.

કોષ્ટક દાખલ કરતી વખતે અથવા ફરીથી લખતી વખતે સ્કીમા ઉત્ક્રાંતિના ભાગ રૂપે નીચેના પ્રકારના સ્કીમા ફેરફારોને મંજૂરી છે:

• નવા કૉલમ ઉમેરવા (આ સૌથી સામાન્ય દૃશ્ય છે)
• NullType -> અન્ય કોઈપણ પ્રકારમાંથી ડેટા પ્રકારો બદલવા અથવા ByteType -> ShortType -> IntegerType માંથી પ્રમોટ કરવા

સ્કીમા ઇવોલ્યુશનમાં મંજૂરી ન હોય તેવા અન્ય ફેરફારો માટે સ્કીમા અને ડેટા ઉમેરીને ઓવરરાઇટ કરવાની જરૂર છે .option("overwriteSchema", "true")ઉદાહરણ તરીકે, જો "Foo" કૉલમ મૂળ રૂપે પૂર્ણાંક હતો, અને નવી સ્કીમા એક સ્ટ્રિંગ ડેટા પ્રકાર હતી, તો બધી Parquet (ડેટા) ફાઇલો ફરીથી લખવાની જરૂર પડશે. આવા ફેરફારોમાં શામેલ છે:

• કૉલમ કાઢી નાખવું
• હાલના કોલમના ડેટા પ્રકારને બદલવું (જગ્યાએ)
• ફક્ત કેસમાં અલગ પડે તેવા કૉલમનું નામ બદલવું (દા.ત. "ફૂ" અને "ફૂ")

છેલ્લે, આગામી પ્રકાશન, સ્પાર્ક 3.0 સાથે, સ્પષ્ટ DDL (ALTER TABLE નો ઉપયોગ કરીને) સંપૂર્ણપણે સમર્થિત થશે, જે વપરાશકર્તાઓને ટેબલ સ્કીમા પર નીચેની ક્રિયાઓ કરવાની મંજૂરી આપશે:

• કૉલમ ઉમેરી રહ્યા છીએ
• કૉલમ ટિપ્પણીઓ બદલવી
• ટેબલ ગુણધર્મો સેટ કરવા જે નક્કી કરે છે કે ટેબલ કેવી રીતે વર્તે છે, જેમ કે ટ્રાન્ઝેક્શન લોગ રીટેન્શન સમયગાળો સેટ કરવો.

સ્કીમા ઇવોલ્યુશનનો શું ફાયદો છે?

જ્યારે પણ તમે શું તમે ઈચ્છો છો? તમારા ટેબલની સ્કીમા બદલો (તમારા ડેટાફ્રેમમાં આકસ્મિક રીતે ન હોવા જોઈએ તેવા કૉલમ ઉમેરવાને બદલે). આ તમારા સ્કીમાને સ્થાનાંતરિત કરવાનો સૌથી સરળ રસ્તો છે કારણ કે તે આપમેળે યોગ્ય કૉલમ નામો અને ડેટા પ્રકારોને સ્પષ્ટ રીતે જાહેર કર્યા વિના ઉમેરે છે.

નિષ્કર્ષ

સ્કીમા એન્ફોર્સમેન્ટ કોઈપણ નવા કૉલમ અથવા અન્ય સ્કીમા ફેરફારોને નકારે છે જે તમારા ટેબલ સાથે અસંગત છે. આ ઉચ્ચ ધોરણો સેટ કરીને અને જાળવી રાખીને, વિશ્લેષકો અને ઇજનેરો વિશ્વાસ કરી શકે છે કે તેમના ડેટામાં ઉચ્ચતમ સ્તરની અખંડિતતા છે, તેના વિશે સ્પષ્ટ અને સંક્ષિપ્તમાં તર્ક આપીને, તેમને વધુ અસરકારક વ્યવસાયિક નિર્ણયો લેવામાં સક્ષમ બનાવે છે.

બીજી બાજુ, યોજનાનો વિકાસ સરળ બનાવીને અમલીકરણને પૂરક બનાવે છે આરોપિત આપોઆપ સ્કીમા બદલાય છે. છેવટે, કૉલમ ઉમેરવું એટલું મુશ્કેલ ન હોવું જોઈએ.

સર્કિટ એન્ફોર્સમેન્ટ એ યાંગ ટુ સર્કિટ ઇવોલ્યુશનનું યીન છે. એકસાથે ઉપયોગમાં લેવાતા, આ સુવિધાઓ અવાજ દમન અને સિગ્નલ ટ્યુનિંગને પહેલા કરતાં વધુ સરળ બનાવે છે.

આ લેખમાં યોગદાન આપવા બદલ અમે મુકુલ મૂર્તિ અને પ્રણવ આનંદનો પણ આભાર માનવા માંગીએ છીએ.

આ શ્રેણીના અન્ય લેખો:

ડેલ્ટા તળાવમાં ખોદકામ: ટ્રાન્ઝેક્શન લોગ ખોલવું

સંબંધિત લેખો

ડેલ્ટા લેક સાથે પ્રોડક્શન-ગ્રેડ મશીન લર્નિંગ

ડેટા લેક શું છે?

કોર્ષ વિશે વધુ જાણો

સોર્સ: www.habr.com