🥇डेल्टा झील में गोता लगाएँ: प्रवर्तन और योजना विकास

नमस्ते, हबर! मैं आपके ध्यान में लेख का अनुवाद प्रस्तुत करता हूँ "डेल्टा झील में गोता लगाना: स्कीमा प्रवर्तन और विकास" बुराक यावुज़, ब्रेनर हेइंट्ज़ और डेनी ली द्वारा लिखित, जिसे पाठ्यक्रम लॉन्च की प्रत्याशा में तैयार किया गया था डाटा इंजीनियर OTUS से.

हमारे अनुभव की तरह डेटा भी लगातार एकत्रित और विकसित होता रहता है। इसके साथ तालमेल बनाए रखने के लिए, विश्व के हमारे मानसिक मॉडलों को नए आंकड़ों के अनुकूल होना होगा, जिनमें से कुछ में नए आयाम शामिल हैं - चीजों को देखने के नए तरीके, जिनके बारे में हमें पहले कोई जानकारी नहीं थी। ये मानसिक मॉडल स्प्रेडशीट स्कीमा से भिन्न नहीं हैं जो यह निर्धारित करते हैं कि हम नई जानकारी को कैसे वर्गीकृत और संसाधित करते हैं।

इससे हम सर्किट प्रबंधन के मुद्दे पर आते हैं। जैसे-जैसे समय के साथ व्यावसायिक लक्ष्य और आवश्यकताएं बदलती हैं, आपके डेटा की संरचना भी बदलती है। डेल्टा लेक आपके डेटा में परिवर्तन के साथ नए आयामों को शामिल करना आसान बनाता है। उपयोगकर्ताओं को अपनी तालिका स्कीमा प्रबंधित करने के लिए सरल शब्दार्थ तक पहुंच प्राप्त होती है। इन उपकरणों में स्कीमा प्रवर्तन शामिल है, जो उपयोगकर्ताओं को अनजाने में उनकी तालिकाओं को त्रुटियों या अनावश्यक डेटा से भरने से बचाता है, और स्कीमा इवोल्यूशन, जो आपको उचित स्थानों पर मूल्यवान डेटा के साथ नए कॉलम स्वचालित रूप से जोड़ने की अनुमति देता है। इस लेख में हम इन उपकरणों के उपयोग पर गहराई से चर्चा करेंगे।

टेबल स्कीमा को समझना

अपाचे स्पार्क में प्रत्येक डेटाफ्रेम में एक स्कीमा होती है जो डेटा के आकार को परिभाषित करती है, जैसे डेटा प्रकार, कॉलम और मेटाडेटा। डेल्टा लेक के साथ, टेबल स्कीमा को ट्रांजेक्शन लॉग के अंदर JSON प्रारूप में संग्रहीत किया जाता है।

योजना प्रवर्तन क्या है?

स्कीमा प्रवर्तन, जिसे स्कीमा सत्यापन के रूप में भी जाना जाता है, डेल्टा लेक में एक सुरक्षा तंत्र है जो तालिका स्कीमा के अनुरूप नहीं होने वाले रिकॉर्ड को अस्वीकार करके डेटा की गुणवत्ता सुनिश्चित करता है। किसी लोकप्रिय रेस्तरां में फ्रंट डेस्क परिचारिका की तरह, जो केवल आरक्षण स्वीकार करती है, वह यह जांचती है कि तालिका में दर्ज आंकड़ों का प्रत्येक कॉलम अपेक्षित कॉलमों की संगत सूची में है या नहीं (दूसरे शब्दों में, क्या प्रत्येक के लिए "आरक्षण" है), और सूची में नहीं आने वाले कॉलमों वाली किसी भी प्रविष्टि को अस्वीकार कर देती है।

स्कीमा प्रवर्तन कैसे काम करता है?

डेल्टा लेक लेखन के समय स्कीमा जाँच का उपयोग करता है, जिसका अर्थ है कि किसी तालिका में किए गए सभी नए लेखन को लेखन के समय लक्ष्य तालिका की स्कीमा के साथ संगतता के लिए जाँचा जाता है। यदि स्कीमा असंगत है, तो डेल्टा लेक लेनदेन को पूरी तरह से वापस ले लेता है (कोई डेटा नहीं लिखा जाता है) और उपयोगकर्ता को असंगतता की जानकारी देने के लिए एक अपवाद फेंकता है।
डेल्टा लेक यह निर्धारित करने के लिए निम्नलिखित नियमों का उपयोग करता है कि कोई रिकॉर्ड किसी तालिका के साथ संगत है या नहीं। डेटाफ्रेम लिखा जा रहा है:

ऐसे अतिरिक्त कॉलम नहीं हो सकते जो लक्ष्य तालिका स्कीमा में नहीं हैं। इसके विपरीत, यदि आने वाले डेटा में तालिका के सभी कॉलम शामिल नहीं हैं तो भी कोई बात नहीं - उन कॉलमों को केवल शून्य मान दिया जाएगा।
ऐसे स्तंभ डेटा प्रकार नहीं हो सकते जो लक्ष्य तालिका के स्तंभ डेटा प्रकारों से भिन्न हों। यदि लक्ष्य तालिका में किसी स्तंभ में StringType डेटा है, लेकिन DataFrame में संगत स्तंभ में IntegerType डेटा है, तो स्कीमा प्रवर्तन एक अपवाद उत्पन्न करेगा और लेखन ऑपरेशन को होने से रोकेगा।
ऐसे स्तंभ नाम नहीं हो सकते जो केवल केस में भिन्न हों। इसका अर्थ यह है कि आप एक ही तालिका में 'Foo' और 'foo' नामक कॉलम परिभाषित नहीं कर सकते। जबकि स्पार्क को केस-सेंसिटिव या केस-इनसेंसिटिव (डिफ़ॉल्ट) मोड में उपयोग किया जा सकता है, डेल्टा लेक स्कीमा स्टोरेज के भीतर केस-प्रिसविंग लेकिन असंवेदनशील है। कॉलम जानकारी संग्रहीत करने और वापस करने के समय पार्क्वेट केस सेंसिटिव होता है। संभावित त्रुटियों, डेटा भ्रष्टाचार या डेटा हानि (जिसे हमने व्यक्तिगत रूप से डेटाब्रिक्स में अनुभव किया है) से बचने के लिए, हमने यह सीमा जोड़ने का निर्णय लिया।

इसे स्पष्ट करने के लिए, आइए नीचे दिए गए कोड में देखें कि क्या होता है जब डेल्टा लेक तालिका में कुछ नए उत्पन्न कॉलम जोड़ने का प्रयास किया जाता है, जो अभी तक उन्हें स्वीकार करने के लिए कॉन्फ़िगर नहीं किया गया है।

# Сгенерируем DataFrame ссуд, который мы добавим в нашу таблицу Delta Lake
loans = sql("""
            SELECT addr_state, CAST(rand(10)*count as bigint) AS count,
            CAST(rand(10) * 10000 * count AS double) AS amount
            FROM loan_by_state_delta
            """)

# Вывести исходную схему DataFrame
original_loans.printSchema()

root
  |-- addr_state: string (nullable = true)
  |-- count: integer (nullable = true)
 
# Вывести новую схему DataFrame
loans.printSchema()
 
root
  |-- addr_state: string (nullable = true)
  |-- count: integer (nullable = true)
  |-- amount: double (nullable = true) # new column
 
# Попытка добавить новый DataFrame (с новым столбцом) в существующую таблицу
loans.write.format("delta") 
           .mode("append") 
           .save(DELTALAKE_PATH)

Returns:

A schema mismatch detected when writing to the Delta table.
 
To enable schema migration, please set:
'.option("mergeSchema", "true")'
 
Table schema:
root
-- addr_state: string (nullable = true)
-- count: long (nullable = true)
 
Data schema:
root
-- addr_state: string (nullable = true)
-- count: long (nullable = true)
-- amount: double (nullable = true)
 
If Table ACLs are enabled, these options will be ignored. Please use the ALTER TABLE command for changing the schema.

स्वचालित रूप से नए कॉलम जोड़ने के बजाय, डेल्टा लेक एक स्कीमा लागू करता है और लेखन रोक देता है। यह निर्धारित करने में सहायता के लिए कि कौन सा कॉलम (या कॉलमों का समूह) विसंगति का कारण बन रहा है, स्पार्क तुलना के लिए स्टैक ट्रेस से दोनों स्कीमाओं को आउटपुट करता है।

इस योजना को लागू करने से क्या लाभ है?

क्योंकि स्कीमा प्रवर्तन एक काफी कठोर जांच है, यह एक स्वच्छ, पूरी तरह से परिवर्तित डेटासेट के द्वारपाल के रूप में उपयोग करने के लिए एक महान उपकरण है जो उत्पादन या उपभोग के लिए तैयार है। आमतौर पर उन तालिकाओं पर लागू किया जाता है जो सीधे डेटा प्रदान करते हैं:

मशीन लर्निंग एल्गोरिदम
बीआई डैशबोर्ड
डेटा विश्लेषण और विज़ुअलाइज़ेशन उपकरण
कोई भी उत्पादन प्रणाली जिसके लिए सख्ती से संरचित, सख्ती से टाइप किए गए अर्थगत स्कीमा की आवश्यकता होती है।

इस अंतिम बाधा के लिए अपने डेटा को तैयार करने के लिए, कई उपयोगकर्ता एक सरल "मल्टी-हॉप" आर्किटेक्चर का उपयोग करते हैं जो धीरे-धीरे उनकी तालिकाओं में संरचना पेश करता है। इसके बारे में अधिक जानने के लिए आप यह लेख पढ़ सकते हैं डेल्टा लेक के साथ उत्पादन-ग्रेड मशीन लर्निंग।

बेशक, आप अपनी पाइपलाइन में कहीं भी स्कीमा प्रवर्तन का उपयोग कर सकते हैं, लेकिन याद रखें कि इस मामले में तालिका में लिखना निराशाजनक हो सकता है, उदाहरण के लिए क्योंकि आप भूल गए कि आपने आने वाले डेटा में एक और कॉलम जोड़ा है।

डेटा द्रवीकरण को रोकना

अब तक आप सोच रहे होंगे कि आखिर यह सारा हंगामा किस बात पर है? आखिरकार, कभी-कभी एक अप्रत्याशित "स्कीमा बेमेल" त्रुटि आपके वर्कफ़्लो में बाधा उत्पन्न कर सकती है, खासकर यदि आप डेल्टा लेक में नए हैं। क्यों न स्कीमा को आवश्यकतानुसार बदल दिया जाए ताकि मैं अपना डेटाफ्रेम लिख सकूं, चाहे कुछ भी हो?

जैसा कि पुरानी कहावत है, "एक औंस रोकथाम एक पाउंड इलाज के बराबर है।" किसी बिंदु पर, यदि आप अपनी स्कीमा को लागू करने में सावधानी नहीं बरतते हैं, तो डेटा प्रकार संगतता संबंधी समस्याएं अपना भयानक रूप ले लेंगी - प्रतीत होता है कि समरूप कच्चे डेटा स्रोतों में एज केस, दूषित कॉलम, विकृत मैपिंग या अन्य डरावनी चीजें हो सकती हैं, जो आपके बुरे सपनों को सच कर सकती हैं। सबसे अच्छा तरीका यह है कि इन शत्रुओं को गेट पर ही रोक दिया जाए - स्कीमा प्रवर्तन के साथ - और उनसे प्रकाश में निपटा जाए, न कि बाद में जब वे आपके उत्पादन कोड की अंधेरी गहराइयों में छिपना शुरू कर दें।

स्कीमा को लागू करने से यह सुनिश्चित होता है कि आपकी तालिका की स्कीमा तब तक नहीं बदलेगी जब तक आप स्पष्ट रूप से परिवर्तन के लिए प्रतिबद्ध नहीं होते। इससे डेटा का क्षीणन रोका जाता है, जो तब हो सकता है जब नये कॉलम इतनी बार जोड़े जाते हैं कि पहले से मूल्यवान, संपीड़ित तालिकाएं डेटा की बाढ़ के कारण अपना अर्थ और उपयोगिता खो देती हैं। आपको उद्देश्यपूर्ण कार्य करने, उच्च मानक निर्धारित करने, तथा उच्च गुणवत्ता की अपेक्षा करने के लिए प्रोत्साहित करके, स्कीमा प्रवर्तन ठीक वही करता है जिसके लिए इसका उद्देश्य था - आपको कर्तव्यनिष्ठ बने रहने तथा आपकी स्प्रेडशीट को साफ रखने में सहायता करना।

यदि आगे विचार करने पर आप यह निर्णय लेते हैं कि आप वास्तव में ऐसा करते हैं को एक नया कॉलम जोड़ें - कोई समस्या नहीं, नीचे एक-लाइन का समाधान है। इसका समाधान योजना को विकसित करना है!

स्कीमा विकास क्या है?

स्कीमा इवोल्यूशन एक ऐसी सुविधा है जो उपयोगकर्ताओं को समय के साथ बदलने वाले डेटा को समायोजित करने के लिए किसी तालिका के वर्तमान स्कीमा को आसानी से बदलने की अनुमति देती है। इसका सबसे अधिक उपयोग तब किया जाता है जब स्कीमा को एक या अधिक नए कॉलमों को शामिल करने के लिए स्वचालित रूप से अनुकूलित करने के लिए कोई जोड़ या पुनर्लेखन ऑपरेशन किया जाता है।

स्कीमा विकास कैसे काम करता है?

पिछले अनुभाग में दिए गए उदाहरण का अनुसरण करते हुए, डेवलपर्स आसानी से स्कीमा विकास का उपयोग करके नए कॉलम जोड़ सकते हैं, जिन्हें पहले स्कीमा गैर-अनुपालन के कारण अस्वीकार कर दिया गया था। योजना का विकास निम्नलिखित को जोड़कर सक्रिय किया गया है: .option('mergeSchema', 'true') आपकी स्पार्क टीम को .write или .writeStream.

# Добавьте параметр mergeSchema
loans.write.format("delta") 
           .option("mergeSchema", "true") 
           .mode("append") 
           .save(DELTALAKE_SILVER_PATH)

ग्राफ़ देखने के लिए, निम्नलिखित स्पार्क SQL क्वेरी चलाएँ

# Создайте график с новым столбцом, чтобы подтвердить, что запись прошла успешно
%sql
SELECT addr_state, sum(`amount`) AS amount
FROM loan_by_state_delta
GROUP BY addr_state
ORDER BY sum(`amount`)
DESC LIMIT 10

वैकल्पिक रूप से, आप इस विकल्प को संपूर्ण स्पार्क सत्र के लिए जोड़कर सेट कर सकते हैं spark.databricks.delta.schema.autoMerge = True स्पार्क कॉन्फ़िगरेशन के लिए. लेकिन इसका उपयोग सावधानी से करें, क्योंकि स्कीमा प्रवर्तन अब आपको अनजाने में हुई स्कीमा असंगतियों के बारे में चेतावनी नहीं देगा।

अनुरोध में पैरामीटर शामिल करके mergeSchema, सभी कॉलम जो डेटाफ्रेम में मौजूद हैं, लेकिन लक्ष्य तालिका में नहीं हैं, स्वचालित रूप से लेखन लेनदेन के भाग के रूप में स्कीमा के अंत में जोड़ दिए जाते हैं। नेस्टेड फ़ील्ड भी जोड़े जा सकते हैं, और उन्हें संबंधित संरचना कॉलम के अंत में भी जोड़ा जाएगा।

डेटा इंजीनियर और वैज्ञानिक इस विकल्प का उपयोग करके पुराने कॉलम पर आधारित मौजूदा मॉडल को तोड़े बिना अपने मौजूदा मशीन लर्निंग उत्पादन तालिकाओं में नए कॉलम (शायद हाल ही में ट्रैक किए गए मीट्रिक या इस महीने के बिक्री आंकड़ों का कॉलम) जोड़ सकते हैं।

तालिका जोड़ने या पुनर्लेखन के दौरान स्कीमा विकास के भाग के रूप में निम्न प्रकार के स्कीमा परिवर्तनों की अनुमति है:

नये कॉलम जोड़ना (यह सबसे सामान्य परिदृश्य है)
डेटा प्रकार को NullType -> किसी अन्य प्रकार से बदलना या ByteType -> ShortType -> IntegerType से बढ़ावा देना

स्कीमा विकास के भीतर जिन अन्य परिवर्तनों की अनुमति नहीं है, उनके लिए स्कीमा और डेटा को जोड़कर अधिलेखित करना आवश्यक है .option("overwriteSchema", "true"). उदाहरण के लिए, यदि "Foo" कॉलम मूल रूप से एक पूर्णांक था और नई स्कीमा एक स्ट्रिंग डेटा प्रकार थी, तो सभी पार्क्वेट (डेटा) फ़ाइलों को अधिलेखित करने की आवश्यकता होगी। इन परिवर्तनों में शामिल हैं:

स्तंभ हटाएं
मौजूदा कॉलम का डेटा प्रकार बदलें (उसी स्थान पर)
उन स्तंभों का नाम बदलना जो केवल केस में भिन्न हों (जैसे "Foo" और "foo")

अंत में, स्पार्क 3.0 के अगले रिलीज के साथ, स्पष्ट DDL (ALTER TABLE का उपयोग करके) पूरी तरह से समर्थित होगा, जिससे उपयोगकर्ता तालिका स्कीमा पर निम्नलिखित क्रियाएं कर सकेंगे:

कॉलम जोड़ना
कॉलम टिप्पणियाँ बदलना
तालिका के व्यवहार को निर्धारित करने वाले तालिका गुणों को कॉन्फ़िगर करें, जैसे कि लेनदेन लॉग को रखे जाने की अवधि निर्धारित करना।

स्कीमा विकास का क्या लाभ है?

स्कीमा विकास का उपयोग आप जब चाहें कर सकते हैं का इरादा अपनी तालिका की स्कीमा बदलें (उन मामलों के विपरीत जहां आपने गलती से अपने डेटाफ्रेम में ऐसे कॉलम जोड़ दिए हैं जो वहां नहीं होने चाहिए थे)। यह आपके स्कीमा को माइग्रेट करने का सबसे आसान तरीका है क्योंकि यह आपके द्वारा स्पष्ट रूप से घोषित किए बिना ही सही कॉलम नाम और डेटा प्रकार को स्वचालित रूप से जोड़ देता है।

निष्कर्ष

स्कीमा प्रवर्तन किसी भी नए कॉलम या अन्य स्कीमा परिवर्तन को अस्वीकार कर देता है जो आपकी तालिका के साथ असंगत हैं। इन उच्च मानकों को निर्धारित करने और बनाए रखने से, विश्लेषक और इंजीनियर भरोसा कर सकते हैं कि उनके डेटा में उच्चतम स्तर की अखंडता है, इसके बारे में स्पष्ट और सटीक तर्क है, जिससे उन्हें बेहतर व्यावसायिक निर्णय लेने में मदद मिलती है।

दूसरी ओर, योजना का विकास सरलीकरण करके प्रवर्तन को पूरक बनाता है कल्पित स्वचालित स्कीमा परिवर्तन. आखिरकार, कॉलम जोड़ना इतना कठिन नहीं होना चाहिए।

किसी योजना का बलपूर्वक लागू किया जाना यांग है, जबकि योजना का विकास यिन है। एक साथ उपयोग किए जाने पर, ये विशेषताएं शोर दमन और सिग्नल ट्यूनिंग को पहले से कहीं अधिक आसान बना देती हैं।

हम इस आलेख में योगदान के लिए मुकुल मूर्ति और प्रणव आनंद को भी धन्यवाद देना चाहते हैं।

इस श्रृंखला के अन्य लेख:

डेल्टा लेक में गहराई से जाना: ट्रांजेक्शन लॉग को खोलना