🥇डेल्टा लेक डाइव: प्रवर्तन और योजना विकास

नमस्ते, हबर! मैं आपके ध्यान में लेख का अनुवाद प्रस्तुत करता हूँ "डेल्टा झील में गोताखोरी: स्कीमा प्रवर्तन और विकास" लेखक बुराक यावुज़, ब्रेनर हेन्ट्ज़ और डेनी ली, जो पाठ्यक्रम की शुरुआत की प्रत्याशा में तैयार किया गया था डाटा इंजीनियर OTUS से.

डेटा, हमारे अनुभव की तरह, लगातार जमा हो रहा है और विकसित हो रहा है। इसे बनाए रखने के लिए, दुनिया के हमारे मानसिक मॉडल को नए डेटा के अनुकूल होना चाहिए, जिनमें से कुछ में नए आयाम शामिल हैं - उन चीजों को देखने के नए तरीके जिनके बारे में हमें पहले कोई जानकारी नहीं थी। ये मानसिक मॉडल तालिका स्कीमा से बहुत अलग नहीं हैं जो यह निर्धारित करते हैं कि हम नई जानकारी को कैसे वर्गीकृत और संसाधित करते हैं।

यह हमें स्कीमा प्रबंधन के मुद्दे पर लाता है। जैसे-जैसे समय के साथ व्यावसायिक चुनौतियाँ और आवश्यकताएँ बदलती हैं, वैसे ही आपके डेटा की संरचना भी बदलती है। डेल्टा लेक डेटा परिवर्तन के रूप में नए माप पेश करना आसान बनाता है। उपयोगकर्ताओं के पास अपने टेबल स्कीमा को प्रबंधित करने के लिए सरल शब्दार्थ तक पहुंच है। इन उपकरणों में स्कीमा एन्फोर्समेंट शामिल है, जो उपयोगकर्ताओं को त्रुटियों या अनावश्यक डेटा के साथ अनजाने में उनकी तालिकाओं को प्रदूषित करने से बचाता है, और स्कीमा इवोल्यूशन, जो मूल्यवान डेटा के नए कॉलमों को उचित स्थानों पर स्वचालित रूप से जोड़ने की अनुमति देता है। इस लेख में, हम इन उपकरणों के उपयोग के बारे में गहराई से जानेंगे।

टेबल स्कीमा को समझना

अपाचे स्पार्क में प्रत्येक डेटाफ़्रेम में एक स्कीमा होता है जो डेटा के रूप को परिभाषित करता है, जैसे डेटा प्रकार, कॉलम और मेटाडेटा। डेल्टा लेक के साथ, तालिका स्कीमा को लेनदेन लॉग के अंदर JSON प्रारूप में संग्रहीत किया जाता है।

योजना प्रवर्तन क्या है?

स्कीमा प्रवर्तन, जिसे स्कीमा सत्यापन के रूप में भी जाना जाता है, डेल्टा लेक में एक सुरक्षा तंत्र है जो तालिका की स्कीमा से मेल नहीं खाने वाले रिकॉर्ड को अस्वीकार करके डेटा गुणवत्ता सुनिश्चित करता है। एक लोकप्रिय केवल आरक्षण वाले रेस्तरां के फ्रंट डेस्क पर परिचारिका की तरह, वह जाँचती है कि तालिका में दर्ज डेटा का प्रत्येक कॉलम अपेक्षित कॉलम की संगत सूची में है (दूसरे शब्दों में, क्या उनमें से प्रत्येक के लिए "आरक्षण" है ), और उन स्तंभों वाले किसी भी रिकॉर्ड को अस्वीकार कर देता है जो सूची में नहीं हैं।

स्कीमा प्रवर्तन कैसे काम करता है?

डेल्टा लेक स्कीम-ऑन-राइट चेकिंग का उपयोग करता है, जिसका अर्थ है कि तालिका में सभी नए लेखन को लेखन के समय लक्ष्य तालिका की स्कीमा के साथ संगतता के लिए जांचा जाता है। यदि स्कीमा असंगत है, तो डेल्टा लेक लेनदेन को पूरी तरह से रद्द कर देता है (कोई डेटा नहीं लिखा जाता है) और असंगतता के बारे में उपयोगकर्ता को सूचित करने के लिए एक अपवाद उठाता है।
डेल्टा लेक यह निर्धारित करने के लिए निम्नलिखित नियमों का उपयोग करता है कि कोई रिकॉर्ड किसी तालिका के साथ संगत है या नहीं। लिखने योग्य डेटाफ़्रेम:

ऐसे अतिरिक्त कॉलम नहीं हो सकते जो लक्ष्य तालिका की स्कीमा में नहीं हैं। इसके विपरीत, यदि आने वाले डेटा में तालिका के बिल्कुल सभी कॉलम शामिल नहीं हैं तो सब कुछ ठीक है - इन कॉलमों को केवल शून्य मान निर्दिष्ट किए जाएंगे।
ऐसे स्तंभ डेटा प्रकार नहीं हो सकते जो लक्ष्य तालिका में स्तंभों के डेटा प्रकारों से भिन्न हों। यदि लक्ष्य तालिका कॉलम में स्ट्रिंगटाइप डेटा है, लेकिन डेटाफ़्रेम में संबंधित कॉलम में इंटीजरटाइप डेटा है, तो स्कीमा प्रवर्तन एक अपवाद फेंक देगा और लेखन ऑपरेशन को होने से रोक देगा।
ऐसे कॉलम नाम शामिल नहीं हो सकते जो केवल मामले में भिन्न हों। इसका मतलब यह है कि आप एक ही तालिका में 'फू' और 'फू' नाम के कॉलम परिभाषित नहीं कर सकते। जबकि स्पार्क का उपयोग केस-सेंसिटिव या केस-इनसेंसिटिव (डिफ़ॉल्ट) मोड में किया जा सकता है, डेल्टा लेक केस-प्रिज़र्विंग है लेकिन स्कीमा स्टोरेज के भीतर असंवेदनशील है। कॉलम जानकारी संग्रहीत और वापस करते समय पैराक्वेट केस संवेदनशील होता है। संभावित त्रुटियों, डेटा भ्रष्टाचार, या डेटा हानि (कुछ ऐसा जिसे हमने डेटाब्रिक्स में व्यक्तिगत रूप से अनुभव किया था) से बचने के लिए, हमने इस सीमा को जोड़ने का निर्णय लिया।

इसे स्पष्ट करने के लिए, आइए देखें कि नीचे दिए गए कोड में क्या होता है जब हम डेल्टा लेक तालिका में कुछ नए जेनरेट किए गए कॉलम जोड़ने का प्रयास करते हैं जो अभी तक उन्हें स्वीकार करने के लिए कॉन्फ़िगर नहीं किया गया है।

# Сгенерируем DataFrame ссуд, который мы добавим в нашу таблицу Delta Lake
loans = sql("""
            SELECT addr_state, CAST(rand(10)*count as bigint) AS count,
            CAST(rand(10) * 10000 * count AS double) AS amount
            FROM loan_by_state_delta
            """)

# Вывести исходную схему DataFrame
original_loans.printSchema()

root
  |-- addr_state: string (nullable = true)
  |-- count: integer (nullable = true)
 
# Вывести новую схему DataFrame
loans.printSchema()
 
root
  |-- addr_state: string (nullable = true)
  |-- count: integer (nullable = true)
  |-- amount: double (nullable = true) # new column
 
# Попытка добавить новый DataFrame (с новым столбцом) в существующую таблицу
loans.write.format("delta") 
           .mode("append") 
           .save(DELTALAKE_PATH)

Returns:

A schema mismatch detected when writing to the Delta table.
 
To enable schema migration, please set:
'.option("mergeSchema", "true")'
 
Table schema:
root
-- addr_state: string (nullable = true)
-- count: long (nullable = true)
 
Data schema:
root
-- addr_state: string (nullable = true)
-- count: long (nullable = true)
-- amount: double (nullable = true)
 
If Table ACLs are enabled, these options will be ignored. Please use the ALTER TABLE command for changing the schema.

स्वचालित रूप से नए कॉलम जोड़ने के बजाय, डेल्टा लेक एक स्कीमा लगाता है और लिखना बंद कर देता है। यह निर्धारित करने में सहायता के लिए कि कौन सा कॉलम (या कॉलम का सेट) विसंगति का कारण बन रहा है, स्पार्क तुलना के लिए स्टैक ट्रेस से दोनों स्कीमा आउटपुट करता है।

स्कीमा लागू करने का क्या लाभ है?

क्योंकि स्कीमा प्रवर्तन एक काफी कड़ी जांच है, यह एक स्वच्छ, पूरी तरह से परिवर्तित डेटा सेट के द्वारपाल के रूप में उपयोग करने के लिए एक उत्कृष्ट उपकरण है जो उत्पादन या उपभोग के लिए तैयार है। आमतौर पर उन तालिकाओं पर लागू किया जाता है जो सीधे डेटा फ़ीड करती हैं:

मशीन लर्निंग एल्गोरिदम
बीआई डैशबोर्ड
डेटा विश्लेषण और विज़ुअलाइज़ेशन उपकरण
कोई भी उत्पादन प्रणाली जिसके लिए अत्यधिक संरचित, दृढ़तापूर्वक टाइप किए गए सिमेंटिक स्कीमा की आवश्यकता होती है।

इस अंतिम बाधा के लिए अपना डेटा तैयार करने के लिए, कई उपयोगकर्ता एक सरल "मल्टी-हॉप" आर्किटेक्चर का उपयोग करते हैं जो धीरे-धीरे उनकी तालिकाओं में संरचना पेश करता है। इसके बारे में अधिक जानने के लिए आप लेख देख सकते हैं डेल्टा लेक के साथ प्रोडक्शन-ग्रेड मशीन लर्निंग।

बेशक, स्कीमा प्रवर्तन का उपयोग आपकी पाइपलाइन में कहीं भी किया जा सकता है, लेकिन याद रखें कि इस मामले में किसी तालिका में स्ट्रीमिंग निराशाजनक हो सकती है क्योंकि, उदाहरण के लिए, आप भूल गए कि आपने आने वाले डेटा में एक और कॉलम जोड़ा है।

डेटा कमजोर पड़ने से रोकना

अब तक आप सोच रहे होंगे कि आखिर इतना हंगामा किस बात का है? आख़िरकार, कभी-कभी एक अप्रत्याशित "स्कीमा बेमेल" त्रुटि आपके वर्कफ़्लो में बाधा डाल सकती है, खासकर यदि आप डेल्टा लेक में नए हैं। स्कीमा को आवश्यकतानुसार क्यों न बदलने दिया जाए ताकि मैं अपना डेटाफ़्रेम लिख सकूं, चाहे कुछ भी हो?

जैसा कि पुरानी कहावत है, "एक औंस की रोकथाम एक पाउंड इलाज के लायक है।" कुछ बिंदु पर, यदि आप अपनी स्कीमा को लागू करने में सावधानी नहीं बरतते हैं, तो डेटा प्रकार संगतता समस्याएं अपने बदसूरत सिर उठा लेंगी - प्रतीत होता है कि सजातीय कच्चे डेटा स्रोतों में किनारे के मामले, दूषित कॉलम, विकृत मैपिंग, या सपने देखने वाली अन्य डरावनी चीजें हो सकती हैं बुरे सपने सबसे अच्छा तरीका यह है कि इन दुश्मनों को गेट पर ही रोक दिया जाए - स्कीमा प्रवर्तन के साथ - और उनसे प्रकाश में निपटें, न कि बाद में जब वे आपके उत्पादन कोड की अंधेरी गहराइयों में छिपना शुरू कर दें।

स्कीमा लागू करने से आपको यह आश्वासन मिलता है कि आपकी तालिका का स्कीमा तब तक नहीं बदलेगा जब तक आप परिवर्तन को मंजूरी नहीं देते। यह डेटा कमजोर पड़ने को रोकता है, जो तब हो सकता है जब नए कॉलम इतनी बार जोड़े जाते हैं कि पहले से मूल्यवान, संपीड़ित तालिकाएं डेटा बाढ़ के कारण अपना अर्थ और उपयोगिता खो देती हैं। आपको जानबूझकर, उच्च मानक स्थापित करने और उच्च गुणवत्ता की अपेक्षा करने के लिए प्रोत्साहित करके, स्कीमा प्रवर्तन बिल्कुल वही करता है जिसके लिए इसे डिज़ाइन किया गया था - आपको कर्तव्यनिष्ठ बने रहने और आपकी स्प्रैडशीट को साफ़ रखने में मदद करता है।

यदि आगे विचार करने पर आप निर्णय लेते हैं कि आप वास्तव में हैं को एक नया कॉलम जोड़ें - कोई समस्या नहीं, नीचे एक पंक्ति का समाधान दिया गया है। समाधान सर्किट का विकास है!

स्कीमा विकास क्या है?

स्कीमा इवोल्यूशन एक ऐसी सुविधा है जो उपयोगकर्ताओं को समय के साथ बदलते डेटा के अनुसार वर्तमान तालिका स्कीमा को आसानी से बदलने की अनुमति देती है। एक या अधिक नए कॉलम शामिल करने के लिए स्कीमा को स्वचालित रूप से अनुकूलित करने के लिए एपेंड या रीराइट ऑपरेशन करते समय इसका सबसे अधिक उपयोग किया जाता है।

स्कीमा विकास कैसे काम करता है?

पिछले अनुभाग के उदाहरण के बाद, डेवलपर्स नए कॉलम जोड़ने के लिए आसानी से स्कीमा इवोल्यूशन का उपयोग कर सकते हैं जिन्हें पहले स्कीमा असंगतता के कारण अस्वीकार कर दिया गया था। सर्किट विकास को जोड़कर सक्रिय किया जाता है .option('mergeSchema', 'true') आपकी स्पार्क टीम को .write или .writeStream.

# Добавьте параметр mergeSchema
loans.write.format("delta") 
           .option("mergeSchema", "true") 
           .mode("append") 
           .save(DELTALAKE_SILVER_PATH)

ग्राफ़ देखने के लिए, निम्नलिखित स्पार्क SQL क्वेरी चलाएँ

# Создайте график с новым столбцом, чтобы подтвердить, что запись прошла успешно
%sql
SELECT addr_state, sum(`amount`) AS amount
FROM loan_by_state_delta
GROUP BY addr_state
ORDER BY sum(`amount`)
DESC LIMIT 10

वैकल्पिक रूप से, आप इस विकल्प को जोड़कर पूरे स्पार्क सत्र के लिए सेट कर सकते हैं spark.databricks.delta.schema.autoMerge = True स्पार्क कॉन्फ़िगरेशन के लिए। लेकिन इसका उपयोग सावधानी से करें, क्योंकि स्कीमा प्रवर्तन अब आपको अनजाने स्कीमा विसंगतियों के प्रति सचेत नहीं करेगा।

अनुरोध में पैरामीटर शामिल करके mergeSchema, वे सभी कॉलम जो डेटाफ़्रेम में मौजूद हैं, लेकिन लक्ष्य तालिका में नहीं हैं, स्वचालित रूप से एक लेखन लेनदेन के हिस्से के रूप में स्कीमा के अंत में जोड़ दिए जाते हैं। नेस्टेड फ़ील्ड भी जोड़े जा सकते हैं और इन्हें संबंधित संरचना कॉलम के अंत में भी जोड़ा जाएगा।

दिनांक इंजीनियर और डेटा वैज्ञानिक पुराने कॉलम के आधार पर मौजूदा मॉडल को तोड़े बिना अपने मौजूदा मशीन लर्निंग प्रोडक्शन टेबल में नए कॉलम (शायद हाल ही में ट्रैक की गई मीट्रिक या इस महीने की बिक्री प्रदर्शन कॉलम) जोड़ने के लिए इस विकल्प का उपयोग कर सकते हैं।

तालिका को जोड़ने या फिर से लिखने के दौरान स्कीमा विकास के भाग के रूप में निम्नलिखित प्रकार के स्कीमा परिवर्तनों की अनुमति है:

नए कॉलम जोड़ना (यह सबसे आम परिदृश्य है)
NullType -> किसी अन्य प्रकार से डेटा प्रकार बदलना या ByteType -> शॉर्टटाइप -> IntegerType से प्रचार करना

स्कीमा विकास के भीतर अन्य परिवर्तनों की अनुमति नहीं है, जिसके लिए स्कीमा और डेटा को जोड़कर फिर से लिखा जाना आवश्यक है .option("overwriteSchema", "true"). उदाहरण के लिए, ऐसे मामले में जहां कॉलम "फू" मूल रूप से एक पूर्णांक था और नई स्कीमा एक स्ट्रिंग डेटा प्रकार थी, तो सभी Parquet(डेटा) फ़ाइलों को फिर से लिखने की आवश्यकता होगी। ऐसे परिवर्तनों में शामिल हैं:

एक कॉलम हटाना
मौजूदा कॉलम का डेटा प्रकार बदलना (इन-प्लेस)
उन स्तंभों का नाम बदलना जो केवल मामले में भिन्न हैं (उदाहरण के लिए, "फू" और "फू")

अंत में, स्पार्क 3.0 की अगली रिलीज के साथ, स्पष्ट डीडीएल पूरी तरह से समर्थित होगा (ALTER TABLE का उपयोग करके), जिससे उपयोगकर्ता टेबल स्कीमा पर निम्नलिखित क्रियाएं कर सकेंगे:

कॉलम जोड़ना
कॉलम टिप्पणियाँ बदलना
तालिका गुणों को सेट करना जो तालिका के व्यवहार को नियंत्रित करते हैं, जैसे लेनदेन लॉग संग्रहीत होने की अवधि निर्धारित करना।

सर्किट विकास का क्या लाभ है?

स्कीमा इवोल्यूशन का उपयोग आप जब भी कर सकते हैं इरादा रखना अपनी तालिका का स्कीमा बदलें (इसके विपरीत जब आपने गलती से अपने डेटाफ़्रेम में ऐसे कॉलम जोड़ दिए थे जो वहां नहीं होने चाहिए)। यह आपके स्कीमा को माइग्रेट करने का सबसे आसान तरीका है क्योंकि यह स्पष्ट रूप से घोषित किए बिना स्वचालित रूप से सही कॉलम नाम और डेटा प्रकार जोड़ता है।

निष्कर्ष

स्कीमा प्रवर्तन किसी भी नए कॉलम या अन्य स्कीमा परिवर्तन को अस्वीकार कर देता है जो आपकी तालिका के साथ संगत नहीं है। इन उच्च मानकों को स्थापित करने और बनाए रखने से, विश्लेषक और इंजीनियर भरोसा कर सकते हैं कि उनके डेटा में उच्चतम स्तर की अखंडता है, जो इसे स्पष्ट रूप से और स्पष्ट रूप से संप्रेषित करता है, जिससे उन्हें बेहतर व्यावसायिक निर्णय लेने की अनुमति मिलती है।

दूसरी ओर, स्कीमा विकास सरलीकरण द्वारा प्रवर्तन को पूरा करता है भावी स्वचालित स्कीमा परिवर्तन. आख़िरकार, कॉलम जोड़ना कठिन नहीं होना चाहिए।

योजना का जबरन अनुप्रयोग यांग है, जहां योजना का विकास यिन है। जब एक साथ उपयोग किया जाता है, तो ये सुविधाएँ शोर दमन और सिग्नल ट्यूनिंग को पहले से कहीं अधिक आसान बना देती हैं।

हम इस लेख में उनके योगदान के लिए मुकुल मूर्ति और प्रणव आनंद को भी धन्यवाद देना चाहेंगे।

इस शृंखला के अन्य लेख:

डेल्टा झील में गोता लगाएँ: लेन-देन लॉग को खोलना

डेल्टा झील में गोता लगाएँ: स्कीमा प्रवर्तन और विकास