ডেল্টা লেক ডাইভ: এনফোর্সমেন্ট এবং স্কিম বিবর্তন

হে হাবর! আমি নিবন্ধটির অনুবাদ আপনার দৃষ্টি আকর্ষণ করছি "ডেল্টা লেকে ডুব দেওয়া: স্কিমা প্রয়োগ ও বিবর্তন" লেখক বুরাক ইয়াভুজ, ব্রেনার হেইন্টজ এবং ডেনি লি, যা কোর্স শুরুর প্রত্যাশায় প্রস্তুত করা হয়েছিল ডেটা ইঞ্জিনিয়ার OTUS থেকে

ডেটা, আমাদের অভিজ্ঞতার মতো, ক্রমাগত জমা হচ্ছে এবং বিকশিত হচ্ছে। চালিয়ে যাওয়ার জন্য, বিশ্বের আমাদের মানসিক মডেলগুলিকে অবশ্যই নতুন ডেটার সাথে খাপ খাইয়ে নিতে হবে, যার মধ্যে কিছু নতুন মাত্রা ধারণ করে — এমন জিনিসগুলি পর্যবেক্ষণ করার নতুন উপায় যা সম্পর্কে আগে আমাদের ধারণা ছিল না। এই মানসিক মডেলগুলি টেবিল স্কিমাগুলির থেকে খুব বেশি আলাদা নয় যা নির্ধারণ করে যে আমরা কীভাবে নতুন তথ্যকে শ্রেণিবদ্ধ এবং প্রক্রিয়া করি।

এটি আমাদের স্কিমা পরিচালনার বিষয়ে নিয়ে আসে। ব্যবসায়িক চ্যালেঞ্জ এবং প্রয়োজনীয়তা সময়ের সাথে সাথে পরিবর্তিত হওয়ার সাথে সাথে আপনার ডেটার গঠনও পরিবর্তিত হয়। ডেল্টা লেক ডেটা পরিবর্তনের সাথে নতুন পরিমাপ চালু করা সহজ করে তোলে। ব্যবহারকারীদের তাদের টেবিল স্কিমা পরিচালনা করার জন্য সহজ শব্দার্থবিদ্যা অ্যাক্সেস আছে। এই সরঞ্জামগুলির মধ্যে রয়েছে স্কিমা এনফোর্সমেন্ট, যা ব্যবহারকারীদের অনিচ্ছাকৃতভাবে ত্রুটি বা অপ্রয়োজনীয় ডেটা দিয়ে তাদের টেবিলগুলিকে দূষিত করা থেকে রক্ষা করে এবং স্কিমা ইভোলিউশন, যা মূল্যবান ডেটার নতুন কলামগুলিকে স্বয়ংক্রিয়ভাবে উপযুক্ত স্থানে যুক্ত করার অনুমতি দেয়। এই নিবন্ধে, আমরা এই সরঞ্জামগুলি ব্যবহার করার মধ্যে গভীরভাবে ডুব দেব।

টেবিল স্কিমা বোঝা

Apache Spark-এর প্রতিটি DataFrame-এ একটি স্কিমা থাকে যা ডেটার ধরন, কলাম এবং মেটাডেটার মতো ডেটার ফর্ম সংজ্ঞায়িত করে। ডেল্টা লেকের সাথে, টেবিল স্কিমা লেনদেন লগের ভিতরে JSON ফর্ম্যাটে সংরক্ষণ করা হয়।

স্কিম প্রয়োগ কি?

স্কিমা এনফোর্সমেন্ট, যা স্কিমা ভ্যালিডেশন নামেও পরিচিত, ডেল্টা লেকের একটি নিরাপত্তা ব্যবস্থা যা টেবিলের স্কিমার সাথে মেলে না এমন রেকর্ডগুলি প্রত্যাখ্যান করে ডেটার গুণমান নিশ্চিত করে। শুধুমাত্র একটি জনপ্রিয় রিজার্ভেশন রেস্তোরাঁর সামনের ডেস্কের হোস্টেসের মতো, তিনি পরীক্ষা করেন যে টেবিলে প্রবেশ করা ডেটার প্রতিটি কলাম প্রত্যাশিত কলামগুলির অনুরূপ তালিকায় আছে কিনা (অন্য কথায়, তাদের প্রত্যেকের জন্য একটি "সংরক্ষণ" আছে কিনা। ), এবং তালিকায় নেই এমন কলাম সহ কোনো রেকর্ড প্রত্যাখ্যান করে।

স্কিমা এনফোর্সমেন্ট কিভাবে কাজ করে?

ডেল্টা লেক স্কিমা-অন-রাইট চেকিং ব্যবহার করে, যার অর্থ হল টেবিলে সমস্ত নতুন লেখা লেখার সময় লক্ষ্য টেবিলের স্কিমার সাথে সামঞ্জস্যের জন্য পরীক্ষা করা হয়। স্কিমা যদি অসামঞ্জস্যপূর্ণ হয়, তাহলে ডেল্টা লেক সম্পূর্ণরূপে লেনদেন বন্ধ করে দেয় (কোন ডেটা লেখা নেই) এবং অসঙ্গতি ব্যবহারকারীকে অবহিত করার জন্য একটি ব্যতিক্রম উত্থাপন করে।
ডেল্টা লেক একটি রেকর্ড একটি টেবিলের সাথে সামঞ্জস্যপূর্ণ কিনা তা নির্ধারণ করতে নিম্নলিখিত নিয়মগুলি ব্যবহার করে। লেখার যোগ্য ডেটাফ্রেম:

• টার্গেট টেবিলের স্কিমাতে নেই এমন অতিরিক্ত কলাম থাকতে পারে না। বিপরীতভাবে, সবকিছু ঠিক আছে যদি ইনকামিং ডেটা টেবিল থেকে একেবারে সমস্ত কলাম ধারণ না করে - এই কলামগুলিকে কেবল শূন্য মান বরাদ্দ করা হবে।
• কলামের ডেটা প্রকার থাকতে পারে না যা লক্ষ্য টেবিলের কলামের ডেটা প্রকার থেকে আলাদা। যদি টার্গেট টেবিলের কলামে স্ট্রিংটাইপ ডেটা থাকে, কিন্তু ডেটাফ্রেমের সংশ্লিষ্ট কলামে ইন্টিজার টাইপ ডেটা থাকে, স্কিমা এনফোর্সমেন্ট একটি ব্যতিক্রম নিক্ষেপ করবে এবং লেখার ক্রিয়াকলাপ হতে বাধা দেবে।
• কলামের নাম থাকতে পারে না যা শুধুমাত্র ক্ষেত্রে ভিন্ন। এর মানে হল যে আপনি একই টেবিলে সংজ্ঞায়িত 'Foo' এবং 'foo' নামের কলাম থাকতে পারবেন না। যদিও স্পার্ক কেস-সংবেদনশীল বা কেস-অসংবেদনশীল (ডিফল্ট) মোডে ব্যবহার করা যেতে পারে, ডেল্টা লেক কেস-সংরক্ষিত কিন্তু স্কিমা স্টোরেজের মধ্যে সংবেদনশীল নয়। কলামের তথ্য সংরক্ষণ এবং ফেরত দেওয়ার সময় Parquet কেস সংবেদনশীল। সম্ভাব্য ত্রুটি, ডেটা দুর্নীতি, বা ডেটা ক্ষতি (যা আমরা ব্যক্তিগতভাবে ডেটাব্রিক্সে অভিজ্ঞতা করেছি) এড়াতে আমরা এই সীমাবদ্ধতা যুক্ত করার সিদ্ধান্ত নিয়েছি।

এটি ব্যাখ্যা করার জন্য, আসুন আমরা একটি ডেল্টা লেক টেবিলে কিছু নতুন জেনারেট করা কলাম যুক্ত করার চেষ্টা করি যেগুলি এখনও গ্রহণ করার জন্য কনফিগার করা হয়নি নীচের কোডটিতে কী ঘটে তা একবার দেখে নেওয়া যাক৷

# Сгенерируем DataFrame ссуд, который мы добавим в нашу таблицу Delta Lake
loans = sql("""
            SELECT addr_state, CAST(rand(10)*count as bigint) AS count,
            CAST(rand(10) * 10000 * count AS double) AS amount
            FROM loan_by_state_delta
            """)

# Вывести исходную схему DataFrame
original_loans.printSchema()

root
  |-- addr_state: string (nullable = true)
  |-- count: integer (nullable = true)
 
# Вывести новую схему DataFrame
loans.printSchema()
 
root
  |-- addr_state: string (nullable = true)
  |-- count: integer (nullable = true)
  |-- amount: double (nullable = true) # new column
 
# Попытка добавить новый DataFrame (с новым столбцом) в существующую таблицу
loans.write.format("delta") 
           .mode("append") 
           .save(DELTALAKE_PATH)

Returns:

A schema mismatch detected when writing to the Delta table.
 
To enable schema migration, please set:
'.option("mergeSchema", "true")'
 
Table schema:
root
-- addr_state: string (nullable = true)
-- count: long (nullable = true)
 
Data schema:
root
-- addr_state: string (nullable = true)
-- count: long (nullable = true)
-- amount: double (nullable = true)
 
If Table ACLs are enabled, these options will be ignored. Please use the ALTER TABLE command for changing the schema.

স্বয়ংক্রিয়ভাবে নতুন কলাম যোগ করার পরিবর্তে, ডেল্টা লেক একটি স্কিমা আরোপ করে এবং লেখা বন্ধ করে দেয়। কোন কলাম (বা কলামের সেট) অসঙ্গতি ঘটাচ্ছে তা নির্ধারণ করতে সাহায্য করার জন্য, স্পার্ক তুলনা করার জন্য স্ট্যাক ট্রেস থেকে উভয় স্কিমা আউটপুট করে।

একটি স্কিমা কার্যকর করার সুবিধা কি?

যেহেতু স্কিমা প্রয়োগ একটি মোটামুটি কঠোর চেক, এটি একটি পরিষ্কার, সম্পূর্ণরূপে রূপান্তরিত ডেটা সেটের দারোয়ান হিসাবে ব্যবহার করার জন্য একটি দুর্দান্ত সরঞ্জাম যা উত্পাদন বা ব্যবহারের জন্য প্রস্তুত৷ সাধারণত সরাসরি ডেটা ফিড করে এমন টেবিলগুলিতে প্রয়োগ করা হয়:

• মেশিন লার্নিং অ্যালগরিদম
• BI ড্যাশবোর্ড
• ডেটা বিশ্লেষণ এবং ভিজ্যুয়ালাইজেশন টুল
• যে কোন উৎপাদন ব্যবস্থার জন্য অত্যন্ত কাঠামোগত, দৃঢ়ভাবে টাইপ করা শব্দার্থিক স্কিমা প্রয়োজন।

এই চূড়ান্ত বাধার জন্য তাদের ডেটা প্রস্তুত করতে, অনেক ব্যবহারকারী একটি সাধারণ "মাল্টি-হপ" আর্কিটেকচার ব্যবহার করে যা ধীরে ধীরে তাদের টেবিলে কাঠামোর পরিচয় দেয়। এই সম্পর্কে আরও জানতে, আপনি নিবন্ধটি পরীক্ষা করে দেখতে পারেন ডেল্টা লেকের সাথে প্রোডাকশন-গ্রেড মেশিন লার্নিং।

অবশ্যই, স্কিমা এনফোর্সমেন্ট আপনার পাইপলাইনের যেকোনো জায়গায় ব্যবহার করা যেতে পারে, কিন্তু মনে রাখবেন যে এই ক্ষেত্রে একটি টেবিলে স্ট্রিমিং হতাশাজনক হতে পারে কারণ, উদাহরণস্বরূপ, আপনি ভুলে গেছেন যে আপনি ইনকামিং ডেটাতে অন্য কলাম যোগ করেছেন।

তথ্য পাতলা প্রতিরোধ

এতক্ষণে আপনি হয়তো ভাবছেন, এত হৈচৈ কিসের? সর্বোপরি, কখনও কখনও একটি অপ্রত্যাশিত "স্কিমা অমিল" ত্রুটি আপনাকে আপনার কর্মপ্রবাহে নিয়ে যেতে পারে, বিশেষ করে যদি আপনি ডেল্টা লেকে নতুন হন। কেন শুধু প্রয়োজন অনুযায়ী স্কিমা পরিবর্তন করতে দেবেন না যাতে আমি যাই হোক না কেন আমার ডেটাফ্রেম লিখতে পারি?

পুরানো প্রবাদ হিসাবে, "এক আউন্স প্রতিরোধের মূল্য এক পাউন্ড নিরাময়।" কিছু সময়ে, আপনি যদি আপনার স্কিমা প্রয়োগ করার যত্ন না নেন, তবে ডেটা টাইপ সামঞ্জস্যের সমস্যাগুলি তাদের কুৎসিত মাথার দিকে নিয়ে যাবে - আপাতদৃষ্টিতে একজাতীয় কাঁচা ডেটা উত্সগুলিতে প্রান্তের কেস, দূষিত কলাম, বিকৃত ম্যাপিং, বা স্বপ্ন দেখার মতো অন্যান্য ভীতিকর জিনিস থাকতে পারে। দুঃস্বপ্ন সর্বোত্তম পন্থা হল এই শত্রুদের গেটে থামানো - স্কিমা এনফোর্সমেন্টের মাধ্যমে - এবং পরে যখন তারা আপনার প্রোডাকশন কোডের অন্ধকার গভীরতায় লুকিয়ে থাকা শুরু করে তার চেয়ে আলোতে তাদের সাথে মোকাবিলা করা।

একটি স্কিমা প্রয়োগ করা আপনাকে আশ্বাস দেয় যে আপনি পরিবর্তনটি অনুমোদন না করা পর্যন্ত আপনার টেবিলের স্কিমা পরিবর্তন হবে না। এটি ডেটা ক্ষয় প্রতিরোধ করে, যা ঘটতে পারে যখন নতুন কলামগুলি এত ঘন ঘন যোগ করা হয় যে পূর্বে মূল্যবান, সংকুচিত টেবিলগুলি ডেটা ডুবে যাওয়ার কারণে তাদের অর্থ এবং উপযোগিতা হারিয়ে ফেলে। আপনাকে উদ্দেশ্যপ্রণোদিত হতে, উচ্চ মান সেট করতে এবং উচ্চ মানের আশা করার জন্য উত্সাহিত করার মাধ্যমে, স্কিমা প্রয়োগকারী ঠিক যা করার জন্য ডিজাইন করা হয়েছিল তা-ই আপনাকে বিবেকবান থাকতে এবং আপনার স্প্রেডশীটগুলিকে পরিষ্কার রাখতে সহায়তা করে৷

যদি আরও বিবেচনার ভিত্তিতে আপনি সিদ্ধান্ত নেন যে আপনি সত্যিই প্রয়োজন একটি নতুন কলাম যোগ করুন - কোন সমস্যা নেই, নীচে একটি এক-লাইন সংশোধন করা হয়েছে৷ সমাধান হচ্ছে সার্কিটের বিবর্তন!

স্কিমা বিবর্তন কি?

স্কিমা বিবর্তন হল এমন একটি বৈশিষ্ট্য যা ব্যবহারকারীদের সময়ের সাথে পরিবর্তিত ডেটা অনুযায়ী বর্তমান টেবিল স্কিমা সহজেই পরিবর্তন করতে দেয়। এক বা একাধিক নতুন কলাম অন্তর্ভুক্ত করার জন্য স্কিমাকে স্বয়ংক্রিয়ভাবে মানিয়ে নিতে একটি সংযোজন বা পুনর্লিখন অপারেশন করার সময় এটি প্রায়শই ব্যবহৃত হয়।

স্কিমা বিবর্তন কিভাবে কাজ করে?

পূর্ববর্তী বিভাগ থেকে উদাহরণ অনুসরণ করে, বিকাশকারীরা সহজে স্কিমা বিবর্তন ব্যবহার করে নতুন কলাম যুক্ত করতে পারে যা পূর্বে স্কিমার অসঙ্গতির কারণে প্রত্যাখ্যান করা হয়েছিল। যোগ করে সার্কিট বিবর্তন সক্রিয় করা হয় .option('mergeSchema', 'true') আপনার স্পার্ক দলের কাছে .write или .writeStream.

# Добавьте параметр mergeSchema
loans.write.format("delta") 
           .option("mergeSchema", "true") 
           .mode("append") 
           .save(DELTALAKE_SILVER_PATH)

গ্রাফটি দেখতে, নিম্নলিখিত স্পার্ক এসকিউএল কোয়েরিটি চালান

# Создайте график с новым столбцом, чтобы подтвердить, что запись прошла успешно
%sql
SELECT addr_state, sum(`amount`) AS amount
FROM loan_by_state_delta
GROUP BY addr_state
ORDER BY sum(`amount`)
DESC LIMIT 10

বিকল্পভাবে, আপনি যোগ করে পুরো স্পার্ক সেশনের জন্য এই বিকল্পটি সেট করতে পারেন spark.databricks.delta.schema.autoMerge = True স্পার্ক কনফিগারেশনে। তবে এটিকে সতর্কতার সাথে ব্যবহার করুন, কারণ স্কিমা প্রয়োগকারী আপনাকে আর অনিচ্ছাকৃত স্কিমার অসঙ্গতি সম্পর্কে সতর্ক করবে না।

অনুরোধে প্যারামিটার অন্তর্ভুক্ত করে mergeSchema, ডাটাফ্রেমে উপস্থিত কিন্তু টার্গেট টেবিলে না থাকা সমস্ত কলাম একটি লেখার লেনদেনের অংশ হিসাবে স্বয়ংক্রিয়ভাবে স্কিমার শেষে যোগ করা হয়। নেস্টেড ক্ষেত্রগুলিও যোগ করা যেতে পারে এবং এইগুলি সংশ্লিষ্ট কাঠামোর কলামগুলির শেষেও যোগ করা হবে।

তারিখ প্রকৌশলী এবং ডেটা বিজ্ঞানীরা পুরানো কলামগুলির উপর ভিত্তি করে বিদ্যমান মডেলগুলিকে না ভেঙে তাদের বিদ্যমান মেশিন লার্নিং উত্পাদন টেবিলে নতুন কলামগুলি (সম্ভবত একটি সম্প্রতি ট্র্যাক করা মেট্রিক বা এই মাসের বিক্রয় কর্মক্ষমতা কলাম) যোগ করতে এই বিকল্পটি ব্যবহার করতে পারেন।

একটি টেবিল সংযোজন বা পুনর্লিখনের সময় স্কিমা বিবর্তনের অংশ হিসাবে নিম্নলিখিত ধরণের স্কিমা পরিবর্তনগুলি অনুমোদিত:

• নতুন কলাম যোগ করা হচ্ছে (এটি সবচেয়ে সাধারণ দৃশ্য)
• NullType -> অন্য কোন প্রকার থেকে ডেটা টাইপ পরিবর্তন করা বা ByteType -> ShortType -> IntegerType থেকে প্রচার করা

স্কিমা বিবর্তনের মধ্যে অনুমোদিত নয় এমন অন্যান্য পরিবর্তনের জন্য স্কিমা এবং ডেটা যোগ করে পুনরায় লিখতে হবে .option("overwriteSchema", "true"). উদাহরণস্বরূপ, যে ক্ষেত্রে "Foo" কলামটি মূলত একটি পূর্ণসংখ্যা ছিল এবং নতুন স্কিমাটি একটি স্ট্রিং ডেটা টাইপ ছিল, তখন সমস্ত Parquet(data) ফাইলগুলিকে পুনরায় লিখতে হবে৷ এই ধরনের পরিবর্তন অন্তর্ভুক্ত:

• একটি কলাম মুছে ফেলা হচ্ছে
• একটি বিদ্যমান কলামের ডেটা টাইপ পরিবর্তন করা হচ্ছে (স্থানে)
• কলামের নাম পরিবর্তন করা যা শুধুমাত্র ক্ষেত্রে ভিন্ন হয় (উদাহরণস্বরূপ, "Foo" এবং "foo")

অবশেষে, স্পার্ক 3.0 এর পরবর্তী প্রকাশের সাথে, স্পষ্ট DDL সম্পূর্ণরূপে সমর্থিত হবে (ALTER TABLE ব্যবহার করে), ব্যবহারকারীদের টেবিল স্কিমাগুলিতে নিম্নলিখিত ক্রিয়াগুলি সম্পাদন করার অনুমতি দেয়:

• কলাম যোগ করা হচ্ছে
• কলাম মন্তব্য পরিবর্তন
• টেবিলের বৈশিষ্ট্যগুলি সেটিং করে যা টেবিলের আচরণ নিয়ন্ত্রণ করে, যেমন একটি লেনদেন লগ সংরক্ষণ করার সময়কাল নির্ধারণ করে।

সার্কিট বিবর্তনের সুবিধা কি?

আপনি যখনই স্কিমা বিবর্তন ব্যবহার করতে পারেন উদ্দেশ্য আপনার টেবিলের স্কিমা পরিবর্তন করুন (যখন আপনি ভুলবশত আপনার ডেটাফ্রেমে কলাম যোগ করেন যা সেখানে থাকা উচিত নয়)। এটি আপনার স্কিমা স্থানান্তর করার সবচেয়ে সহজ উপায় কারণ এটি স্বয়ংক্রিয়ভাবে সঠিক কলামের নাম এবং ডেটা প্রকারগুলিকে স্পষ্টভাবে ঘোষণা না করেই যোগ করে৷

উপসংহার

স্কিমা প্রয়োগকারী নতুন কলাম বা অন্যান্য স্কিমা পরিবর্তনগুলি প্রত্যাখ্যান করে যা আপনার টেবিলের সাথে সামঞ্জস্যপূর্ণ নয়। এই উচ্চ মানগুলি সেট করে এবং বজায় রাখার মাধ্যমে, বিশ্লেষক এবং প্রকৌশলীরা বিশ্বাস করতে পারেন যে তাদের ডেটার সর্বোচ্চ স্তরের অখণ্ডতা রয়েছে, এটি স্পষ্টভাবে এবং স্পষ্টভাবে যোগাযোগ করে, তাদের আরও ভাল ব্যবসায়িক সিদ্ধান্ত নেওয়ার অনুমতি দেয়।

অন্যদিকে, স্কিমা বিবর্তন সরলীকরণের মাধ্যমে প্রয়োগকে পরিপূরক করে অনুমিত স্বয়ংক্রিয় স্কিমা পরিবর্তন। সর্বোপরি, একটি কলাম যোগ করা কঠিন হবে না।

স্কিমটির জোরপূর্বক প্রয়োগ হল ইয়াং, যেখানে স্কিমের বিবর্তন হল ইয়িন। একসাথে ব্যবহার করা হলে, এই বৈশিষ্ট্যগুলি শব্দ দমন এবং সংকেত টিউনিংকে আগের চেয়ে সহজ করে তোলে।

আমরা এই নিবন্ধটিতে তাদের অবদানের জন্য মুকুল মূর্তি এবং প্রণব আনন্দকে ধন্যবাদ জানাতে চাই।

এই সিরিজের অন্যান্য নিবন্ধ:

ডেল্টা লেকে ডুব দিন: লেনদেন লগ আনপ্যাক করা

সম্পরকিত প্রবন্ধ

ডেল্টা লেকের সাথে প্রোডাকশন-গ্রেড মেশিন লার্নিং

ডাটা লেক কি?

কোর্স সম্পর্কে আরও জানুন

উত্স: www.habr.com