ჩაყვინთეთ დელტას ტბაში: სქემის აღსრულება და ევოლუცია

ჰეი ჰაბრ! თქვენს ყურადღებას წარმოგიდგენთ სტატიის თარგმანს "დელტას ტბაში ჩაყვინთვა: სქემის აღსრულება და ევოლუცია" ავტორები ბურაკ იავუზი, ბრენერ ჰაინცი და დენი ლი, რომელიც მომზადდა კურსის დაწყების მოლოდინში მონაცემთა ინჟინერი OTUS-დან.

მონაცემები, ისევე როგორც ჩვენი გამოცდილება, მუდმივად გროვდება და ვითარდება. იმისთვის, რომ არ შევინარჩუნოთ, მსოფლიოს ჩვენი გონებრივი მოდელები უნდა მოერგოს ახალ მონაცემებს, რომელთაგან ზოგიერთი შეიცავს ახალ განზომილებებს - ახალ გზებს დაკვირვებისთვის, რაზეც ადრე წარმოდგენაც არ გვქონდა. ეს გონებრივი მოდელები დიდად არ განსხვავდება ცხრილის სქემებისგან, რომლებიც განსაზღვრავენ, თუ როგორ ვახარისხებთ და ვამუშავებთ ახალ ინფორმაციას.

ეს მიგვიყვანს სქემის მართვის საკითხამდე. როგორც ბიზნესის გამოწვევები და მოთხოვნები დროთა განმავლობაში იცვლება, ასევე იცვლება თქვენი მონაცემების სტრუქტურაც. დელტა ტბა აადვილებს ახალი გაზომვების დანერგვას მონაცემთა ცვლილებისას. მომხმარებლებს აქვთ წვდომა მარტივ სემანტიკაზე, რათა მართონ თავიანთი ცხრილის სქემები. ეს ხელსაწყოები მოიცავს Schema Enforcement, რომელიც იცავს მომხმარებლებს მათი ცხრილების უნებლიე დაბინძურებისგან შეცდომებით ან არასაჭირო მონაცემებით, და Schema Evolution, რომელიც საშუალებას აძლევს ღირებული მონაცემების ახალი სვეტების ავტომატურად დამატებას შესაბამის ადგილებში. ამ სტატიაში ჩვენ უფრო ღრმად ჩავუღრმავდებით ამ ინსტრუმენტების გამოყენებას.

ცხრილის სქემების გაგება

Apache Spark-ში თითოეული DataFrame შეიცავს სქემას, რომელიც განსაზღვრავს მონაცემთა ფორმას, როგორიცაა მონაცემთა ტიპები, სვეტები და მეტამონაცემები. დელტა ტბასთან ერთად ცხრილის სქემა ინახება JSON ფორმატში ტრანზაქციის ჟურნალში.

რა არის სქემის აღსრულება?

Schema Enforcement, ასევე ცნობილი როგორც Schema Validation, არის უსაფრთხოების მექანიზმი დელტა ტბაში, რომელიც უზრუნველყოფს მონაცემთა ხარისხს იმ ჩანაწერების უარყოფით, რომლებიც არ ემთხვევა ცხრილის სქემას. მხოლოდ პოპულარული რესტორნის წინა მაგიდასთან დიასახლისის მსგავსად, ის ამოწმებს, არის თუ არა ცხრილში შეტანილი მონაცემების თითოეული სვეტი მოსალოდნელი სვეტების შესაბამის სიაში (სხვა სიტყვებით რომ ვთქვათ, არის თუ არა „დაჯავშნა“ თითოეული მათგანისთვის ), და უარყოფს ნებისმიერ ჩანაწერს სვეტებით, რომლებიც არ არის სიაში.

როგორ მუშაობს სქემის აღსრულება?

დელტა ლეიკი იყენებს სქემის ჩაწერის შემოწმებას, რაც ნიშნავს, რომ ცხრილის ყველა ახალი ჩაწერა მოწმდება ჩაწერის დროს სამიზნე ცხრილის სქემასთან თავსებადობისთვის. თუ სქემა არათანმიმდევრულია, დელტა ლეიკი მთლიანად აჩერებს ტრანზაქციას (მონაცემები არ არის დაწერილი) და აყენებს გამონაკლისს, რათა აცნობოს მომხმარებელს შეუსაბამობის შესახებ.
დელტა ტბა იყენებს შემდეგ წესებს იმის დასადგენად, შეესაბამება თუ არა ჩანაწერი ცხრილს. ჩასაწერი მონაცემთა ჩარჩო:

• არ შეიძლება შეიცავდეს დამატებით სვეტებს, რომლებიც არ არის სამიზნე ცხრილის სქემაში. პირიქით, ყველაფერი კარგადაა, თუ შემომავალი მონაცემები არ შეიცავს ცხრილის აბსოლუტურად ყველა სვეტს - ამ სვეტებს უბრალოდ მიენიჭება ნულოვანი მნიშვნელობები.
• არ შეიძლება ჰქონდეს სვეტის მონაცემთა ტიპები, რომლებიც განსხვავდება სამიზნე ცხრილის სვეტების მონაცემთა ტიპებისგან. თუ სამიზნე ცხრილის სვეტი შეიცავს StringType მონაცემებს, მაგრამ შესაბამისი სვეტი DataFrame-ში შეიცავს IntegerType მონაცემებს, სქემის აღსრულება გამონაკლისს გამოიყენებს და ხელს შეუშლის ჩაწერის ოპერაციის განხორციელებას.
• არ შეიძლება შეიცავდეს სვეტების სახელებს, რომლებიც განსხვავდება მხოლოდ იმ შემთხვევაში. ეს ნიშნავს, რომ თქვენ არ შეიძლება გქონდეთ სვეტები სახელად 'Foo' და 'foo' განსაზღვრული იმავე ცხრილში. მიუხედავად იმისა, რომ Spark შეიძლება გამოყენებულ იქნას რეგისტრის მგრძნობელობის ან რეგისტრის მგრძნობელობის (ნაგულისხმევი) რეჟიმში, დელტა ტბა ინახავს ასოებს, მაგრამ არასენსიტიურია სქემის საცავში. პარკეტი სენსიტიურია სვეტის ინფორმაციის შენახვისა და დაბრუნებისას. შესაძლო შეცდომების, მონაცემთა კორუფციის ან მონაცემთა დაკარგვის თავიდან ასაცილებლად (რაც ჩვენ პირადად განვიცადეთ Databricks-ში), გადავწყვიტეთ დაგვემატებინა ეს შეზღუდვა.

ამის საილუსტრაციოდ, მოდით შევხედოთ რა ხდება ქვემოთ მოცემულ კოდში, როდესაც ვცდილობთ დავამატოთ ახლად წარმოქმნილი სვეტები დელტა ტბის ცხრილში, რომელიც ჯერ არ არის კონფიგურირებული მათი მისაღებად.

# Сгенерируем DataFrame ссуд, который мы добавим в нашу таблицу Delta Lake
loans = sql("""
            SELECT addr_state, CAST(rand(10)*count as bigint) AS count,
            CAST(rand(10) * 10000 * count AS double) AS amount
            FROM loan_by_state_delta
            """)

# Вывести исходную схему DataFrame
original_loans.printSchema()

root
  |-- addr_state: string (nullable = true)
  |-- count: integer (nullable = true)
 
# Вывести новую схему DataFrame
loans.printSchema()
 
root
  |-- addr_state: string (nullable = true)
  |-- count: integer (nullable = true)
  |-- amount: double (nullable = true) # new column
 
# Попытка добавить новый DataFrame (с новым столбцом) в существующую таблицу
loans.write.format("delta") 
           .mode("append") 
           .save(DELTALAKE_PATH)

Returns:

A schema mismatch detected when writing to the Delta table.
 
To enable schema migration, please set:
'.option("mergeSchema", "true")'
 
Table schema:
root
-- addr_state: string (nullable = true)
-- count: long (nullable = true)
 
Data schema:
root
-- addr_state: string (nullable = true)
-- count: long (nullable = true)
-- amount: double (nullable = true)
 
If Table ACLs are enabled, these options will be ignored. Please use the ALTER TABLE command for changing the schema.

ახალი სვეტების ავტომატურად დამატების ნაცვლად, დელტა ტბა აწესებს სქემას და წყვეტს წერას. იმის დასადგენად, თუ რომელი სვეტი (ან სვეტების ნაკრები) იწვევს შეუსაბამობას, Spark გამოაქვს ორივე სქემას სტეკის კვალიდან შედარებისთვის.

რა სარგებელი მოაქვს სქემის აღსრულებას?

იმის გამო, რომ სქემის აღსრულება საკმაოდ მკაცრი შემოწმებაა, ის არის შესანიშნავი ინსტრუმენტი გამოსაყენებლად, როგორც კარიბჭე სუფთა, სრულად გარდაქმნილი მონაცემთა ნაკრებისთვის, რომელიც მზად არის წარმოებისთვის ან მოხმარებისთვის. ჩვეულებრივ გამოიყენება ცხრილებზე, რომლებიც პირდაპირ აწვდიან მონაცემებს:

• მანქანათმცოდნეობის ალგორითმები
• BI დაფები
• მონაცემთა ანალიტიკისა და ვიზუალიზაციის ინსტრუმენტები
• ნებისმიერი წარმოების სისტემა, რომელიც მოითხოვს მაღალ სტრუქტურირებულ, მკაცრად აკრეფილ სემანტიკურ სქემებს.

ამ საბოლოო დაბრკოლებისთვის მონაცემების მოსამზადებლად, ბევრი მომხმარებელი იყენებს მარტივ „მულტი-ჰოპ“ არქიტექტურას, რომელიც თანდათანობით ნერგავს სტრუქტურას მათ ცხრილებში. ამის შესახებ მეტი ინფორმაციის მისაღებად შეგიძლიათ გაეცნოთ სტატიას წარმოების კლასის მანქანათმცოდნეობა დელტა ტბასთან ერთად.

რა თქმა უნდა, სქემის აღსრულების გამოყენება შესაძლებელია თქვენი მილსადენის ნებისმიერ წერტილში, მაგრამ გახსოვდეთ, რომ ცხრილზე გადაცემა ამ შემთხვევაში შეიძლება იყოს იმედგაცრუებული, რადგან, მაგალითად, დაგავიწყდათ, რომ კიდევ ერთი სვეტი დაამატეთ შემოსულ მონაცემებს.

მონაცემთა განზავების პრევენცია

ახლა თქვენ შეიძლება გაინტერესებთ, რა არის მთელი აურზაური? ყოველივე ამის შემდეგ, ხანდახან მოულოდნელმა „სქემის შეუსაბამობის“ შეცდომამ შეიძლება შეგაწუხოთ თქვენს სამუშაო პროცესზე, განსაკუთრებით თუ თქვენ ახალი ხართ დელტა ტბაში. რატომ არ უნდა დაუშვათ სქემა, რომ შეიცვალოს საჭიროებისამებრ, რათა მე შემიძლია დავწერო ჩემი DataFrame, რაც არ უნდა მოხდეს?

როგორც ძველი გამონათქვამი ამბობს, "პრევენციის ერთი უნცია ღირს ერთი ფუნტი განკურნება". რაღაც მომენტში, თუ არ იზრუნებთ თქვენი სქემის აღსრულებაზე, მონაცემთა ტიპების თავსებადობის პრობლემები წარმოშობს მათ მახინჯ ხელმძღვანელებს - ერთი შეხედვით ერთგვაროვანი ნედლეული მონაცემთა წყაროები შეიძლება შეიცავდეს კიდეებს, დაზიანებულ სვეტებს, არასწორ ფორმირებას ან სხვა საშინელებებს, რაზეც შეიძლება იოცნებოთ. კოშმარები. საუკეთესო მიდგომაა ამ მტრების შეჩერება კარიბჭესთან - სქემის აღსრულებით - და მათთან გამკლავება შუქზე, ვიდრე მოგვიანებით, როდესაც ისინი დაიწყებენ ჩასაფრებას თქვენი წარმოების კოდის ბნელ სიღრმეში.

სქემის აღსრულება გაძლევთ გარანტიას, რომ თქვენი ცხრილის სქემა არ შეიცვლება, თუ თქვენ არ დაამტკიცებთ ცვლილებას. ეს ხელს უშლის მონაცემთა განზავებას, რაც შეიძლება მოხდეს, როდესაც ახალი სვეტები იმდენად ხშირად დაემატება, რომ ადრე ღირებული, შეკუმშული ცხრილები კარგავს მნიშვნელობას და სარგებლობას მონაცემთა დატბორვის გამო. თქვენი წახალისებით იყოთ მიზანმიმართული, დააწესოთ მაღალი სტანდარტები და მოელოდეთ მაღალ ხარისხს, სქემის აღსრულება აკეთებს ზუსტად იმას, რისთვისაც იყო შექმნილი — გეხმარებათ იყოთ კეთილსინდისიერი და თქვენი ცხრილების სისუფთავე.

თუ შემდგომი განხილვისას გადაწყვეტთ, რომ ნამდვილად to დაამატეთ ახალი სვეტი - პრობლემა არ არის, ქვემოთ მოცემულია ერთხაზიანი შესწორება. გამოსავალი არის წრედის ევოლუცია!

რა არის სქემის ევოლუცია?

სქემის ევოლუცია არის ფუნქცია, რომელიც მომხმარებლებს საშუალებას აძლევს ადვილად შეცვალონ ცხრილის მიმდინარე სქემა მონაცემების მიხედვით, რომლებიც იცვლება დროთა განმავლობაში. ის ყველაზე ხშირად გამოიყენება დანამატის ან გადაწერის ოპერაციის შესრულებისას სქემის ავტომატურად ადაპტირებისთვის ერთი ან მეტი ახალი სვეტის ჩასართავად.

როგორ მუშაობს სქემის ევოლუცია?

წინა განყოფილების მაგალითის მიხედვით, დეველოპერებს შეუძლიათ ადვილად გამოიყენონ სქემის ევოლუცია ახალი სვეტების დასამატებლად, რომლებიც ადრე უარყოფილი იყო სქემის შეუსაბამობის გამო. მიკროსქემის ევოლუცია აქტიურდება დამატებით .option('mergeSchema', 'true') თქვენს Spark გუნდს .write или .writeStream.

# Добавьте параметр mergeSchema
loans.write.format("delta") 
           .option("mergeSchema", "true") 
           .mode("append") 
           .save(DELTALAKE_SILVER_PATH)

გრაფიკის სანახავად გაუშვით შემდეგი Spark SQL მოთხოვნა

# Создайте график с новым столбцом, чтобы подтвердить, что запись прошла успешно
%sql
SELECT addr_state, sum(`amount`) AS amount
FROM loan_by_state_delta
GROUP BY addr_state
ORDER BY sum(`amount`)
DESC LIMIT 10

ალტერნატიულად, შეგიძლიათ დააყენოთ ეს პარამეტრი მთელი Spark სესიისთვის დამატებით spark.databricks.delta.schema.autoMerge = True Spark-ის კონფიგურაციამდე. მაგრამ გამოიყენეთ ეს სიფრთხილით, რადგან სქემის აღსრულება აღარ გაფრთხილებთ სქემის უნებლიე შეუსაბამობების შესახებ.

მოთხოვნაში პარამეტრის ჩართვით mergeSchema, ყველა სვეტი, რომელიც იმყოფება DataFrame-ში, მაგრამ არა სამიზნე ცხრილში, ავტომატურად ემატება სქემის ბოლოს, როგორც ჩაწერის ტრანზაქციის ნაწილი. ასევე შესაძლებელია ჩასმული ველების დამატება და ისინი ასევე დაემატება შესაბამისი სტრუქტურის სვეტების ბოლოს.

თარიღის ინჟინრებს და მონაცემთა მეცნიერებს შეუძლიათ გამოიყენონ ეს ვარიანტი ახალი სვეტების დასამატებლად (შესაძლოა, ახლახანს თვალყურის დევნილი მეტრიკა ან ამ თვის გაყიდვების მაჩვენებლების სვეტი) თავიანთ არსებულ მანქანური სწავლების წარმოების ცხრილებს ძველ სვეტებზე დაფუძნებული არსებული მოდელების დარღვევის გარეშე.

სქემის ცვლილებების შემდეგი ტიპები დასაშვებია, როგორც სქემის ევოლუციის ნაწილი ცხრილის დამატების ან გადაწერის დროს:

• ახალი სვეტების დამატება (ეს არის ყველაზე გავრცელებული სცენარი)
• მონაცემთა ტიპების შეცვლა NullType-დან -> ნებისმიერი სხვა ტიპის ან რეკლამირება ByteType-დან -> ShortType -> IntegerType

სქემის ევოლუციის ფარგლებში დაუშვებელი სხვა ცვლილებები მოითხოვს სქემისა და მონაცემების ხელახლა დაწერას დამატებით .option("overwriteSchema", "true"). მაგალითად, იმ შემთხვევაში, როდესაც სვეტი "Foo" თავდაპირველად იყო მთელი რიცხვი და ახალი სქემა იყო სტრიქონის მონაცემთა ტიპი, მაშინ ყველა Parquet(data) ფაილი უნდა გადაიწეროს. ასეთი ცვლილებები მოიცავს:

• სვეტის წაშლა
• არსებული სვეტის მონაცემთა ტიპის შეცვლა (ადგილზე)
• სვეტების გადარქმევა, რომლებიც განსხვავდება მხოლოდ შემთხვევაში (მაგალითად, "ფუ" და "ფუ")

დაბოლოს, Spark 3.0-ის შემდეგი გამოშვებით, აშკარა DDL იქნება სრულად მხარდაჭერილი (ALTER TABLE-ის გამოყენებით), რაც მომხმარებლებს საშუალებას აძლევს შეასრულონ შემდეგი მოქმედებები ცხრილის სქემებზე:

• სვეტების დამატება
• სვეტის კომენტარების შეცვლა
• ცხრილის თვისებების დაყენება, რომლებიც აკონტროლებენ ცხრილის ქცევას, როგორიცაა ტრანზაქციის ჟურნალის შენახვის ხანგრძლივობის დაყენება.

რა სარგებელი მოაქვს მიკროსქემის ევოლუციას?

სქემის ევოლუცია შეიძლება გამოყენებულ იქნას ნებისმიერ დროს განიზრახავს შეცვალეთ თქვენი ცხრილის სქემა (განსხვავებით, როდესაც შემთხვევით დაამატეთ სვეტები თქვენს DataFrame-ში, რომლებიც იქ არ უნდა იყოს). ეს არის თქვენი სქემის მიგრაციის უმარტივესი გზა, რადგან ის ავტომატურად ამატებს სვეტების სწორ სახელებს და მონაცემთა ტიპებს მათი ცალსახად გამოცხადების გარეშე.

დასკვნა

სქემის აღსრულება უარყოფს ნებისმიერ ახალ სვეტს ან სქემის სხვა ცვლილებას, რომელიც არ არის თავსებადი თქვენს ცხრილთან. ამ მაღალი სტანდარტების დაწესებითა და შენარჩუნებით, ანალიტიკოსებს და ინჟინრებს შეუძლიათ ენდონ, რომ მათ მონაცემებს აქვთ მთლიანობის უმაღლესი დონე, რაც მათ ნათლად და ნათლად გადმოსცემს, რაც მათ საშუალებას აძლევს მიიღონ უკეთესი ბიზნეს გადაწყვეტილებები.

მეორეს მხრივ, სქემის ევოლუცია ავსებს აღსრულებას გამარტივებით სავარაუდო სქემის ავტომატური ცვლილებები. ბოლოს და ბოლოს, არ უნდა იყოს რთული სვეტის დამატება.

სქემის იძულებითი გამოყენება არის იანგი, სადაც სქემის ევოლუცია არის იინი. ამ ფუნქციების ერთად გამოყენებისას ხმაურის ჩახშობა და სიგნალის დარეგულირება უფრო ადვილია, ვიდრე ოდესმე.

ჩვენ ასევე გვინდა მადლობა გადავუხადოთ მუკულ მურთის და პრანავ ანანდს ამ სტატიაში შეტანილი წვლილისთვის.

ამ სერიის სხვა სტატიები:

ჩაყვინთეთ დელტას ტბაში: ტრანზაქციის ჟურნალის ამოლაგება

დაკავშირებული სტატიები

წარმოების კლასის მანქანათმცოდნეობა დელტა ტბასთან ერთად

რა არის მონაცემთა ტბა?

შეიტყვეთ მეტი კურსის შესახებ

წყარო: www.habr.com