როცა გაქვს სბერის სასწორი. Ab Initio-ს გამოყენება Hive-თან და GreenPlum-თან ერთად

რამდენიმე ხნის წინ, ჩვენ წინაშე დავდექით ETL ხელსაწყოს არჩევის შესახებ Big Data-თან მუშაობისთვის. ადრე გამოყენებული Informatica BDM ხსნარი არ მოგვწონდა შეზღუდული ფუნქციონირების გამო. მისი გამოყენება შემცირდა spark-submit ბრძანებების გასაშვებად. ბაზარზე არ იყო ბევრი ანალოგი, რომელსაც, პრინციპში, შეეძლო ემუშავა იმ მონაცემების მოცულობით, რომლებთანაც ყოველდღიურად გვაქვს საქმე. საბოლოოდ ავირჩიეთ Ab Initio. საპილოტე დემონსტრაციების დროს პროდუქტმა აჩვენა მონაცემთა დამუშავების ძალიან მაღალი სიჩქარე. Ab Initio-ს შესახებ რუსულ ენაზე ინფორმაცია თითქმის არ არის, ამიტომ გადავწყვიტეთ ჩვენი გამოცდილების შესახებ Habré-ზე გვესაუბრა.

Ab Initio-ს აქვს მრავალი კლასიკური და უჩვეულო ტრანსფორმაცია, რომელთა კოდი შეიძლება გაფართოვდეს საკუთარი PDL ენის გამოყენებით. მცირე ბიზნესისთვის, ასეთი მძლავრი ინსტრუმენტი, სავარაუდოდ, ზედმეტი იქნება და მისი შესაძლებლობების უმეტესობა შეიძლება იყოს ძვირი და გამოუყენებელი. მაგრამ თუ თქვენი სასწორი ახლოსაა სბეროვთან, მაშინ Ab Initio შეიძლება თქვენთვის საინტერესო იყოს.

ის ეხმარება ბიზნესს გლობალურად დააგროვოს ცოდნა და განავითაროს ეკოსისტემა, ხოლო დეველოპერს გააუმჯობესოს თავისი უნარები ETL-ში, გააუმჯობესოს ცოდნა shell-ში, აძლევს შესაძლებლობას დაეუფლოს PDL ენას, აძლევს დატვირთვის პროცესების ვიზუალურ სურათს და ამარტივებს განვითარებას. ფუნქციური კომპონენტების სიმრავლის გამო.

ამ პოსტში მე ვისაუბრებ Ab Initio-ს შესაძლებლობებზე და შემოგთავაზებთ მისი მუშაობის შედარებით მახასიათებლებს Hive-თან და GreenPlum-თან.

• MDW ჩარჩოს აღწერა და მუშაობა GreenPlum-ისთვის მის პერსონალიზაციაზე
• Ab Initio შესრულების შედარება Hive-სა და GreenPlum-ს შორის
• სამუშაო Ab Initio GreenPlum-თან ახლოს რეალურ დროში

ამ პროდუქტის ფუნქციონირება ძალიან ფართოა და შესასწავლად დიდ დროს მოითხოვს. თუმცა, სათანადო სამუშაო უნარებითა და შესრულების სწორი პარამეტრებით, მონაცემთა დამუშავების შედეგები ძალიან შთამბეჭდავია. Ab Initio-ს დეველოპერისთვის გამოყენებამ შეიძლება საინტერესო გამოცდილება მოგაწოდოთ. ეს არის ETL განვითარების ახალი ვერსია, ჰიბრიდი ვიზუალურ გარემოსა და ჩამოტვირთვის განვითარებას სკრიპტის მსგავს ენაზე.

ბიზნესები ავითარებენ თავიანთ ეკოსისტემებს და ეს ინსტრუმენტი უფრო მოსახერხებელია, ვიდრე ოდესმე. Ab Initio-ით შეგიძლიათ დააგროვოთ ცოდნა თქვენი ამჟამინდელი ბიზნესის შესახებ და გამოიყენოთ ეს ცოდნა ძველი და ახალი ბიზნესის გასახსნელად. Ab Initio-ის ალტერნატივები მოიცავს ვიზუალური განვითარების გარემოს Informatica BDM და არავიზუალური განვითარების გარემოს Apache Spark.

Ab Initio-ს აღწერა

Ab Initio, ისევე როგორც სხვა ETL ინსტრუმენტები, არის პროდუქტების კოლექცია.

Ab Initio GDE (გრაფიკული განვითარების გარემო) არის გარემო დეველოპერისთვის, რომელშიც ის აკონფიგურირებს მონაცემთა გარდაქმნებს და აკავშირებს მათ მონაცემთა ნაკადებთან ისრების სახით. ამ შემთხვევაში, ტრანსფორმაციების ასეთ კომპლექტს გრაფიკი ეწოდება:

ფუნქციური კომპონენტების შემავალი და გამომავალი კავშირები არის პორტები და შეიცავს ველებს, რომლებიც გამოითვლება ტრანსფორმაციების ფარგლებში. ნაკადებით დაკავშირებულ რამდენიმე გრაფიკს ისრების სახით მათი შესრულების თანმიმდევრობით გეგმა ეწოდება.

რამდენიმე ასეული ფუნქციური კომპონენტია, რაც ბევრია. ბევრი მათგანი სპეციალიზირებულია. Ab Initio-ში კლასიკური ტრანსფორმაციების შესაძლებლობები უფრო ფართოა, ვიდრე სხვა ETL ინსტრუმენტებში. მაგალითად, Join-ს აქვს მრავალი გამომავალი. მონაცემთა ნაკრების შეერთების შედეგის გარდა, შეგიძლიათ მიიღოთ შეყვანის მონაცემთა ნაკრების გამომავალი ჩანაწერები, რომელთა კლავიშების დაკავშირება შეუძლებელია. თქვენ ასევე შეგიძლიათ მიიღოთ უარყოფები, შეცდომები და ტრანსფორმაციის ოპერაციის ჟურნალი, რომელიც შეიძლება წაიკითხოთ იმავე სვეტში, როგორც ტექსტური ფაილი და დამუშავდეს სხვა გარდაქმნებით:

ან, მაგალითად, შეგიძლიათ მონაცემთა მიმღების მატერიალიზება ცხრილის სახით და მისგან მონაცემების წაკითხვა იმავე სვეტში.

არის ორიგინალური გარდაქმნები. მაგალითად, სკანირების ტრანსფორმაციას აქვს ანალიტიკური ფუნქციების მსგავსი ფუნქციონირება. არის გარდაქმნები თვითახსნადი სახელებით: მონაცემთა შექმნა, წაკითხვა Excel, ნორმალიზება, დალაგება ჯგუფებში, პროგრამის გაშვება, SQL-ის გაშვება, DB-ით შეერთება და ა.შ. ოპერაციული სისტემა. ფაილებს, რომლებსაც აქვთ გრაფიკზე გადაცემული პარამეტრების მზა ნაკრები, ეწოდება პარამეტრთა კომპლექტები (psets).

როგორც მოსალოდნელი იყო, Ab Initio GDE-ს აქვს საკუთარი საცავი სახელწოდებით EME (Enterprise Meta Environment). დეველოპერებს აქვთ შესაძლებლობა იმუშაონ კოდის ლოკალურ ვერსიებთან და შეამოწმონ მათი განვითარება ცენტრალურ საცავში.

შესაძლებელია, შესრულებისას ან გრაფიკის შესრულების შემდეგ, დააწკაპუნოთ ტრანსფორმაციის დამაკავშირებელ ნებისმიერ ნაკადზე და დაათვალიეროთ მონაცემები, რომლებიც გავიდა ამ გარდაქმნებს შორის:

ასევე შესაძლებელია დააწკაპუნოთ ნებისმიერ ნაკადზე და ნახოთ თვალთვალის დეტალები - რამდენ პარალელურად მუშაობდა ტრანსფორმაცია, რამდენი ხაზი და ბაიტი ჩაიტვირთა რომელ პარალელურად:

შესაძლებელია გრაფის შესრულების ფაზებად დაყოფა და აღნიშვნა, რომ ზოგიერთი ტრანსფორმაცია უნდა შესრულდეს ჯერ (ნულ ფაზაში), შემდეგები პირველ ფაზაში, მომდევნოები მეორე ფაზაში და ა.შ.

თითოეული ტრანსფორმაციისთვის შეგიძლიათ აირჩიოთ ეგრეთ წოდებული განლაგება (სადაც იგი შესრულდება): პარალელების გარეშე ან პარალელური ძაფებით, რომელთა რაოდენობაც შეიძლება დაზუსტდეს. ამავდროულად, დროებითი ფაილები, რომლებსაც Ab Initio ქმნის ტრანსფორმაციების გაშვებისას, შეიძლება განთავსდეს როგორც სერვერის ფაილურ სისტემაში, ასევე HDFS-ში.

თითოეულ ტრანსფორმაციაში, ნაგულისხმევი შაბლონის საფუძველზე, შეგიძლიათ შექმნათ თქვენი საკუთარი სკრიპტი PDL-ში, რომელიც ოდნავ წააგავს გარსს.

PDL-ით შეგიძლიათ გააფართოვოთ ტრანსფორმაციების ფუნქციონირება და, კერძოდ, შეგიძლიათ დინამიურად (გაშვების დროს) შექმნათ თვითნებური კოდის ფრაგმენტები გაშვების დროის პარამეტრების მიხედვით.

Ab Initio-ს ასევე აქვს კარგად განვითარებული ინტეგრაცია OS-თან shell-ის საშუალებით. კერძოდ, სბერბანკი იყენებს linux ksh-ს. თქვენ შეგიძლიათ გაცვალოთ ცვლადები ჭურვით და გამოიყენოთ ისინი გრაფის პარამეტრებად. შეგიძლიათ გამოიძახოთ Ab Initio გრაფიკების შესრულება ჭურვიდან და მართოთ Ab Initio.

Ab Initio GDE-ს გარდა, მიწოდებაში შედის მრავალი სხვა პროდუქტი. არსებობს საკუთარი Co>Operation System, რომელსაც აქვს პრეტენზია, რომ ეწოდოს ოპერაციული სისტემა. არის Control>Center, სადაც შეგიძლიათ დაგეგმოთ და აკონტროლოთ ჩამოტვირთვის ნაკადები. არსებობს პროდუქტები უფრო პრიმიტიულ დონეზე განვითარებისთვის, ვიდრე ამას Ab Initio GDE იძლევა.

MDW ჩარჩოს აღწერა და მუშაობა GreenPlum-ისთვის მის პერსონალიზაციაზე

თავის პროდუქტებთან ერთად, გამყიდველი აწვდის MDW (მეტამონაცემების მართვის საწყობი) პროდუქტს, რომელიც არის გრაფიკის კონფიგურატორი, რომელიც შექმნილია მონაცემთა საწყობების ან მონაცემთა საცავების დასახლების ტიპიური ამოცანების შესასრულებლად.

ის შეიცავს მორგებულ (პროექტის სპეციფიკურ) მეტამონაცემების პარსერებს და მზა კოდის გენერატორებს.

შეყვანის სახით, MDW იღებს მონაცემთა მოდელს, კონფიგურაციის ფაილს მონაცემთა ბაზასთან კავშირის დასაყენებლად (Oracle, Teradata ან Hive) და სხვა პარამეტრებს. პროექტის სპეციფიკური ნაწილი, მაგალითად, ავრცელებს მოდელს მონაცემთა ბაზაში. პროდუქტის გარე ნაწილი ქმნის გრაფიკებს და კონფიგურაციის ფაილებს მათთვის მონაცემების მოდელის ცხრილებში ჩატვირთვით. ამ შემთხვევაში, გრაფიკები (და ფსევტები) იქმნება ერთეულების განახლებაზე ინიციალიზაციისა და დამატებითი მუშაობის რამდენიმე რეჟიმისთვის.

Hive-სა და RDBMS-ის შემთხვევაში, სხვადასხვა გრაფიკები იქმნება ინიციალიზაციისა და დამატებითი მონაცემების განახლებისთვის.

Hive-ის შემთხვევაში, შემომავალი დელტა მონაცემები დაკავშირებულია Ab Initio Join-ის საშუალებით იმ მონაცემებთან, რომელიც იყო ცხრილში განახლებამდე. მონაცემთა ჩამტვირთველები MDW-ში (როგორც Hive-ში, ასევე RDBMS-ში) არა მხოლოდ ათავსებენ ახალ მონაცემებს დელტადან, არამედ ხურავენ იმ მონაცემების შესაბამისობის პერიოდებს, რომელთა პირველადი გასაღებები მიიღეს დელტაში. გარდა ამისა, თქვენ უნდა გადაწეროთ მონაცემების უცვლელი ნაწილი. მაგრამ ეს უნდა გაკეთდეს, რადგან Hive-ს არ აქვს წაშლის ან განახლების ოპერაციები.

RDBMS-ის შემთხვევაში, მონაცემთა დამატებითი განახლების გრაფიკები უფრო ოპტიმალურად გამოიყურება, რადგან RDBMS-ს აქვს რეალური განახლების შესაძლებლობები.

მიღებული დელტა იტვირთება მონაცემთა ბაზაში შუალედურ ცხრილში. ამის შემდეგ, დელტა უკავშირდება იმ მონაცემებს, რომლებიც ცხრილში იყო განახლებამდე. და ეს კეთდება SQL-ის გამოყენებით გენერირებული SQL მოთხოვნის გამოყენებით. შემდეგ, SQL ბრძანებების delete+insert გამოყენებით, დელტადან ახალი მონაცემები ჩასმულია სამიზნე ცხრილში და დახურულია იმ მონაცემების შესაბამისობის პერიოდები, რომელთა პირველადი გასაღებები მიიღო დელტაში.
არ არის საჭირო უცვლელი მონაცემების გადაწერა.

ასე რომ, მივედით დასკვნამდე, რომ Hive-ის შემთხვევაში, MDW უნდა წავიდეს მთელი ცხრილის გადასაწერად, რადგან Hive-ს არ აქვს განახლების ფუნქცია. და არაფერია უკეთესი, ვიდრე მონაცემების სრულად გადაწერა, როდესაც განახლება გამოიგონეს. RDBMS-ის შემთხვევაში, პირიქით, პროდუქტის შემქმნელებმა საჭიროდ მიიჩნიეს ცხრილების დაკავშირება და განახლება SQL-ის გამოყენებას მიანდონ.

Sberbank-ში პროექტისთვის ჩვენ შევქმენით GreenPlum-ისთვის მონაცემთა ბაზის ჩამტვირთველის ახალი, მრავალჯერადი გამოყენება. ეს გაკეთდა იმ ვერსიის საფუძველზე, რომელსაც MDW ქმნის Teradata-სთვის. ეს იყო Teradata და არა Oracle, რომელიც ყველაზე ახლოს იყო ამისთვის, რადგან... ასევე არის MPP სისტემა. Teradata-სა და GreenPlum-ის მუშაობის მეთოდები, ისევე როგორც სინტაქსი, მსგავსი აღმოჩნდა.

MDW კრიტიკული განსხვავებების მაგალითები სხვადასხვა RDBMS-ებს შორის შემდეგია. GreenPlum-ში, Teradata-სგან განსხვავებით, ცხრილების შექმნისას საჭიროა დაწეროთ პუნქტი

distributed by

Teradata წერს:

delete <table> all

, და GreenPlum-ში წერენ

delete from <table>

Oracle-ში ოპტიმიზაციის მიზნით წერენ

delete from t where rowid in (<соединение t с дельтой>)

და Teradata და GreenPlum წერენ

delete from t where exists (select * from delta where delta.pk=t.pk)

ჩვენ ასევე აღვნიშნავთ, რომ Ab Initio-ს GreenPlum-თან მუშაობისთვის საჭირო იყო GreenPlum კლიენტის დაყენება Ab Initio კლასტერის ყველა კვანძზე. ეს იმიტომ ხდება, რომ ჩვენ დავუკავშირდით GreenPlum-ს ერთდროულად ჩვენი კლასტერის ყველა კვანძიდან. და იმისთვის, რომ GreenPlum-დან წაკითხვა იყოს პარალელური და ყოველი პარალელური Ab Initio ძაფიდან წაიკითხოს მონაცემების საკუთარი ნაწილი GreenPlum-დან, ჩვენ უნდა მოვათავსოთ Ab Initio-ს მიერ გასაგები კონსტრუქცია SQL მოთხოვნების განყოფილებაში „where“.

where ABLOCAL()

და განსაზღვრეთ ამ კონსტრუქციის მნიშვნელობა ტრანსფორმაციის მონაცემთა ბაზიდან პარამეტრის წაკითხვის მითითებით

ablocal_expr=«string_concat("mod(t.", string_filter_out("{$TABLE_KEY}","{}"), ",", (decimal(3))(number_of_partitions()),")=", (decimal(3))(this_partition()))»

, რომელიც ადგენს რაღაცას

mod(sk,10)=3

, ე.ი. თქვენ უნდა მოითხოვოთ GreenPlum-ს გამოკვეთილი ფილტრი თითოეული დანაყოფისთვის. სხვა მონაცემთა ბაზებისთვის (Teradata, Oracle), Ab Initio-ს შეუძლია ამ პარალელიზების ავტომატურად შესრულება.

Ab Initio შესრულების შედარება Hive-სა და GreenPlum-ს შორის

სბერბანკმა ჩაატარა ექსპერიმენტი MDW-ის მიერ გენერირებული გრაფიკების მუშაობის შესადარებლად Hive-თან და GreenPlum-თან მიმართებაში. ექსპერიმენტის ფარგლებში, Hive-ის შემთხვევაში იყო 5 კვანძი იმავე კლასტერზე, როგორც Ab Initio, ხოლო GreenPlum-ის შემთხვევაში იყო 4 კვანძი ცალკე კლასტერზე. იმათ. Hive-ს ჰქონდა გარკვეული ტექნიკის უპირატესობა GreenPlum-თან შედარებით.

ჩვენ განვიხილეთ ორი წყვილი გრაფიკი, რომლებიც ასრულებენ მონაცემთა განახლების ერთსა და იმავე ამოცანას Hive-სა და GreenPlum-ში. ამავდროულად, MDW კონფიგურატორის მიერ გენერირებული გრაფიკები დაიწყო:

• საწყისი დატვირთვა + შემთხვევით გენერირებული მონაცემების დამატებითი დატვირთვა Hive ცხრილში
• საწყისი დატვირთვა + შემთხვევით გენერირებული მონაცემების დამატებითი დატვირთვა იმავე GreenPlum ცხრილში

ორივე შემთხვევაში (Hive და GreenPlum) მათ ჩაატარეს ატვირთვები 10 პარალელურ ძაფებზე იმავე Ab Initio კლასტერზე. Ab Initio ინახავდა შუალედურ მონაცემებს HDFS-ში გამოთვლებისთვის (Ab Initio-ის თვალსაზრისით, გამოყენებული იყო MFS განლაგება HDFS-ის გამოყენებით). შემთხვევით გენერირებული მონაცემების ერთი ხაზი ორივე შემთხვევაში 200 ბაიტს იკავებდა.

შედეგი ასეთი იყო:

ზამთარი:

საწყისი ჩატვირთვა Hive-ში

რიგები ჩასმულია
6 000 000
60 000 000
600 000 000

ინიციალიზაციის ხანგრძლივობა
ჩამოტვირთვები წამებში
41
203
1 601

დამატებითი დატვირთვა Hive-ში

რიგების რაოდენობა ხელმისაწვდომია
სამიზნე ცხრილი ექსპერიმენტის დასაწყისში
6 000 000
60 000 000
600 000 000

მიმართული დელტა ხაზების რაოდენობა
სამიზნე ცხრილი ექსპერიმენტის დროს
6 000 000
6 000 000
6 000 000

ინკრემენტულის ხანგრძლივობა
ჩამოტვირთვები წამებში
88
299
2 541

მწვანე ქლიავი:

საწყისი ჩატვირთვა GreenPlum-ში

რიგები ჩასმულია
6 000 000
60 000 000
600 000 000

ინიციალიზაციის ხანგრძლივობა
ჩამოტვირთვები წამებში
72
360
3 631

დამატებითი დატვირთვა GreenPlum-ში

რიგების რაოდენობა ხელმისაწვდომია
სამიზნე ცხრილი ექსპერიმენტის დასაწყისში
6 000 000
60 000 000
600 000 000

მიმართული დელტა ხაზების რაოდენობა
სამიზნე ცხრილი ექსპერიმენტის დროს
6 000 000
6 000 000
6 000 000

ინკრემენტულის ხანგრძლივობა
ჩამოტვირთვები წამებში
159
199
321

ჩვენ ვხედავთ, რომ საწყისი ჩატვირთვის სიჩქარე როგორც Hive-ში, ასევე GreenPlum-ში ხაზობრივად დამოკიდებულია მონაცემთა რაოდენობაზე და უკეთესი ტექნიკის გამო, ოდნავ უფრო სწრაფია Hive-სთვის, ვიდრე GreenPlum-ისთვის.

დამატებითი დატვირთვა Hive-ში ასევე ხაზობრივად დამოკიდებულია ადრე დატვირთული მონაცემების მოცულობაზე, რომელიც ხელმისაწვდომია სამიზნე ცხრილში და საკმაოდ ნელა მიმდინარეობს მოცულობის ზრდასთან ერთად. ეს გამოწვეულია სამიზნე ცხრილის სრულად გადაწერის აუცილებლობით. ეს ნიშნავს, რომ მცირე ცვლილებების გამოყენება უზარმაზარ ცხრილებზე არ არის კარგი გამოყენების შემთხვევა Hive-ისთვის.

GreenPlum-ში დამატებითი ჩატვირთვა სუსტად არის დამოკიდებული ადრე დატვირთული მონაცემების მოცულობაზე, რომელიც ხელმისაწვდომია სამიზნე ცხრილში და საკმაოდ სწრაფად მიმდინარეობს. ეს მოხდა SQL Joins-ის და GreenPlum არქიტექტურის წყალობით, რომელიც საშუალებას იძლევა წაშლის ოპერაცია.

ასე რომ, GreenPlum ამატებს დელტას delete+insert მეთოდის გამოყენებით, მაგრამ Hive-ს არ აქვს წაშლის ან განახლების ოპერაციები, ამიტომ მთელი მონაცემთა მასივი იძულებული გახდა გადაეწერა მთლიანად დამატებითი განახლების დროს. თამამად მონიშნული უჯრედების შედარება ყველაზე აშკარაა, რადგან ის შეესაბამება რესურსზე ინტენსიური ჩამოტვირთვების გამოყენების ყველაზე გავრცელებულ ვარიანტს. ჩვენ ვხედავთ, რომ GreenPlum-მა აჯობა Hive ამ ტესტში 8-ჯერ.

სამუშაო Ab Initio GreenPlum-თან ახლოს რეალურ დროში

ამ ექსპერიმენტში ჩვენ შევამოწმებთ Ab ​​Initio-ს შესაძლებლობას განაახლოს GreenPlum ცხრილი შემთხვევით გენერირებული მონაცემების ნაწილაკებით თითქმის რეალურ დროში. განვიხილოთ GreenPlum ცხრილი dev42_1_db_usl.TESTING_SUBJ_org_finval, რომლითაც ვიმუშავებთ.

ჩვენ გამოვიყენებთ სამ Ab Initio გრაფიკს მასთან სამუშაოდ:

1) Graph Create_test_data.mp – ქმნის მონაცემთა ფაილებს HDFS-ში 10 მწკრივით 6 პარალელურ ძაფებში. მონაცემები შემთხვევითია, მისი სტრუქტურა ორგანიზებულია ჩვენს ცხრილში ჩასართავად

2) გრაფიკი mdw_load.day_one.current.dev42_1_db_usl_testing_subj_org_finval.pset – MDW გენერირებული გრაფიკი ჩვენს ცხრილში მონაცემთა ჩასმის ინიციალიზებით 10 პარალელურ ძაფებში (გამოიყენება დიაგრამა (1) მიერ გენერირებული ტესტის მონაცემები)

3) გრაფიკი mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset – გრაფიკი, რომელიც გენერირებულია MDW-ის მიერ ჩვენი ცხრილის თანდათანობითი განახლებისთვის 10 პარალელურ ძაფებში, ახლად მიღებული მონაცემების (დელტა) ნაწილის გამოყენებით, რომელიც გენერირებულია გრაფიკით (1)

მოდით გავუშვათ ქვემოთ მოცემული სკრიპტი NRT რეჟიმში:

• გენერირება 6 ტესტი ხაზი
• შეასრულეთ საწყისი დატვირთვა, ჩადეთ 6 ტესტის მწკრივი ცარიელ ცხრილში
• გაიმეორეთ დამატებითი ჩამოტვირთვა 5-ჯერ
  • გენერირება 6 ტესტი ხაზი
  • შეასრულეთ 6 ტესტის მწკრივის დამატებითი ჩასმა ცხრილში (ამ შემთხვევაში, valid_to_ts ვადის გასვლის დრო დაყენებულია ძველ მონაცემებზე და ჩასმულია უახლესი მონაცემები იმავე პირველადი გასაღებით)

ეს სცენარი ასახავს გარკვეული ბიზნეს სისტემის რეალური ფუნქციონირების რეჟიმს - ახალი მონაცემების საკმაოდ დიდი ნაწილი რეალურ დროში ჩნდება და მაშინვე იღვრება GreenPlum-ში.

ახლა მოდით გადავხედოთ სცენარის ჟურნალს:

დაიწყეთ Create_test_data.input.pset 2020-06-04 11:49:11
დაასრულეთ Create_test_data.input.pset 2020-06-04 11:49:37
დაიწყეთ mdw_load.day_one.current.dev42_1_db_usl_testing_subj_org_finval.pset 2020-06-04 11:49:37
დაასრულეთ mdw_load.day_one.current.dev42_1_db_usl_testing_subj_org_finval.pset 2020-06-04 11:50:42
დაიწყეთ Create_test_data.input.pset 2020-06-04 11:50:42
დაასრულეთ Create_test_data.input.pset 2020-06-04 11:51:06
დაიწყეთ mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset 2020-06-04 11:51:06
დაასრულეთ mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset 2020-06-04 11:53:41
დაიწყეთ Create_test_data.input.pset 2020-06-04 11:53:41
დაასრულეთ Create_test_data.input.pset 2020-06-04 11:54:04
დაიწყეთ mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset 2020-06-04 11:54:04
დაასრულეთ mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset 2020-06-04 11:56:51
დაიწყეთ Create_test_data.input.pset 2020-06-04 11:56:51
დაასრულეთ Create_test_data.input.pset 2020-06-04 11:57:14
დაიწყეთ mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset 2020-06-04 11:57:14
დაასრულეთ mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset 2020-06-04 11:59:55
დაიწყეთ Create_test_data.input.pset 2020-06-04 11:59:55
დაასრულეთ Create_test_data.input.pset 2020-06-04 12:00:23
დაიწყეთ mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset 2020-06-04 12:00:23
დაასრულეთ mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset 2020-06-04 12:03:23
დაიწყეთ Create_test_data.input.pset 2020-06-04 12:03:23
დაასრულეთ Create_test_data.input.pset 2020-06-04 12:03:49
დაიწყეთ mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset 2020-06-04 12:03:49
დაასრულეთ mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset 2020-06-04 12:06:46

გამოდის ეს სურათი:

Graph
დაწყების დრო
დასრულების დრო
სიგრძე

Create_test_data.input.pset
04.06.2020 11: 49: 11
04.06.2020 11: 49: 37
00:00:26

mdw_load.day_one.მიმდინარე.
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020 11: 49: 37
04.06.2020 11: 50: 42
00:01:05

Create_test_data.input.pset
04.06.2020 11: 50: 42
04.06.2020 11: 51: 06
00:00:24

mdw_load.regular.current.
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020 11: 51: 06
04.06.2020 11: 53: 41
00:02:35

Create_test_data.input.pset
04.06.2020 11: 53: 41
04.06.2020 11: 54: 04
00:00:23

mdw_load.regular.current.
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020 11: 54: 04
04.06.2020 11: 56: 51
00:02:47

Create_test_data.input.pset
04.06.2020 11: 56: 51
04.06.2020 11: 57: 14
00:00:23

mdw_load.regular.current.
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020 11: 57: 14
04.06.2020 11: 59: 55
00:02:41

Create_test_data.input.pset
04.06.2020 11: 59: 55
04.06.2020 12: 00: 23
00:00:28

mdw_load.regular.current.
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020 12: 00: 23
04.06.2020 12: 03: 23
00:03:00

Create_test_data.input.pset
04.06.2020 12: 03: 23
04.06.2020 12: 03: 49
00:00:26

mdw_load.regular.current.
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020 12: 03: 49
04.06.2020 12: 06: 46
00:02:57

ჩვენ ვხედავთ, რომ 6 წუთში მუშავდება 000 000 3 დამატებითი ხაზი, რაც საკმაოდ სწრაფია.
სამიზნე ცხრილის მონაცემები შემდეგნაირად გადანაწილდა:

select valid_from_ts, valid_to_ts, count(1), min(sk), max(sk) from dev42_1_db_usl.TESTING_SUBJ_org_finval group by valid_from_ts, valid_to_ts order by 1,2;

თქვენ შეგიძლიათ ნახოთ ჩასმული მონაცემების შესაბამისობა გრაფიკების გაშვების დროებთან.
ეს ნიშნავს, რომ თქვენ შეგიძლიათ აწარმოოთ მონაცემების დამატებითი ჩატვირთვა GreenPlum-ში Ab Initio-ში ძალიან მაღალი სიხშირით და დააკვირდეთ ამ მონაცემების GreenPlum-ში ჩასმის მაღალ სიჩქარეს. რა თქმა უნდა, წამში ერთხელ გაშვება შეუძლებელი იქნება, რადგან Ab Initio, ისევე როგორც ნებისმიერი ETL ინსტრუმენტი, დრო სჭირდება „ჩასაწყებლად“ გაშვებისას.

დასკვნა

Ab Initio ამჟამად გამოიყენება სბერბანკში ერთიანი სემანტიკური მონაცემთა ფენის (ESS) შესაქმნელად. ეს პროექტი გულისხმობს სხვადასხვა საბანკო ბიზნეს სუბიექტების მდგომარეობის ერთიანი ვერსიის შექმნას. ინფორმაცია სხვადასხვა წყაროდან მოდის, რომელთა ასლებიც Hadoop-ზეა მომზადებული. ბიზნესის საჭიროებიდან გამომდინარე, მომზადებულია მონაცემთა მოდელი და აღწერილია მონაცემთა ტრანსფორმაციები. Ab Initio იტვირთავს ინფორმაციას ESN-ში და გადმოწერილი მონაცემები არა მხოლოდ საინტერესოა ბიზნესისთვის, არამედ ემსახურება როგორც მონაცემთა მარტის მშენებლობის წყაროს. ამავდროულად, პროდუქტის ფუნქციონალობა საშუალებას გაძლევთ გამოიყენოთ სხვადასხვა სისტემები, როგორც მიმღები (Hive, Greenplum, Teradata, Oracle), რაც შესაძლებელს ხდის მარტივად მოამზადოთ მონაცემები ბიზნესისთვის სხვადასხვა ფორმატში, რომელიც მას სჭირდება.

Ab Initio-ს შესაძლებლობები ფართოა; მაგალითად, ჩართული MDW ჩარჩო შესაძლებელს ხდის ტექნიკური და საქმიანი ისტორიული მონაცემების შექმნას. დეველოპერებისთვის Ab Initio შესაძლებელს ხდის არა ხელახლა გამოგონდეს ბორბალი, არამედ გამოიყენოს მრავალი არსებული ფუნქციონალური კომპონენტი, რომლებიც არსებითად არის ბიბლიოთეკები საჭირო მონაცემებთან მუშაობისას.

ავტორი არის Sberbank SberProfi DWH/BigData-ს პროფესიული საზოგადოების ექსპერტი. SberProfi DWH/BigData პროფესიული საზოგადოება პასუხისმგებელია კომპეტენციების განვითარებაზე ისეთ სფეროებში, როგორიცაა Hadoop ეკოსისტემა, Teradata, Oracle DB, GreenPlum, ასევე BI ინსტრუმენტები Qlik, SAP BO, Tableau და ა.შ.

წყარო: www.habr.com