დიდი და პატარა მონაცემების ტესტერი: ტენდენციები, თეორია, ჩემი ამბავი

მოგესალმებით ყველას, მე მქვია ალექსანდრე და ვარ მონაცემთა ხარისხის ინჟინერი, რომელიც ამოწმებს მონაცემებს მის ხარისხზე. ამ სტატიაში ვისაუბრებთ იმაზე, თუ როგორ მივედი აქამდე და რატომ იყო 2020 წელს ტესტირების ეს სფერო ტალღის მწვერვალზე.

გლობალური ტენდენცია

დღევანდელი მსოფლიო განიცდის კიდევ ერთ ტექნოლოგიურ რევოლუციას, რომლის ერთ-ერთი ასპექტია ყველა სახის კომპანიის მიერ დაგროვილი მონაცემების გამოყენება გაყიდვების, მოგების და პიარის საკუთარი მფრინავის პოპულარიზაციისთვის. როგორც ჩანს, კარგი (ხარისხიანი) მონაცემების არსებობა, ისევე როგორც გამოცდილი ტვინი, რომელსაც შეუძლია ფულის გამომუშავება (სწორად დამუშავება, ვიზუალიზაცია, მანქანური სწავლების მოდელების შექმნა და ა.შ.), დღეს ბევრისთვის წარმატების გასაღები გახდა. თუ 15-20 წლის წინ მსხვილი კომპანიები ძირითადად მონაცემთა დაგროვებასა და მონეტიზაციაზე ინტენსიურ მუშაობაში იყვნენ დაკავებულნი, დღეს ეს თითქმის ყველა საღად მოაზროვნე ადამიანის ხვედრია.

ამასთან დაკავშირებით, რამდენიმე წლის წინ, სამუშაოს ძიებისადმი მიძღვნილი ყველა პორტალი მთელს მსოფლიოში დაიწყო მონაცემთა მეცნიერთა ვაკანსიებით შევსება, რადგან ყველა დარწმუნებული იყო, რომ ასეთი სპეციალისტის დაქირავებით შესაძლებელი იქნებოდა მანქანათმცოდნეობის სუპერმოდელის აშენება. იწინასწარმეტყველეთ მომავალი და შეასრულეთ „კვანტური ნახტომი“ კომპანიისთვის. დროთა განმავლობაში ხალხმა გააცნობიერა, რომ ეს მიდგომა თითქმის არასდროს მუშაობს არსად, რადგან ყველა მონაცემი, რომელიც ასეთი სპეციალისტების ხელშია, არ არის შესაფერისი ტრენინგის მოდელებისთვის.

და მონაცემთა მეცნიერების მოთხოვნა დაიწყო: „მოდით ვიყიდოთ მეტი მონაცემები ამა და ამისგან...“, „ჩვენ არ გვაქვს საკმარისი მონაცემები...“, „ჩვენ გვჭირდება კიდევ რამდენიმე მონაცემი, სასურველია მაღალი ხარისხის...“ . ამ მოთხოვნების საფუძველზე დაიწყო მრავალი ურთიერთქმედება კომპანიებს შორის, რომლებიც ფლობენ მონაცემთა ამა თუ იმ კომპლექტს. ბუნებრივია, ამას მოითხოვდა ამ პროცესის ტექნიკური ორგანიზება - მონაცემთა წყაროსთან დაკავშირება, მისი ჩამოტვირთვა, სრულად ჩატვირთვის შემოწმება და ა.შ. ასეთი პროცესების რიცხვმა დაიწყო ზრდა და დღეს ჩვენ გვაქვს სხვა სახის საჭიროება. სპეციალისტები - მონაცემთა ხარისხის ინჟინრები - ისინი, ვინც მონიტორინგს გაუწევენ მონაცემთა ნაკადს სისტემაში (მონაცემთა მილსადენები), მონაცემების ხარისხს შეყვანისა და გამოსვლისას და გამოიტანენ დასკვნებს მათი საკმარისობის, მთლიანობისა და სხვა მახასიათებლების შესახებ.

მონაცემთა ხარისხის ინჟინრების ტენდენცია ჩვენთან მოვიდა აშშ-დან, სადაც, კაპიტალიზმის მძვინვარე ეპოქის შუაგულში, არავინ არ არის მზად მონაცემებისთვის ბრძოლა წააგოს. ქვემოთ მოყვანილი მაქვს ეკრანის ანაბეჭდები აშშ-ში სამუშაოს ძიების ორი ყველაზე პოპულარული საიტიდან: www.monster.com и www.dice.com — რომელიც აჩვენებს მონაცემებს 17 წლის 2020 მარტის მდგომარეობით გამოქვეყნებული ვაკანსიების რაოდენობის შესახებ მიღებული საკვანძო სიტყვების გამოყენებით: მონაცემთა ხარისხი და მონაცემთა მეცნიერი.

www.monster.com

Data Scientists – 21416 ვაკანსია
მონაცემთა ხარისხი – 41104 ვაკანსია

www.dice.com

Data Scientists – 404 ვაკანსია
მონაცემთა ხარისხი – 2020 ვაკანსიები

ცხადია, ეს პროფესიები არანაირად არ ეჯიბრებიან ერთმანეთს. ეკრანის ანაბეჭდებით, მე უბრალოდ მინდოდა ილუსტრაციულიყო შრომის ბაზარზე არსებული ვითარება მონაცემთა ხარისხის ინჟინრების მოთხოვნის თვალსაზრისით, რომელთაგან ახლა გაცილებით მეტია საჭირო, ვიდრე მონაცემთა მეცნიერები.

2019 წლის ივნისში, EPAM-მა, თანამედროვე IT ბაზრის საჭიროებებზე რეაგირებით, მონაცემთა ხარისხი ცალკე პრაქტიკად გამოყო. მონაცემთა ხარისხის ინჟინრები ყოველდღიური მუშაობის დროს მართავენ მონაცემებს, ამოწმებენ მის ქცევას ახალ პირობებში და სისტემებში, აკონტროლებენ მონაცემთა შესაბამისობას, მის საკმარისობას და შესაბამისობას. ამ ყველაფერთან ერთად, პრაქტიკული გაგებით, მონაცემთა ხარისხის ინჟინრები ნამდვილად მცირე დროს უთმობენ კლასიკურ ფუნქციურ ტესტირებას, მაგრამ ეს დიდად არის დამოკიდებული პროექტზე (მაგალითს ქვემოთ მოვიყვან).

მონაცემთა ხარისხის ინჟინერის პასუხისმგებლობა არ შემოიფარგლება მხოლოდ რუტინული ხელით/ავტომატური შემოწმებით მონაცემთა ბაზის ცხრილებში „ნულები, დათვლა და თანხები“, არამედ მოითხოვს მომხმარებლის ბიზნეს საჭიროებების ღრმა გააზრებას და, შესაბამისად, ხელმისაწვდომი მონაცემების ტრანსფორმაციის უნარს. სასარგებლო ბიზნეს ინფორმაცია.

მონაცემთა ხარისხის თეორია

იმისათვის, რომ უფრო სრულად წარმოვიდგინოთ ასეთი ინჟინრის როლი, მოდით გაერკვნენ, რა არის თეორიულად მონაცემთა ხარისხი.

მონაცემთა ხარისხი — მონაცემთა მენეჯმენტის ერთ-ერთი ეტაპი (მთელი სამყარო, რომელსაც ჩვენ დამოუკიდებლად დაგიტოვებთ შესასწავლად) და პასუხისმგებელია მონაცემთა ანალიზზე შემდეგი კრიტერიუმების მიხედვით:

ვფიქრობ, არ არის საჭირო თითოეული წერტილის გაშიფვრა (თეორიულად მათ უწოდებენ "მონაცემთა განზომილებებს"), ისინი საკმაოდ კარგად არის აღწერილი სურათზე. მაგრამ თავად ტესტირების პროცესი არ გულისხმობს ამ მახასიათებლების მკაცრად კოპირებას ტესტებში და მათ შემოწმებას. მონაცემთა ხარისხში, ისევე როგორც ნებისმიერ სხვა ტიპის ტესტირებაში, აუცილებელია, უპირველეს ყოვლისა, დაეყრდნოს მონაცემთა ხარისხის მოთხოვნებს, რომლებიც შეთანხმებულია პროექტის მონაწილეებთან, რომლებიც იღებენ ბიზნეს გადაწყვეტილებებს.

მონაცემთა ხარისხის პროექტიდან გამომდინარე, ინჟინერს შეუძლია შეასრულოს სხვადასხვა ფუნქციები: ჩვეულებრივი ავტომატიზაციის ტესტერიდან მონაცემთა ხარისხის ზედაპირული შეფასებით, პირამდე, რომელიც ახორციელებს მონაცემთა ღრმა პროფილირებას ზემოაღნიშნული კრიტერიუმების მიხედვით.

მონაცემთა მართვის, მონაცემთა ხარისხის და მასთან დაკავშირებული პროცესების ძალიან დეტალური აღწერა კარგად არის აღწერილი წიგნში, სახელწოდებით "DAMA-DMBOK: მონაცემთა მენეჯმენტის ცოდნა: მე-2 გამოცემა". უაღრესად გირჩევთ ამ წიგნს, როგორც ამ თემის შესავალს (მის ბმულს ნახავთ სტატიის ბოლოს).

ჩემი ამბავი

IT ინდუსტრიაში, მე გადავედი პროდუქტის კომპანიებში უმცროსი ტესტერიდან EPAM-ში მონაცემთა ხარისხის წამყვანი ინჟინრად. ტესტერად მუშაობის დაახლოებით ორი წლის შემდეგ, მე მქონდა მტკიცე რწმენა, რომ ჩავატარე აბსოლუტურად ყველა სახის ტესტირება: რეგრესია, ფუნქციონალური, სტრესი, სტაბილურობა, უსაფრთხოება, ინტერფეისი და ა.შ. - და ვცადე დიდი რაოდენობით ტესტირების ინსტრუმენტი მუშაობდა ერთდროულად სამ პროგრამირების ენაზე: Java, Scala, Python.

უკან რომ ვიხედები, მესმის, რატომ იყო ჩემი უნარების ნაკრები ასე მრავალფეროვანი - ჩართული ვიყავი მონაცემთა ბაზაზე დაფუძნებულ პროექტებში, დიდ და პატარაში. სწორედ ამან მომიყვანა სამყაროში, სადაც უამრავი ხელსაწყო და შესაძლებლობებია ზრდისთვის.

ახალი ცოდნისა და უნარების მოსაპოვებლად ინსტრუმენტებისა და შესაძლებლობების მრავალფეროვნების შესაფასებლად, უბრალოდ შეხედეთ ქვემოთ მოცემულ სურათს, რომელიც აჩვენებს ყველაზე პოპულარულებს „მონაცემთა და ხელოვნური ინტელექტის“ სამყაროში.

ამ სახის ილუსტრაციას ყოველწლიურად ადგენს ერთ-ერთი ცნობილი საწარმოს კაპიტალისტის მეტ ტურკი, რომელიც მოდის პროგრამული უზრუნველყოფის დამუშავებიდან. Აქ ლინკები მის ბლოგს და სარისკო კაპიტალის ფირმა, სადაც მუშაობს პარტნიორად.

პროფესიონალურად განსაკუთრებით სწრაფად გავიზარდე, როდესაც პროექტის ერთადერთი ტესტერი ვიყავი, ან თუნდაც პროექტის დასაწყისში. სწორედ ასეთ მომენტში უნდა იყო პასუხისმგებელი მთელი ტესტირების პროცესზე და არ გაქვს საშუალება უკან დაიხიო, მხოლოდ წინ წახვიდე. თავიდან საშინელი იყო, მაგრამ ახლა ასეთი ტესტის ყველა უპირატესობა აშკარაა ჩემთვის:

• თქვენ იწყებთ კომუნიკაციას მთელ გუნდთან, როგორც არასდროს, რადგან არ არსებობს კომუნიკაციის წარმომადგენელი: არც ტესტის მენეჯერი და არც თანამემამულე ტესტერები.
• პროექტში ჩაძირვა წარმოუდგენლად ღრმა ხდება და თქვენ გაქვთ ინფორმაცია ყველა კომპონენტის შესახებ, როგორც ზოგადად, ასევე დეტალურად.
• დეველოპერები არ გიყურებენ, როგორც „ტესტირებულ ბიჭს, რომელმაც არ იცის რას აკეთებს“, არამედ როგორც თანასწორს, რომელიც წარმოუდგენელ სარგებელს მოაქვს გუნდისთვის თავისი ავტომატური ტესტებით და შეცდომების მოლოდინით, რომლებიც გამოჩნდება კონკრეტულ კომპონენტში. პროდუქტი.
• შედეგად, თქვენ ხართ უფრო ეფექტური, უფრო კვალიფიციური და უფრო მოთხოვნადი.

როდესაც პროექტი იზრდებოდა, 100% შემთხვევაში გავხდი ახალი ტესტერების მენტორი, ვასწავლიდი მათ და გადავცემდი საკუთარ ცოდნას. ამავდროულად, პროექტიდან გამომდინარე, ყოველთვის არ ვიღებდი მენეჯმენტისგან ავტო ტესტირების სპეციალისტების უმაღლესი დონის და საჭირო იყო მათი მომზადება ავტომატიზაციაში (დაინტერესებულთათვის) ან შემექმნა ინსტრუმენტები ყოველდღიურ საქმიანობაში გამოსაყენებლად (ინსტრუმენტები). მონაცემების გენერირებისთვის და სისტემაში ჩასატვირთად, ინსტრუმენტი დატვირთვის ტესტირების/სტაბილურობის ტესტის „სწრაფად“ შესასრულებლად და ა.შ.).

კონკრეტული პროექტის მაგალითი

სამწუხაროდ, გამოუცხადებლობის ვალდებულებების გამო, დეტალურად ვერ ვისაუბრებ იმ პროექტებზე, რომლებზეც ვმუშაობდი, მაგრამ ერთ-ერთ პროექტზე მონაცემთა ხარისხის ინჟინერის ტიპიური დავალებების მაგალითებს მოვიყვან.

პროექტის არსი არის პლატფორმის დანერგვა მასზე დაფუძნებული მანქანური სწავლების მოდელების მომზადებისთვის მონაცემთა მოსამზადებლად. მომხმარებელი იყო მსხვილი ფარმაცევტული კომპანია ამერიკიდან. ტექნიკურად ეს იყო კლასტერი კუბერნეტები, ამაღლებამდე AWS EC2 მაგალითად, რამდენიმე მიკროსერვისით და EPAM-ის ძირითადი ღია კოდის პროექტით - ლეგიონისადაპტირებულია კონკრეტული მომხმარებლის საჭიროებებზე (ახლა პროექტი ხელახლა დაიბადა ოდაჰუ). ETL პროცესები ორგანიზებული იყო გამოყენებით აპაჩის ჰაერის ნაკადი და გადაიტანეს მონაცემები გაყიდვები მომხმარებლის სისტემები AWS S3 თაიგულები. შემდეგ, პლატფორმაზე განთავსდა მანქანათმცოდნეობის მოდელის Docker სურათი, რომელიც გაწვრთნილი იყო ახალ მონაცემებზე და REST API ინტერფეისის გამოყენებით, წარმოადგინა ბიზნესისთვის საინტერესო პროგნოზები და გადაჭრა კონკრეტული პრობლემები.

ვიზუალურად, ყველაფერი ასე გამოიყურებოდა:

ამ პროექტზე უამრავი ფუნქციონალური ტესტირება იყო და ფუნქციების განვითარების სიჩქარისა და გამოშვების ციკლის ტემპის შენარჩუნების აუცილებლობის გათვალისწინებით (ორკვირიანი სპრინტები), საჭირო იყო დაუყოვნებლივ ვიფიქროთ ყველაზე კრიტიკული კომპონენტების ტესტირების ავტომატიზაციაზე. სისტემა. თავად Kubernetes-ზე დაფუძნებული პლატფორმის უმეტესი ნაწილი დაფარული იყო ავტოტესტებით, რომლებიც განხორციელდა Robot Framework + პითონი, მაგრამ ასევე საჭირო იყო მათი მხარდაჭერა და გაფართოება. გარდა ამისა, მომხმარებლის მოხერხებულობისთვის, შეიქმნა GUI კლასტერში განლაგებული მანქანური სწავლების მოდელების სამართავად, ასევე იმის დაზუსტების შესაძლებლობისთვის, თუ სად და სად უნდა გადაიტანოს მონაცემები მოდელების ტრენინგისთვის. ეს ვრცელი დამატება მოჰყვა ავტომატური ფუნქციონალური ტესტირების გაფართოებას, რაც ძირითადად ხდებოდა REST API ზარების და ბოლო 2-ბოლოიანი UI ტესტების მცირე რაოდენობით. მთელი ამ მოძრაობის ეკვატორის ირგვლივ, ჩვენ შემოგვიერთდა მექანიკური ტესტერი, რომელმაც შესანიშნავად შეასრულა პროდუქტის ვერსიების მიღების ტესტირება და მომხმარებელთან კომუნიკაცია შემდეგი გამოშვების მიღებასთან დაკავშირებით. გარდა ამისა, ახალი სპეციალისტის მოსვლის გამო, ჩვენ შევძელით ჩვენი სამუშაოს დოკუმენტირება და რამდენიმე ძალიან მნიშვნელოვანი ხელით შემოწმება, რომელთა ავტომატიზაციაც მაშინვე რთული იყო.

და ბოლოს, მას შემდეგ რაც მივაღწიეთ სტაბილურობას პლატფორმიდან და მასზე არსებული GUI დანამატით, დავიწყეთ ETL მილსადენების მშენებლობა Apache Airflow DAG-ების გამოყენებით. მონაცემთა ხარისხის ავტომატური შემოწმება განხორციელდა სპეციალური Airflow DAG-ების დაწერით, რომლებიც ამოწმებდნენ მონაცემებს ETL პროცესის შედეგებზე დაყრდნობით. ამ პროექტის ფარგლებში, ჩვენ გაგვიმართლა და მომხმარებელმა მოგვცა წვდომა ანონიმურ მონაცემთა ნაკრებებზე, რომლებზეც ჩვენ გამოვცადეთ. ჩვენ შევამოწმეთ მონაცემთა ხაზ-სტრიქონი შესაბამისობა ტიპებთან, გატეხილი მონაცემების არსებობა, ჩანაწერების საერთო რაოდენობა მანამდე და მის შემდეგ, ETL პროცესის მიერ განხორციელებული ტრანსფორმაციების შედარება აგრეგაციისთვის, სვეტების სახელების შეცვლა და სხვა რამ. გარდა ამისა, ეს შემოწმებები მასშტაბური იყო მონაცემთა სხვადასხვა წყაროზე, მაგალითად, SalesForce-ის გარდა, ასევე MySQL-ზე.

საბოლოო მონაცემების ხარისხის შემოწმება ჩატარდა უკვე S3 დონეზე, სადაც ისინი ინახებოდა და მზად იყო გამოსაყენებლად მანქანური სწავლების მოდელების სწავლებისთვის. S3 Bucket-ზე განთავსებული საბოლოო CSV ფაილიდან მონაცემების მოსაპოვებლად და მის დასადასტურებლად, კოდი დაიწერა გამოყენებით boto3 კლიენტები.

კლიენტისგან ასევე იყო მოთხოვნა, რომ მონაცემების ნაწილი შეინახოს ერთ S3 Bucket-ში და ნაწილი მეორეში. ამან ასევე მოითხოვა დამატებითი შემოწმებების დაწერა ასეთი დახარისხების სანდოობის შესამოწმებლად.

განზოგადებული გამოცდილება სხვა პროექტებიდან

მონაცემთა ხარისხის ინჟინრის საქმიანობის ყველაზე ზოგადი ჩამონათვალის მაგალითი:

• მოამზადეთ ტესტის მონაცემები (მოქმედი არასწორი დიდი პატარა) ავტომატური ხელსაწყოს მეშვეობით.
• ატვირთეთ მომზადებული მონაცემთა ნაკრები თავდაპირველ წყაროზე და შეამოწმეთ, რომ ის მზად არის გამოსაყენებლად.
• გაუშვით ETL პროცესები მონაცემთა ნაკრების დასამუშავებლად წყაროს საცავიდან საბოლოო ან შუალედურ საცავამდე პარამეტრების გარკვეული ნაკრების გამოყენებით (თუ შესაძლებელია, დააყენეთ კონფიგურირებადი პარამეტრები ETL ამოცანისთვის).
• გადაამოწმეთ ETL პროცესის მიერ დამუშავებული მონაცემები მისი ხარისხისა და ბიზნესის მოთხოვნებთან შესაბამისობაში.

ამავდროულად, შემოწმების მთავარი აქცენტი უნდა იყოს არა მხოლოდ იმაზე, რომ სისტემაში მონაცემთა ნაკადმა, პრინციპში, იმუშავა და მიაღწია დასასრულს (რაც ფუნქციური ტესტირების ნაწილია), არამედ ძირითადად მონაცემების შემოწმებასა და დამოწმებაზე. მოსალოდნელ მოთხოვნებთან შესაბამისობისთვის, ანომალიების იდენტიფიცირებისთვის და სხვა.

ინსტრუმენტები

მონაცემთა ასეთი კონტროლის ერთ-ერთი ტექნიკა შეიძლება იყოს მონაცემთა დამუშავების თითოეულ ეტაპზე ჯაჭვის შემოწმების ორგანიზება, ლიტერატურაში ეგრეთ წოდებული „მონაცემთა ჯაჭვი“ - მონაცემთა კონტროლი წყაროდან საბოლოო გამოყენების წერტილამდე. ამ ტიპის შემოწმებები ყველაზე ხშირად ხორციელდება SQL მოთხოვნების შემოწმების ჩაწერით. ნათელია, რომ ასეთი მოთხოვნები უნდა იყოს მაქსიმალურად მსუბუქი და შეამოწმოს მონაცემთა ხარისხის ცალკეული ნაწილები (ცხრილების მეტამონაცემები, ცარიელი ხაზები, NULL-ები, შეცდომები სინტაქსში - შემოწმებისთვის საჭირო სხვა ატრიბუტები).

რეგრესიის ტესტირების შემთხვევაში, რომელიც იყენებს მზა (უცვლელი, ოდნავ ცვალებადი) მონაცემთა ნაკრებებს, ავტომატური ტესტის კოდს შეუძლია შეინახოს მზა შაბლონები მონაცემების ხარისხთან შესაბამისობის შესამოწმებლად (ცხრილის მოსალოდნელი მეტამონაცემების აღწერა; მწკრივის ნიმუშის ობიექტები, რომლებიც შეიძლება იყოს შემთხვევით შერჩეული ტესტის დროს და ა.შ.).

ასევე, ტესტირების დროს, თქვენ უნდა დაწეროთ ETL ტესტის პროცესები ისეთი ჩარჩოების გამოყენებით, როგორიცაა Apache Airflow, Apache Spark ან თუნდაც შავი ყუთის ღრუბლის ტიპის ხელსაწყო GCP მონაცემთა მომზადება, GCP მონაცემთა ნაკადი Და ასე შემდეგ. ეს გარემოება აიძულებს ტესტის ინჟინერს ჩაეფლოს ზემოაღნიშნული ხელსაწყოების მუშაობის პრინციპებში და კიდევ უფრო ეფექტურად ჩაატაროს ფუნქციური ტესტირება (მაგალითად, პროექტზე არსებული ETL პროცესები) და გამოიყენოს ისინი მონაცემების შესამოწმებლად. კერძოდ, Apache Airflow-ს ჰყავს მზა ოპერატორები, მაგალითად, პოპულარულ ანალიტიკურ მონაცემთა ბაზებთან მუშაობისთვის GCP BigQuery. მისი გამოყენების ყველაზე ძირითადი მაგალითი უკვე აღწერილია აქასე რომ არ გავიმეორებ.

მზა გადაწყვეტილებების გარდა, არავინ გიკრძალავთ საკუთარი ტექნიკისა და ხელსაწყოების განხორციელებას. ეს სასარგებლო იქნება არა მხოლოდ პროექტისთვის, არამედ თავად მონაცემთა ხარისხის ინჟინრისთვისაც, რომელიც ამით გააუმჯობესებს მის ტექნიკურ ჰორიზონტს და კოდირების უნარებს.

როგორ მუშაობს რეალურ პროექტზე

ბოლო აბზაცების კარგი ილუსტრაცია „მონაცემთა ჯაჭვის“, ETL და ყველგან არსებული შემოწმებების შესახებ არის შემდეგი პროცესი ერთ-ერთი რეალური პროექტისგან:

აქ სხვადასხვა მონაცემები (ბუნებრივია, ჩვენს მიერ მომზადებული) შედის ჩვენი სისტემის შეყვანის „ძაბრში“: მოქმედი, არასწორი, შერეული და ა.შ., შემდეგ ისინი იფილტრება და მთავრდება შუალედურ საცავში, შემდეგ კვლავ განიცდიან გარდაქმნების სერიას. და მოთავსებულია საბოლოო საცავში, საიდანაც, თავის მხრივ, განხორციელდება ანალიტიკა, სამშენებლო მონაცემების მარტები და ბიზნესის იდეების ძიება. ასეთ სისტემაში, ETL პროცესების ფუნქციონირების ფუნქციონალური შემოწმების გარეშე, ჩვენ ფოკუსირებულნი ვართ მონაცემთა ხარისხზე ტრანსფორმაციამდე და მის შემდეგ, ასევე ანალიტიკაში გამოსავალზე.

ზემოაღნიშნულის შესაჯამებლად, განურჩევლად იმ ადგილებისა, სადაც ვმუშაობდი, ყველგან ვიყავი ჩართული მონაცემთა პროექტებში, რომლებიც იზიარებდნენ შემდეგ მახასიათებლებს:

• მხოლოდ ავტომატიზაციის საშუალებით შეგიძლიათ შეამოწმოთ ზოგიერთი შემთხვევა და მიაღწიოთ ბიზნესისთვის მისაღები გამოშვების ციკლს.
• ასეთ პროექტზე ტესტერი გუნდის ერთ-ერთი ყველაზე პატივსაცემი წევრია, რადგან მას დიდი სარგებელი მოაქვს თითოეულ მონაწილეს (ტესტირების დაჩქარება, მონაცემთა მეცნიერის კარგი მონაცემები, ადრეულ ეტაპებზე დეფექტების იდენტიფიცირება).
• არ აქვს მნიშვნელობა საკუთარ აპარატურაზე მუშაობთ თუ ღრუბლებში - ყველა რესურსი აბსტრაქტულია კლასტერში, როგორიცაა Hortonworks, Cloudera, Mesos, Kubernetes და ა.შ.
• პროექტები აგებულია მიკროსერვისის მიდგომაზე, ჭარბობს განაწილებული და პარალელური გამოთვლები.

მინდა აღვნიშნო, რომ მონაცემთა ხარისხის სფეროში ტესტირებისას, ტესტირების სპეციალისტი გადააქვს თავისი პროფესიული აქცენტი პროდუქტის კოდზე და გამოყენებულ ინსტრუმენტებზე.

მონაცემთა ხარისხის ტესტირების გამორჩეული მახასიათებლები

გარდა ამისა, მე გამოვავლინე შემდეგი (მე დაუყოვნებლივ გავაკეთებ დათქმას, რომ ისინი ძალიან განზოგადებული და ექსკლუზიურად სუბიექტურია) ტესტირების გამორჩეული მახასიათებლები მონაცემთა (დიდი მონაცემების) პროექტებში (სისტემებში) და სხვა სფეროებში:

სასარგებლო ბმულები

1. თეორია: DAMA-DMBOK: მონაცემთა მენეჯმენტი ცოდნის ორგანო: მე-2 გამოცემა.
2. Სავარჯიშო ცენტრი EPAM 
3. რეკომენდებული მასალები მონაცემთა ხარისხის დამწყები ინჟინრისთვის:
   1. უფასო კურსი სტეპიკზე: მონაცემთა ბაზების შესავალი. 
   2. კურსი LinkedIn Learning-ზე: მონაცემთა მეცნიერების საფუძვლები: მონაცემთა ინჟინერია.
   3. სტატიები:
      • ბიზნეს ინტელექტი და მონაცემთა ხარისხი; 
      • ETL ტესტირება; 
      • რა არის მონაცემთა პროფილირება? პროცესი, საუკეთესო პრაქტიკა და ინსტრუმენტები; 
      • ტესტის მონაცემთა გენერაცია: რა არის, როგორ, მაგალითი, ინსტრუმენტები; 
      • 5 ტესტი მონაცემთა გენერირების ტექნიკა, რომელიც უნდა იცოდეთ. 
   4. ვიდეო:
      • მონაცემთა ხარისხის ცნებები | მონაცემთა ხარისხის სახელმძღვანელო | მონაცემთა შენახვის ტუტორიალი;
      • მონაცემთა პროფილირება SSIS-ის გამოყენებით;
      • მონაცემთა პროფილირება და მილსადენის დამუშავება Spark-ით.

დასკვნა

მონაცემთა ხარისხი არის ძალიან ახალგაზრდა პერსპექტიული მიმართულება, რომლის ნაწილიც ნიშნავს იყო სტარტაპის ნაწილი. როდესაც მონაცემთა ხარისხში მოხვდებით, თქვენ ჩაძირული იქნებით უამრავ თანამედროვე, მოთხოვნად ტექნოლოგიებში, მაგრამ რაც მთავარია, უზარმაზარი შესაძლებლობები გაგიხსნით თქვენი იდეების გენერირებისთვის და განხორციელებისთვის. თქვენ შეძლებთ გამოიყენოთ უწყვეტი გაუმჯობესების მიდგომა არა მხოლოდ პროექტზე, არამედ საკუთარი თავისთვისაც, განუწყვეტლივ ვითარდებით როგორც სპეციალისტი.

წყარო: www.habr.com