Hammaga salom, mening ismim Aleksandr va men ma'lumotlarni sifatini tekshiradigan Ma'lumotlar sifati muhandisiman. Ushbu maqolada men bunga qanday kelganim va nima uchun 2020 yilda ushbu sinov sohasi to'lqin tepasida bo'lganligi haqida gapiradi.
Global tendentsiya
Bugungi dunyo yana bir texnologik inqilobni boshdan kechirmoqda, uning bir jihati - barcha turdagi kompaniyalar tomonidan to'plangan ma'lumotlardan o'zlarining sotish, foyda va PRni ilgari surish uchun foydalanish. Ko'rinishidan, yaxshi (sifatli) ma'lumotlarning mavjudligi, shuningdek, undan pul ishlay oladigan malakali miyalar (to'g'ri ishlov berish, vizualizatsiya qilish, mashinani o'rganish modellarini yaratish va h.k.) bugungi kunda ko'pchilik uchun muvaffaqiyat kalitiga aylandi. Agar 15-20 yil oldin yirik kompaniyalar asosan ma'lumotlarni to'plash va monetizatsiya qilish bilan jadal ish bilan shug'ullangan bo'lsa, bugungi kunda bu deyarli barcha aqli raso odamlarning taqdiri.
Shu munosabat bilan, bir necha yil oldin, butun dunyo bo'ylab ish qidirishga bag'ishlangan barcha portallar Data Scientist bo'sh ish o'rinlari bilan to'ldirila boshlandi, chunki hamma bunday mutaxassisni yollagan holda, ular mashinani o'rganishning supermodelini qurishlari, kelajakni bashorat qilishlari mumkinligiga ishonchlari komil edi. va kompaniya uchun "kvant sakrashini" amalga oshiring. Vaqt o'tishi bilan odamlar bu yondashuv deyarli hech qachon ishlamasligini tushunishdi, chunki bunday mutaxassislarning qo'liga tushgan barcha ma'lumotlar modellarni o'qitish uchun mos emas.
Va Data Scientists so'rovlari boshlandi: "Keling, u va boshqa ma'lumotlardan ko'proq ma'lumot sotib olaylik ...", "Bizda etarli ma'lumotlar yo'q ...", "Bizga ko'proq ma'lumotlar kerak, yaxshisi yuqori sifatli ..." . Ushbu so'rovlar asosida u yoki bu ma'lumotlar to'plamiga ega bo'lgan kompaniyalar o'rtasida ko'plab o'zaro aloqalar o'rnatila boshlandi. Tabiiyki, bu jarayonni texnik tashkil etishni talab qildi - ma'lumotlar manbasiga ulanish, uni yuklab olish, to'liq yuklanganligini tekshirish va hokazo. Bunday jarayonlarning soni o'sib bordi va bugungi kunda bizda boshqa turdagi dasturlarga katta ehtiyoj bor. mutaxassislar - Ma'lumotlar sifati bo'yicha muhandislar - tizimdagi ma'lumotlar oqimini (ma'lumotlar quvurlari), kirish va chiqishda ma'lumotlar sifatini kuzatadigan va ularning etarliligi, yaxlitligi va boshqa xususiyatlari to'g'risida xulosa chiqaradiganlar.
Ma'lumotlar sifati bo'yicha muhandislar tendentsiyasi bizga AQShdan keldi, u erda kapitalizmning shiddatli davri o'rtasida hech kim ma'lumotlar uchun kurashda yutqazishga tayyor emas. Quyida men AQShdagi ikkita eng mashhur ish qidirish saytlaridan skrinshotlar keltirdim: и — 17-yil 2020-mart holatiga ko‘ra, quyidagi kalit so‘zlar yordamida olingan bo‘sh ish o‘rinlari soni to‘g‘risidagi ma’lumotlarni aks ettiradi: Ma’lumotlar sifati va ma’lumotlar olimi.
Maʼlumotlar boʻyicha mutaxassislar – 21416 ta boʻsh ish oʻrinlari
Ma’lumotlar sifati – 41104 ta bo‘sh ish o‘rinlari
Maʼlumotlar boʻyicha mutaxassislar – 404 ta boʻsh ish oʻrinlari
Ma'lumotlar sifati - 2020 vakansiyalari
Shubhasiz, bu kasblar hech qanday tarzda bir-biri bilan raqobatlashmaydi. Skrinshotlar bilan men shunchaki mehnat bozoridagi mavjud vaziyatni ma'lumotlar sifati bo'yicha muhandislarga bo'lgan so'rovlar nuqtai nazaridan ko'rsatmoqchi bo'ldim, ular hozirda ma'lumot olimlaridan ko'ra ko'proq talab qilinadi.
2019 yil iyun oyida EPAM zamonaviy IT bozorining ehtiyojlariga javob berib, Ma'lumotlar sifatini alohida amaliyotga ajratdi. Ma'lumotlar sifati bo'yicha muhandislar o'zlarining kundalik ishlari davomida ma'lumotlarni boshqaradilar, yangi sharoit va tizimlardagi xatti-harakatlarini tekshiradilar, ma'lumotlarning dolzarbligini, ularning etarliligi va dolzarbligini nazorat qiladilar. Bularning barchasi bilan, amaliy ma'noda, ma'lumotlar sifati bo'yicha muhandislar klassik funktsional testlarga juda oz vaqt ajratadilar, BUT bu ko'p jihatdan loyihaga bog'liq (quyida misol keltiraman).
Ma'lumotlar sifati bo'yicha muhandisning mas'uliyati faqat ma'lumotlar bazasi jadvallaridagi "nullar, hisoblar va summalar" ni qo'lda / avtomatik tekshirish bilan cheklanib qolmaydi, balki mijozning biznes ehtiyojlarini chuqur tushunishni va shunga mos ravishda mavjud ma'lumotlarni o'zgartirish qobiliyatini talab qiladi. foydali biznes ma'lumotlari.
Ma'lumotlar sifati nazariyasi
Bunday muhandisning rolini to'liqroq tasavvur qilish uchun keling, nazariy jihatdan ma'lumotlar sifati nima ekanligini aniqlaylik.
Ma'lumot sifati — Maʼlumotlarni boshqarish bosqichlaridan biri (siz oʻzingiz oʻrganishingiz uchun biz qoldiradigan butun dunyo) va quyidagi mezonlar boʻyicha maʼlumotlarni tahlil qilish uchun javobgardir:
Menimcha, har bir nuqtani shifrlashning hojati yo'q (nazariy jihatdan ular "ma'lumotlar o'lchamlari" deb ataladi), ular rasmda juda yaxshi tasvirlangan. Ammo sinov jarayonining o'zi bu xususiyatlarni test holatlariga qat'iy nusxalash va ularni tekshirishni anglatmaydi. Ma'lumotlar sifati bo'yicha, har qanday boshqa turdagi testlarda bo'lgani kabi, birinchi navbatda, biznes qarorlarini qabul qiladigan loyiha ishtirokchilari bilan kelishilgan ma'lumotlar sifatiga qo'yiladigan talablarga asoslanish kerak.
Ma'lumotlar sifati loyihasiga qarab, muhandis turli funktsiyalarni bajarishi mumkin: ma'lumotlar sifatini yuzaki baholaydigan oddiy avtomatlashtirish sinovchisidan yuqoridagi mezonlarga muvofiq ma'lumotlarni chuqur profillashni amalga oshiradigan shaxsgacha.
Ma'lumotlarni boshqarish, ma'lumotlar sifati va tegishli jarayonlarning juda batafsil tavsifi nomli kitobda yaxshi tasvirlangan "DAMA-DMBOK: Ma'lumotlarni boshqarish bo'yicha bilimlar majmuasi: 2-nashr". Men ushbu kitobni ushbu mavzuga kirish sifatida tavsiya qilaman (uning havolasini maqolaning oxirida topasiz).
Mening hikoyam
IT sohasida men mahsulot kompaniyalarida kichik sinovchidan EPAMda maʼlumotlar sifati boʻyicha yetakchi muhandisgacha boʻlgan yoʻlni bosib oʻtdim. Taxminan ikki yil sinovchi sifatida ishlaganimdan so'ng, men mutlaqo barcha turdagi testlarni o'tkazganimga qat'iy ishonch hosil qildim: regressiya, funktsional, stress, barqarorlik, xavfsizlik, UI va boshqalar - va ko'plab sinov vositalarini sinab ko'rdim. bir vaqtning o'zida uchta dasturlash tilida ishlagan: Java, Scala, Python.
Orqaga nazar tashlaydigan bo'lsam, nega mening mahoratim juda xilma-xil ekanligini tushunaman - men katta va kichik ma'lumotlarga asoslangan loyihalarda qatnashganman. Bu meni o'sish uchun ko'plab vositalar va imkoniyatlar dunyosiga olib keldi.
Yangi bilim va ko'nikmalarga ega bo'lish uchun turli xil vositalar va imkoniyatlarni qadrlash uchun "Ma'lumotlar va AI" dunyosidagi eng mashhurlarini ko'rsatadigan quyidagi rasmga qarang.
Bunday illyustratsiya har yili dasturiy ta'minotni ishlab chiqishdan kelgan mashhur venchur kapitalistlardan biri Mett Turk tomonidan tuziladi. Bu yerga uning blogiga va , qaerda u sherik sifatida ishlaydi.
Men loyihada yagona tester bo'lganimda yoki hech bo'lmaganda loyihaning boshida professional darajada tez o'sdim. Aynan shunday paytda siz butun sinov jarayoni uchun javobgar bo'lishingiz kerak va sizda chekinish uchun hech qanday imkoniyat yo'q, faqat oldinga. Avvaliga bu qo'rqinchli edi, lekin endi bunday sinovning barcha afzalliklari men uchun aniq:
- Siz butun jamoa bilan hech qachon bo'lmaganidek muloqot qilishni boshlaysiz, chunki aloqa uchun proksi-server yo'q: na test menejeri, na boshqa testerlar.
- Loyihaga botish nihoyatda chuqurlashadi va siz barcha komponentlar haqida umumiy va batafsil ma'lumotga ega bo'lasiz.
- Ishlab chiquvchilar sizga “nima qilayotganini bilmaydigan sinovchi” sifatida emas, balki o‘zining avtomatlashtirilgan sinovlari va ma’lum bir komponentda paydo bo‘ladigan xatoliklarni kutish orqali jamoaga ajoyib foyda keltiradigan tengdosh sifatida qarashadi. mahsulot.
- Natijada siz samaraliroq, malakaliroq va ko'proq talabga egasiz.
Loyiha o'sib ulg'aygan sari, 100% hollarda men yangi testerlar uchun murabbiy bo'ldim, ularga o'rgatdim va o'zim o'rgangan bilimlarimni uzatdim. Shu bilan birga, loyihaga qarab, men har doim ham menejmentdan eng yuqori darajadagi avtoulovlarni sinovdan o'tkazuvchi mutaxassislarni olmaganman va ularni avtomatlashtirishga o'rgatish (qiziquvchilar uchun) yoki kundalik faoliyatda foydalanish uchun vositalarni yaratish kerak edi (asboblar ma'lumotlarni yaratish va ularni tizimga yuklash uchun , yuk testini/barqarorlik testini "tezda" amalga oshirish uchun vosita va hokazo).
Muayyan loyihaga misol
Afsuski, oshkor qilmaslik majburiyatlari tufayli men ishlagan loyihalar haqida batafsil gapira olmayman, lekin loyihalardan birida ma'lumotlar sifati bo'yicha muhandisning odatiy vazifalariga misollar keltiraman.
Loyihaning mohiyati shundan iboratki, uning asosida mashinani o'rganish modellarini o'qitish uchun ma'lumotlarni tayyorlash platformasi amalga oshiriladi. Buyurtmachi AQShning yirik farmatsevtika kompaniyasi edi. Texnik jihatdan bu klaster edi , gacha ko'tariladi misollar, bir nechta mikroservislar va EPAM ning asosiy Ochiq manba loyihasi bilan - , ma'lum bir mijozning ehtiyojlariga moslashtirilgan (endi loyiha qayta tug'ildi ). ETL jarayonlari yordamida tashkil etilgan va ma'lumotlar ko'chirildi mijozlar tizimlari Chelaklar. Keyinchalik, platformaga mashinani o'rganish modelining Docker tasviri joylashtirildi, u yangi ma'lumotlar bo'yicha o'qitildi va REST API interfeysidan foydalangan holda biznes uchun qiziqarli bo'lgan bashoratlarni ishlab chiqdi va muayyan muammolarni hal qildi.
Vizual ravishda hamma narsa shunday ko'rinardi:
Ushbu loyihada juda ko'p funktsional testlar o'tkazildi va xususiyatlarni ishlab chiqish tezligi va relizlar siklining sur'atini (ikki haftalik sprint) ushlab turish zarurligini hisobga olgan holda, eng muhim tarkibiy qismlarni sinovdan o'tkazishni avtomatlashtirish haqida darhol o'ylash kerak edi. tizim. Kubernetes-ga asoslangan platformaning aksariyati o'zida amalga oshirilgan avtotestlar bilan qoplangan + Python, lekin ularni qo'llab-quvvatlash va kengaytirish ham kerak edi. Bundan tashqari, mijozga qulaylik yaratish maqsadida klasterga joylashtirilgan mashinani o‘rganish modellarini boshqarish uchun GUI yaratildi, shuningdek, modellarni o‘qitish uchun ma’lumotlarni qayerga va qayerga o‘tkazish kerakligini belgilash imkoniyati yaratildi. Ushbu keng qamrovli qo'shimcha avtomatlashtirilgan funktsional testlarni kengaytirishni talab qildi, bu asosan REST API qo'ng'iroqlari va kam sonli 2-end UI testlari orqali amalga oshirildi. Ushbu harakatning ekvatori atrofida bizni qo'lda sinovdan o'tkazuvchi qo'shildi, u mahsulot versiyalarini qabul qilish sinovini o'tkazdi va keyingi nashrni qabul qilish bo'yicha mijoz bilan muloqot qildi. Bundan tashqari, yangi mutaxassis kelganligi sababli, biz ishimizni hujjatlashtirishga muvaffaq bo'ldik va darhol avtomatlashtirish qiyin bo'lgan bir nechta juda muhim qo'lda tekshiruvlarni qo'shdik.
Va nihoyat, platforma va uning ustidagi GUI qo'shimchasidan barqarorlikka erishganimizdan so'ng, biz Apache Airflow DAG-lardan foydalangan holda ETL quvurlarini qurishni boshladik. Avtomatlashtirilgan ma'lumotlar sifatini tekshirish ETL jarayoni natijalari asosida ma'lumotlarni tekshirgan maxsus Airflow DAG'larini yozish orqali amalga oshirildi. Ushbu loyihaning bir qismi sifatida bizga omad kulib boqdi va mijoz bizga sinovdan o'tgan anonim ma'lumotlar to'plamlariga kirish huquqini berdi. Biz ma'lumotlar qatorini turlarga muvofiqligini, buzilgan ma'lumotlarning mavjudligini, oldingi va keyingi yozuvlarning umumiy sonini, yig'ish uchun ETL jarayoni tomonidan amalga oshirilgan o'zgarishlarni taqqoslashni, ustun nomlarini o'zgartirishni va boshqa narsalarni tekshirdik. Bundan tashqari, ushbu tekshiruvlar turli xil ma'lumotlar manbalariga, masalan, SalesForce-dan tashqari, MySQL-ga ham o'lchagan.
Yakuniy ma'lumotlar sifatini tekshirish S3 darajasida o'tkazildi, u erda ular saqlangan va mashinani o'rganish modellarini o'qitish uchun foydalanishga tayyor edi. S3 Bucket-da joylashgan yakuniy CSV faylidan ma'lumotlarni olish va uni tasdiqlash uchun kod yordamida yozilgan .
Shuningdek, mijoz tomonidan ma'lumotlarning bir qismini bitta S3 paqirida, bir qismini boshqasida saqlash talabi ham bor edi. Bu shuningdek, bunday saralashning ishonchliligini tekshirish uchun qo'shimcha tekshiruvlar yozishni talab qildi.
Boshqa loyihalardan umumiy tajriba
Ma'lumotlar sifati bo'yicha muhandis faoliyatining eng umumiy ro'yxatiga misol:
- Avtomatlashtirilgan vosita orqali test ma'lumotlarini (yaroqsiz katta kichik) tayyorlang.
- Tayyorlangan ma'lumotlar to'plamini asl manbaga yuklang va foydalanishga tayyorligini tekshiring.
- Muayyan sozlamalar to'plamidan foydalangan holda manba xotirasidan yakuniy yoki oraliq saqlashgacha ma'lumotlar to'plamini qayta ishlash uchun ETL jarayonlarini ishga tushiring (agar iloji bo'lsa, ETL vazifasi uchun sozlanishi parametrlarni o'rnating).
- ETL jarayoni tomonidan qayta ishlangan ma'lumotlarning sifati va biznes talablariga muvofiqligini tekshiring.
Shu bilan birga, tekshirishlarning asosiy e'tibori nafaqat tizimdagi ma'lumotlar oqimining printsipial ravishda ishlaganligi va oxiriga yetganligiga (funktsional testning bir qismi), balki asosan ma'lumotlarni tekshirish va tasdiqlashga qaratilishi kerak. kutilgan talablarga muvofiqligi, anomaliyalarni aniqlash va boshqa narsalar uchun.
asboblar
Bunday ma'lumotlarni nazorat qilish usullaridan biri ma'lumotlarni qayta ishlashning har bir bosqichida zanjirli tekshiruvlarni tashkil etish bo'lishi mumkin, adabiyotda "ma'lumotlar zanjiri" deb ataladi - ma'lumotlarni manbadan yakuniy foydalanish nuqtasiga qadar nazorat qilish. Ushbu turdagi tekshiruvlar ko'pincha SQL so'rovlarini yozish orqali amalga oshiriladi. Bunday so'rovlar imkon qadar engil bo'lishi va ma'lumotlar sifatining alohida qismlarini tekshirishi kerak (jadvallar metama'lumotlari, bo'sh satrlar, NULLlar, sintaksisdagi xatolar - tekshirish uchun zarur bo'lgan boshqa atributlar).
Tayyor (o'zgarmas, biroz o'zgaruvchan) ma'lumotlar to'plamidan foydalanadigan regressiya testi holatida, avtotest kodi ma'lumotlarning sifatiga muvofiqligini tekshirish uchun tayyor shablonlarni saqlashi mumkin (kutilayotgan jadval metama'lumotlarining tavsiflari; qator namunalari ob'ektlari bo'lishi mumkin). sinov paytida tasodifiy tanlangan va hokazo).
Bundan tashqari, sinov paytida siz Apache Airflow kabi ramkalar yordamida ETL test jarayonlarini yozishingiz kerak, yoki hatto qora quti bulut turi vositasi , Va hokazo. Ushbu holat sinov muhandisini yuqoridagi vositalarning ishlash tamoyillariga singib ketishga va yanada samaraliroq funktsional testlarni o'tkazishga (masalan, loyihada mavjud ETL jarayonlari) va ma'lumotlarni tekshirish uchun foydalanishga majbur qiladi. Xususan, Apache Airflow mashhur analitik ma'lumotlar bazalari bilan ishlash uchun tayyor operatorlarga ega, masalan . Uni qo'llashning eng asosiy misoli allaqachon tasvirlangan , shuning uchun men o'zimni takrorlamayman.
Tayyor echimlardan tashqari, hech kim sizga o'zingizning texnika va vositalaringizni amalga oshirishni taqiqlamaydi. Bu nafaqat loyiha uchun, balki ma'lumotlar sifati bo'yicha muhandisning o'zi uchun ham foydali bo'ladi va shu bilan o'zining texnik ufqlari va kodlash ko'nikmalarini yaxshilaydi.
Haqiqiy loyihada qanday ishlaydi
"Ma'lumotlar zanjiri", ETL va hamma joyda tekshiruvlar haqidagi oxirgi paragraflarning yaxshi tasviri haqiqiy loyihalardan birining quyidagi jarayonidir:
Bu erda turli xil ma'lumotlar (tabiiyki, biz tayyorlagan) tizimimizning kirish "huni" ga kiradi: haqiqiy, noto'g'ri, aralash va hokazo, keyin ular filtrlanadi va oraliq xotiraga tushadi, keyin yana bir qator o'zgarishlardan o'tadi. va yakuniy saqlashga joylashtiriladi, undan o'z navbatida tahlillar, ma'lumotlar martlarini qurish va biznes tushunchalarini qidirish amalga oshiriladi. Bunday tizimda, ETL jarayonlarining ishlashini funktsional tekshirmasdan, biz o'zgarishlardan oldin va keyin ma'lumotlar sifatiga, shuningdek, tahliliy chiqishga e'tibor qaratamiz.
Yuqoridagilarni umumlashtirib aytadigan bo'lsak, men ishlagan joydan qat'i nazar, hamma joyda men quyidagi xususiyatlarga ega bo'lgan Data loyihalarida ishtirok etganman:
- Faqat avtomatlashtirish orqali siz ba'zi holatlarni sinab ko'rishingiz va biznes uchun maqbul bo'lgan chiqarish tsikliga erishishingiz mumkin.
- Bunday loyiha bo'yicha tester jamoaning eng hurmatli a'zolaridan biridir, chunki u ishtirokchilarning har biriga katta foyda keltiradi (sinovni tezlashtirish, Data Scientistning yaxshi ma'lumotlari, dastlabki bosqichlarda nuqsonlarni aniqlash).
- O'zingizning uskunangizda yoki bulutlarda ishlaysizmi, muhim emas - barcha resurslar Hortonworks, Cloudera, Mesos, Kubernetes va boshqalar kabi klasterga kiritilgan.
- Loyihalar mikroservis yondashuvi asosida qurilgan, taqsimlangan va parallel hisoblashlar ustunlik qiladi.
Shuni ta'kidlashni istardimki, ma'lumotlar sifati sohasida test o'tkazayotganda, sinov bo'yicha mutaxassis o'zining professional e'tiborini mahsulot kodi va foydalaniladigan vositalarga qaratadi.
Ma'lumotlar sifatini tekshirishning o'ziga xos xususiyatlari
Bundan tashqari, men o'zim uchun ma'lumotlar (Katta ma'lumotlar) loyihalari (tizimlari) va boshqa sohalarda sinovdan o'tkazishning quyidagi o'ziga xos xususiyatlarini aniqladim (men ular juda umumlashtirilgan va faqat sub'ektiv ekanligini darhol ta'kidlayman):
Foydali havolalar
- Nazariya: .
- EPAM
- Ma'lumotlar sifati bo'yicha boshlang'ich muhandis uchun tavsiya etilgan materiallar:
- Stepik bo'yicha bepul kurs: .
- LinkedIn Learning kursi: .
- Maqolalar:
- ;
- ;
- ;
- Video:
- ;
- ;
xulosa
Ma'lumot sifati juda yosh istiqbolli yo‘nalish bo‘lib, uning bir qismi bo‘lish startapning bir qismi bo‘lishni anglatadi. Ma'lumotlar sifatiga kirganingizdan so'ng, siz ko'plab zamonaviy, talabga ega bo'lgan texnologiyalar bilan tanishasiz, lekin eng muhimi, g'oyalaringizni yaratish va amalga oshirish uchun siz uchun ulkan imkoniyatlar ochiladi. Uzluksiz takomillashtirish yondashuvidan nafaqat loyihada, balki o'zingiz uchun ham doimiy ravishda mutaxassis sifatida rivojlana olasiz.
Manba: www.habr.com