મોટા અને નાના ડેટા ટેસ્ટર: વલણો, સિદ્ધાંત, મારી વાર્તા

બધાને નમસ્કાર, મારું નામ એલેક્ઝાન્ડર છે, અને હું ડેટા ક્વોલિટી એન્જિનિયર છું જે તેની ગુણવત્તા માટે ડેટા તપાસે છે. આ લેખ હું આમાં કેવી રીતે આવ્યો અને શા માટે 2020 માં પરીક્ષણનો આ વિસ્તાર તરંગની ટોચ પર હતો તે વિશે વાત કરશે.

વૈશ્વિક વલણ

આજની દુનિયા બીજી તકનીકી ક્રાંતિનો અનુભવ કરી રહી છે, જેનું એક પાસું તમામ પ્રકારની કંપનીઓ દ્વારા તેમના પોતાના વેચાણ, નફા અને પીઆરના ફ્લાયવ્હીલને પ્રોત્સાહન આપવા માટે સંચિત ડેટાનો ઉપયોગ છે. એવું લાગે છે કે સારા (ગુણવત્તાવાળા) ડેટાની હાજરી, તેમજ કુશળ મગજ કે જેઓ તેમાંથી પૈસા કમાઈ શકે છે (યોગ્ય રીતે પ્રક્રિયા કરી શકે છે, વિઝ્યુઅલાઈઝ કરી શકે છે, મશીન લર્નિંગ મૉડલ્સ બનાવી શકે છે, વગેરે), આજે ઘણા લોકો માટે સફળતાની ચાવી બની ગઈ છે. જો 15-20 વર્ષ પહેલાં મોટી કંપનીઓ મુખ્યત્વે ડેટા સંચય અને મુદ્રીકરણ સાથેના સઘન કાર્યમાં સામેલ હતી, તો આજે આ લગભગ તમામ સમજદાર લોકો છે.

આ સંદર્ભે, ઘણા વર્ષો પહેલા, વિશ્વભરમાં નોકરીની શોધ માટે સમર્પિત તમામ પોર્ટલ ડેટા વૈજ્ઞાનિકો માટેની ખાલી જગ્યાઓથી ભરવાનું શરૂ થયું, કારણ કે દરેકને ખાતરી હતી કે, આવા નિષ્ણાતને નોકરીએ રાખ્યા પછી, મશીન લર્નિંગનું સુપરમોડેલ બનાવવું શક્ય બનશે. , ભવિષ્યની આગાહી કરો અને કંપની માટે "ક્વોન્ટમ લીપ" કરો. સમય જતાં, લોકોને સમજાયું કે આ અભિગમ લગભગ ક્યારેય ક્યાંય કામ કરતું નથી, કારણ કે આવા નિષ્ણાતોના હાથમાં આવતા તમામ ડેટા તાલીમ મોડેલો માટે યોગ્ય નથી.

અને ડેટા સાયન્ટિસ્ટ્સની વિનંતીઓ શરૂ થઈ: “ચાલો આ અને તેમાંથી વધુ ડેટા ખરીદીએ...”, “અમારી પાસે પૂરતો ડેટા નથી...”, “અમને કેટલાક વધુ ડેટાની જરૂર છે, પ્રાધાન્યમાં ઉચ્ચ-ગુણવત્તાવાળા...” . આ વિનંતીઓના આધારે, ડેટાના એક અથવા બીજા સેટની માલિકી ધરાવતી કંપનીઓ વચ્ચે અસંખ્ય ક્રિયાપ્રતિક્રિયાઓ શરૂ થઈ. સ્વાભાવિક રીતે, આના માટે આ પ્રક્રિયાના તકનીકી સંગઠનની જરૂર હતી - ડેટા સ્ત્રોત સાથે કનેક્ટ કરવું, તેને ડાઉનલોડ કરવું, તે સંપૂર્ણ રીતે લોડ થયું છે કે નહીં તે તપાસવું વગેરે. આવી પ્રક્રિયાઓની સંખ્યા વધવા લાગી, અને આજે આપણને બીજા પ્રકારની મોટી જરૂરિયાત છે. નિષ્ણાતો - ડેટા ગુણવત્તા ઇજનેરો - જેઓ સિસ્ટમમાં ડેટાના પ્રવાહનું નિરીક્ષણ કરશે (ડેટા પાઇપલાઇન્સ), ઇનપુટ અને આઉટપુટ પર ડેટાની ગુણવત્તા અને તેમની પર્યાપ્તતા, અખંડિતતા અને અન્ય લાક્ષણિકતાઓ વિશે તારણો કાઢશે.

ડેટા ક્વોલિટી એન્જિનિયર્સ માટેનો ટ્રેન્ડ યુએસએથી અમારી પાસે આવ્યો, જ્યાં મૂડીવાદના પ્રચંડ યુગની વચ્ચે, કોઈ પણ ડેટા માટેના યુદ્ધમાં હારવા તૈયાર નથી. નીચે મેં યુ.એસ.માં સૌથી વધુ લોકપ્રિય નોકરી શોધ સાઇટ્સમાંથી બે સ્ક્રીનશૉટ્સ પ્રદાન કર્યા છે: www.monster.com и www.dice.com — જે કીવર્ડ્સનો ઉપયોગ કરીને પ્રાપ્ત થયેલી પોસ્ટ કરેલી ખાલી જગ્યાઓની સંખ્યા પર માર્ચ 17, 2020 સુધીનો ડેટા દર્શાવે છે: ડેટા ક્વોલિટી અને ડેટા સાયન્ટિસ્ટ.

www.monster.com

ડેટા સાયન્ટિસ્ટ – 21416 જગ્યાઓ
ડેટા ગુણવત્તા – 41104 ખાલી જગ્યાઓ

www.dice.com

ડેટા સાયન્ટિસ્ટ – 404 જગ્યાઓ
ડેટા ગુણવત્તા - 2020 ખાલી જગ્યાઓ

દેખીતી રીતે, આ વ્યવસાયો કોઈ પણ રીતે એકબીજા સાથે સ્પર્ધા કરતા નથી. સ્ક્રીનશૉટ્સ સાથે, હું ફક્ત ડેટા ક્વોલિટી એન્જિનિયર્સની વિનંતીઓના સંદર્ભમાં મજૂર બજારની વર્તમાન પરિસ્થિતિને સમજાવવા માંગતો હતો, જેમાંથી હવે ડેટા વૈજ્ઞાનિકો કરતાં ઘણું વધારે જરૂરી છે.

જૂન 2019 માં, EPAM, આધુનિક IT બજારની જરૂરિયાતોને પ્રતિસાદ આપતા, ડેટા ગુણવત્તાને એક અલગ પ્રેક્ટિસમાં અલગ કરી. ડેટા ક્વોલિટી એન્જિનિયરો, તેમના રોજિંદા કાર્ય દરમિયાન, ડેટાનું સંચાલન કરે છે, નવી પરિસ્થિતિઓ અને સિસ્ટમ્સમાં તેની વર્તણૂક તપાસે છે, ડેટાની સુસંગતતા, તેની પર્યાપ્તતા અને સુસંગતતાનું નિરીક્ષણ કરે છે. આ બધા સાથે, વ્યવહારિક અર્થમાં, ડેટા ક્વોલિટી એન્જિનિયરો ખરેખર શાસ્ત્રીય કાર્યાત્મક પરીક્ષણ માટે થોડો સમય ફાળવે છે, પરંતુ આ મોટા પ્રમાણમાં પ્રોજેક્ટ પર આધાર રાખે છે (હું નીચે એક ઉદાહરણ આપીશ).

ડેટા ક્વોલિટી એન્જિનિયરની જવાબદારીઓ માત્ર ડેટાબેઝ કોષ્ટકોમાં "નલ, ગણતરીઓ અને સરવાળો" માટે નિયમિત મેન્યુઅલ/ઓટોમેટિક ચેક્સ સુધી મર્યાદિત નથી, પરંતુ ગ્રાહકની વ્યવસાયિક જરૂરિયાતોની ઊંડી સમજ અને તે મુજબ, ઉપલબ્ધ ડેટામાં રૂપાંતરિત કરવાની ક્ષમતા જરૂરી છે. ઉપયોગી વ્યવસાય માહિતી.

ડેટા ગુણવત્તા સિદ્ધાંત

આવા એન્જિનિયરની ભૂમિકાની વધુ સંપૂર્ણ કલ્પના કરવા માટે, ચાલો જાણીએ કે સિદ્ધાંતમાં ડેટા ગુણવત્તા શું છે.

ડેટા ગુણવત્તા - ડેટા મેનેજમેન્ટના તબક્કાઓમાંથી એક (એક આખું વિશ્વ કે જેને અમે તમારા પોતાના પર અભ્યાસ કરવા માટે છોડીશું) અને નીચેના માપદંડો અનુસાર ડેટાનું વિશ્લેષણ કરવા માટે જવાબદાર છે:

મને લાગે છે કે દરેક બિંદુઓને સમજવાની જરૂર નથી (સિદ્ધાંતમાં તેઓને "ડેટા પરિમાણો" કહેવામાં આવે છે), તેઓ ચિત્રમાં ખૂબ સારી રીતે વર્ણવેલ છે. પરંતુ પરીક્ષણ પ્રક્રિયા પોતે જ પરીક્ષણ કેસોમાં આ સુવિધાઓની સખત નકલ કરવી અને તેમને તપાસવાનું સૂચિત કરતી નથી. ડેટા ગુણવત્તામાં, અન્ય કોઈપણ પ્રકારના પરીક્ષણની જેમ, તે જરૂરી છે, સૌ પ્રથમ, વ્યવસાયિક નિર્ણયો લેનારા પ્રોજેક્ટ સહભાગીઓ સાથે સંમત થયેલ ડેટા ગુણવત્તાની આવશ્યકતાઓનું નિર્માણ કરવું.

ડેટા ક્વોલિટી પ્રોજેક્ટના આધારે, એન્જિનિયર વિવિધ કાર્યો કરી શકે છે: ડેટા ગુણવત્તાના સુપરફિસિયલ મૂલ્યાંકન સાથેના સામાન્ય ઓટોમેશન ટેસ્ટરથી, ઉપરોક્ત માપદંડો અનુસાર ડેટાની ઊંડી પ્રોફાઇલિંગ કરતી વ્યક્તિ સુધી.

નામના પુસ્તકમાં ડેટા મેનેજમેન્ટ, ડેટા ગુણવત્તા અને સંબંધિત પ્રક્રિયાઓનું ખૂબ જ વિગતવાર વર્ણન સારી રીતે વર્ણવવામાં આવ્યું છે "DAMA-DMBOK: ડેટા મેનેજમેન્ટ બોડી ઓફ નોલેજ: 2જી આવૃત્તિ". હું આ વિષયના પરિચય તરીકે આ પુસ્તકની ખૂબ ભલામણ કરું છું (તમને લેખના અંતે તેની લિંક મળશે).

મારી વાર્તા

IT ઉદ્યોગમાં, મેં પ્રોડક્ટ કંપનીઓમાં જુનિયર ટેસ્ટરથી લઈને EPAM ખાતે લીડ ડેટા ક્વોલિટી એન્જિનિયર સુધી કામ કર્યું. પરીક્ષક તરીકે લગભગ બે વર્ષ કામ કર્યા પછી, મને દૃઢ વિશ્વાસ હતો કે મેં તમામ પ્રકારના પરીક્ષણો કર્યા છે: રીગ્રેસન, કાર્યાત્મક, તણાવ, સ્થિરતા, સુરક્ષા, UI, વગેરે. - અને મોટી સંખ્યામાં પરીક્ષણ સાધનોનો પ્રયાસ કર્યો, જેમાં એક જ સમયે ત્રણ પ્રોગ્રામિંગ ભાષાઓમાં કામ કર્યું: Java, Scala, Python.

પાછળ જોઈને, હું સમજું છું કે શા માટે મારો કૌશલ્ય સમૂહ આટલો વૈવિધ્યસભર હતો—હું ડેટા-આધારિત પ્રોજેક્ટ્સમાં સામેલ હતો, નાના અને મોટા. આ તે છે જેણે મને ઘણા સાધનો અને વિકાસ માટેની તકોની દુનિયામાં લાવ્યો.

નવા જ્ઞાન અને કૌશલ્યો મેળવવા માટેના વિવિધ સાધનો અને તકોની પ્રશંસા કરવા માટે, ફક્ત નીચેનું ચિત્ર જુઓ, જે "ડેટા અને એઆઈ" વિશ્વમાં સૌથી વધુ લોકપ્રિય બતાવે છે.

સોફ્ટવેર ડેવલપમેન્ટમાંથી આવતા વિખ્યાત વેન્ચર કેપિટાલિસ્ટ મેટ ટર્ક દ્વારા આ પ્રકારનું દ્રષ્ટાંત વાર્ષિક ધોરણે સંકલિત કરવામાં આવે છે. અહીં ссылка તેના બ્લોગ પર અને સાહસ મૂડી પેઢીજ્યાં તે ભાગીદાર તરીકે કામ કરે છે.

જ્યારે હું પ્રોજેક્ટ પર એકમાત્ર ટેસ્ટર હતો, અથવા ઓછામાં ઓછા પ્રોજેક્ટની શરૂઆતમાં હું વ્યાવસાયિક રીતે ખાસ કરીને ઝડપથી વિકાસ પામ્યો. તે એવી ક્ષણે છે કે તમારે સમગ્ર પરીક્ષણ પ્રક્રિયા માટે જવાબદાર બનવું પડશે, અને તમારી પાસે પીછેહઠ કરવાની કોઈ તક નથી, ફક્ત આગળ. શરૂઆતમાં તે ડરામણી હતી, પરંતુ હવે આવા પરીક્ષણના તમામ ફાયદા મારા માટે સ્પષ્ટ છે:

• તમે આખી ટીમ સાથે વાતચીત કરવાનું શરૂ કરો છો જેમ કે પહેલાં ક્યારેય નહોતું, કારણ કે સંચાર માટે કોઈ પ્રોક્સી નથી: ન તો ટેસ્ટ મેનેજર કે સાથી પરીક્ષકો.
• પ્રોજેક્ટમાં નિમજ્જન અવિશ્વસનીય રીતે ઊંડું બને છે, અને તમારી પાસે સામાન્ય રીતે અને વિગતવાર બંને ઘટકો વિશેની માહિતી છે.
• વિકાસકર્તાઓ તમને "પરીક્ષણ કરનાર તે વ્યક્તિ તરીકે જોતા નથી કે જે જાણતો નથી કે તે શું કરી રહ્યો છે," પરંતુ એક સમાન તરીકે જે તેના સ્વયંસંચાલિત પરીક્ષણો અને તેના ચોક્કસ ઘટકમાં દેખાતી ભૂલોની અપેક્ષા સાથે ટીમ માટે અવિશ્વસનીય લાભો ઉત્પન્ન કરે છે. ઉત્પાદન
• પરિણામે, તમે વધુ અસરકારક, વધુ લાયક અને માંગમાં વધુ છો.

જેમ જેમ પ્રોજેક્ટ વધતો ગયો, 100% કેસોમાં હું નવા પરીક્ષકો માટે માર્ગદર્શક બન્યો, તેમને શીખવતો રહ્યો અને જે જ્ઞાન મેં જાતે શીખ્યું હતું તેને આગળ ધપાવ્યું. તે જ સમયે, પ્રોજેક્ટના આધારે, મને હંમેશા મેનેજમેન્ટ તરફથી ઉચ્ચ સ્તરના ઓટો પરીક્ષણ નિષ્ણાતો પ્રાપ્ત થયા ન હતા અને કાં તો તેમને ઓટોમેશનમાં તાલીમ આપવાની જરૂર હતી (રુચિ ધરાવતા લોકો માટે) અથવા રોજિંદા પ્રવૃત્તિઓ (ટૂલ્સ) માં ઉપયોગ માટે સાધનો બનાવવાની જરૂર હતી. ડેટા જનરેટ કરવા અને તેને સિસ્ટમમાં લોડ કરવા માટે, લોડ ટેસ્ટિંગ/સ્ટેબિલિટી ટેસ્ટિંગ "ઝડપથી", વગેરે કરવા માટેનું સાધન).

ચોક્કસ પ્રોજેક્ટનું ઉદાહરણ

કમનસીબે, બિન-જાહેરાતની જવાબદારીઓને લીધે, હું જે પ્રોજેક્ટ્સ પર કામ કર્યું છે તેના વિશે હું વિગતવાર વાત કરી શકતો નથી, પરંતુ હું એક પ્રોજેક્ટ પરના ડેટા ક્વોલિટી એન્જિનિયરના લાક્ષણિક કાર્યોના ઉદાહરણો આપીશ.

પ્રોજેક્ટનો સાર તેના આધારે મશીન લર્નિંગ મોડલ્સને તાલીમ આપવા માટે ડેટા તૈયાર કરવા માટે એક પ્લેટફોર્મનો અમલ કરવાનો છે. ગ્રાહક યુએસએની મોટી ફાર્માસ્યુટિકલ કંપની હતી. તકનીકી રીતે તે એક ક્લસ્ટર હતું ક્યુબર્નેટિસસુધી વધી રહી છે AWS EC2 દાખલાઓ, ઘણી માઇક્રો સર્વિસીસ અને EPAM ના અંતર્ગત ઓપન સોર્સ પ્રોજેક્ટ સાથે - લીજન, ચોક્કસ ગ્રાહકની જરૂરિયાતોને અનુરૂપ (હવે પ્રોજેક્ટનો પુનર્જન્મ થયો છે ઓડાહુ). ETL પ્રક્રિયાઓનો ઉપયોગ કરીને આયોજન કરવામાં આવ્યું હતું અપાચે એરફ્લો અને માંથી ડેટા ખસેડ્યો સેલ્સફોર્સ માં ગ્રાહક સિસ્ટમો AWS S3 ડોલ. આગળ, પ્લેટફોર્મ પર મશીન લર્નિંગ મોડલની ડોકર ઇમેજ ગોઠવવામાં આવી હતી, જેને તાજા ડેટા પર તાલીમ આપવામાં આવી હતી અને, REST API ઈન્ટરફેસનો ઉપયોગ કરીને, વ્યવસાય માટે રુચિ ધરાવતા અને ચોક્કસ સમસ્યાઓનું નિરાકરણ કરતી આગાહીઓ તૈયાર કરવામાં આવી હતી.

દૃષ્ટિની રીતે, બધું આના જેવું દેખાતું હતું:

આ પ્રોજેક્ટ પર પુષ્કળ કાર્યાત્મક પરીક્ષણો હતા, અને વિશેષતા વિકાસની ઝડપ અને પ્રકાશન ચક્ર (બે-અઠવાડિયાની સ્પ્રિન્ટ્સ) ની ગતિ જાળવવાની જરૂરિયાતને જોતાં, સૌથી મહત્વપૂર્ણ ઘટકોના સ્વચાલિત પરીક્ષણ વિશે તરત જ વિચારવું જરૂરી હતું. સિસ્ટમ કુબરનેટસ-આધારિત મોટા ભાગના પ્લેટફોર્મ પોતે જ અમલમાં મુકાયેલા ઓટોટેસ્ટ દ્વારા આવરી લેવામાં આવ્યા હતા રોબોટ ફ્રેમવર્ક + પાયથોન, પરંતુ તેમને ટેકો આપવા અને વિસ્તૃત કરવા માટે પણ તે જરૂરી હતું. વધુમાં, ગ્રાહકની સગવડતા માટે, ક્લસ્ટરમાં તૈનાત મશીન લર્નિંગ મોડલ્સનું સંચાલન કરવા માટે, તેમજ મોડેલોને તાલીમ આપવા માટે ડેટા ક્યાં અને ક્યાં ટ્રાન્સફર કરવાની જરૂર છે તે સ્પષ્ટ કરવાની ક્ષમતા માટે GUI બનાવવામાં આવ્યું હતું. આ વ્યાપક વધારામાં સ્વયંસંચાલિત કાર્યાત્મક પરીક્ષણના વિસ્તરણને સામેલ કરવામાં આવ્યું હતું, જે મોટે ભાગે REST API કૉલ્સ અને અંત-2-અંતના UI પરીક્ષણોની નાની સંખ્યા દ્વારા કરવામાં આવ્યું હતું. આ તમામ ચળવળના વિષુવવૃત્તની આસપાસ, અમે એક મેન્યુઅલ ટેસ્ટર દ્વારા જોડાયા હતા જેમણે ઉત્પાદન સંસ્કરણોની સ્વીકૃતિ પરીક્ષણ અને આગામી પ્રકાશનની સ્વીકૃતિ અંગે ગ્રાહક સાથે વાતચીત કરવા સાથે ઉત્તમ કાર્ય કર્યું હતું. વધુમાં, એક નવા નિષ્ણાતના આગમનને કારણે, અમે અમારા કાર્યને દસ્તાવેજીકૃત કરવામાં અને ઘણી મહત્વપૂર્ણ મેન્યુઅલ તપાસો ઉમેરી શક્યા જે તરત જ સ્વચાલિત કરવા મુશ્કેલ હતા.

અને અંતે, અમે પ્લેટફોર્મ અને GUI એડ-ઓનથી સ્થિરતા પ્રાપ્ત કર્યા પછી, અમે Apache Airflow DAGs નો ઉપયોગ કરીને ETL પાઇપલાઇન્સ બનાવવાનું શરૂ કર્યું. ખાસ એરફ્લો DAGs લખીને સ્વચાલિત ડેટા ગુણવત્તા ચકાસણી હાથ ધરવામાં આવી હતી જેણે ETL પ્રક્રિયાના પરિણામોના આધારે ડેટાની તપાસ કરી હતી. આ પ્રોજેક્ટના ભાગ રૂપે, અમે નસીબદાર હતા અને ગ્રાહકે અમને અનામી ડેટા સેટ્સની ઍક્સેસ આપી જેના પર અમે પરીક્ષણ કર્યું. અમે પ્રકારો, તૂટેલા ડેટાની હાજરી, પહેલા અને પછીના રેકોર્ડ્સની કુલ સંખ્યા, એકત્રીકરણ માટે ETL પ્રક્રિયા દ્વારા કરાયેલા પરિવર્તનની સરખામણી, કૉલમના નામ બદલવા અને અન્ય બાબતો માટે અમે લાઇન દ્વારા ડેટા લાઇન તપાસી. વધુમાં, આ તપાસો વિવિધ ડેટા સ્ત્રોતો પર માપવામાં આવી હતી, ઉદાહરણ તરીકે, SalesForce ઉપરાંત, MySQL પર પણ.

અંતિમ ડેટા ગુણવત્તા તપાસ પહેલાથી જ S3 સ્તરે હાથ ધરવામાં આવી હતી, જ્યાં તેઓ સંગ્રહિત હતા અને તાલીમ મશીન લર્નિંગ મોડલ્સ માટે ઉપયોગમાં લેવા માટે તૈયાર હતા. S3 બકેટ પર સ્થિત અંતિમ CSV ફાઇલમાંથી ડેટા મેળવવા અને તેને માન્ય કરવા માટે, કોડનો ઉપયોગ કરીને લખવામાં આવ્યો હતો boto3 ગ્રાહકો.

ગ્રાહક તરફથી ડેટાનો એક ભાગ એક S3 બકેટમાં અને ભાગ બીજામાં સંગ્રહિત કરવાની જરૂરિયાત પણ હતી. આને આવા સોર્ટિંગની વિશ્વસનીયતા ચકાસવા માટે વધારાના ચેક લખવાની પણ જરૂર છે.

અન્ય પ્રોજેક્ટ્સમાંથી સામાન્ય અનુભવ

ડેટા ક્વોલિટી એન્જિનિયરની પ્રવૃત્તિઓની સૌથી સામાન્ય સૂચિનું ઉદાહરણ:

• ઓટોમેટેડ ટૂલ દ્વારા ટેસ્ટ ડેટા (માન્ય અમાન્ય મોટું નાનું) તૈયાર કરો.
• તૈયાર ડેટા સેટને મૂળ સ્ત્રોત પર અપલોડ કરો અને તપાસો કે તે ઉપયોગ માટે તૈયાર છે.
• સેટિંગના ચોક્કસ સેટનો ઉપયોગ કરીને સ્રોત સ્ટોરેજથી અંતિમ અથવા મધ્યવર્તી સ્ટોરેજ સુધી ડેટાના સેટની પ્રક્રિયા કરવા માટે ETL પ્રક્રિયાઓ શરૂ કરો (જો શક્ય હોય તો, ETL કાર્ય માટે રૂપરેખાંકિત પરિમાણો સેટ કરો).
• ETL પ્રક્રિયા દ્વારા તેની ગુણવત્તા અને વ્યવસાયની આવશ્યકતાઓનું પાલન કરવા માટે પ્રક્રિયા કરાયેલ ડેટાને ચકાસો.

તે જ સમયે, તપાસનું મુખ્ય ધ્યાન માત્ર એ હકીકત પર જ ન હોવું જોઈએ કે સિસ્ટમમાં ડેટા ફ્લો, સૈદ્ધાંતિક રીતે, કામ કરે છે અને પૂર્ણતા સુધી પહોંચે છે (જે કાર્યાત્મક પરીક્ષણનો ભાગ છે), પરંતુ મોટે ભાગે ડેટાની ચકાસણી અને માન્યતા પર અપેક્ષિત જરૂરિયાતોનું પાલન, વિસંગતતાઓને ઓળખવી અને અન્ય વસ્તુઓ.

સાધનો

આવા ડેટા નિયંત્રણ માટેની તકનીકોમાંની એક ડેટા પ્રોસેસિંગના દરેક તબક્કે સાંકળ તપાસનું સંગઠન હોઈ શકે છે, સાહિત્યમાં કહેવાતી "ડેટા સાંકળ" - સ્ત્રોતથી અંતિમ ઉપયોગના બિંદુ સુધી ડેટાનું નિયંત્રણ. આ પ્રકારના ચેક્સ મોટાભાગે એસક્યુએલ ક્વેરીઝની ચકાસણી લખીને લાગુ કરવામાં આવે છે. તે સ્પષ્ટ છે કે આવી ક્વેરી શક્ય તેટલી હળવી હોવી જોઈએ અને ડેટા ગુણવત્તાના વ્યક્તિગત ટુકડાઓ (કોષ્ટકો મેટાડેટા, ખાલી લીટીઓ, NULL, વાક્યરચનામાં ભૂલો - તપાસ માટે જરૂરી અન્ય વિશેષતાઓ) તપાસો.

રીગ્રેશન ટેસ્ટિંગના કિસ્સામાં, જે તૈયાર (બદલ ન કરી શકાય તેવા, સહેજ ફેરફાર કરી શકાય તેવા) ડેટા સેટ્સનો ઉપયોગ કરે છે, ઓટોટેસ્ટ કોડ ગુણવત્તા સાથે અનુપાલન માટે ડેટા તપાસવા માટે તૈયાર નમૂનાઓ સંગ્રહિત કરી શકે છે (અપેક્ષિત કોષ્ટક મેટાડેટાનું વર્ણન; પંક્તિ નમૂના ઑબ્જેક્ટ્સ કે જે હોઈ શકે છે. પરીક્ષણ દરમિયાન અવ્યવસ્થિત રીતે પસંદ કરવામાં આવે છે, વગેરે).

ઉપરાંત, પરીક્ષણ દરમિયાન, તમારે અપાચે એરફ્લો જેવા ફ્રેમવર્કનો ઉપયોગ કરીને ETL પરીક્ષણ પ્રક્રિયાઓ લખવી પડશે. અપાચે સ્પાર્ક અથવા તો બ્લેક-બોક્સ ક્લાઉડ પ્રકારનું સાધન GCP ડેટાપ્રેપ, GCP ડેટાફ્લો અને તેથી વધુ. આ સંજોગો ટેસ્ટ એન્જિનિયરને ઉપરોક્ત ટૂલ્સના સંચાલનના સિદ્ધાંતોમાં ડૂબી જવા દબાણ કરે છે અને તેનાથી પણ વધુ અસરકારક રીતે બંને કાર્યાત્મક પરીક્ષણ (ઉદાહરણ તરીકે, પ્રોજેક્ટ પર હાલની ETL પ્રક્રિયાઓ) હાથ ધરે છે અને ડેટા તપાસવા માટે તેનો ઉપયોગ કરે છે. ખાસ કરીને, અપાચે એરફ્લો લોકપ્રિય વિશ્લેષણાત્મક ડેટાબેસેસ સાથે કામ કરવા માટે તૈયાર ઓપરેટરો ધરાવે છે, ઉદાહરણ તરીકે GCP BigQuery. તેના ઉપયોગનું સૌથી મૂળભૂત ઉદાહરણ પહેલેથી જ દર્શાવેલ છે અહીં, તેથી હું મારી જાતને પુનરાવર્તન કરીશ નહીં.

તૈયાર સોલ્યુશન્સ સિવાય, કોઈ તમને તમારી પોતાની તકનીકો અને સાધનોને અમલમાં મૂકવા માટે પ્રતિબંધિત કરતું નથી. આ માત્ર પ્રોજેક્ટ માટે જ નહીં, પણ ખુદ ડેટા ક્વોલિટી એન્જિનિયર માટે પણ ફાયદાકારક રહેશે, જેઓ આ રીતે તેમની ટેકનિકલ ક્ષિતિજો અને કોડિંગ કૌશલ્યોને સુધારશે.

તે વાસ્તવિક પ્રોજેક્ટ પર કેવી રીતે કાર્ય કરે છે

“ડેટા ચેઈન”, ETL અને સર્વવ્યાપક તપાસ વિશેના છેલ્લા ફકરાઓનું સારું ઉદાહરણ વાસ્તવિક પ્રોજેક્ટ્સમાંથી એક નીચેની પ્રક્રિયા છે:

અહીં, વિવિધ ડેટા (કુદરતી રીતે, અમારા દ્વારા તૈયાર કરવામાં આવે છે) અમારી સિસ્ટમના ઇનપુટ "ફનલ" દાખલ કરે છે: માન્ય, અમાન્ય, મિશ્ર, વગેરે, પછી તે ફિલ્ટર થાય છે અને મધ્યવર્તી સ્ટોરેજમાં સમાપ્ત થાય છે, પછી તેઓ ફરીથી પરિવર્તનની શ્રેણીમાંથી પસાર થાય છે. અને અંતિમ સંગ્રહમાં મૂકવામાં આવે છે, જેમાંથી, બદલામાં, એનાલિટિક્સ, બિલ્ડીંગ ડેટા માર્ટ્સ અને બિઝનેસ આંતરદૃષ્ટિની શોધ હાથ ધરવામાં આવશે. આવી સિસ્ટમમાં, ETL પ્રક્રિયાઓની કામગીરીને વિધેયાત્મક રીતે તપાસ્યા વિના, અમે રૂપાંતરણ પહેલાં અને પછીના ડેટાની ગુણવત્તા તેમજ એનાલિટિક્સમાં આઉટપુટ પર ધ્યાન કેન્દ્રિત કરીએ છીએ.

ઉપરોક્ત સારાંશ આપવા માટે, મેં જ્યાં કામ કર્યું છે તે સ્થાનોને ધ્યાનમાં લીધા વિના, દરેક જગ્યાએ હું ડેટા પ્રોજેક્ટ્સમાં સામેલ હતો જે નીચેની સુવિધાઓ શેર કરે છે:

• ફક્ત ઓટોમેશન દ્વારા તમે કેટલાક કેસોની ચકાસણી કરી શકો છો અને વ્યવસાય માટે સ્વીકાર્ય પ્રકાશન ચક્ર પ્રાપ્ત કરી શકો છો.
• આવા પ્રોજેક્ટ પર પરીક્ષક એ ટીમના સૌથી આદરણીય સભ્યોમાંનો એક છે, કારણ કે તે દરેક સહભાગીઓને મહાન લાભો લાવે છે (પરીક્ષણની ગતિ, ડેટા સાયન્ટિસ્ટ તરફથી સારો ડેટા, પ્રારંભિક તબક્કામાં ખામીઓની ઓળખ).
• તમે તમારા પોતાના હાર્ડવેર પર અથવા ક્લાઉડ્સ પર કામ કરો છો તેનાથી કોઈ ફરક પડતો નથી - બધા સંસાધનો હોર્ટનવર્કસ, ક્લાઉડેરા, મેસોસ, કુબરનેટ્સ વગેરે જેવા ક્લસ્ટરમાં અમૂર્ત છે.
• પ્રોજેક્ટ્સ માઇક્રોસર્વિસ અભિગમ પર બાંધવામાં આવે છે, વિતરિત અને સમાંતર કમ્પ્યુટિંગ પ્રબળ છે.

હું એ નોંધવા માંગુ છું કે ડેટા ગુણવત્તાના ક્ષેત્રમાં પરીક્ષણ કરતી વખતે, પરીક્ષણ નિષ્ણાત તેનું વ્યાવસાયિક ધ્યાન ઉત્પાદનના કોડ અને ઉપયોગમાં લેવાતા સાધનો પર ફેરવે છે.

ડેટા ગુણવત્તા પરીક્ષણની વિશિષ્ટ સુવિધાઓ

વધુમાં, મારા માટે, મેં નીચેનાને ઓળખી કાઢ્યા છે (હું તરત જ એક આરક્ષણ કરીશ કે તે ખૂબ જ સામાન્યકૃત અને વિશિષ્ટ રીતે વ્યક્તિલક્ષી છે) ડેટા (બિગ ડેટા) પ્રોજેક્ટ્સ (સિસ્ટમ્સ) અને અન્ય ક્ષેત્રોમાં પરીક્ષણની વિશિષ્ટ સુવિધાઓ:

ઉપયોગી લિંક્સ

1. સિદ્ધાંત: DAMA-DMBOK: ડેટા મેનેજમેન્ટ બોડી ઓફ નોલેજ: 2જી આવૃત્તિ.
2. તાલીમ કેન્દ્ર EPAM 
3. પ્રારંભિક ડેટા ગુણવત્તા ઇજનેર માટે ભલામણ કરેલ સામગ્રી:
   1. સ્ટેપિક પર મફત અભ્યાસક્રમ: ડેટાબેઝનો પરિચય. 
   2. LinkedIn લર્નિંગ પર અભ્યાસક્રમ: ડેટા સાયન્સ ફાઉન્ડેશન્સ: ડેટા એન્જિનિયરિંગ.
   3. લેખો:
      • બિઝનેસ ઇન્ટેલિજન્સ અને ડેટા ગુણવત્તા; 
      • ETL પરીક્ષણ; 
      • ડેટા પ્રોફાઇલિંગ શું છે? પ્રક્રિયા, શ્રેષ્ઠ પ્રયાસો અને સાધનો; 
      • ટેસ્ટ ડેટા જનરેશન: શું છે, કેવી રીતે કરવું, ઉદાહરણ, સાધનો; 
      • 5 ટેસ્ટ ડેટા જનરેશન ટેકનિક જે તમારે જાણવાની જરૂર છે. 
   4. વિડિઓ:
      • ડેટા ગુણવત્તા ખ્યાલો | ડેટા ગુણવત્તા ટ્યુટોરીયલ | ડેટા વેરહાઉસિંગ ટ્યુટોરીયલ;
      • SSIS નો ઉપયોગ કરીને ડેટા પ્રોફાઇલિંગ;
      • સ્પાર્ક સાથે ડેટા પ્રોફાઇલિંગ અને પાઇપલાઇન પ્રોસેસિંગ.

નિષ્કર્ષ

ડેટા ગુણવત્તા એક ખૂબ જ યુવાન આશાસ્પદ દિશા છે, જેનો ભાગ બનવું એટલે સ્ટાર્ટઅપનો ભાગ બનવું. એકવાર ડેટા ક્વોલિટીમાં, તમે મોટી સંખ્યામાં આધુનિક, માંગમાં રહેલી તકનીકોમાં ડૂબી જશો, પરંતુ સૌથી અગત્યનું, તમારા વિચારોને જનરેટ કરવા અને અમલમાં મૂકવા માટે તમારા માટે વિશાળ તકો ખુલશે. તમે માત્ર પ્રોજેક્ટ પર જ નહીં, પણ તમારા માટે પણ, નિષ્ણાત તરીકે સતત વિકાસ કરતા સતત સુધારણા અભિગમનો ઉપયોગ કરી શકશો.

સોર્સ: www.habr.com