Cov ntaub ntawv loj thiab me me tester: tiam sis, kev xav, kuv zaj dab neeg

Nyob zoo sawv daws, kuv lub npe yog Alexander, thiab kuv yog Data Quality engineer uas xyuas cov ntaub ntawv rau nws zoo. Kab lus no yuav tham txog yuav ua li cas kuv tuaj rau qhov no thiab yog vim li cas xyoo 2020 qhov kev sim no nyob rau saum nthwv dej.

Cov ntaub ntawv loj thiab me me tester: tiam sis, kev xav, kuv zaj dab neeg

Ntiaj teb no sib

Niaj hnub no lub ntiaj teb no tab tom ntsib lwm qhov kev hloov kho thev naus laus zis, ib qho ntawm qhov uas yog siv cov ntaub ntawv khaws tseg los ntawm txhua yam ntawm cov tuam txhab los txhawb lawv tus kheej flywheel ntawm kev muag khoom, cov txiaj ntsig thiab PR. Nws zoo nkaus li tias muaj cov ntaub ntawv zoo (zoo), nrog rau cov hlwb txawj ntse uas tuaj yeem ua tau nyiaj los ntawm nws (txhim kho kom raug, pom, tsim qauv kev kawm tshuab, thiab lwm yam), tau dhau los ua tus yuam sij rau kev vam meej rau ntau niaj hnub no. Yog tias 15-20 xyoo dhau los cov tuam txhab loj tau koom nrog hauv kev ua haujlwm hnyav nrog cov ntaub ntawv khaws cia thiab kev ua kom tau nyiaj, hnub no yog ntau ntawm yuav luag txhua tus neeg zoo.

Hauv qhov no, ob peb xyoos dhau los, txhua lub portals mob siab rau nrhiav haujlwm thoob ntiaj teb tau pib ua haujlwm rau cov kws tshawb fawb Cov Ntaub Ntawv, txij li txhua tus paub tseeb tias, tau ntiav tus kws tshaj lij no, nws yuav muaj peev xwm tsim kom muaj tus qauv zoo tshaj plaws ntawm kev kawm tshuab. , kwv yees lub neej yav tom ntej thiab ua "quantum leap" rau lub tuam txhab. Nyob rau tib lub sijhawm, tib neeg pom tau hais tias txoj hauv kev no yuav luag tsis ua haujlwm nyob qhov twg, vim tsis yog txhua yam ntaub ntawv uas poob rau hauv tes ntawm cov kws tshaj lij no yog tsim rau cov qauv kev cob qhia.

Thiab kev thov los ntawm Cov Kws Tshawb Fawb tau pib: "Cia peb yuav cov ntaub ntawv ntau ntxiv los ntawm cov no thiab cov ...", "Peb tsis muaj cov ntaub ntawv txaus ...", "Peb xav tau qee cov ntaub ntawv ntxiv, nyiam dua ib qho zoo ..." . Raws li cov kev thov no, ntau qhov kev sib cuam tshuam tau pib tsim los ntawm cov tuam txhab uas muaj ib lossis lwm cov ntaub ntawv. Lawm, qhov no yuav tsum tau lub koom haum technical ntawm cov txheej txheem no - txuas mus rau cov ntaub ntawv qhov chaw, downloading nws, xyuas tias nws twb loaded nyob rau hauv tag nrho, thiab lwm yam. Tus naj npawb ntawm cov txheej txheem no pib loj hlob, thiab hnub no peb muaj ib tug lossis loj xav tau rau lwm yam. Cov kws tshaj lij - Cov Ntaub Ntawv Zoo engineers - cov neeg uas yuav saib xyuas cov ntaub ntawv ntws hauv qhov system (cov ntaub ntawv kav dej), cov ntaub ntawv zoo ntawm cov khoom siv thiab cov khoom siv, thiab kos cov lus xaus txog lawv qhov txaus, kev ncaj ncees thiab lwm yam ntxwv.

Cov qauv rau cov ntaub ntawv zoo engineers tuaj rau peb los ntawm Teb Chaws Asmeskas, qhov twg, nyob rau hauv nruab nrab ntawm lub raging era ntawm capitalism, tsis muaj leej twg yog npaj txhij los poob kev sib ntaus sib tua rau cov ntaub ntawv. Hauv qab no kuv tau muab cov screenshots los ntawm ob qhov chaw nrhiav haujlwm nrov tshaj plaws hauv Asmeskas: www.monster.com ΠΈ www.dice.com - uas nthuav tawm cov ntaub ntawv txij li lub Peb Hlis 17, 2020 ntawm tus naj npawb ntawm cov haujlwm tshaj tawm tau txais los ntawm cov ntsiab lus: Cov Ntaub Ntawv Zoo thiab Cov Kws Tshawb Fawb Cov Ntaub Ntawv.

www.monster.com

Cov kws tshawb fawb cov ntaub ntawv - 21416 qhov chaw haujlwm
Cov Ntaub Ntawv Zoo - 41104 qhov chaw ua haujlwm

Cov ntaub ntawv loj thiab me me tester: tiam sis, kev xav, kuv zaj dab neeg
Cov ntaub ntawv loj thiab me me tester: tiam sis, kev xav, kuv zaj dab neeg

www.dice.com

Cov kws tshawb fawb cov ntaub ntawv - 404 qhov chaw ua haujlwm
Data Quality – 2020 vacancy

Cov ntaub ntawv loj thiab me me tester: tiam sis, kev xav, kuv zaj dab neeg
Cov ntaub ntawv loj thiab me me tester: tiam sis, kev xav, kuv zaj dab neeg

Obviously, cov hauj lwm no nyob rau hauv tsis muaj txoj kev sib tw nrog ib leeg. Nrog cov screenshots, kuv tsuas yog xav qhia txog qhov xwm txheej tam sim no ntawm kev ua lag luam ua haujlwm raws li kev thov rau Data Quality engineers, uas xav tau ntau tam sim no dua li Cov Kws Tshawb Fawb Cov Ntaub Ntawv.

Thaum Lub Rau Hli 2019, EPAM, teb rau cov kev xav tau ntawm kev lag luam IT niaj hnub no, cais Cov Ntaub Ntawv Zoo rau hauv ib qho kev coj ua. Data Quality engineers, nyob rau hauv cov chav kawm ntawm lawv cov hauj lwm niaj hnub, tswj cov ntaub ntawv, xyuas nws tus cwj pwm nyob rau hauv tshiab tej yam kev mob thiab systems, saib xyuas qhov tseeb ntawm cov ntaub ntawv, nws txaus thiab qhov tseeb. Nrog rau tag nrho cov no, nyob rau hauv qhov kev txiav txim zoo, Cov Ntaub Ntawv Zoo engineers tau siv sijhawm me ntsis rau kev sim ua haujlwm classical, TAB SIS qhov no zoo heev nyob ntawm qhov project (Kuv yuav muab piv txwv hauv qab no).

Lub luag haujlwm ntawm Tus Kws Ua Haujlwm Zoo Cov Ntaub Ntawv tsis txwv tsuas yog cov ntawv qhia niaj hnub / kev kuaj xyuas tsis siv neeg rau "nulls, suav thiab cov lej" hauv cov ntaub ntawv database, tab sis yuav tsum muaj kev nkag siab tob txog cov neeg siv khoom xav tau kev lag luam thiab, raws li, lub peev xwm los hloov cov ntaub ntawv muaj nyob rau hauv cov ntaub ntawv ua lag luam muaj txiaj ntsig.

Data Quality Theory

Cov ntaub ntawv loj thiab me me tester: tiam sis, kev xav, kuv zaj dab neeg

Txhawm rau kom paub meej ntxiv txog lub luag haujlwm ntawm tus kws tshaj lij, cia peb txheeb xyuas seb Cov Ntaub Ntawv Zoo li cas hauv txoj kev xav.

Cov Ntaub Ntawv Zoo - Ib theem ntawm Kev Tswj Xyuas Cov Ntaub Ntawv (tag nrho lub ntiaj teb uas peb yuav tawm rau koj los kawm ntawm koj tus kheej) thiab yog lub luag haujlwm rau kev tshuaj xyuas cov ntaub ntawv raws li cov hauv qab no:

Cov ntaub ntawv loj thiab me me tester: tiam sis, kev xav, kuv zaj dab neeg
Kuv xav tias tsis tas yuav decipher txhua lub ntsiab lus (hauv txoj kev xav lawv hu ua "cov ntaub ntawv qhov ntev"), lawv tau piav qhia zoo hauv daim duab. Tab sis cov txheej txheem kuaj nws tus kheej tsis hais nruj me ntsis rau kev luam cov yam ntxwv no rau hauv cov ntaub ntawv xeem thiab kuaj xyuas lawv. Hauv Cov Ntaub Ntawv Zoo, ib yam li lwm yam kev sim, nws yog ib qho tsim nyog, ua ntej ntawm tag nrho cov, los tsim cov ntaub ntawv zoo raws li kev pom zoo nrog rau cov neeg koom tes uas txiav txim siab ua lag luam.

Nyob ntawm qhov project Data Quality, tus kws ua haujlwm tuaj yeem ua haujlwm sib txawv: los ntawm cov neeg siv khoom siv hluav taws xob zoo tib yam nrog kev soj ntsuam ntawm cov ntaub ntawv zoo, rau tus neeg uas ua qhov sib sib zog nqus ntawm cov ntaub ntawv raws li cov txheej txheem saum toj no.

Cov lus piav qhia ntxaws heev ntawm Kev Tswj Cov Ntaub Ntawv, Cov Ntaub Ntawv Zoo thiab cov txheej txheem cuam tshuam tau piav qhia zoo hauv phau ntawv hu ua "DAMA-DMBOK: Cov Ntaub Ntawv Tswj Xyuas Lub Cev ntawm Kev Paub: 2nd Edition". Kuv pom zoo kom phau ntawv no ua ib qho kev taw qhia rau lub ncauj lus no (koj yuav pom qhov txuas rau nws tom kawg ntawm kab lus).

Kuv keeb kwm

Hauv kev lag luam IT, Kuv tau ua haujlwm kuv txoj hauv kev los ntawm Junior tester hauv cov tuam txhab khoom lag luam mus rau Lead Data Quality Engineer ntawm EPAM. Tom qab li ob xyoos ntawm kev ua hauj lwm raws li ib tug tester, kuv muaj kev ntseeg ruaj khov tias kuv tau ua txhua yam kev ntsuam xyuas kiag li: regression, functional, stress, stability, ruaj ntseg, UI, thiab lwm yam. ua haujlwm tib lub sijhawm hauv peb hom lus programming: Java, Scala, Python.

Saib rov qab, kuv nkag siab tias vim li cas kuv cov kev txawj ntse thiaj li muaj ntau haiv neeg-Kuv tau koom nrog cov ntaub ntawv-tsav cov haujlwm, loj thiab me. Qhov no yog qhov uas coj kuv mus rau hauv lub ntiaj teb ntawm ntau yam cuab yeej thiab lub cib fim rau kev loj hlob.

Txhawm rau txaus siab rau ntau yam cuab yeej thiab lub sijhawm kom tau txais kev paub tshiab thiab kev txawj ntse, tsuas yog saib daim duab hauv qab no, uas qhia cov neeg nyiam tshaj plaws hauv "Data & AI" ntiaj teb.

Cov ntaub ntawv loj thiab me me tester: tiam sis, kev xav, kuv zaj dab neeg
Cov duab zoo li no tau muab tso ua ke txhua xyoo los ntawm ib tus neeg ua lag luam nto moo Matt Turck, uas yog los ntawm kev txhim kho software. Ntawm no txuas rau nws blog thiab venture capital tuam txhab, qhov twg nws ua hauj lwm raws li ib tug khub.

Kuv loj hlob sai heev tshwj xeeb tshaj yog thaum kuv tsuas yog tus neeg soj ntsuam ntawm qhov project, lossis tsawg kawg thaum pib ntawm qhov project. Nws yog lub sijhawm zoo li no uas koj yuav tsum tau ua lub luag haujlwm rau tag nrho cov txheej txheem sim, thiab koj tsis muaj sijhawm los thim rov qab, tsuas yog tom ntej. Thaum xub thawj nws txaus ntshai, tab sis tam sim no txhua qhov zoo ntawm qhov kev sim no pom tseeb rau kuv:

  • Koj pib sib txuas lus nrog tag nrho pab neeg zoo li tsis tau ua dhau los, vim tsis muaj npe rau kev sib txuas lus: tsis yog tus thawj tswj hwm lossis cov neeg sib tw xeem.
  • Lub immersion nyob rau hauv qhov project yog incredibly tob, thiab koj muaj cov ntaub ntawv hais txog tag nrho cov Cheebtsam, ob qho tag nrho thiab nyob rau hauv kom meej.
  • Cov neeg tsim khoom tsis saib koj li "tus txiv neej ntawd los ntawm kev sim uas tsis paub tias nws ua dab tsi," tab sis yog tus sib npaug uas tsim cov txiaj ntsig zoo kawg rau pab pawg nrog nws cov kev sim siab thiab kev cia siab ntawm cov kab mob tshwm sim hauv ib feem ntawm cov khoom.
  • Yog li ntawd, koj ua tau zoo dua, tsim nyog, thiab xav tau ntau dua.

Raws li qhov project loj hlob tuaj, hauv 100% ntawm cov xwm txheej kuv tau los ua tus cob qhia rau cov neeg sim tshiab, qhia lawv thiab dhau qhov kev paub uas kuv tau kawm kuv tus kheej. Nyob rau tib lub sijhawm, nyob ntawm qhov project, kuv tsis tas yuav tau txais qib siab tshaj plaws ntawm cov kws tshaj lij kev sim pib los ntawm kev tswj hwm thiab yuav tsum tau cob qhia lawv hauv automation (rau cov neeg nyiam) lossis tsim cov cuab yeej siv hauv txhua hnub (cov cuab yeej rau tsim cov ntaub ntawv thiab thauj lawv mus rau hauv lub kaw lus, ib qho cuab yeej rau kev ua haujlwm load testing/stability testing "ceev", thiab lwm yam).

Piv txwv ntawm ib qhov project tshwj xeeb

Hmoov tsis zoo, vim yog cov luag haujlwm tsis qhia tawm, kuv tsis tuaj yeem tham kom meej txog cov haujlwm uas kuv tau ua haujlwm, tab sis kuv yuav muab piv txwv ntawm cov haujlwm raug cai ntawm Data Quality Engineer ntawm ib qho ntawm cov haujlwm.

Lub ntsiab lus ntawm qhov project yog siv lub platform rau kev npaj cov ntaub ntawv rau kev cob qhia tshuab kev kawm qauv raws li nws. Cov neeg siv khoom yog lub tuam txhab tshuaj loj los ntawm Asmeskas. Technically nws yog ib pawg Kubernetes, nce mus AWS EC2 Piv txwv li, nrog ob peb microservices thiab hauv paus Open Source project ntawm EPAM - legion, yoog raws li cov kev xav tau ntawm cov neeg siv khoom tshwj xeeb (tam sim no qhov project tau rov qab los rau hauv odahu ua). Cov txheej txheem ETL tau teeb tsa siv apache airflow thiab tsiv cov ntaub ntawv los ntawm Kev Muag Khoom Muag cov neeg siv khoom systems hauv AWS S3 Lub thoob. Tom ntej no, Docker duab ntawm tus qauv kev kawm tshuab tau xa mus rau lub platform, uas tau kawm txog cov ntaub ntawv tshiab thiab, siv REST API interface, tsim cov kev kwv yees uas muaj kev txaus siab rau kev lag luam thiab daws cov teeb meem tshwj xeeb.

Visually, txhua yam zoo li no:

Cov ntaub ntawv loj thiab me me tester: tiam sis, kev xav, kuv zaj dab neeg
Muaj ntau qhov kev sim ua haujlwm ntawm qhov project no, thiab muab qhov ceev ntawm kev txhim kho feature thiab qhov xav tau los tswj lub nrawm ntawm lub voj voog tso tawm (ob lub lis piam sprints), nws yog qhov yuav tsum tau xav tam sim txog kev ntsuas qhov ntsuas qhov tseem ceeb tshaj plaws ntawm qhov system. Feem ntau ntawm Kubernetes-based platform nws tus kheej tau them los ntawm autotests siv hauv Robot Framework + Python, tab sis nws kuj yog qhov tsim nyog los txhawb thiab nthuav lawv. Tsis tas li ntawd, rau qhov yooj yim ntawm cov neeg siv khoom, GUI tau tsim los tswj cov qauv kev kawm tshuab xa mus rau pawg, nrog rau muaj peev xwm txheeb xyuas qhov twg thiab qhov twg cov ntaub ntawv xav tau xa mus rau kev cob qhia cov qauv. Qhov kev sib txuas ntxiv no ua rau muaj kev nthuav dav ntawm kev ntsuas kev ua haujlwm tsis siv neeg, uas feem ntau ua tiav los ntawm REST API hu thiab tsawg kawg ntawm 2-kawg UI xeem. Nyob ib ncig ntawm txoj kab nruab nrab ntawm tag nrho cov kev txav no, peb tau koom nrog los ntawm cov neeg siv phau ntawv ntsuas uas tau ua haujlwm zoo nrog kev lees paub ntawm cov khoom lag luam thiab kev sib txuas lus nrog cov neeg siv khoom txog kev lees paub ntawm kev tso tawm tom ntej. Tsis tas li ntawd, vim tias tuaj txog ntawm tus kws tshaj lij tshiab, peb tuaj yeem sau peb cov haujlwm thiab ntxiv ob peb phau ntawv tseem ceeb heev uas nyuaj rau automate tam sim ntawd.

Thiab thaum kawg, tom qab peb ua tiav kev ruaj ntseg ntawm lub platform thiab GUI ntxiv rau nws, peb pib tsim ETL cov kav dej siv Apache Airflow DAGs. Kev kuaj xyuas cov ntaub ntawv zoo tau ua tiav los ntawm kev sau ntawv tshwj xeeb Airflow DAGs uas kuaj xyuas cov ntaub ntawv raws li cov txiaj ntsig ntawm ETL txheej txheem. Raws li ib feem ntawm txoj haujlwm no, peb muaj hmoo thiab cov neeg siv khoom tau muab peb nkag mus rau cov ntaub ntawv tsis qhia npe uas peb tau sim. Peb tau txheeb xyuas cov ntaub ntawv kab los ntawm kab rau kev ua raws li hom, muaj cov ntaub ntawv tawg, tag nrho cov ntaub ntawv ua ntej thiab tom qab, kev sib piv ntawm kev hloov pauv los ntawm cov txheej txheem ETL rau kev sib sau, hloov cov npe kab, thiab lwm yam. Tsis tas li ntawd, cov tshev no tau ntsuas rau cov ntaub ntawv sib txawv, piv txwv li, ntxiv rau SalesForce, kuj rau MySQL.

Cov ntaub ntawv zaum kawg kev kuaj xyuas tau ua tiav nyob rau theem S3, qhov chaw uas lawv tau khaws cia thiab npaj txhij-rau-siv rau kev cob qhia cov qauv kev kawm. Txhawm rau kom tau txais cov ntaub ntawv los ntawm cov ntaub ntawv CSV zaum kawg nyob rau ntawm S3 Bucket thiab siv tau nws, code tau sau siv boto3 cov.

Kuj tseem muaj qhov yuav tsum tau ua los ntawm cov neeg siv khoom kom khaws ib feem ntawm cov ntaub ntawv hauv ib lub thoob S3 thiab ib feem ntawm lwm qhov. Qhov no tseem yuav tsum tau sau cov tshev ntxiv txhawm rau txheeb xyuas qhov kev ntseeg tau ntawm cov kev txheeb xyuas zoo li no.

Kev paub dav dav los ntawm lwm cov haujlwm

Ib qho piv txwv ntawm cov npe feem ntau ntawm cov dej num ntawm Data Quality engineer:

  • Npaj cov ntaub ntawv xeem ( siv tsis tau loj me me) los ntawm cov cuab yeej siv tshuab.
  • Upload cov ntaub ntawv npaj mus rau qhov qub thiab xyuas tias nws yog npaj txhij rau kev siv.
  • Tua tawm ETL cov txheej txheem rau kev ua cov txheej txheem ntawm cov ntaub ntawv los ntawm qhov chaw cia mus rau qhov kawg lossis nruab nrab cia siv cov txheej txheem ntawm kev teeb tsa (yog tias ua tau, teeb tsa qhov tsis raug rau ETL txoj haujlwm).
  • Txheeb xyuas cov ntaub ntawv ua tiav los ntawm tus txheej txheem ETL rau nws qhov zoo thiab ua raws li cov kev xav tau ntawm kev lag luam.

Nyob rau tib lub sijhawm, lub ntsiab lus tseem ceeb ntawm kev txheeb xyuas yuav tsum tsis yog tsuas yog ntawm qhov tseeb tias cov ntaub ntawv ntws hauv qhov system muaj, hauv paus ntsiab lus, ua haujlwm thiab ua tiav (uas yog ib feem ntawm kev sim ua haujlwm), tab sis feem ntau ntawm kev tshuaj xyuas thiab kev lees paub cov ntaub ntawv rau ua raws li cov kev xav tau, txheeb xyuas qhov tsis txaus ntseeg thiab lwm yam.

Cov cuab yeej

Ib qho ntawm cov txheej txheem rau kev tswj cov ntaub ntawv no tuaj yeem yog lub koom haum ntawm kev txheeb xyuas cov saw ntawm txhua theem ntawm kev ua cov ntaub ntawv, lub npe hu ua "cov ntaub ntawv saw" hauv cov ntaub ntawv - tswj cov ntaub ntawv los ntawm qhov chaw mus rau qhov kawg ntawm kev siv. Cov hom kev kuaj no feem ntau siv los ntawm kev sau ntawv txheeb xyuas SQL queries. Nws yog qhov tseeb tias cov lus nug no yuav tsum yog qhov hnyav npaum li qhov ua tau thiab tshawb xyuas cov khoom ntawm cov ntaub ntawv zoo (cov lus metadata, cov kab dawb paug, NULLs, yuam kev hauv syntax - lwm yam khoom uas yuav tsum tau kuaj xyuas).

Nyob rau hauv cov ntaub ntawv ntawm regression xeem, uas siv npaj txhij-ua (tsis hloov, hloov me ntsis) cov ntaub ntawv teev, autotest code tuaj yeem khaws cov qauv npaj rau kev kuaj xyuas cov ntaub ntawv kom ua raws li qhov zoo (cov lus piav qhia ntawm cov lus xav tau metadata; kab qauv khoom uas tuaj yeem ua tau. xaiv random thaum kuaj, thiab lwm yam).

Tsis tas li ntawd, thaum kuaj, koj yuav tsum sau ETL cov txheej txheem xeem siv cov txheej txheem xws li Apache Airflow, Apache txim lossis txawm tias lub thawv dub-lub thawv huab hom cuab yeej GCP Dataprep, GCP Dataflow Thiab li ntawd. Qhov xwm txheej no yuam tus kws tshaj lij kev sim kom nkag siab nws tus kheej hauv cov hauv paus ntsiab lus ntawm kev ua haujlwm ntawm cov cuab yeej saum toj no thiab tseem ua tau zoo dua ob qho tib si kev sim ua haujlwm (piv txwv li, cov txheej txheem ETL uas twb muaj lawm ntawm ib qhov project) thiab siv lawv los xyuas cov ntaub ntawv. Tshwj xeeb, Apache Airflow muaj cov neeg ua haujlwm npaj ua haujlwm nrog cov ntaub ntawv txheeb xyuas nrov, piv txwv GCP BigQuery. Cov piv txwv yooj yim tshaj plaws ntawm nws txoj kev siv twb tau piav qhia S, SΡ“S,, yog li kuv yuav tsis rov hais dua kuv tus kheej.

Sib nrug los ntawm kev npaj ua tiav, tsis muaj leej twg txwv tsis pub koj siv koj tus kheej cov tswv yim thiab cov cuab yeej. Qhov no yuav tsis tsuas yog muaj txiaj ntsig zoo rau qhov project, tab sis kuj yog rau Data Quality Engineer nws tus kheej, uas yuav ua rau nws txoj kev txawj ntse thiab coding txawj ntse.

Nws ua haujlwm li cas ntawm qhov project tiag

Ib qho piv txwv zoo ntawm cov kab lus kawg hais txog "cov ntaub ntawv xov xwm", ETL thiab kev txheeb xyuas thoob plaws yog cov txheej txheem hauv qab no los ntawm ib qho ntawm cov haujlwm tiag tiag:

Cov ntaub ntawv loj thiab me me tester: tiam sis, kev xav, kuv zaj dab neeg

Ntawm no, ntau yam ntaub ntawv (naturally, npaj los ntawm peb) nkag mus rau hauv lub tswv yim "funnel" ntawm peb lub cev: siv tau, tsis siv, sib xyaw, thiab lwm yam, tom qab ntawd lawv tau lim thiab xaus rau hauv qhov nruab nrab cia, tom qab ntawd lawv rov qab ua ntau yam kev hloov pauv. thiab muab tso rau hauv qhov kawg cia , los ntawm qhov uas, nyob rau hauv lem, analytics, tsim cov ntaub ntawv marts thiab nrhiav kev lag luam insights yuav ua. Nyob rau hauv xws li ib tug system, tsis muaj functionality xyuas lub lag luam ntawm ETL cov txheej txheem, peb tsom mus rau qhov zoo ntawm cov ntaub ntawv ua ntej thiab tom qab transformations, raws li zoo raws li nyob rau hauv cov zis rau analytics.

Txhawm rau sau cov ntsiab lus saum toj no, tsis hais qhov chaw uas kuv ua haujlwm, txhua qhov chaw kuv tau koom nrog Cov Ntaub Ntawv Cov Haujlwm uas qhia cov yam ntxwv hauv qab no:

  • Tsuas yog los ntawm automation koj tuaj yeem sim qee qhov xwm txheej thiab ua tiav lub voj voog tso cai rau kev lag luam.
  • Tus neeg soj ntsuam ntawm qhov project no yog ib qho ntawm cov tswv cuab ntawm pab pawg uas muaj kev hwm tshaj plaws, vim nws coj cov txiaj ntsig zoo rau txhua tus neeg koom nrog (kev nrawm ntawm kev sim, cov ntaub ntawv zoo los ntawm Tus Kws Tshawb Fawb Cov Ntaub Ntawv, txheeb xyuas qhov tsis xws luag hauv cov theem pib).
  • Nws tsis muaj teeb meem txawm tias koj ua haujlwm ntawm koj tus kheej kho vajtse lossis hauv huab - tag nrho cov peev txheej yog abstracted rau hauv pawg xws li Hortonworks, Cloudera, Mesos, Kubernetes, thiab lwm yam.
  • Cov phiaj xwm yog tsim los ntawm microservice mus kom ze, faib thiab sib piv kev suav ua ntej.

Kuv xav kom nco ntsoov tias thaum ua kev ntsuam xyuas hauv thaj tsam ntawm Cov Ntaub Ntawv Zoo, tus kws kuaj xyuas tshwj xeeb hloov nws txoj kev tsom mus rau cov cai ntawm cov khoom thiab cov cuab yeej siv.

Cov yam ntxwv tshwj xeeb ntawm Kev Ntsuas Cov Ntaub Ntawv Zoo

Tsis tas li ntawd, rau kuv tus kheej, kuv tau txheeb xyuas cov hauv qab no (Kuv yuav tam sim ua qhov tshwj xeeb tias lawv yog qhov dav dav thiab tshwj xeeb tshwj xeeb) cov yam ntxwv ntawm kev sim hauv Cov Ntaub Ntawv (Cov Ntaub Ntawv Loj) cov haujlwm (systems) thiab lwm qhov chaw:

Cov ntaub ntawv loj thiab me me tester: tiam sis, kev xav, kuv zaj dab neeg

Pab kev sib txuas lus

  1. Kev xav: DAMA-DMBOK: Cov Ntaub Ntawv Tswj Xyuas Lub Cev ntawm Kev Paub: 2nd Edition.
  2. Chaw cob qhia EPAM 
  3. Cov ntaub ntawv pom zoo rau tus pib Data Quality engineer:
    1. Cov chav kawm dawb ntawm Stepik: Taw qhia rau databases
    2. Course ntawm LinkedIn Learning: Data Science Foundations: Data Engineering.
    3. Cov ntawv:
    4. Yees duab:

xaus

Cov Ntaub Ntawv Zoo yog ib qho kev cog lus hluas heev, los ua ib feem ntawm uas txhais tau tias yog ib feem ntawm kev pib ua haujlwm. Ib zaug hauv Cov Ntaub Ntawv Zoo, koj yuav nkag mus rau hauv ntau cov thev naus laus zis niaj hnub, hauv kev xav tau, tab sis qhov tseem ceeb tshaj, cov cib fim loj yuav qhib rau koj los tsim thiab siv koj cov tswv yim. Koj yuav tuaj yeem siv txoj kev txhim kho txuas ntxiv tsis yog ntawm qhov project, tab sis kuj rau koj tus kheej, txuas ntxiv txhim kho raws li tus kws tshaj lij.

Tau qhov twg los: www.hab.com

Ntxiv ib saib