á¡á¬ážáá¯á¶ážáá²áááºá¹ááá¬áá«á áá»áœááºá¯ááºáá¡áááºááŸá¬ á¡áááºáááºážáá«ážááŒá áºááŒá®áž áá»áœááºá¯ááºááẠáá±áá¬á¡áááºá¡ááœá±ážááᯠá á áºáá±ážáá±ážáá±á¬ áá±áá¬á¡áááºá¡ááœá±áž á¡ááºáá»ááºáá®áá¬ááŒá áºáá«áááºá á€áá±á¬ááºážáá«ážááœáẠáá»áœááºá¯ááºááẠá€ááá¯á· áááºááá¯á·áá±á¬ááºáá¬ááŒá±á¬ááºážááŸáá·áº 2020 ááœáẠá€á ááºážáááºááŸá¯áááºáááºááẠááŸáá¯ááºážáá¯á¶ážááŒá®ážáá±á«áºááœáẠá¡áááºááŒá±á¬áá·áºááŸááá±áá²á·áááºááᯠá€áá±á¬ááºážáá«ážááœáẠááœá±ážááœá±ážáá«áááºá
ááá¹áá¬áá¯á¶ážááá¯ááºáá¬áááºážááŒá±á¬ááºáž
ááá±á·ááá¹áá¬ááŒá®ážááẠá¡ááŒá¬ážáááºážááá¬ááá¯ááºáᬠáá±á¬áºááŸááºáá±ážááᯠááœá±á·ááŒá¯á¶áá±áááŒá®áž áá áºáá¯ááŸá¬ áá¯áá¹ááá®á¡áá»áá¯ážáá»áá¯ážá á¡áá±á¬ááºážá¡áááºá á¡ááŒááºá¡á áœááºážááŸáá·áº PR ááá¯á·ááᯠááŒáŸáá·áºáááºááẠáá¯áá¹ááá®á¡áá»áá¯ážáá»áá¯ážá០á á¯áá±á¬ááºážáá¬ážáá±á¬ á¡áá»ááºá¡áááºáá»á¬ážááᯠá¡áá¯á¶ážááŒá¯ááŒááºáž ááá¹ááá áºáá¯ááŒá áºáááºá áá±á¬ááºážááœááºáá±á¬ (á¡áááºá¡ááœá±áž) áá±áá¬áá»á¬ážá¡ááŒáẠáááºážá០ááœá±ááŸá¬ááá¯ááºáá±á¬ áá»áœááºážáá»ááºáá±á¬ áŠážááŸá±á¬ááºáá»á¬áž (ááŸááºáááºá áœá¬ áá¯ááºáá±á¬ááºááŒááºážá ááŒááºáá¬á¡á±á¬áẠáááºáá®ážááŒááºážá á ááºáááºáá°ááŸá¯ áá±á¬áºáááºáá»á¬áž áááºáá±á¬ááºááŒááºáž á áááºááŒáá·áº) ááá¯á·ááẠááá±á·áá±áẠáá°áá»á¬ážá áœá¬á¡ááœáẠá¡á±á¬ááºááŒááºááŸá¯á áá±á¬á·áá»ááºááŒá áºáá¬áá¯á¶ááááºá ááœááºáá²á·ááá·áº 15-20 ááŸá áºááá·áºá áá¯áá¹ááá®ááŒá®ážáá»á¬ážááẠáá±áá¬á á¯áá±á¬ááºážááŒááºážááŸáá·áº ááœá±ááŸá¬ááŒááºážáá¯ááºáááºážááœáẠá¡áááá¡á¬ážááŒáá·áº áá«áááºáááºáááºáá²á·áááºááá¯áá»áŸáẠááá±á·áá±ááºááœáẠá€á¡áá¬ááẠáá°áá±á¬ááºážá¡á¬ážáá¯á¶ážáá®ážáá«ážááŒá áºáááºá
áááºážááŸáá·áºáááºáááºáá ááœááºáá²á·áá±á¬ááŸá áºáá»á¬ážá áœá¬á ááá¹áá¬áá áºááŸááºážááŸá á¡áá¯ááºá¡ááá¯ááºááŸá¬ááœá±ááŒááºážá¡ááœáẠáááºá á°ážáá¬ážáá±á¬ portals áá»á¬ážá¡á¬ážáá¯á¶ážááẠData Scientists áá»á¬ážá¡ááœáẠáá áºáááºááŸá¯áá»á¬ážááŸáá·áº ááŒáá·áºááŸááºáá¬áá²á·áᬠáá°ááá¯ááºážá ááá¯áá²á·ááá¯á·áá±á¬ á¡áá°ážáá»áœááºážáá»ááºáá°ááᯠááŸá¬ážáááºážááŒá®áž á ááºáááºáá°ááŸá¯áá á°áá«áá±á¬áºáááºááºááᯠáááºáá±á¬ááºááá¯ááºáááºáᯠáá°ááá¯ááºážáááá²á·ááŒáá«áááºá á¡áá¬áááºááᯠááŒáá¯áááºááá·áºááŸááºážááŒá®áž áá¯áá¹ááá®á¡ááœáẠ"ááœááºáááºáá¯ááº" ááᯠáá¯ááºáá±á¬ááºáá«á á¡áá»áááºááŒá¬áá¬áááºááŸáá·áºá¡áá»áŸá á€áá»ááºážáááºáááºážááẠáááºááá·áºáá±áá¬ááœááºá០á¡áá¯ááºáááŒá áºáá±á¬á·ááŒá±á¬ááºáž áá°áá»á¬ážá ááá±á¬áá±á«ááºáá¬ááŒáááºá á¡áááºááŒá±á¬áá·áºááá¯áá±á¬áº ááá¯áá²á·ááá¯á·áá±á¬ á¡áá°ážáá»áœááºážáá»ááºáá°áá»á¬ážáááºááá¯á· áá»áá±á¬ááºáá±á¬ áá±áá¬á¡á¬ážáá¯á¶ážááẠáá±á·áá»áá·áºáá±ážáá±á¬áºáááºáá»á¬ážá¡ááœáẠááá·áºáá»á±á¬áºááŸá¯áááŸááá±á¬ááŒá±á¬áá·áºááŒá áºáááºá
Data Scientists áá»á¬ážáá¶á០áá±á¬ááºážááá¯ááŸá¯áá»á¬áž á áááºáá²á·áááº- "áá«ááœá±áá²á· á¡á²áá«ááœá±áá®á áá±áá¬ááœá± áááºáááºáá¡á±á¬ááº..."á "áá±áᬠááá¯á¶áá±á¬ááºáá°áž..."á "áá«ááá¯á· áá±áá¬ááœá± ááá¯ááá¯áááºá ááŒá áºááá¯ááºááẠá¡áááºá¡ááœá±ážááŒáá·áºáá²á·..." . á€áá±á¬ááºážááá¯ááŸá¯áá»á¬ážá¡áá±á«áº á¡ááŒá±áá¶á áá±áá¬áá áºáᯠááá¯á·ááá¯áẠá¡ááŒá¬ážá¡á á¯áá áºáá¯ááá¯ááºááá¯ááºááá·áº áá¯áá¹ááá®áá»á¬ážááŒá¬ážááœáẠá¡ááŒááºá¡ááŸááºáá¯á¶á·ááŒááºááŸá¯áá»á¬áž á¡áá»á¬ážá¡ááŒá¬ážááᯠá áááºáááºáá±á¬ááºáá²á·áááºá ááá¬áá¡á¬ážááŒáá·áºá áááºážááẠá€áá¯ááºáááºážá ááºá áááºážááá¬ááá¯ááºáᬠá¡ááœá²á·á¡á ááºáž ááá¯á¡ááºááẠ- áá±áá¬áááºážááŒá áºááá¯á· áá»áááºáááºááŒááºážá áááºážááᯠáá±á«ááºážáá¯ááºááœá²ááŒááºážá á¡ááŒáá·áºá¡á áááºáá¬ážááŒááºáž ááŸáá áááŸá á á áºáá±ážááŒááºáž á áááºááŒáá·áºá ááá¯ááá¯á·áá±á¬ áá¯ááºáááºážá ááºáá»á¬ážá á¡áá±á¡ááœááºááẠááŒá®ážááœá¬ážáá¬áá²á·ááŒá®áž ááá±á·ááœáẠáá»áœááºá¯ááºááá¯á·ááœáẠá¡ááŒá¬ážáá±á¬ á¡áá»áá¯ážá¡á á¬ážáá»á¬ážá áœá¬ ááá¯á¡ááºáá±áá«áááºá áá»áœááºážáá»ááºáá°áá»á¬áž - áá±áá¬á¡áááºá¡ááœá±áž á¡ááºáá»ááºáá®áá¬áá»á¬áž - á áá Ạ(áá±áá¬ááá¯ááºááá¯ááºážáá»á¬áž) ááœáẠáá±áá¬á á®ážáááºážááŸá¯ááᯠá á±á¬áá·áºááŒáá·áºááá·áºáá°áá»á¬ážá á¡áááºááŸáá·áº á¡ááœááºááœáẠáá±áá¬á¡áááºá¡ááœá±ážá áááºážááá¯á·á áá¯á¶áá±á¬ááºááŸá¯á ááá¯ááºáá¬ááŸá¯ááŸáá·áº á¡ááŒá¬ážáááá±áááá¹ááá¬áá»á¬ážá¡ááŒá±á¬ááºáž áá±á¬ááºáá»ááºááœá²ááá·áºáá°áá»á¬ážá
áá±áá¬á¡áááºá¡ááœá±áž á¡ááºáá»ááºáá®áá¬áá»á¬ážá¡ááœáẠáááºážááŒá±á¬ááºážáá áºááẠá¡áááºážááŸááºá áá áºá ááá¯ááºááá¯áž áá±á¬ááºáá±á¬ááºáá±áá±á¬ áá±ááºááŒá®ážááœáẠáá±áá¬á¡ááœáẠááá¯ááºááœá²áááºááẠáááºáá°áá»áŸ á¡áááºááá·áºáááŒá áºáá±ážáá±á¬ USA á០áá»áœááºá¯ááºááá¯á·áᶠáá±á¬ááºáá¬áááºá á¡á±á¬ááºááœáẠáá»áœááºá¯ááºááẠUS ááŸá áá°ááŒáá¯ááºá¡áá»á¬ážáá¯á¶áž á¡áá¯ááºááŸá¬ááœá±áá±ážááá¯ááºááŸá áºáá¯á០áááºáá¬ážááŒááºáá¬ááºáá¯á¶áá»á¬ážááᯠáá±á¬áºááŒáá±ážáá¬ážáá«áááºá О â áá±á¬á·áá»ááºá á¬áá¯á¶ážáá»á¬ážááᯠá¡áá¯á¶ážááŒá¯á áááºáá¶áááŸáááá·áº áááºáá¬ážáá±á¬ áá áºáááºáá±áá¬áá»á¬áž á¡áá±á¡ááœááº- áá±áá¬á¡áááºá¡ááœá±ážááŸáá·áº áá±áá¬áááá¹áá¶ááá¬ááŸááºá
áá±áá¬áááá¹áá¶ááá¬ááŸáẠâ áá
áºáááºáá±áᬠááááá
áá±áá¬á¡áááºá¡ááœá±áž â áá
áºáááºáá±áᬠááááá
áá±áá¬áááá¹áá¶ááá¬ááŸáẠâ áá
áºáááºáá±áᬠááá
áá±áá¬á¡áááºá¡ááœá±áž - 2020 áá
áºáááºáá±áá¬áá»á¬áž
áááºááŸá¬ážáááºááŸá¬ á€ááá¬áááºáá»á¬ážááẠáá áºáá¯ááŸáá·áºáá áºáᯠááŒáá¯ááºááá¯ááºááŸá¯ áááŸááá«á áááºáá¬ážááŒááºáá¬ááºáá¯á¶áá»á¬ážááŒáá·áºá áá±áᬠáááá¹áá¶ááá¬ááŸááºáá»á¬ážááẠááá¯ááá¯ááá¯ááá¯á¡ááºáá±áá±á¬ áá±áá¬á¡áááºá¡ááœá±áž á¡ááºáá»ááºáá®áá¬áá»á¬ážá¡ááœáẠáá±á¬ááºážááá¯ááŸá¯áá»á¬ážá¡á á¡áá¯ááºááá¬ážá á»á±ážááœááºá áááºááŸáá¡ááŒá±á¡áá±ááᯠááá¯ááºáá±á¬áºááá¯áá«áááºá
2019 áá¯ááŸá ẠááœááºáááœáẠEPAM ááẠáá±ááºáá®á¡áá¯ááºáá®á á»á±ážááœááºáááá¯á¡ááºáá»ááºáá»á¬ážááá¯áá¯á¶á·ááŒááºáᬠáá±áá¬á¡áááºá¡ááœá±ážááᯠáá®ážááŒá¬ážá¡áá±á·á¡áá»áá·áºá¡ááŒá Ạááá¯ááºážááŒá¬ážáá²á·áááºá áá±áá¬á¡áááºá¡ááœá±áž á¡ááºáá»ááºáá®áá¬áá»á¬ážááẠáááºážááá¯á·ááá±á·á ááºáá¯ááºáááºážááœááºááœáẠáá±áá¬ááᯠá á®áá¶ááá·áºááœá²ááŒááºážá á¡ááŒá±á¡áá±á¡áá áºáá»á¬ážááŸáá·áº á áá áºáá»á¬ážááœáẠáááºážáá¡ááŒá¯á¡áá°ááᯠá á áºáá±ážááŒááºážá áá±áá¬á áááºá ááºááŸá¯á áá¯á¶áá±á¬ááºááŸá¯ááŸáá·áº áááºá ááºááŸá¯ááᯠá á±á¬áá·áºááŒáá·áºáááºá á€á¡áá¬á¡á¬ážáá¯á¶ážááᯠáááºááœá±á·ááá±á¬á¡áá Data Quality á¡ááºáá»ááºáá®áá¬áá»á¬ážááẠclassical functional testing á¡ááœáẠá¡áá»áááºá¡áááºážáááºáᬠááŒá¯ááºážáá®ážááá¯ááºáá«áááºá áá«áá±áá²á· áá«á ááá±á¬áá»ááºáá±á«áºááŸá¬ á¡áá»á¬ážááŒá®ážáá°áááºáá«ááẠ(á¡á±á¬ááºá á¥ááá¬áá áºáá¯áá±ážáá«áááº)á
áá±áá¬á¡áááºá¡ááœá±áž á¡ááºáá»ááºáá®áá¬áá áºáŠážá áá¬áááºáá»á¬ážááẠáá±áá¬áá±á·á áºááá¬ážáá»á¬ážááœáẠâá¡áá»ááºážááŸá®ážá á¡áá±á¡ááœááºááŸáá·áº áá±á«ááºážáááºáá»á¬ážâ á¡ááœáẠáá¯ááºááá¯ážáá¯ááºá áẠáááºá áœá²/á¡ááá¯á¡áá»á±á¬áẠá á áºáá±ážááŸá¯áá»á¬ážá¡ááœááºáᬠá¡ááá·áºá¡áááºáááŸááá±á¬áºáááºáž áá¯á¶ážá áœá²áá°á áá¯ááºáááºážááá¯á¡ááºáá»ááºáá»á¬ážááᯠáááºáá²á áœá¬ áá¬ážáááºááá±á¬áá±á«ááºááẠááá¯á¡ááºááŒá®áž áááŸáááá¯ááºáá±á¬ á¡áá»ááºá¡áááºá¡ááŒá áºááá¯á· ááŒá±á¬ááºážáá²ááá¯ááºá áœááºážá á¡áá¯á¶ážáááºáá±á¬á á®ážááœá¬ážáá±ážá¡áá»ááºá¡áááºáá»á¬ážá
áá±áá¬á¡áááºá¡ááœá±ážáá®á¡áá¯áá®
ááá¯ááá¯á·áá±á¬ á¡ááºáá»ááºáá®áá¬áá áºáŠážá á¡áááºážááá¹áááᯠááá¯ááá¯ááŒáá·áºá á¯á¶á áœá¬ á áááºáá°ážááŒáá·áºááá¯ááºáááºá Data Quality ááẠáá®á¡áá¯áá®ááœáẠá¡áááºá¡áá¬ááŒá áºáááºááᯠááŸá¬ááœá±ááŒáá·áºááŒáá«á áá¯á·á
áá±áá¬á¡áááºá¡ááœá±áž â Data Management á á¡ááá·áºáá»á¬ážáá²á០áá áºáᯠ(áááºááá¯ááºááá¯áẠáá±á·áá¬ááẠáá»áœááºá¯ááºááá¯á· áá¬ážáá áºáá²á·áá±á¬ ááá¹áá¬áá áºáá¯áá¯á¶áž) ááŸáá·áº á¡á±á¬ááºáá« á á¶ááŸá¯ááºážáá»á¬áž á¡á áá±áᬠááœá²ááŒááºážá áááºááŒá¬ááẠáá¬áááºááŸáááẠá
á¡ááŸááºáá
áºáá¯á
á®ááᯠáá¯á¶áá±á¬áºááá¯á· áááá¯á¡ááºáá°ážááá¯á· áááºáá«ááẠ(áá®á¡áá¯áá®á¡á áááºážááá¯á·ááᯠ"áá±áá¬á¡ááá¯ááºážá¡áá¬áá»á¬áž" áá¯áá±á«áºáááº)á áááºážááá¯á·ááᯠáá¯á¶ááœáẠá¡ááœááºáá±á¬ááºážááœááºá
áœá¬ áá±á¬áºááŒáá¬ážáá«áááºá ááá¯á·áá±á¬áº á
ááºážáááºááŒááºážáá¯ááºáááºážá
ááºááá¯ááºááá¯ááºá á€á¡ááºá¹áá«áááºáá»á¬ážááᯠá
ááºážáááºááŸá¯ááá
á¹á
áá»á¬ážááœáẠáááºážáááºážáá»ááºáá»áẠáá°ážáá°ááŒááºážááŸáá·áº áááºážááá¯á·ááᯠá
á
áºáá±ážááŒááºážáᯠáááá¯ááá¯áá«á áá±áá¬á¡áááºá¡ááœá±ážááœááºá á¡ááŒá¬ážá
ááºážáááºááŸá¯á¡áá»áá¯ážá¡á
á¬ážáá»á¬ážááœááºáá²á·ááá¯á·á áá¯ááºáááºážáá¯á¶ážááŒááºáá»ááºáá»á¬ážáá»áá±á¬ ááá±á¬áá»ááºáá«áááºáá°áá»á¬ážááŸáá·áº ááá±á¬áá°áá®áá¬ážááá·áº áá±áá¬á¡áááºá¡ááœá±ážáááºááŸááºáá»ááºáá»á¬ážá¡áá±á«áº áááºáá±á¬ááºááẠááá¯á¡ááºáá«áááºá
áá±áá¬á¡áááºá¡ááœá±ážááá±á¬áá»ááºá¡áá±á«áº áá°áááºá á¡ááºáá»ááºáá®áá¬áá áºáŠážááẠááá°áá®áá±á¬áá¯ááºáá±á¬ááºáá»ááºáá»á¬ážááᯠáá¯ááºáá±á¬ááºááá¯ááºáááº- áá±áá¬á¡áááºá¡ááœá±ážááᯠá¡áá±á«áºáá¶á¡áá²ááŒááºááá·áº áá¬áááºá¡ááá¯á¡áá»á±á¬ááºá áá áºá ááºážáááºáá°ááŸá á¡áááºáá«áááºááŸááºáá»ááºáá»á¬ážá¡ááá¯ááºáž áá±áá¬áááºááŸáá¯ááºážá áœá¬ áááá¯ááá¯ááºááŒá¯áá¯ááºáá°áᶠáá±ážááá¯á·ááá¯ááºáá«áááºá
áá±áá¬á á®áá¶ááá·áºááœá²ááŸá¯á áá±áá¬á¡áááºá¡ááœá±ážááŸáá·áº áááºá ááºáá¯ááºáááºážá ááºáá»á¬ážá á¡ááœááºá¡áá±ážá áááºáá±á¬áºááŒáá»ááºá¡á¬áž á á¬á¡á¯ááºáá¯áá±á«áºáá±á¬ á á¬á¡á¯ááºááœáẠáá±á¬ááºážá áœá¬áá±á¬áºááŒáá¬ážáááºá "DAMA-DMBOK- á¡ááááá¬á á®áá¶ááá·áºááœá²ááŸá¯á¡ááœá²á·- áá¯ááááá¯ááºáá±ááŸá¯". á€á á¬á¡á¯ááºááᯠá€á¡ááŒá±á¬ááºážá¡áá¬á¡ááœáẠáááá«ááºážáá áºáá¯á¡ááŒá Ạáá»áœááºá¯áẠá¡áá°ážá¡ááŒá¶ááŒá¯ááá¯áá«ááẠ(áá±á¬ááºážáá«ážáá¡áá¯á¶ážááœáẠáááºážááŸáá·áº ááá·áºááºáá áºáá¯ááᯠááœá±á·áááá·áºáááº)á
á¡ááŒáŸáá»á¯áá»ááá¯á¶ááŒááº
á¡áá¯ááºáá®áá¯ááºáááºážááœááºá áá¯ááºáá¯ááºáá¯áá¹ááá®áá»á¬ážááœáẠá¡áááºáááºážá ááºážáááºáá°á០EPAM ááœáẠLead Data Quality Engineer ááŒá áºáá¬áá²á·áááºá á ááºážáááºáá°á¡ááŒá ẠááŸá áºááŸá áºááá·áºá¡áá¯ááºáá¯ááºááŒá®ážáá±á¬ááºá áá»áœááºá¯ááºááẠá ááºážáááºááŸá¯á¡áá»áá¯ážá¡á á¬ážá¡á¬ážáá¯á¶ážááᯠáá¯ááºáá¯ááºáá»áááºážá á±ááŒá±á¬ááºážá áá¯ááºáá±á¬ááºááá¯ááºááŸá¯á ááá á®ážááŸá¯á áááºááŒáááºááŸá¯á áá¯á¶ááŒá¯á¶áá±ážá UI á áááºááŒáá·áº ááá¯ááºáá¬áá±á¬áá¯á¶ááŒááºáá»ááºááᯠáááŸááá¬ážááŒá®ážá Javaá Scalaá Python ááœáẠáááá¯ááááºážáááºážáá¯á¶ážáá¬áá¬á áá¬ážááŒáá·áº áá áºáá»áááºáááºážá¡áá¯ááºáá¯ááºáá²á·áááºá
áá±á¬ááºááŒá±á¬ááºážááŒááºááŒáá·áºááá¯ááºááẠáá»áœááºáá±á¬á·áºáá²á· áá»áœááºážáá»ááºááŸá¯á¡á á¯á¶áᬠáá¬ááŒá±á¬áá·áº ááœá²ááŒá¬ážááá¬áá²âáá»áœááºáá±á¬áºáᬠáá±áá¬áá±á¬ááºážááŸááºáá²á· ááá±á¬áá»ááºááŒá®ážááœá±á á¡áá±ážá¡ááœá²ááœá±ááŸá¬ áá«áááºáááºáááºáá±áááºááá¯áᬠáá¬ážáááºáá«áááºá á€á¡áá¬á áá»áœááºá¯ááºá¡á¬áž ááá¯ážáááºááŸá¯á¡ááœáẠáááááá¬áá»á¬ážááŸáá·áº á¡ááœáá·áºá¡áááºážáá»á¬ážá áœá¬ááŸááá±á¬ ááá¹áá¬áá²ááá¯á· áá±á«áºáá±á¬ááºáá¬ááŒááºážááŒá áºáááºá
á¡ááááá¬ááŸáá·áº áá»áœááºážáá»ááºááŸá¯á¡áá áºáá»á¬ážáááŸáááẠáááááá¬áá»áá¯ážá á¯á¶ááŸáá·áº á¡ááœáá·áºá¡áááºážáá»á¬ážááᯠáááºááá¯ážáá¬ážáááºá "Data & AI" ááá¹áá¬ááœáẠáá±áááºážá¡á á¬ážáá¯á¶ážáá»á¬ážááᯠááŒááá¬ážááá·áº á¡á±á¬ááºáá±á¬áºááŒáá«áá¯á¶ááᯠááŒáá·áºáá«á
á€áá²á·ááá¯á·áá±á¬ ááá¯ááºáá±á¬áºáá¯á¶áá»áá¯ážááᯠáá±á¬á·ááºáá²ááºááœá¶á·ááŒáá¯ážááá¯ážáááºááŸá¯á០áááºážáááºáá¬áá±á¬ áá¬áááºááŒá®áž á¡áá»áá¯ážáá°á¡áááºážááŸáẠMatt Turck á០ááŸá
áºá
áẠááŒá¯á
á¯áá«áááºá áá®ááŸá¬ áá°á·ááá±á¬á·ááºáá²á· áá¯ááºáá±á¬áºááá¯ááºáááºáá
áºáŠážá¡ááŒá
Ạáá°á¡áá¯ááºáá¯ááºááá·áºáá±áá¬á
áá»áœááºá¯ááºááẠááá±á¬áá»ááºááœáẠáá áºáŠážáááºážáá±á¬ á ááºážáááºáá°ááŒá áºáá±á¬á¡áá« ááá¯á·ááá¯áẠá¡áááºážáá¯á¶áž ááá±á¬áá»ááºá¡á ááœáẠáá»áœááºá¯ááºááẠá¡áá°ážáá»áœááºážáá»ááºá áœá¬ ááŒá®ážááœá¬ážáá¬áá«áááºá á ááºážáááºááŸá¯áá¯ááºáááºážá ááºáá áºáá¯áá¯á¶ážá¡ááœáẠáááºáá¬áááºáá°áááá·áºá¡ááá¯ááºá¡ááá·áºááŒá áºááŒá®áž ááá·áºááœáẠáá±á¬ááºáá¯ááºáááºá¡ááœáá·áºá¡áá±ážáááŸáá á¡á áá¯ááºážááá±á¬á· ááŒá±á¬ááºá áá¬áá±á¬ááºážáá±ááá·áº á¡áá¯á ááºážáááºááŸá¯áá²á· á¡á¬ážáá¬áá»ááºááœá±á¡á¬ážáá¯á¶ážá áá»áœááºáá±á¬á·áºá¡ááœáẠáááá¬áááºááŸá¬ážáá«áááº-
- áááºááœááºáá±ážá¡ááœáẠááá±á¬ááºá á®áááŸááá±á¬ááŒá±á¬áá·áºá áááºááẠá á¬áá±ážááœá²áááºáá±áá»á¬ ááá¯á·ááá¯áẠá ááºážáááºáá±á¬áºáááŒáá°ááá¯ááºáá±á¬ááŒá±á¬áá·áº áááºááẠá¡ááœá²á·áá áºáá¯áá¯á¶ážááŸáá·áº á áááºáááºááœááºáá¬áááºá
- ááá±á¬áá»ááºááœáẠááŸá áºááŒáŸá¯ááºááŒááºážááẠááá¯á¶ááá¯ááºáá±á¬ááºá¡á±á¬áẠáááºááŸáá¯ááºážáá¬áᬠáá±áá¯áá»á¡á¬ážááŒáá·áºáá±á¬ á¡áá±ážá áááºáá±á¬ á¡á áááºá¡ááá¯ááºážáá»á¬ážá¡á¬ážáá¯á¶ážááᯠááá·áºááœáẠá¡áá»ááºá¡áááºáá»á¬ážáá«ááŸááááºá
- Developer ááœá±á ááá·áºááᯠ"áá°áá¬áá¯ááºáá±áááºááá¯áᬠááááá²á· á ááºážáááºááŸá¯ááá± áá®áá°" á¡ááŒá ẠáááŸá¯ááŒááºáá²á áá°á·áá²á· á¡ááá¯á¡áá»á±á¬áẠá ááºážáááºááŸá¯ááœá±áá²á· á¡ááœá²á·áá²á· áá®ážááŒá¬ážá¡á áááºá¡ááá¯ááºážáá áºáá¯ááŸá¬ á¡ááŸá¬ážá¡ááœááºážááœá± áá±á«áºáá¬áá¬ááᯠáá»áŸá±á¬áºááá·áºáá¬ážáá¬ááŒá±á¬áá·áº á¡ááœá²á·á¡ááœáẠááá¯á¶ááá¯ááºáá±á¬ááºá áᬠá¡áá»áá¯ážáá»á±ážáá°ážááœá±ááᯠáá¯ááºáá±ážáá²á· áááºážáá°áá®áá»áŸáá áºáá±á¬ááºá¡áá±áá²á·á áá¯ááºáá¯ááºá
- ááááºá¡áá±ááŒáá·áº áááºááẠááá¯ááá¯áááá±á¬ááºááŸá¯á ááá¯ááá¯á¡áááºá¡áá»ááºážááŒáá·áºáá®ááŒá®áž ááá¯ááá¯áá±á¬ááºážááá¯áá¬ááá¯ááºáááºá
ááá±á¬áá»ááºááŒá®ážáá¬áááºááŸáá·áºá¡áá»áŸá ááŒá áºáááºáá»á¬ážá 100% ááœáẠáá»áœááºá¯ááºááẠá ááºážáááºáá°á¡áá áºáá»á¬ážá¡ááœáẠáááºážááœáŸááºáá áºáŠážááŒá áºáá¬ááŒá®áž áááºážááá¯á·ááᯠáááºááŒá¬ážáá±ážáᬠáá»áœááºá¯ááºááá¯ááºááá¯ááºáááºáá°áá²á·ááá·áº á¡ááááá¬áá»á¬ážááᯠááŒááºáááºážáá²á·áá«áááºá áá áºáá»áááºáááºážááŸá¬áááºá ááá±á¬áá»ááºáá±á«áº áá°áááºá á á®áá¶ááá·áºááœá²ááŸá¯á០á¡ááá¯á¡áá»á±á¬áẠá ááºážáááºá á áºáá±ážááŒááºážááá¯ááºáᬠáá»áœááºážáá»ááºáá°áá»á¬ážá á¡ááŒáá·áºáá¯á¶ážá¡ááá·áºááᯠáá»áœááºá¯ááºá¡ááŒá²ááááŸááá²á·áá² áááºážááá¯á·á¡á¬áž á¡ááá¯á¡áá»á±á¬ááºá áá Ạ(á áááºáááºá á¬ážáá°áá»á¬ážá¡ááœááº) áá±á·áá»áá·áºáá±ážááẠááá¯á·ááá¯áẠáá±á·á ááºáá¯ááºáááºážáá±á¬ááºáá¬áá»á¬ážááœáẠá¡áá¯á¶ážááŒá¯ááẠáááááá¬áá»á¬áž áááºáá®ážááẠááá¯á¡ááºáá«ááẠ(tools áá±áá¬áá¯ááºáá±ážááŒááºážááŸáá·áº á áá áºáá²ááá¯á· áááºááŒááºážá¡ááœááºá áááºá ááºážáááºááŒááºáž/áááºááŒáááºááŸá¯á ááºážáááºááŒááºáž âááŒááºááŒááºáááºáááºâ áá¯ááºáá±á¬ááºááŒááºážá áááºááŒáá·áº)á
áááá»áá±á¬ááá±á¬áá»ááºáá áºáá¯áá¥ááá¬
áá¶ááá±á¬ááºážá áœá¬áá²á áá¯ááºáá±á¬áºááŒááºážáááŸááá±á¬áá¬áááºááá¹ááá¬ážáá»á¬ážááŒá±á¬áá·áº áá»áœááºá¯ááºáá¯ááºáá±á¬ááºáá²á·ááá·áº ááá±á¬áá»ááºáá»á¬ážá¡ááŒá±á¬ááºáž á¡áá±ážá áááºáááŒá±á¬ááá¯ááºáá±á¬áºáááºáž ááá±á¬áá»ááºáá áºáá¯ááŸá Data Quality Engineer á áá¯á¶ááŸááºá¡áá¯ááºáá»á¬ážááᯠá¥ááá¬áá±ážáá«áááºá
ááá±á¬áá»ááºáá¡ááŸá áºáá¬áááŸá¬ áááºážááá¯á¡ááŒá±áá¶á áá±á·áá»áá·áºáá±ážá ááºáááºáá°ááŸá¯áá¯á¶á á¶áá»á¬ážá¡ááœáẠáá±áá¬ááŒááºáááºááŒááºážá¡ááœáẠááááºáá±á¬ááºážáá áºáá¯ááᯠá¡áá±á¬ááºá¡áááºáá±á¬áºáááºááŒá áºáááºá áá±á¬ááºáááºááẠUSA á០áá±ážáá«ážáá¯áá¹ááá®ááŒá®ážáá áºáá¯ááŒá áºáááºá áááºážááá¬á¡á á¡á á¯á¡ááœá²á·áá áºáᯠááŒá áºáá²á·áááºá áááºáá¬áááºá microservice á¡áá»á¬ážá¡ááŒá¬ážááŸáá·áº EPAM á á¡áááºážáᶠOpen Source ááá±á¬áá»ááºááŸáá·áºá¡áá° á¥ááá¬áá»á¬áž - áááá»áá±á¬áá±á¬ááºáááºáá áºáŠážáááá¯á¡ááºáá»ááºáá»á¬ážááŸáá·áºááá¯ááºáá»á±á¬áá®ááœá±ááŒá áºá¡á±á¬áẠ(ááá¯ááá±á¬áá»ááºááá¯á·ááŒááºáááºááœá±ážááœá¬ážáá²á·áááºá ) ETL áá¯ááºáááºážá ááºáá»á¬ážááᯠá¡áá¯á¶ážááŒá¯á ááœá²á·á ááºážáá²á·áá«áááºá ááŸáá·áº áá±áá¬áá»á¬ážááᯠááŒá±á¬ááºážááœáŸá±á·áá²á·áááºá áá±á¬ááºáááºá áá áºáá»á¬áž áá¯á¶ážá ááá¯á·áá±á¬ááºá áá±áá¬á¡áá áºáá»á¬ážááŒáá·áº áá±á·áá»áá·áºáááºááŒá¬ážáá¬ážááá·áº ááááºáá±á¬ááºážáá±á«áºááœáẠá ááºáááºáá°ááŸá¯áá±á¬áºáááºá Docker áá¯ááºáá¯á¶áá áºáá¯á¶ááᯠááŒáá·áºáá»ááºááŒá®áž REST API áá»ááºááŸá¬ááŒááºááᯠá¡áá¯á¶ážááŒá¯áᬠáá¯ááºáááºážá¡ááœáẠá áááºáááºá á¬ážááá·áº ááá·áºááŸááºážáá»ááºáá»á¬ážááᯠáá¯ááºáá±ážáᬠáá®ážááŒá¬ážááŒá¿áá¬áá»á¬ážááᯠááŒá±ááŸááºážáá±ážáá²á·áááºá
á¡ááŒááºá¡á¬ážááŒáá·áºá á¡áá¬á¡á¬ážáá¯á¶ážááẠá€áá²á·ááá¯á· ááŒá áºáááº-
á€ááá±á¬áá»ááºááœáẠáá¯ááºáá±á¬ááºáá»ááºá
ááºážáááºááŸá¯áá»á¬ážá
áœá¬ááŸááá²á·ááŒá®áž á¡ááºá¹áá«áááºááœá¶á·ááŒáá¯ážááá¯ážáááºááŸá¯á¡ááŸáááºááŸáá·áº ááŒáá·áºáá»áááŸá¯á
ááºáááºážáá¡ááŸáááºá¡áá¯ááºááᯠááááºážááááºážáá¬ážááẠááá¯á¡ááºáá±á¬ááŒá±á¬áá·áº áááºážááẠá¡áá±ážááŒá®ážáá¯á¶ážá¡á
áááºá¡ááá¯ááºážáá»á¬ážááᯠá¡ááá¯á¡áá»á±á¬ááºá
ááºážáááºááŒááºážááŸáá·áºáááºáááºá áá»ááºáá»ááºážá
ááºážá
á¬ážááẠááá¯á¡ááºáá«áááºá á
áá
áºá Kubernetes á¡ááŒá±ááŒá¯ ááááºáá±á¬ááºážá¡áá»á¬ážá
á¯ááᯠááá¯ááºááá¯ááºáá¯ááºáá±á¬ááºáá²á·ááá·áº á¡ááá¯á¡áá»á±á¬ááºá
ááºážáááºááŸá¯áá»á¬ážááŒáá·áº á¡áá»á¯á¶ážáááºáá«áááºá + Pythoná ááá¯á·áá±á¬áº áááºážááá¯á·ááᯠáá¶á·ááá¯ážááŒá®áž áá»á²á·ááœááºáááºáááºáž ááá¯á¡ááºáá«áááºá ááá¯á·á¡ááŒááºá áá±á¬ááºáááºáá»á¬ážáá¡áááºááŒá±á
á±áááºá¡ááœááºá á¡á
á¯á¡áá±ážááœááºááŒáá·áºáá»ááºáá¬ážáá±á¬á
ááºáááºáá°ááŸá¯áá±á¬áºáááºáá»á¬ážááá¯á
á®áá¶ááá·áºááœá²áááºááŸáá·áºáá±á¬áºáááºáá»á¬ážááá¯áá±á·áá»áá·áºáááºá¡ááœááºáááºááá·áºáá±áá¬ááœááºááŸáá·áºáá±áá¬ááœáŸá²ááŒá±á¬ááºážáááºááá¯á¡ááºáááºááá¯á·ááá¯áááºááŸááºááá¯ááºá
á±ááẠGUI ááá¯áááºáá®ážáá¬ážáááºá á€áá»ááºááŒáá·áºáá±á¬áááºááá¯ážááŸá¯ááẠREST API áá±á«áºááá¯ááŸá¯áá»á¬ážááŸáá·áº end-2-end UI á
ááºážáááºááŸá¯á¡áááºážáááºááŸáá
áºááá·áº á¡áá»á¬ážá
á¯áá¯ááºáá±á¬ááºááá·áº á¡ááá¯á¡áá»á±á¬ááºáá¯ááºáá±á¬ááºááŸá¯á
ááºážáááºááŒááºážá ááá¯ážáá»á²á·ááŸá¯ááá¯áá«áááºáááºá á€ááœá±á·áá»á¬ážááŸá¯á¡á¬ážáá¯á¶ážá á¡á®ááœá±áá¬áá
áºááá¯ááºááœááºá áá¯ááºáá¯ááºáá¬ážááŸááºážáá»á¬ážááᯠáááºáá¶á
ááºážáááºááŒááºážááŸáá·áº áá±á¬ááºááœááºááŸáááŸá¯ááᯠáááºáá¶ááŒááºážááŸáá·áºáááºáááºá áá±á¬ááºáááºááŸáá·áº áááºááœááºááŒááºážááŒáá·áº áá±á¬ááºážááœááºáá±á¬á¡áá¯ááºááŒáá·áº áá¯ááºáá±á¬ááºáá²á·áá±á¬ áááºá
áœá²á
ááºážáááºáá°á០áá»áœááºá¯ááºááá¯á·ááŸáá·áº áá°ážáá±á«ááºážáá²á·áá«áááºá ááá¯á·á¡ááŒááºá áá»áœááºážáá»ááºáá°á¡áá
áºáá
áºáŠážáá±á¬ááºááŸááá¬ááŒááºážááŒá±á¬áá·áº áá»áœááºá¯ááºááá¯á·ááá¯ááºáááºážááᯠááŸááºáááºážáááºááá¯ááºáá²á·ááŒá®áž áá»ááºáá»ááºážá¡ááá¯á¡áá»á±á¬ááºááŒááºáá¯ááºáááºáááºáá²áá±á¬ á¡ááœááºá¡áá±ážááŒá®ážáá±á¬áááºá
áœá²á
á
áºáá±ážááŸá¯áá»á¬ážá
áœá¬ááᯠááá·áºááœááºážááá¯ááºáá²á·áááºá
áá±á¬ááºáá¯á¶ážá¡áá±ááŸáá·áºá áá»áœááºá¯ááºááá¯á·ááẠááááºáá±á¬ááºážááŸáá·áº áááºážá¡áá±á«áºá០GUI á¡ááá¯áááá¯ááááºá០áááºááŒáááºááŸá¯ááᯠáááŸáááŒá®ážáá±á¬ááºá áá»áœááºá¯ááºááá¯á·ááẠApache Airflow DAGs ááᯠá¡áá¯á¶ážááŒá¯á ETL ááá¯ááºááá¯ááºážáá»á¬ážááᯠá áááºáááºáá±á¬ááºáá²á·áááºá ETL áá¯ááºáááºážá ááºá ááááºáá»á¬ážá¡áá±á«áº á¡ááŒá±áá¶á áá±áá¬ááᯠá á áºáá±ážááá·áº á¡áá°áž Airflow DAGs áá»á¬ážááᯠá¡ááá¯á¡áá»á±á¬áẠáá±áá¬á¡áááºá¡ááœá±áž á á áºáá±ážááŒááºážááᯠáá¯ááºáá±á¬ááºáá«áááºá á€ááá±á¬áá»ááºááá áºá áááºáá áºááá¯ááºážá¡áá±ááŒáá·áºá áá»áœááºá¯ááºááá¯á·áá¶áá±á¬ááºážáá²á·ááŒá®áž áááºáá°áá°á áá»áœááºá¯ááºááá¯á·á¡á¬áž áá»áœááºá¯ááºááá¯á·á ááºážáááºáá²á·ááá·áº á¡áááºááŸááºáá¬ážáá±á¬ áá±áá¬á¡ááœá²áá»á¬ážááᯠá¡áá¯á¶ážááŒá¯ááœáá·áºáá±ážáá²á·áááºá á¡áá»áá¯ážá¡á á¬ážáá»á¬ážááŸáá·áº ááá¯ááºáá»á±á¬áá®ááœá±ááŒá áºá á±áááºá ááœá²á¡ááºáá±áá±á¬áá±áá¬áá«áááºááŸá¯á áá±á«ááºážá ááºážááŸá¯á¡ááœáẠETL áá¯ááºáááºážá ááºá០ááŒá¯áá¯ááºáá±á¬ á¡ááœááºááŒá±á¬ááºážááŸá¯áá»á¬ážááŸáá·áº á¡ááŒá¬ážá¡áá¬áá»á¬ážá¡ááœáẠáá±á«ááºážá ááºááŸá¯áááá¯ááºáá®ááŸáá·áº á¡ááŒá®ážááœáẠááŸááºáááºážá á¯á á¯áá±á«ááºážá¡áá±á¡ááœááºá áá±á¬áºáá¶á¡áááºáá»á¬ážááᯠááŒá±á¬ááºážáá²ááŒááºážááŸáá·áº á¡ááŒá¬ážá¡áá¬áá»á¬ážááᯠááá¯ááºáá»á±á¬áá®ááœá±ááŒá áºá á±áááºá¡ááœáẠáá±áá¬ááá¯ááºážááᯠáá»áœááºá¯ááºááá¯á· á á áºáá±ážáá«áááºá ááá¯á·á¡ááŒááºá á€á á áºáá±ážááŸá¯áá»á¬ážááᯠááá°áá®áá±á¬áá±áá¬áááºážááŒá áºáá»á¬ážá á¥ááᬠSalesForce á¡ááŒáẠMySQL ááá¯á·ááœááºáááºáž ááá¯ááºážáá¬áááºá
áá±á¬ááºáá¯á¶áž áá±áá¬á¡áááºá¡ááœá±ážá á áºáá±ážááŸá¯áá»á¬ážááᯠS3 á¡ááá·áºááœáẠáá¯ááºáá±á¬ááºáá²á·ááŒá®ážááŒá áºááŒá®áž áááºážááá¯á·ááᯠááááºážáááºážáᬠáá±á·áá»áá·áºáá±ážá ááºáááºáá°ááŸá¯áá±á¬áºáááºáá»á¬ážá¡ááœáẠá¡áááºááá·áºá¡áá¯á¶ážááŒá¯ááá¯ááºááŒá®ááŒá áºáááºá S3 Bucket ááœááºááŸááá±á¬ áá±á¬ááºáá¯á¶áž CSV ááá¯ááºá០áá±áá¬ááᯠááá°ááŒá®áž áááºážááᯠááŸááºáááºááŒá±á¬ááºáž á¡áááºááŒá¯áááºá¡ááœááºá áá¯ááºááᯠá¡áá¯á¶ážááŒá¯á áá±ážáá¬ážáá²á·ááẠ.
S3 Bucket áá áºáá¯ááœáẠáá±áá¬áá áºá áááºáá áºááá¯ááºážááᯠááááºážáááºážáááºááŸáá·áº á¡ááŒá¬ážáá áºáá¯ááœáẠá¡á áááºá¡ááá¯ááºážáá áºáá¯ááᯠááááºážáááºážááẠáá¯á¶ážá áœá²áá°áá¶á០ááá¯á¡ááºáá»ááºáá áºáá¯áááºáž ááŸááá²á·áá«áááºá á€áá²á·ááá¯á· á¡áá»áá¯ážá¡á á¬ážááœá²ááŒááºážá áá¯á¶ááŒááºá áááºáá»áááŸá¯ááᯠá á áºáá±ážááẠáááºáá±á¬ááºážá á áºáá±ážááŸá¯áá»á¬ážáááºáž ááá¯á¡ááºáá«áááºá
á¡ááŒá¬ážáá±á¬ ááá±á¬áá»ááºáá»á¬ážá០á¡ááœá±á·á¡ááŒá¯á¶áá»á¬áž
Data Quality á¡ááºáá»ááºáá®áá¬áá áºáá±á¬ááºá áá±áá°áá»á¡áá»áá¯á¶áž áá¯ááºáá±á¬ááºáá»ááºáá»á¬ážá á¬áááºáž á¥ááá¬-
- á ááºážáááºááŸá¯áá±áᬠ(ááá¬ážáááẠááŒá®ážáá¬ážáá±á¬ á¡áá±ážá á¬áž) ááᯠá¡ááá¯á¡áá»á±á¬áẠáááááá¬áá áºáá¯ááŸáá áºááá·áº ááŒááºáááºáá«á
- ááŒááºáááºáá¬ážááá·áºáá±áá¬ááᯠáá°áááºážáááºážááŒá áºááá¯á· á¡ááºáá¯ááºáá¯ááºááŒá®áž á¡áá¯á¶ážááŒá¯ááẠá¡ááá·áºááŒá áºáááŒá Ạá á áºáá±ážáá«á
- á¡áá»áá¯á·áá±á¬ áááºáááºá¡á á¯á¶ááᯠá¡áá¯á¶ážááŒá¯á á¡áááºážá¡ááŒá áºááá¯ááŸá±á¬ááºááŸá¯á០áá±áá¬á¡á á¯áá áºá á¯ááᯠáá±á¬ááºáá¯á¶áž ááá¯á·ááá¯áẠá¡áááºá¡áááºááá¯ááŸá±á¬ááºááŸá¯á¡áá áá¯ááºáá±á¬ááºáááºá¡ááœáẠETL áá¯ááºáááºážá ááºáá»á¬ážááᯠá áááºáá« (ááŒá áºááá¯ááºáá»áŸáẠETL áá¯ááºáááºážá¡ááœáẠááŒááºáááºááá¯ááºáá±á¬ áá±á¬ááºáá»á¬ážááᯠáááºááŸááºáá«)á
- áááºážáá¡áááºá¡ááœá±ážááŸáá·áº áá¯ááºáááºážááá¯á¡ááºáá»ááºáá»á¬ážááŸáá·áº ááá¯ááºáá»á±á¬áá®ááœá±ááŸááááºá¡ááœáẠETL áá¯ááºáááºážá ááºá០áá¯ááºáá±á¬ááºáá²á·áá±á¬ áá±áá¬ááᯠá¡áááºááŒá¯áá«á
áá áºáá»áááºáááºážááŸá¬áááºá á á áºáá±ážááŸá¯áá»á¬ážá á¡áááá¡á¬áá¯á¶á áá¯ááºááŸá¯ááŸá¬ á áá áºá¡ááœááºážááŸá áá±áá¬á á®ážáááºážááŸá¯ááœáẠáá°á¡á á¡áá¯ááºáá¯ááºááŒá®áž ááŒá®ážááŒá±á¬ááºááẠ(áá¯ááºáááºážááá¯ááºáá¬á ááºážáááºááŒááºážááá áºá áááºáá áºááá¯ááºážááŒá áºááá·áº) áá°áá±á¬á¡áá»ááºá¡áá±á«áºááœááºáá¬áá á¡áá»á¬ážá¡á¬ážááŒáá·áº áá±áá¬á á áºáá±ážááŒááºážááŸáá·áº ááŸááºáááºááŒááºážá¡áá±á«áºááœááºáᬠááŒá áºááá·áºáááºá áá»áŸá±á¬áºááá·áºáá¬ážááá·áº áááºááŸááºáá»ááºáá»á¬ážááŸáá·áº ááá¯ááºáá®ááŸá¯á ááœá²ááœá²áá»ááºáá»á¬ážááᯠáá±á¬áºáá¯ááºááŒááºážááŸáá·áº á¡ááŒá¬ážá¡áá¬áá»á¬ážá
áá°áááá¬
ááá¯áá²á·ááá¯á·áá±á¬ áá±áá¬ááááºážáá»á¯ááºááŒááºážá¡ááœáẠáááºážá áá áºáá áºáá¯ááŸá¬ áá±áá¬áá¯ááºáá±á¬ááºááŒááºáž á¡ááá·áºáá áºáá¯á á®ááœáẠááœááºážáááºá á áºáá±ážááŸá¯áá»á¬ážá á¡ááœá²á·á¡á ááºážááŒá áºááá¯ááºááŒá®áž á á¬áá±ááŸá "áá±áá¬ááœááºážáááº" áá¯áá±á«áºááá·áº - á¡áááºážá¡ááŒá áºá០áá±á¬ááºáá¯á¶ážá¡áá¯á¶ážááŒá¯ááá·áºá¡áá áá±áá¬ááááºážáá»á¯ááºááŸá¯ááŒá áºáááºá á€á á áºáá±ážááŸá¯á¡áá»áá¯ážá¡á á¬ážáá»á¬ážááᯠSQL queries á á áºáá±ážááŒááºážááᯠáá±ážáá¬ážááŒááºážááŒáá·áº áá¯ááºáá±á¬ááºáá±á·ááŸááá«áááºá ááá¯ááá¯á·áá±á¬áá±ážááœááºážáá»á¬ážááẠá¡áááºááá¯ááºáá¯á¶áž áá±á«á·áá«ážááŒá®áž áá±áá¬á¡áááºá¡ááœá±ážáá áºáá¯áá»ááºážá á®ááᯠá á áºáá±ážááá·áºááẠ(ááá¬ážáá»á¬áž áááºáá¬áá±áá¬áá»á¬ážá ááá¬ááá¯ááºážáá»á¬ážá NULLsá á¡áá¬ážá¡ááá¯áá»á¬ážááœáẠá¡ááŸá¬ážá¡ááœááºážáá»á¬áž - á á áºáá±ážáááºá¡ááœáẠááá¯á¡ááºáá±á¬ á¡ááŒá¬ážá¡áááºá¡ááœá±ážáá»á¬áž)á
á¡áááºááá·áºáá¯ááºáá¬ážáá±á¬ (áááŒá±á¬ááºážáá²ááá¯ááºáá±á¬á á¡áááºážáááºááŒá±á¬ááºážáá²ááá¯ááºáá±á¬) áá±áá¬á¡ááœá²áá»á¬ážááᯠá¡áá¯á¶ážááŒá¯ááá·áº áá¯ááºáá¯ááºááŸá¯á ááºážáááºááŒááºážááá á¹á ááœááºá á¡áááºá¡ááœá±ážááŸáá·áºááá¯ááºáá»á±á¬áá®ááœá±ááŸáá á±ááẠáá±áá¬á á áºáá±ážááŒááºážá¡ááœáẠá¡áááºááá·áºáá¯ááºáá¬ážáá±á¬áá¯á¶á á¶áá»á¬ážááᯠááááºážáááºážááá¯ááºááẠ(áá»áŸá±á¬áºááá·áºáá¬ážáá±á¬ááá¬ážáááºáá¬áá±áá¬áá±á¬áºááŒáá»ááºá á¡áááºážááá°áá¬á¡áá¬ááá¹áá¯áá»á¬áž ááŒá áºááá¯ááºááẠá á¬áá±ážááœá²áá¬áá¡ááœááºáž áá»áááºážááœá±ážáá»ááºááŒááºáž á áááºááŒáá·áº)á
ááá¯á·á¡ááŒááºá á ááºážáááºáá±á ááºááœáẠáááºááẠApache Airflow áá²á·ááá¯á·áá±á¬ áá°áá±á¬ááºáá»á¬ážááᯠá¡áá¯á¶ážááŒá¯á ETL á ááºážáááºááŸá¯áá¯ááºáááºážá ááºáá»á¬ážááᯠáá±ážáá¬ážááááºááŒá áºáááºá ááá¯á·ááá¯áẠblack-box cloud á¡áá»áá¯ážá¡á á¬áž tool áá áºáá¯ááẠ, áá±á¬áẠ... ááŒá®ážáá±á¬á·á á€á¡ááŒá±á¡áá±ááẠá ááºážáááºá¡ááºáá»ááºáá®áá¬á¡á¬áž á¡áááºáá±á¬áºááŒáá« áááááá¬áá»á¬ážá áááºáááºáá¯ááºáá±á¬ááºááŸá¯ááá¯ááºáᬠá¡ááŒá±áá¶áá°áá»á¬ážááœáẠááááááá¯ááºááᯠááŸá áºááŒáŸá¯ááºááá¯ááºážá á±ááŒá®áž áá¯ááºáá±á¬ááºáá»ááºááá¯ááºáᬠá ááºážáááºááŒááºáž (á¥ááá¬á ááá±á¬áá»ááºáá áºáá¯ááœáẠááŸáááŒá®ážáá¬áž ETL áá¯ááºáááºážá ááºáá»á¬áž) ááŸáá·áº áááºážááá¯á·ááᯠáá±áá¬á á áºáá±ážáááºá¡ááœáẠá¡áá¯á¶ážááŒá¯áá«á á¡áá°ážáááŒáá·áºá Apache Airflow ááœáẠáá¬áááºááŒá®áž ááœá²ááŒááºážá áááºááŒá¬ááŸá¯áá±áá¬áá±á·á áºáá»á¬ážááŸáá·áº á¡áá¯ááºáá¯ááºáááºá¡ááœáẠá¡áááºááá·áºáá¯ááºáá¬ážáá±á¬ á¡á±á¬áºááá±áá¬áá»á¬ážááŸááááºá . áááºážáá¡áá¯á¶ážááŒá¯ááŸá¯á á¡ááŒá±áá¶á¡áá»áá¯á¶áž á¥ááá¬ááᯠáá±á¬áºááŒááŒá®ážááŒá áºáááºá áá«ááŒá±á¬áá·áº áá«ááá¯ááºááá¯áẠáááºááá¯ááºáá²á·á
á¡áááºááá·áºáá¯ááºáá¬ážáá±á¬ ááŒá±ááŸááºážáá»ááºáá»á¬ážááŸááœá²á ááá·áºááá¯ááºááá¯ááºáááºážááá¬áá»á¬ážááŸáá·áº áááááá¬áá»á¬ážááᯠá¡áá±á¬ááºá¡áááºáá±á¬áºááẠáááºáá°á០áá¬ážááŒá áºááááºáááºáá¬ážááŒááºážáááŸááá«á áááºážááẠááá±á¬áá»ááºá¡ááœááºáá¬áá Data Quality Engineer ááá¯ááºááá¯ááºá¡ááœááºáá« á¡áá»áá¯ážááŸáá á±áááºááŒá áºáᬠáááºážááááºážááá¬ááá¯ááºáᬠááá¯ážáá¯ááºá ááºááá¯ááºážáá»á¬ážááŸáá·áº áá¯ááºáá±ážá áœááºážáááºáá»á¬ážááᯠááŒáŸáá·áºáááºáá±ážáááºááŒá áºáááºá
áááá·áºááá±á¬áá»ááºááŸá¬ áááºááá¯á¡áá¯ááºáá¯ááºáá²á
âáá±áá¬ááœááºážáááºâá ETL ááŸáá·áº áá±áá¬á¡ááŸá¶á· á á áºáá±ážááŸá¯áá»á¬ážá¡ááŒá±á¬ááºáž áá±á¬ááºáá¯á¶ážá á¬ááá¯ááºáá»á¬ážá áá±á¬ááºážáá±á¬ááá¯ááºáá±á¬áºáá¯á¶ááẠáááá·áºááá±á¬áá»ááºáá»á¬ážáá²á០á¡á±á¬ááºáá«áá¯ááºáááºážá ááºáá»á¬ážááŒá áºáááºá
á€ááœááºá áá±áá¬á¡áá»áá¯ážáá»áá¯áž (ááá¬áá¡á¬ážááŒáá·áº áá»áœááºá¯ááºááá¯á·ááŒááºáááºáá¬ážáááº) ááẠáá»áœááºá¯ááºááá¯á·áá
áá
áºáááá·áºááœááºážááŸá¯ âáááºážááŒá±á¬ááºážâ ááœáẠá¡áá»á¯á¶ážáááºáá±á¬á á¡áá»á¯á¶ážááááºáá±á¬á áá±á¬ááŸá±á¬áá±áááºá á
áááºááŒáá·áºá ááá¯á·áá±á¬áẠáááºážááá¯á·ááᯠá
á
áºáá¯ááºááŒá®áž á¡áááºá¡áááºááá¯ááŸá±á¬ááºááŸá¯áá
áºáá¯ááœáẠá¡áá¯á¶ážáááºááŒá®ážáá±á¬áẠáááºážááá¯á·ááẠá¡ááœááºááŒá±á¬ááºážááŸá¯áá»á¬ážá
áœá¬ááᯠáááºáá¶áá¯ááºáá±á¬ááºáááŒááºáááºá áá±á¬ááºáá¯á¶áž ááá¯ááŸá±á¬ááºááŸá¯ááœáẠáá¬ážááŸááᬠááœá²ááŒááºážá
áááºááŒá¬ááŒááºážá áá±áá¬áá¬á·á
áºáá»á¬áž áááºáá±á¬ááºááŒááºážááŸáá·áº á
á®ážááœá¬ážáá±ážááá¯ááºáᬠááá¯ážááœááºážááááŒááºááŸá¯áá»á¬ážááᯠááŸá¬ááœá±ááŒááºážááá¯á· ááŒá¯áá¯ááºáááºááŒá
áºáááºá ááá¯ááá¯á·áá±á¬á
áá
áºááœáẠETL áá¯ááºáááºážá
ááºáá»á¬ážá áá¯ááºáá±á¬ááºááŸá¯ááᯠá
á
áºáá±ážááŒááºážáááŸááá²á á¡ááœááºááŒá±á¬ááºážááŒááºážáááŒá¯áá®ááŸáá·áº á¡ááŒá®ážááœáẠáá±áá¬á¡áááºá¡ááœá±ážá¡ááŒáẠááœá²ááŒááºážá
áááºááŒá¬ááŸá¯ááá¯ááºáᬠááááºá¡áá±á«áº áá»áœááºá¯ááºááá¯á· á¡á¬áá¯á¶á
áá¯ááºáá«áááºá
á¡áááºáá±á¬áºááŒáá« á¡ááºá¹áá«áááºáá»á¬ážááᯠáá»áŸáá±áá¬ážáá±á¬ áá±áá¬ááá±á¬áá»ááºáá»á¬ážááœáẠáá»áœááºá¯ááºáá«áááºáá²á·ááá·áº áá±áá¬ááá¯ááºážááœáẠáá»áœááºá¯ááºá¡áá¯ááºáá¯ááºáá±á¬áá±áá¬áá»á¬ážááᯠá¡áá»ááºážáá»á¯á¶á·ááẠ-
- á¡ááá¯á¡áá»á±á¬ááºá áá áºááŒáá·áºáᬠáááºááẠá¡áá»áá¯á·áá±á¬ááá á¹á áá»á¬ážááᯠá ááºážáááºááá¯ááºááŒá®áž áá¯ááºáááºážá¡ááœáẠáááºáá¶ááá¯ááºáá±á¬ áá¯ááºáá±ááŸá¯á ááºáááºážááᯠáááºáááŸáááá¯ááºáá«áááºá
- á€ááá±á¬áá»ááºááœáẠá ááºážáááºáá°ááẠáá«áááºáá°ááá¯ááºážá¡ááœáẠá¡áá»áá¯ážáá»á±ážáá°ážáá»á¬ážá áœá¬ áá±ážá áœááºážááá¯ááºáá±á¬ááŒá±á¬áá·áº (á ááºážáááºááŸá¯á¡ááŸáááºááŒáŸáá·áºááŒááºážá Data Scientist á០áá±á¬ááºážááœááºáá±á¬áá±áá¬á á¡á á±á¬ááá¯ááºážá¡ááá·áºáá»á¬ážááœáẠáá»áá¯á·ááœááºážáá»ááºáá»á¬ážááᯠáá±á¬áºáá¯ááºááŒááºáž)á
- ááá·áºááá¯ááºááá¯áẠáá¬á·ááºáá²ááœáẠááá¯á·ááá¯áẠááááºááá¯ááºáá»á¬ážááœáẠá¡áá¯ááºáá¯ááºáááºááŒá áºá á± á¡áá±ážáááŒá®ážáá« - á¡áááºážá¡ááŒá áºá¡á¬ážáá¯á¶ážááᯠHortonworksá Clouderaá Mesosá Kubernetes á áááºááŒáá·áº á¡á á¯á¡áá±ážáá áºáá¯á¡ááŒá ẠááŸá¯ááŒááºáá¬ážáá«áááºá
- ááá±á¬áá»ááºáá»á¬ážááᯠááá¯ááºáááá¯áááºáá±á¬ááºááŸá¯ áá»ááºážáááºááŸá¯ááœáẠáááºáá±á¬ááºáá¬ážááŒá®áž ááŒáá·áºáá±ááŒááºážááŸáá·áº á¡ááŒáá¯ááºááœááºáá»ááºááŒááºážáá»á¬ážááᯠáŠážá á¬ážáá±ážáá¯ááºáá±á¬ááºáááºá
Data Quality áááºáááºááœáẠá ááºážáááºááŒááºážáá¯ááºáá±á¬á¡áá«á á ááºážáááºááŒááºážááá¯ááºáᬠáá»áœááºážáá»ááºáá°ááẠáá°ááá»áœááºážáá»ááºáá±á¬ á¡á¬áá¯á¶á á°ážá áá¯ááºááŸá¯ááᯠáá¯ááºáá¯ááºááá¯ááºááŸáá·áº á¡áá¯á¶ážááŒá¯ááá·áºáááááá¬áá»á¬ážáᶠááŒá±á¬ááºážáá±ážáááºááᯠáááááŒá¯á á±ááá¯áá«áááºá
áá±áá¬á¡áááºá¡ááœá±ážá ááºážáááºááŒááºážá áá°ážááŒá¬ážáá±á¬á¡ááºá¹áá«áááºáá»á¬áž
ááá¯á·á¡ááŒááºá áá»áœááºá¯ááºááá¯ááºááá¯ááºá¡ááœááºá áá»áœááºá¯ááºááẠáá±áᬠ(Big Data) ááá±á¬áá»ááºáá»á¬áž (á áá áºáá»á¬áž) ááŸáá·áº á¡ááŒá¬ážáááºáááºáá»á¬ážááœáẠá ááºážáááºááŒááºážá áá°ážááŒá¬ážáá±á¬á¡ááºá¹áá«áááºáá»á¬ážááŒá áºááẠ(áááºážááá¯á·ááᯠáá±áá°áá»á¡á¬ážááŒáá·áº áá®ážááá·áºáá®ážááá·áºááŒá áºááŒá±á¬ááºáž áá»ááºáá»ááºážááŒáá¯áááºá á¬áááºážááœááºážáá¬ážáá«áááºá
á¡áá¯á¶ážáááºáá±á¬ááá·áºáá»á¬áž
- áá®á¡áá¯áá®- .
- EPAM
- á
áááºáá±áᬠá¡áááºá¡ááœá±áž á¡ááºáá»ááºáá®áá¬á¡ááœáẠá¡ááŒá¶ááŒá¯áá¬ážáá±á¬ áá
á¹á
ááºážáá»á¬áž-
- Stepik ááœáẠá¡ááá²á·áááºáááºáž .
- LinkedIn Learning áááºáááºáž- .
- áá±á¬ááºážáá«ážáá»á¬áž-
- ;
- ;
- ;
- áá®áá®ááá¯áá»á¬áž:
- ;
- ;
áá±á¬ááºáá»ááº
áá±áá¬á¡áááºá¡ááœá±áž áá¯ááºáááºážáá
áºáá¯á áá
áºá
áááºáá
áºááá¯ááºážááŒá
áºáááºááá¯áááºááŸá¬ á¡ááœááºáá¯áááºáá±á¬ á¡áá¬ážá¡áá¬ááŸááá±á¬ áŠážáááºáá»ááºáá
áºáá¯ááŒá
áºáááºá áá±áá¬á¡áááºá¡ááœá±ážááᯠáááŸááááºááŸáá·áºáá
áºááŒáá¯ááºáááºá áááºááẠáá±ááºáá®ááŒá®áž ááá¯á¡ááºáá±áá±á¬ áááºážááá¬áá»á¬ážá
áœá¬ááœáẠááŸá
áºááŒá¯ááºááœá¬ážáááá·áºáááºá ááá¯á·áá±á¬áº á¡áá±ážá¡ááŒá®ážáá¯á¶ážááŸá¬á ááá·áºá
áááºáá°ážáá»á¬ážááᯠáááºáá®ážá¡áá±á¬ááºá¡áááºáá±á¬áºáááºááŸáá·áº á¡áá±á¬ááºá¡áááºáá±á¬áºáááºá¡ááœáẠááŒá®ážáá¬ážáá±á¬á¡ááœáá·áºá¡áááºážáá»á¬áž ááœáá·áºáá±ážáááºááŒá
áºáááºá áááºááẠááá±á¬áá»ááºááœááºáá¬áá áá»áœááºážáá»ááºáá°áá
áºáŠážá¡ááŒá
Ạá
ááºáááºáááŒááºááá¯ážáááºáá±ááá·áº áááºááá¯ááºááá¯ááºáááºáž á
ááºáááºáááŒáẠááá¯ážáááºáá±ážáá»ááºážáááºááŸá¯ááᯠáááºá¡áá¯á¶ážááŒá¯ááá¯ááºáááºááŒá
áºáááºá
source: www.habr.com