á¡ááá¯ááºáž
2020 áá¯ááŸá Ạáááºááá«áá®áááœáẠáá±áá¬á¡ááºáá»ááºáá®áá¬áá¬áá°ážá¡ááœáẠáá áºáááºáá±áá¬áá»á¬ážááᯠáá»áœááºá¯ááºááẠáááºááá·áºáááºážááá¬áá»áœááºážáá»ááºááŸá¯ááœáẠáá°ááŒáá¯ááºá¡áá»á¬ážáá¯á¶ážááŒá áºáááºááᯠáá¬ážáááºááẠááá¯ááºážááŒá¬ážá áááºááŒá¬áá«áááºá ááá¯á·áá±á¬áẠáá±áá¬áááá¹áá¶ááá¬ááŸááºáá¬áá°ážá¡ááœáẠáá áºáááºáá±áá¬á á¬áááºážááá¬ážáá»á¬ážááŸáá·áº ááááºáá»á¬ážááᯠáá»áœááºáá±á¬áº ááŸáá¯ááºážááŸááºááŒáá·áºáᬠá áááºáááºá á¬ážá áá¬áá±á¬ááºážáá±á¬ ááœá²ááŒá¬ážááŸá¯áá»á¬áž ááœááºáá±á«áºáá¬áá²á·áááºá
ááœá±ááœá±áá°ážáá°áž ááœá±ááœá±áá°ážáá°ážááŒá±á¬á áá¬áááá¯áá² á¡áá¯ááºáááºááŒááºážáá»á¬ážááœáẠá¡áá»á¬ážáá¯á¶ážáá±á¬áºááŒáá±á·ááŸááá±á¬ ááááºáááºážáááºážááᬠáá áá¯ááᯠáá±á¬áºááŒáá±ážááá¯ááºáá«áááºá
2020 áá¯ááŸá áºááœáẠdata engineer áá¬áá°ážá¡ááœáẠáá áºáááºáá±áá±á¬ áááºážááá¬áá»á¬ážááᯠáá±á¬áºááŒááŒááºážá
ááœááºááŒáá·áºáá¡á±á¬ááºá
áá±áá¬á¡ááºáá»ááºáá®áá¬ááá¬áááº
ááá±á·áá±ááºááœááºá áá±áá¬á¡ááºáá»ááºáá®áá¬áá»á¬ážáá¯ááºáá±á¬ááºááá·áºá¡áá¯ááºááẠá¡ááœá²á·á¡á ááºážáá»á¬ážá¡ááœáẠá¡ááœááºá¡áá±ážááŒá®ážáá«áááºá áááºážááá¯á·ááẠááááºážá¡áá»ááºá¡áááºáá»á¬ážááᯠááááºážáááºážáááºááŸáá·áº á¡ááŒá¬ážáááºáááºážáá»á¬ážááŸáá·áº áá¯ááºáá±á¬ááºááá¯ááºááá·áºáá¯á¶á á¶ááá¯á· áá°áá±á¬ááºáá¬ááẠáá¬áááºááŸááá±á¬áá°áá»á¬ážááŒá áºáááºá áá±áá¬á¡ááºáá»ááºáá®áá¬áá»á¬ážááẠá¡áááºážá¡ááŒá áºáá»á¬ážá áœá¬á០áá±áá¬á á®ážááŒá±á¬ááºáž ááá¯á·ááá¯áẠá¡á á¯á¡áá±ážááŒá¯áá¯ááºááẠááá¯ááºááá¯ááºážáá»á¬ážáááºáá±á¬ááºááŒáááºá ááá¯á·áá±á¬áẠááá¯ááºááá¯ááºážáá»á¬ážááẠáá¯ááºáá°ááŒááºážá á¡ááœááºááŒá±á¬ááºážááŒááºážááŸáá·áº áááºááŒááºážáá¯ááºáááºážáá±á¬ááºáá¬áá»á¬áž (áá áºáááºážá¡á¬ážááŒáá·áº ETL áá¯ááºáááºážá ááºáá»á¬áž)á áá±áá¬ááᯠáá±á¬ááºáááºá¡áá¯á¶ážááŒá¯áááºá¡ááœáẠááá¯ááá¯ááá·áºáá»á±á¬áºá á±áááºá áááºážáá±á¬ááºááœááºá áá±áá¬ááᯠááá¯ááá¯áááºááŸáá¯ááºážá áœá¬ áá¯ááºáá±á¬ááºáááºá¡ááœáẠáá±á·áá¬áá¯á¶ážáááºáá°áá»á¬ážááŸáá·áº áá±áá¬áááá¹áá¶ááá¬ááŸááºáá»á¬ážáᶠáááºááŒáááºááŒá áºáááºá áá±á¬ááºáá¯á¶ážááœááºá áá±áá¬ááẠáááºááŸáºáá¯ááºáá»á¬ážá á¡á á®áááºáá¶á á¬áá»á¬ážááŸáá·áº á ááºáááºáá°ááŸá¯áá¯á¶á á¶áá»á¬ážááŒáá·áº áááºážáááá®ážááᯠá¡áá¯á¶ážáááºáááºá
áááºááŸááá±áá¬á¡ááºáá»ááºáá®áá¬áá áºáá±á¬ááºáá²á· á¡áá¯ááºááŸá¬ áááºáááºážááá¬ááœá±á á¡áááºááá¯áá¯á¶ážáá²ááá¯áᬠáá±á¬ááºáá»ááºáá»ááá¯ááºá á±ááá·áº á¡áá»ááºá¡áááºááœá±ááᯠááŸá¬ááœá±áá±áá«áááºá
áááºážáááºážáá»á¬áž
á¡áá¯ááºá¡ááá¯ááºááŸá¬ááœá±áá±ážááá¯áẠáá¯á¶ážáá¯á០á¡áá»ááºá¡áááºáá»á¬ážááᯠá
á¯áá±á¬ááºážáá²á·áááºá
áá±á¬á·áá»ááºá á¬áá¯á¶ážáá áºáá¯á á®á¡ááœááºá ááá¯ááºáá áºáá¯á á®ááŸá á á¬áá¬ážá á¯á á¯áá±á«ááºážá¡áá±á¡ááœááºá០hits áá¬ááá¯ááºááŸá¯ááºážááᯠááœááºáá»ááºááŒá®áž á¡áááºážá¡ááŒá áºáá¯á¶ážáá¯á¡ááœáẠáá»ááºážáá»áŸááᯠááœááºáá»ááºáá«áááºá
ááááºáá»á¬ážááá¯
á¡á±á¬ááºáá±á¬áºááŒáá«áá»á¬ážááẠá¡áá¯ááºáááºááá¯ááºáá¯á¶ážáá¯áá¯á¶ážááœáẠá¡ááŒáá·áºáá¯á¶ážáááŸááºáá»á¬ážááŸáááá·áº áááºážááá¬ááá¯ááºáᬠáá±áá¬á¡ááºáá»ááºáá®áá¬ááá¯ááºáᬠá ááºážáááºážáá»ááºáá¯á¶ážáááºááŒá áºáááºá
á€áááºááŸá¬ áá°áá®áá±á¬áá¶áá«ááºáá»á¬ážááŒá áºáá±á¬áºáááºáž ááá¬ážáá¯á¶á á¶ááŒáá·áº áá±á¬áºááŒáá¬ážáá«áááºá
ááá¯ááºááŒáá¡á±á¬ááºá
ááááºáá»á¬ážááá¯ááŒááºáááºáá¯á¶ážáááºááŒááºážá
SQL ááŸáá·áº Python ááŸá
áºáá¯á
áá¯á¶ážááẠááŒááºáááºáá¯á¶ážáááºáá¬ážáá±á¬ á¡áá¯ááºááœáá·áºááŸá¯áá»á¬ážá áá¯á¶ážáá¯á¶ááŸá
áºáá¯á¶áá»á±á¬áºááœáẠáá±á«áºáá¬áááºá á€áááºážááá¬ááŸá
áºáááºááẠáŠážá
áœá¬áá±á·áá¬ááẠá¡áááá¹áá«ááºááŸááá±ááẠá
Spark ááẠáá
áºáááºáá±áá¬áá»á¬ážá áááºáááºááá·áºááœáẠáá±á¬áºááŒáá¬ážáá«áááºá
AWS ááẠá¡áá¯ááºáááºááŒááºážá 45% ááá·áºááœáẠáá±á«áºáá¬áááºá áááºážááẠAmazon ááŸáá¯ááºáá¯ááºáá±á¬ cloud computing platform áá
áºáá¯ááŒá
áºáááºá áááºážááẠcloud ááááºáá±á¬ááºážá¡á¬ážáá¯á¶ážááœáẠá¡ááŒá®ážáá¯á¶ážá
á»á±ážááœááºáá±á
á¯ááŸááááºá
ááá¯á·áá±á¬áẠJava ááŸáá·áº Hadoop ááẠáááºážááá¯á·áá¡á
áºááá¯á¡ááœáẠ40% ááẠá¡áááºážáááºááá¯áá«áááºá
á¡áá»áááºá
ááºáá²ááŸá¬ á
á®ážáá±ááááá¯áá«áá²á
ááá¯á·áá±á¬áẠáá»áœááºá¯ááºááá¯á·ááẠHiveá Scalaá Kafka ááŸáá·áº NoSQL ááá¯á·ááᯠááœá±á·áááẠ- á€áááºážááá¬áá
áºáá¯á
á®ááᯠáááºááœááºážááŒá®áž áá
áºáááºáá±áá¬áá»á¬ážá áá±ážáá¯á¶áá
áºáá¯á¶ááœáẠáá±á¬áºááŒáá¬ážáá«áááºá Apache Hive ááẠ"SQL ááᯠá¡áá¯á¶ážááŒá¯á ááŒáá·áºáá±áá¬ážáá±á¬ á
ááá¯ážááá¯ááºáá»á¬ážááœáẠáá±ááá¯ááºááá·áº áá±áá¬á¡á
á¯á¶áá»á¬ážááᯠáááºáááºá áá±ážáá¬ážáááºááŸáá·áº á
á®áá¶ááá·áºááœá²ááẠááœááºáá°á
á±áááºá"
áá±áá¬áááá¹áá¶ááá¬ááŸáẠáá áºáááºáá±áá¬áá»á¬ážááœáẠáá±á«áá¬ááá»á¬ážááŸáá·áº ááŸáá¯ááºážááŸááºááŒááºážá
á€áááºááŸá¬ áá±áá¬áááá¹áá¶á¡áá¯ááºááŸááºáá»á¬ážááŒá¬ážááœáẠá¡áá¯á¶ážá¡áá»á¬ážáá¯á¶áž áááºážááá¬á¡áá¯á¶ážá¡ááŸá¯ááºážáá¯á¶ážáááºááŒá áºáááºá áá±áá¬á¡ááºáá»ááºáá®áá¬á¡ááœáẠá¡áááºááœááºáá±á¬áºááŒáá¬ážááá·áºá¡ááá¯ááºáž á€á á¬áááºážááᯠáá»áœááºá¯ááºáááŸááá²á·áááºá
2020 áá¯ááŸá áºá¡ááœáẠdata scientist áá¬áá°ážá¡ááœáẠáá áºáááºáá±áá¬áá»á¬ážááœáẠáááºážááá¬áá±á¬áºááŒáá»ááºáá»á¬áž
á á¯á á¯áá±á«ááºáž á¡áá±á¡ááœááºá¡ááŒá±á¬ááºážááŒá±á¬áááºá á¡áááºá áá°ááá¬ážáá²á· áá±á«áºáá°ááŸá¯áá²á· ááŸááºááẠáá áºáááºáá±áᬠ28% (12 áá²á· 013) ááá¯áá»á¬ážáááºá áá±áá¬á¡ááºáá»ááºáá®áá¬áá»á¬ážááẠáá±áá¬áááá¹áá¶ááá¬ááŸááºáá»á¬ážá¡ááœáẠáá áºáááºáá±áá¬áá»á¬ážááœáẠáááºááá·áºáááºážááá¬áá»á¬áž áááºážáá«ážáááºááᯠááŒáá·áºááŒáá«á áá¯á·á
Data Engineering ááœáẠááá¯ááá¯áá±áááºážá á¬ážáááºá
á¡á±á¬ááºááœááºáá±á¬áºááŒáá¬ážáá±á¬ááááºááẠ10% ááŸáá·áº -10% áááºáááºážáá±á¬ áá»ááºážáá»áŸááŒá¬ážáá¬ážáá»ááºááŸááá±á¬ á¡áááá áá¬ážáá¯á¶ážáá»á¬ážááᯠááŒááá¬ážáááºá
data engineer ááŸáá·áº data scientist ááŒá¬ážáá±á¬á·áá»ááºá áá¬ážáá¯á¶ážááŒáááºááŸá¯ááºážáá¡ááŒá®ážáá¬ážáá¯á¶ážááœá¬ááŒá¬ážáá»ááº
AWS ááẠá¡áá°ážááŒá¬ážáá¯á¶áž ááá¯ážáá¬ááŸá¯ááᯠááŒááááº- áá±áá¬á¡ááºáá»ááºáá®áá¬ááœáẠáááºážááẠáá±áá¬áááá¹áá¶ááœáẠ25% (ááá·áºááŸááºážááŒá±á¡á¬ážááŒáá·áº áá áºáááºáá±áá¬á á¯á á¯áá±á«ááºážá 45% ááŸáá·áº 20% á¡áá®ážáá®áž)á ááœá¬ááŒá¬ážáá»ááºá áááá¬áá«áááºá
á€áááºááŸá¬ á¡áááºážáááºááœá²ááŒá¬ážáá±á¬áááºááŒááŸá¯áá áºáá¯ááœáẠáá°áá®áá±á¬áá±áá¬ááŒá áºááẠ- ááááºááœááºá áá±áá¬á¡ááºáá»ááºáá®áá¬áá¬áá°ážá¡ááœáẠáá áºáááºáá±áá±á¬áá±áá¬áá»á¬ážá¡ááœáẠáá°áá®áá±á¬áá±á¬á·áá»ááºá á¬áá¯á¶ážá¡ááœááºááááºáá»á¬ážááẠáá±ážáá»ááºážááŸááºáá»ááºáááºááŸááá±áá«áááºá
data engineer ááŸáá·áº data scientist ááŒá¬ážáá±á¬á·áá»ááºá áá¬ážáá¯á¶ážááŒáááºááŸá¯ááºážáá¡ááŒá®ážáá¬ážáá¯á¶ážááœá¬ááŒá¬ážáá»ááº
áá»áœááºáá±á¬áºáááááŒá¯áááá²á·áá±á¬ áá±á¬ááºáááºá¡ááŒá®ážáá¯á¶ážáá¯ááºáá»ááºááŸá¬ Spark ááœááºááŒá
áºááẠ- áá±áá¬á¡ááºáá»ááºáá®áá¬áá
áºáŠážááẠáá±áá¬ááŒá®ážááŒá®ážáá¬ážáá¬ážááŒáá·áº áááŒá¬áááá¯ááºáá±á¬ááºááá±á·ááŸááááºá
áá±áá¬á¡ááºáá»ááºáá®áá¬ááœáẠáá°ááŒáá¯ááºáááºážáááºá
áá±áá¬á¡ááºáá»ááºáá®áᬠáá
áºáááºáá±áá¬áá»á¬ážááœáẠáááºááá·áºáááºážááá¬áá»á¬áž áá°ááŒáá¯ááºáááºážáááºááᯠááŒáá·áºááŒáá«á
áá¯á·á
áá±áá¬áááá¹áá¶ááá¹áááŸáá·áº ááŸáá¯ááºážááŸááºáá«á áááááá¬áᬠáá»áááºážááŸá¯ ááŒá
áºáá±á«áºáá²á·áááºá
Data Engineering ááŸáá·áº Data Science ááŸá áºáá¯á áá¯á¶ážááœáẠááá¯á¡ááºáá»ááºááŸááááºá
ááŸá áºáá¯á áá¯á¶ážááœáẠááááá¬áá°ážáááºáá¯á¡ááẠááŸá áºáá¯ááẠáá°áá®ááŒá±á¬ááºáž áááááŒá¯ááá·áºáááºá SQLá Pythoná Sparká AWSá Javaá Hadoopá Hive ááŸáá·áº Scala ááá¯á·ááẠdata engineering ááŸáá·áº data science industries ááŸá áºáá¯áá¯á¶ážá¡ááœáẠááááºáááºážáááºáá±á¬ááºá á¬áááºážáááºáá²á·áááºá á¡á±á¬ááºáá±á¬áºááŒáá«ááááºááœáẠáá±áá¬á¡ááºáá»ááºáá®áá¬á¡áá¯ááºááŸááºáá»á¬ážá¡ááŒá¬áž áá±áááºážá¡á á¬ážáá¯á¶ážáááºážááá¬ááá·áºáá«ážáá¯ááᯠáááºááœá±á·ááá¯ááºááŒá®áž áááºážááá¯á·áá±á¬ááºááœáẠáá±áá¬áááá¹áá¶ááá¬ááŸááºáá»á¬ážá¡ááœáẠáááºážááá¯á·ááá áºáááºááŸá¯ááŸá¯ááºážááŒá áºáááºá
á¡ááŒá¶ááŒá¯áá»ááºáá»á¬áž
á¡áááºá áááºááẠáá±áá¬á¡ááºáá»ááºáá®áá¬ááá¯á· áááºáá±á¬ááºááá¯áá«á á¡á±á¬ááºáá«áááºážááá¬áá»á¬ážááᯠáá»áœááºážáá»ááºááẠá¡ááŒá¶ááŒá¯ááá¯áá«áááº- áááºážááá¯á·ááᯠá¡áá®ážá ááºáá¯á¶ážáŠážá á¬ážáá±ážá¡á á®á¡á á¥áºááŒáá·áº á á¬áááºážááŒá¯á á¯áá¬ážáá«áááºá
SQL ááá¯áá±á·áá¬áá«á áá»áœááºá¯ááºááẠááœáá·áºáááºážáá±á¬á¡áááºážá¡ááŒá
áºááŒá
áºááŒá®ážá á¡ááá¯ááºážá¡ááá¯ááºážááœáẠá¡ááœááºáá±áááºážá
á¬ážááŒá®áž ááá¯ážáááºááŸá¯á¡ááá·áºááœáẠááŸááá±áá±á¬ááŒá±á¬áá·áº PostgreSQL ááᯠáŠážáááºáá±áá«áááºá My Memorable SQL á
á¬á¡á¯ááºá០áá¬áá¬á
áá¬ážááᯠá¡áá¯á¶ážááŒá¯áááºážááᯠáááºáá±á·áá¬ááá¯ááºááẠ- áááºážá ááŸá±á·ááŒá±ážáá¬ážááŸááºážááᯠáááŸáááá¯ááºáá«áááºá
Master Python ááẠhardcore á¡ááá·áºááœááºáááŸááá»áŸááºáááºá My Memorable Python ááᯠá
áááºáá°áá»á¬ážá¡ááœáẠá¡áá°ážáááºáá®ážáá¬ážáá«áááºá ááœááºáááºáá°ááá¯ááºáá«áááºá
ááẠPython ááŸáá·áº áááºážááŸá®ážááŒá®ážáááºááŸáá·áº áá±áá¬ááŸááºážáááºážááŒááºážááŸáá·áº áá¯ááºáá±á¬ááºááŒááºážá¡ááœáẠá¡áá¯á¶ážááŒá¯ááá·áº Python á
á¬ááŒáá·áºááá¯ááºáá
áºáá¯ááŒá
áºááá·áº áááºáá«áá»á¬ážáᶠáááºááœá¬ážáá«á á¡áááºá áááºááẠPython ááœáẠá
á¬áá±ážááá¯ááºááŸá¯ ááá¯á¡ááºáá±á¬ áá¯áá¹ááá®áá
áºáá¯ááœáẠá¡áá¯ááºáá¯ááºááẠáááºááŸááºážáá¬ážáá«á (áááºážááá¯á·áá²á០á¡áá»á¬ážá
á¯áááº) áááºáá«áá»á¬ážá á¡ááááá¬ááᯠáá¯á¶áá±ááŒáá·áº áá°ááááºááŸá¬ áá±áá»á¬áá«áááºá áááºáá«áá»á¬ážááŸáá·áº á¡áá¯ááºáá¯ááºááẠáááá«ááºážáááºážááœáŸááºááᯠáá±á¬áá±á¬ááẠááŒá®ážáá«ááŒá® - áááºáá¯ááºááá¯ááºáááº
áá¬á
áᬠAWSá á¡áááºá áááºááẠáá±áá¬á¡ááºáá»ááºáá®áá¬áá
áºáŠážááŒá
áºááá¯áá«áá stash ááŸá cloud ááááºáá±á¬ááºážáááŸááá² áááºááá¯ááºááá¯ááºáá«á AWS ááẠáááºážááá¯á·á¡áááºá០áá±áááºážá¡á
á¬ážáá¯á¶ážááŒá
áºáááºá áááºáááºážááœá±á áá»áœááºáá±á¬á·áºááᯠá¡áá»á¬ážááŒá®áž áá°áá®áá±ážáá²á·áááºá
á¡áááºá áááºááẠá€á á¬áááºážáá áºáá¯áá¯á¶ážááᯠááŒá®ážááŒá±á¬ááºááŒá®ážááŒá áºááŒá®áž áá±áá¬á¡ááºáá»ááºáá®áá¬áá áºáŠážá¡áá±ááŒáá·áº á¡áá¯ááºááŸááºáá»á¬ážáá¡ááŒááºááœáẠááá¯ááá¯ááŒá®ážááœá¬ážááá¯áá«áá áá±áá¬ááŒá®ážááŒá®ážáá¬ážáá¬ážááŒáá·áº áá¯ááºáá±á¬ááºáááºá¡ááœáẠApache Spark ááᯠááá·áºááœááºážááẠá¡ááŒá¶ááŒá¯á¡ááºáá«áááºá áá±áá¬áááá¹áá¶ááá¬ááŸááºáá»á¬ážá áá áºáááºááŸá¯áá»á¬ážá¡áá±á«áº áá»áœááºá¯ááºá áá¯áá±ááááŒá¯áá»ááºáá»á¬ážá¡á á áááºáááºá á¬ážááŸá¯ áá»áááºážáááºááᯠááŒááá²á·áá±á¬áºáááºáž áá±áá¬á¡ááºáá»ááºáá®áá¬áá»á¬ážááŒá¬ážááœáẠáááºážááẠáá áºáááºáá±áá¬ááá¯ááºážáá®ážáá«ážááœáẠááŸááá±áá±ážáááºá
á¡áá¯á¶ážááŸá¬
áá±áá¬á¡ááºáá»ááºáá®áá¬áá»á¬ážá¡ááœáẠá¡áá¯á¶ážáááºáá¯á¶ážáá±á¬ á¡ááá¯á¡ááºáá¯á¶ážáááºážááá¬áá»á¬ážáá²á· ááŒá¯á¶áá¯á¶áá¯á¶ážáááºáá»ááºááᯠáááºááœá±á·ááŸááááá·áºáááºááá¯á· áá»áŸá±á¬áºááá·áºáá«áááºá áá±á·áá¬áá°á¡áá¯ááºááœá± áááºáá±á¬ááºáá»á¬áž áá»á¬ážáá±áá² áááá»ááºááẠáááºááŒáá·áºááá¯ááºáá«á
source: www.habr.com