αααααΎαααααΆα
αααα»αααΆααα·ααΆαααααΉαααααΎαααΎααα»ααααα·ααααααΆαααα»ααααααααΆαα·ααααααα·αααααα ααΌα ααααα½ααααααα·ααα αααα»αααααααΆ ααααΆα 2020 ααΎααααΈαααααΈααααΆααα αα αααα·ααααΆααΆαααααααα·αααααα»αα αααααΆαααααααα»αααΆαααααααααααααααααΆαα½αααΉααααα·αα·ααααΈααΈααΆαααΆαααααααααααΆαααα»ααααααα’ααααα·ααααΆααΆααααααα·αααααα α αΎαααΆααα»αααααΆαα½αα±ααα αΆααα’αΆαααααααα½αα ααα½αααΆαααα α‘αΎαα
αααααααΆααα»αααα ααα»α αααΎα ααΆαααααααααααΊααΆαα αα αααα·ααααΆααααΌαααΆααααααααααααΌαααΆαααΎαα‘αΎαααΆααΉαααΆαααααα»ααα αααα»αααΆααααααΆαααΆαααΆαα
ααΆαααΎαα‘αΎαα’αααΈαα αα αααα·ααααΆαα αααα»αααααΉαααααΎαααΎααα»ααααα·ααααααΆαααα»αααααααα·ααααααα·αααααααααα»αααααΆα α’α α’α
ααΌαα±ααααΆααααΉαααααΌαα
αααα½ααα»αααααΌααααααα·ααααααα·αααααα
ααααααααααα ααΆαααΆαααααα·ααααααα·ααααααααααΎααΊααΆαααΆααααααΆαααααααΆααα’αααααΆαααΆααΆ - ααΆαααααααΊααΆααα»ααααααααΆααααα½ααα»αααααΌααααα»αααΆααααααΆαα»αααααααΆα αα·αααΆαααααΆαα αααα»αααααααααααα»ααααα·αααααααααα’αΆα ααααΎααΆαααΆαα½αααΆααΆαα αα·αααααβαα·ααααααβαααααΎαβαααααβαααα αΌαβααΎααααΈβααααααΈα α¬βαα·ααααααβααΆα αβααΈβαααααβα αααΎαα ααααααααα αΌαααααααααααΆααααααααΎααααα·ααααα·ααΆααααααα αα ααααααα αα·αααααΎαααΆααααα»α (αα·ααΆααααααΆαααα ααααΎαααΆα ETL) ααααΎα±αααα·ααααααααΆαααααααααααααααΆααααΆαααααΎααααΆαααααααααααα αααααΆααααΈααα αα·ααααααααααΌαααΆαααΆααααΌαα’ααααα·ααΆα αα·αα’ααααα·ααααΆααΆααααααα·αααααα ααΎααααΈααααΎαααΆαααΆαααααααΈααααα α ααΆα α»αααααα αα·αααααααααα ααααααΎαααααααΆαα αααα»αααααΆααααααααααα αααΆαααΆααα αα·αααααΌαα·ααααΆαααΆαααΈαα
αααα»ααααα»ααααααααααααααΆααααααΉαα’αα»ααααΆαα±αααααα»αααααΎααΆαααααα·ααααΆαα’αααΈαα αα αααα·ααααΆααΆαααααΆααααααΌαααΆαα αααΎααααα»ααααα»αααΆαααΆααααααα·ααααααα·αααααααα ααααααα
αα·ααΈααΆαααααα
αααα»αααΆααααααΌαααααααΆαααΈααα ααααααααααααααΆαααΆαα
ααα½αααΈ β
αααααΆααααΆααααααααΉαααΈαα½αα αααα»αααΆαααααΆααΆαααααααΆαα αΌαααΎαααΈα ααα½αααα»αααα’ααααααα ααΎααα αααααααΈαα½ααααΆα ααααα‘αα α αΎααααααΆααααααααΆααΆααααααααααΆαααααααααΆααααΈα
Π Π΅Π·ΡΠ»ΡΡΠ°ΡΡ
ααΆααααααβαααβααΆβααααααααβαα·αααααααβαα·ααααααβαα αα αααααβα ααα½α XNUMX αααβααΆαβαα·αααα»βαααααβαααα»αβαα βααΌααΆααβααααααβααΆαααΆαβααΆααβααΈα
α αΎααααααΊααΆαααααΌα ααααΆ ααα»αααααααα αΆααααα»αααααααααΆααΆαα
ααααα ααΆαααααΆααα
ααΆααα·αα·αααα‘αΎααα·ααααααααα
ααΆαα SQL αα·α Python ααα
α‘αΎααααα»αα
αααΎαααΆα XNUMX/XNUMX ααααΆαααΎαααΆαααΆααααααΆααα·αα·αααα ααΆβααΊβααΆβαα
αα
αααα·ααααΆβααΆααβααΈαβαααβαααβααΆαβα’ααααααβαααα»αβααΆαβαα·ααααΆβαα»αβααα
Spark ααααΌαβααΆαβααΎαβα‘αΎαβαααα»αβαααα ααβααΆααβαααααΆαβααβαααααβαααααα
AWS ααα
α‘αΎααααα»ααααα αα 45% ααααΆααααααΆαααΆαααΆαα ααΆααΊααΆαααα·ααΆαα»αααααΌαααααααααααα·αααααααα»αα αα»α Amazon; ααΆααΆαα
ααααααΈααααΆαααααΆααααααα»αα
αααααααα·ααΆαααααΆααα’ααα
αααααΆαααα Java αα·α Hadoop - α
αααΎαααΆα 40% αααααΆαααααααα»ααααααα½αααα
ααΆααΌα
ααΆαα·ααααα»ααααΆαααΈααααααααΆ
αααααΆααααααΎαααΎα Hive, Scala, Kafka αα·α NoSQL - αα
αα
αααα·ααααΆααΆαααααααΈαα½ααααααΌαααΆαααΎαα‘αΎααα
αααα»ααα½αααΆααα½ααααααααααααααααααΆαααΆααααααΎα Apache Hive ααΊααΆαααααα·ααΈααααΆαααα·ααααααααα "ααααΎα±ααααΆαααΆαααΆααααα½ααααα»αααΆαα’αΆα ααααα αα·αααααααααααααα»ααα·ααααααααααααααααα
αααα»αα αΆαα
ααα
αΆααααααααΎ SQL"α
ααΆαααααααααααΆαα½ααααααααααα αααα»αααααΉαααααΎαααΎαα’ααααα·ααααΆααΆααααααα·αααααα
αααααΊααΆααΆααααα αα αααα·ααααΆααΆααα·ααααααΆααΏαααααααΆαααα»ααααα»αα αααααα·αααααα·ααααΆααΆααααααα·ααααααα αααα»αααα½αααΆααααααΈαααααΆαααααααΌα αααααΆααα·αααααΆααΆαααΎαααααΆαααα·ααααααααα·ααααααα
ααΆαααΎαα‘αΎαα’αααΈαα αα αααα·ααααΆαααα»ααααααααααααααααΆαααα»ααααααα’ααααα·ααααΆααΆααααααα·αααααααααα»αααααΆα α’α α’α
ααααα·αααΎααΎααα·ααΆαα’αααΈα ααα½αααα»α ααΎαααααααααα ααΉαααΆαααααΎαααΎααααααΆααα·α αΆαααΆααΈαα»α ααΆααΆα 28% αααααααααααα αααΎαααΆα (12 αααααΉα 013) α αααααΎαααΆαα αα αααα·ααααΆααΆααααααααα·αααΌαααΆααα αααα»αααααααααααααααααΆααα’ααααα·ααααΆααΆααααααα·αααααα ααΆααα·ααααααα·ααααααα
ααΆααααααααα·αααα αααα»ααα·ααααααααα·αααααα
ααααΆα ααααΆαααααααααα αΆαααΆααααααααΉααααααΆαααΆααα»αααααΆααΆαααααααααΆα 10% α¬αα·α ααΆα -10%α
ααΆααα»αααααΆαααααααα»ααα αααα»ααααααααααΆααααααααΉααααΆααα·ααααααα·αααααα αα·αα’ααααα·ααααΆααΆααααααα·αααααα
AWS αααα αΆαααΈααΆαααΎαα‘αΎααα½αα±ααααααααααΆαααααα»α: αα αααα»ααα·ααααααααα·ααααααααΆααα α‘αΎαααΆαααααΆαα 25% ααΆααα αααα»ααα·ααααΆααΆααααααα·αααααα (αααα αα 45% αα·α 20% ααα ααα½ααααααααα»ααααααααΆ) α ααΆααα»αααααΆαα½αα±ααααααααααΆαα!
αααααΊααΆαα·ααααααααΌα ααααΆαα αααα»ααααααα αΆααα»αααααΆααααα·α ααααα½α - αα αααα»αααααΆα αα αααααααααααΆααααΆααααααααΉαααΌα ααααΆαα αααα»αααααΉαααααΎαααΎααα»ααααα·ααααααΆαααα»αααααααα·ααααααα·αααααα αα·αα’ααααα·ααααΆααΆααααααα·ααααααααΆαααΈααΆαααα ααααΆααα
ααΆααα»αααααΆαααααααα»ααα αααα»ααααααααααΆααααααααΉααααΆααα·ααααααα·αααααα αα·αα’ααααα·ααααΆααΆααααααα·αααααα
ααΆαααααααααααα»ααααααΆααααααααα»αααΆαααααααααΆααααΊαα
αααα»α Spark - αα·ααααααα·ααααααααΆααΉαααΆααααααΌαααααΎααΆαααΆαα½ααα·ααααααααα
αα·αααΌαααΆααααααΆαααα·αααΆααααα»ααα·ααααααααα·αααααα
α₯α‘αΌααααααΌαααΎααα
αα
αααα·ααααΆααΆααααα·αααΌαααααα·αααα
αααα»αααααΉαααααΎαααΎααα»ααααα·αααααααα·ααααααα·ααααααα
ααΆαβααααΆααβα
α»αβααααΆααβαααα»αβααΎβαααβααΉαβαα·αααβαα·ααααΆααΆαααααβαα·ααααααβααΆαβααΎαβα‘αΎαβαα
βαααα»α
αα αααα»ααααααΌαααΆαααΆαααα·ααααααααα·αααααα αα·ααα·ααααΆααΆααααααα·αααααα
αα½ααααααααΆααααΆαα»ααααααα ααα½αααααΆαααΈαααα»αα αααααααααααΌααα αααα»ααα»αααΆααααΈαααΊααΌα ααααΆα SQL, Python, Spark, AWS, Java, Hadoop, Hive αα·α Scala ααΆαααααΎα±ααααΆααααΆαααΆααααΌαααΆααααααααααΆααααΆαααα·ααααααααα·αααααα αα·αα§ααααΆα αααααα·ααααΆααΆααααααα·ααααααα αα αααα»αααααΆα ααααΆαααααα α’αααα’αΆα ααΎαααΎααα αα αααα·ααααΆααααα·αααααα»αα ααα½ααααααααΆααααα»αα αααααα·αααααα·ααααααα·αααααα α αΎααα ααΆααααΉααα½αααααΊααΆα’ααααΆααααααααααα½ααααααααΆααα’ααααα·ααααΆααΆααααααα·ααααααα
α’αα»ααΆααα
ααααα·αααΎα’αααα ααα αΌααα αααα»ααα·ααααααααα·αααααα αααα»αααΉαααααΆαα’αααα±ααααααΎααΆααα αΆααααΎαα αα αααα·ααααΆααΆαααααα - αααα»αααΆααααααΈαα½αααΆααΆαααααΆααα’αΆαα·ααΆααααα αΆαααααα ααα
ααα SQL α αααα»αααΆααα
αα PostgreSQL αααααααΆααΆαααααααΎαα
αα ααααα·αααααΆαααααΆαααα
αααα»ααα αααα α αΎααααα·ααααα»αααααΆααααΆαααΈαα
ααααΎαα α’αααα’αΆα
αααααΈααααααααΎααΆααΆααΈααααα
My Memorable SQL - ααααααΆαααααααααααΆααΆα
Master Python αααααΈααΆαα·ααα
ααααα·α hardcore αααα»ααααααα My Memorable Python ααααΌαααΆααα
ααΆα‘αΎαααΆαα·ααααααααΆααα’αααα
αΆααααααΎαααααΌαα ααΆα’αΆα
ααααΌαααΆααα·ααα
αα
ααααααα’αααααααΆαα Python ααΌααααααα
αααααΆ αααααΆαααααΆααα Python αααααααΌαααΆαααααΎαααααΆααααΆααααα’αΆα αα·αααααΎαααΆααα·ααααααα ααααα·αααΎα’αααααΆαααααααααΎααΆααα
αααα»ααααα»αα αα»ααααααΆαααΆααααααααΆααααα»αααΆαααααααα
αααα»α Python (α αΎααααααΊααΆααΆαα
αααΎααααα½ααα) α’αααα’αΆα
ααααΆααααΆα
ααααααΉαα’αααΈααααΆαααα»ααααααΆααΉαααααΌαααΆαααααααααΆαααααΆαααΎαα α₯α‘αΌαααααααα»ααααα»ααααα
ααααΆαααααΆαααααΆααααααΆααααααΎααΆαααΆαα½αααααΆαααα»ααααααΆ - α’αααα’αΆα
ααααΎααΆα
αα AWS α ααααα·αααΎα’αααα
ααααααΆαααΆαα·ααααααα·αααααα α’ααααα·αα’αΆα
ααααΎααΆααααααααΆααααα·ααΆααααα
αααα»αααααΆααααααα α αΎα AWS ααΊααααα·αααααα»ααααα»αα
αααααα½αααα αααααα·ααααΆααΆααα½ααααα»ααααΆαα
αααΎα
ααααα·αααΎα’αααααΆααααα αααααααΈααΆααααΌααααα αΎα α αΎαα ααααΈαα ααααΎαααααααααααα αααα»ααααααααααααααααα·ααααααΆαα·ααααααα·αααααα αααα»αααααΎα±αααααααααααααα·ααΈ Apache Spark αααααΆααααααΎααΆαααΆαα½ααα·ααααααααα αααααΈααΆααΆαααααΆαααααΆααααααααα»αααΎααααΉαααααΎαααΎααα»ααααα·αααααααα·ααααααααΆααααα αΆαααΈααΆαααααΆααα α»αααα αααΆααα’αΆααααααααααα αααα»αα αααααα·ααααααα·αααααα ααΆαα ααααα α‘αΎαααααΎαααααααααααααααααααααΈααΈαα
αα α α»αααααα
αααα»ααααααΉαααΆα’αααααΆαααααΎααα·αααααΆαααΌαα
αααα
αα
αααα·ααααΆαααααΆααααααΌαααΆααααα»ααααααΆαααα·ααααααα·ααααααααΆαααααααααα ααΎβα’αααβαααααβααΆβααΎβααΆαααΆαβα’αααβαα·ααΆαβααΎαβααΏαβαααΆαβααΆ ααΌαβα’αΆα
ααααα: www.habr.com