αž•αŸ‚αž“αž€αžΆαžšαž€αž˜αŸ’αžšαž·αžαžŸαž˜αŸ’αžšαžΆαž”αŸ‹αž€αžΆαžšαž‘αž‘αž½αž›αž”αžΆαž“αžœαž·αž‡αŸ’αž‡αžΆαž‡αžΈαžœαŸˆαžœαž·αžŸαŸ’αžœαž€αžšαž‘αž·αž“αŸ’αž“αž“αŸαž™

αž’αžŸαŸ‹αžšαž™αŸˆαž–αŸαž›αž”αŸ’αžšαžΆαŸ†αž”αžΈαž†αŸ’αž“αžΆαŸ†αž…αž»αž„αž€αŸ’αžšαŸ„αž™αž“αŸαŸ‡ αžαŸ’αž‰αž»αŸ†αž”αžΆαž“αž’αŸ’αžœαžΎαž€αžΆαžšαž‡αžΆαž’αŸ’αž“αž€αž‚αŸ’αžšαž”αŸ‹αž‚αŸ’αžšαž„αž‚αž˜αŸ’αžšαŸ„αž„ (αžαŸ’αž‰αž»αŸ†αž˜αž·αž“αžŸαžšαžŸαŸαžšαž€αžΌαžŠαž“αŸ…αž€αž“αŸ’αž›αŸ‚αž„αž’αŸ’αžœαžΎαž€αžΆαžšαž‘αŸ) αžŠαŸ‚αž›αž‡αŸ‡αž₯αž‘αŸ’αž’αž·αž–αž›αž’αžœαž·αž‡αŸ’αž‡αž˜αžΆαž“αž›αžΎαž•αŸ’αž“αŸ‚αž€αžαžΆαž„αž€αŸ’αžšαŸ„αž™αž•αŸ’αž“αŸ‚αž€αž”αž…αŸ’αž…αŸαž€αžœαž·αž‘αŸ’αž™αžΆαžšαž”αžŸαŸ‹αžαŸ’αž‰αž»αŸ†αŸ” αžαŸ’αž‰αž»αŸ†αž”αžΆαž“αžŸαž˜αŸ’αžšαŸαž…αž…αž·αžαŸ’αžαž”αž·αž‘αž‚αž˜αŸ’αž›αžΆαžαž”αž…αŸ’αž…αŸαž€αžœαž·αž‘αŸ’αž™αžΆαžšαž”αžŸαŸ‹αžαŸ’αž‰αž»αŸ† αž αžΎαž™αž‘αž‘αž½αž›αž”αžΆαž“αžœαž·αž‡αŸ’αž‡αžΆαž‡αžΈαžœαŸˆαž‡αžΆαžœαž·αžŸαŸ’αžœαž€αžšαž‘αž·αž“αŸ’αž“αž“αŸαž™αŸ” αž‡αŸ†αž“αžΆαž‰αžŸαŸ’αž“αžΌαž›αžšαž”αžŸαŸ‹ Data Engineer αž‚αžΊαžŸαž˜αžαŸ’αžαž—αžΆαž–αž€αŸ’αž“αž»αž„αž€αžΆαžšαžšαž…αž“αžΆ αž”αž„αŸ’αž€αžΎαž αž“αž·αž„αžαŸ‚αž‘αžΆαŸ†αžƒαŸ’αž›αžΆαŸ†αž„αž‘αž·αž“αŸ’αž“αž“αŸαž™αŸ”

αžαŸ’αž‰αž»αŸ†αž”αžΆαž“αž”αž„αŸ’αž€αžΎαžαž•αŸ‚αž“αž€αžΆαžšαž”αžŽαŸ’αžαž»αŸ‡αž”αžŽαŸ’αžαžΆαž› αžαŸ’αž‰αž»αŸ†αž‚αž·αžαžαžΆαžœαžΆαž“αžΉαž„αž˜αžΆαž“αž”αŸ’αžšαž™αŸ„αž‡αž“αŸαž˜αž·αž“αžαŸ’αžšαžΉαž˜αžαŸ‚αžŸαž˜αŸ’αžšαžΆαž”αŸ‹αžαŸ’αž‰αž»αŸ†αž”αŸ‰αž»αžŽαŸ’αžŽαŸ„αŸ‡αž‘αŸαŸ” αž•αŸ‚αž“αž€αžΆαžšβ€‹αž“αŸαŸ‡β€‹αž•αŸ’αžαŸ„αžβ€‹αž›αžΎβ€‹αžœαž‚αŸ’αž‚β€‹αžŸαž·αž€αŸ’αžŸαžΆβ€‹αžŠαŸ„αž™β€‹αžαŸ’αž›αž½αž“αž―αž„αŸ” αž’αžΆαž‘αž·αž—αžΆαž–αžαŸ’αžšαžΌαžœαž”αžΆαž“αž•αŸ’αžαž›αŸ‹αž‘αŸ…αž±αŸ’αž™αžœαž‚αŸ’αž‚αžŸαž·αž€αŸ’αžŸαžΆαž₯αžαž‚αž·αžαžαŸ’αž›αŸƒαž‡αžΆαž—αžΆαžŸαžΆαžšαž»αžŸαŸ’αžŸαžΈαŸ”

αž•αŸ’αž“αŸ‚αž€αŸ–

  • αž€αŸ’αž”αž½αž“αžŠαŸ„αŸ‡αžŸαŸ’αžšαžΆαž™ αž“αž·αž„αžšαž…αž“αžΆαžŸαž˜αŸ’αž–αŸαž“αŸ’αž’αž‘αž·αž“αŸ’αž“αž“αŸαž™αŸ” αž•αŸ’αž“αŸ‚αž€αž‚αž“αŸ’αž›αžΉαŸ‡αŸ” αžšαŸ€αž“αžœαžΆαž αžΎαž™αž’αŸ’αžœαžΈαŸ—αž•αŸ’αžŸαŸαž„αž‘αŸ€αžαž“αžΉαž„αžŠαŸ†αžŽαžΎαžšαž€αžΆαžšαž•αž„αžŠαŸ‚αžšαŸ” αžœαžΆαž˜αžΆαž“αžŸαžΆαžšαŸˆαžŸαŸ†αžαžΆαž“αŸ‹αžŽαžΆαžŸαŸ‹αž€αŸ’αž“αž»αž„αž€αžΆαžšαž™αž€αžŠαŸƒαžšαž”αžŸαŸ‹αž’αŸ’αž“αž€αž›αžΎαž€αžΌαžŠ αž αžΎαž™αž”αŸ’αžšαžΎαžšαž…αž“αžΆαžŸαž˜αŸ’αž–αŸαž“αŸ’αž’ αž“αž·αž„αž€αŸ’αž”αž½αž“αžŠαŸ„αŸ‡αžŸαŸ’αžšαžΆαž™αž‡αžΆαž˜αžΌαž›αžŠαŸ’αž‹αžΆαž“αŸ”
  • αžƒαŸ’αž›αžΆαŸ†αž„αž‘αž·αž“αŸ’αž“αž“αŸαž™ αž“αž·αž„αžƒαŸ’αž›αžΆαŸ†αž„αž‘αž·αž“αŸ’αž“αž“αŸαž™ Business Intelligence αŸ” αž™αžΎαž„αž€αŸ†αž–αž»αž„αž•αŸ’αž›αžΆαžŸαŸ‹αž”αŸ’αžαžΌαžšαž–αžΈαž€αŸ’αž”αž½αž“αžŠαŸ„αŸ‡αžŸαŸ’αžšαžΆαž™αž‘αŸ…αž€αžΆαžšαž•αŸ’αž‘αž»αž€αž‘αž·αž“αŸ’αž“αž“αŸαž™ αž“αž·αž„αžŠαŸ†αžŽαžΎαžšαž€αžΆαžšαŸ”
  • Hadoop αž“αž·αž„αž‘αž·αž“αŸ’αž“αž“αŸαž™αž’αŸ†αŸ” αž“αŸ…αž–αŸαž›αžŠαŸ‚αž›αž˜αžΌαž›αžŠαŸ’αž‹αžΆαž“αž‘αž·αž“αŸ’αž“αž“αŸαž™αž˜αž·αž“αžαŸ’αžšαžΌαžœαž”αžΆαž“αžšαž½αž˜αž”αž‰αŸ’αž…αžΌαž›αž“αŸ…αž›αžΎαžαžΆαžŸαžšαžΉαž„ αž¬αž“αŸ…αž–αŸαž›αžŠαŸ‚αž›αž‘αž·αž“αŸ’αž“αž“αŸαž™αžαŸ’αžšαžΌαžœαž€αžΆαžšαžœαž·αž—αžΆαž‚ αž”αŸ‰αž»αž“αŸ’αžαŸ‚ Excel αž˜αž·αž“αž’αžΆαž…αž•αŸ’αž‘αž»αž€αž–αž½αž€αžœαžΆαž”αžΆαž“αž‘αŸ€αžαž‘αŸ αž‘αž·αž“αŸ’αž“αž“αŸαž™αž’αŸ†αž…αžΆαž”αŸ‹αž•αŸ’αžαžΎαž˜αŸ” αžαžΆαž˜αž‚αŸ†αž“αž·αžαžšαž”αžŸαŸ‹αžαŸ’αž‰αž»αŸ† αž…αžΆαŸ†αž”αžΆαž…αŸ‹αžαŸ’αžšαžΌαžœαž”αž“αŸ’αžαž‘αŸ…αž•αŸ’αž“αŸ‚αž€αž“αŸαŸ‡ αž›αž»αŸ‡αžαŸ’αžšαžΆαžαŸ‚αž€αžΆαžšαžŸαž·αž€αŸ’αžŸαžΆαžŸαŸŠαžΈαž‡αž˜αŸ’αžšαŸ…αž›αžΎαž•αŸ’αž“αŸ‚αž€αž‘αžΆαŸ†αž„αž–αžΈαžšαž˜αž»αž“αž“αŸαŸ‡αŸ”

αž€αŸ’αž”αž½αž“αžŠαŸ„αŸ‡αžŸαŸ’αžšαžΆαž™ αž“αž·αž„αžšαž…αž“αžΆαžŸαž˜αŸ’αž–αŸαž“αŸ’αž’αž‘αž·αž“αŸ’αž“αž“αŸαž™

αž“αŸ…αž€αŸ’αž“αž»αž„αž•αŸ‚αž“αž€αžΆαžšαžšαž”αžŸαŸ‹αžαŸ’αž‰αž»αŸ† αžαŸ’αž‰αž»αŸ†αž”αžΆαž“αžšαž½αž˜αž”αž‰αŸ’αž…αžΌαž›αž€αžΆαžšαžšαŸ€αž“αž—αžΆαžŸαžΆ Python αžŠαŸ„αž™αž“αž·αž™αžΆαž™αž‘αžΎαž„αžœαž·αž‰αž“αžΌαžœαž˜αžΌαž›αžŠαŸ’αž‹αžΆαž“αž‚αŸ’αžšαžΉαŸ‡αž“αŸƒαž‚αžŽαž·αžαžœαž·αž‘αŸ’αž™αžΆ αž“αž·αž„αž€αŸ’αž”αž½αž“αžŠαŸ„αŸ‡αžŸαŸ’αžšαžΆαž™αŸ”

αžƒαŸ’αž›αžΆαŸ†αž„αž‘αž·αž“αŸ’αž“αž“αŸαž™ αž“αž·αž„αžƒαŸ’αž›αžΆαŸ†αž„αž‘αž·αž“αŸ’αž“αž“αŸαž™ Business Intelligence

αž”αŸ’αžšαž’αžΆαž“αž”αž‘αž‘αžΆαž€αŸ‹αž‘αž„αž“αžΉαž„αž€αžΆαžšαž€αžŸαžΆαž„αžƒαŸ’αž›αžΆαŸ†αž„αž‘αž·αž“αŸ’αž“αž“αŸαž™ ETL, OLAP cubes αž‚αžΊαž–αžΉαž„αž•αŸ’αž’αŸ‚αž€αžαŸ’αž›αžΆαŸ†αž„αž›αžΎαž§αž”αž€αžšαžŽαŸ αžŠαžΌαž…αŸ’αž“αŸαŸ‡αžαŸ’αž‰αž»αŸ†αž˜αž·αž“αž•αŸ’αžαž›αŸ‹αžαŸ†αžŽαž—αŸ’αž‡αžΆαž”αŸ‹αž‘αŸ…αžœαž‚αŸ’αž‚αžŸαž·αž€αŸ’αžŸαžΆαž“αŸ…αž€αŸ’αž“αž»αž„αž―αž€αžŸαžΆαžšαž“αŸαŸ‡αž‘αŸαŸ” αžœαžΆαžαŸ’αžšαžΌαžœαž”αžΆαž“αžŽαŸ‚αž“αžΆαŸ†αž±αŸ’αž™αžŸαž·αž€αŸ’αžŸαžΆαž”αŸ’αžšαž–αŸαž“αŸ’αž’αž”αŸ‚αž”αž“αŸαŸ‡αž“αŸ…αž–αŸαž›αž’αŸ’αžœαžΎαž€αžΆαžšαž›αžΎαž‚αž˜αŸ’αžšαŸ„αž„αž‡αžΆαž€αŸ‹αž›αžΆαž€αŸ‹αž“αŸ…αž€αŸ’αž“αž»αž„αž€αŸ’αžšαž»αž˜αž αŸŠαž»αž“αž‡αžΆαž€αŸ‹αž›αžΆαž€αŸ‹αž˜αž½αž™αŸ” αžŸαž˜αŸ’αžšαžΆαž”αŸ‹αž’αŸ’αž“αž€αžŸαŸ’αž‚αžΆαž›αŸ‹ ETL αž’αŸ’αž“αž€αž’αžΆαž…αžŸαžΆαž€αž›αŸ’αž”αž„ αž”αŸ’αžšαžαž·αž‘αž·αž“ ឬ αž›αŸ†αž αžΌαžšβ€‹αžαŸ’αž™αž›αŸ‹.

αžαžΆαž˜αž‚αŸ†αž“αž·αžαžšαž”αžŸαŸ‹αžαŸ’αž‰αž»αŸ† αžœαžΆαž˜αžΆαž“αžŸαžΆαžšαŸˆαžŸαŸ†αžαžΆαž“αŸ‹αžŽαžΆαžŸαŸ‹αž€αŸ’αž“αž»αž„αž€αžΆαžšαžŸαž·αž€αŸ’αžŸαžΆαžœαž·αž’αžΈαžŸαžΆαžŸαŸ’αžαŸ’αžšαžšαž…αž“αžΆ Data Vault αž‘αŸ†αž“αžΎαž” αžαŸ†αžŽ 1, αžαŸ†αžŽ 2. αž αžΎαž™β€‹αžœαž·αž’αžΈβ€‹αžŠαŸβ€‹αž›αŸ’αž’β€‹αž”αŸ†αž•αž»αžβ€‹αžŠαžΎαž˜αŸ’αž”αžΈβ€‹αžšαŸ€αž“β€‹αžœαžΆβ€‹αž‚αžΊβ€‹αž™αž€β€‹αžœαžΆβ€‹αž˜αž€β€‹αž’αž“αž»αžœαžαŸ’αžβ€‹αž‡αžΆαž˜αž½αž™β€‹αž“αžΉαž„β€‹αž§αž‘αžΆαž αžšαžŽαŸβ€‹αžŠαŸβ€‹αžŸαžΆαž˜αž‰αŸ’αž‰αŸ” αž˜αžΆαž“αž§αž‘αžΆαž αžšαžŽαŸαž€αžΆαžšαž’αž“αž»αžœαžαŸ’αž Data Vault αž‡αžΆαž…αŸ’αžšαžΎαž“αž“αŸ…αž›αžΎ GitHub αžαŸ†αžŽ. αžŸαŸ€αžœαž—αŸ…αžƒαŸ’αž›αžΆαŸ†αž„αž‘αž·αž“αŸ’αž“αž“αŸαž™αž‘αŸ†αž“αžΎαž”αŸ– αž€αžΆαžšαž’αŸ’αžœαžΎαž‚αŸ†αžšαžΌαžƒαŸ’αž›αžΆαŸ†αž„αž‘αž·αž“αŸ’αž“αž“αŸαž™αžšαž αŸαžŸαž‡αžΆαž˜αž½αž™ Data Vault αžŠαŸ„αž™ Hans Hultgren αŸ”

αžŠαžΎαž˜αŸ’αž”αžΈαžŸαŸ’αž‚αžΆαž›αŸ‹αž§αž”αž€αžšαžŽαŸ Business Intelligence αžŸαž˜αŸ’αžšαžΆαž”αŸ‹αž’αŸ’αž“αž€αž”αŸ’αžšαžΎαž”αŸ’αžšαžΆαžŸαŸ‹αž…αž»αž„αž€αŸ’αžšαŸ„αž™ αž’αŸ’αž“αž€αž’αžΆαž…αž”αŸ’αžšαžΎαž’αŸ’αž“αž€αžšαž…αž“αžΆαžšαž”αžΆαž™αž€αžΆαžšαžŽαŸ αž•αŸ’αž‘αžΆαŸ†αž„αž‚αŸ’αžšαž”αŸ‹αž‚αŸ’αžšαž„ αžƒαŸ’αž›αžΆαŸ†αž„αž‘αž·αž“αŸ’αž“αž“αŸαž™αžαŸ’αž“αžΆαžαžαžΌαž… Power BI Desktop αžŠαŸ„αž™αž₯αžαž‚αž·αžαžαŸ’αž›αŸƒαŸ” αžŸαž˜αŸ’αž—αžΆαžšαŸˆαžŸαž·αž€αŸ’αžŸαžΆαŸ– αžαŸ†αžŽ 1, αžαŸ†αžŽ 2.

Hadoop αž“αž·αž„αž‘αž·αž“αŸ’αž“αž“αŸαž™αž’αŸ†

αžŸαŸαž…αž€αŸ’αžαžΈαžŸαž“αŸ’αž“αž·αžŠαŸ’αž‹αžΆαž“

αž˜αž·αž“αž˜αŸ‚αž“αž’αŸ’αžœαžΈαž‚αŸ’αžšαž”αŸ‹αž™αŸ‰αžΆαž„αžŠαŸ‚αž›αž’αŸ’αž“αž€αžšαŸ€αž“αž’αžΆαž…αž™αž€αž‘αŸ…αž’αž“αž»αžœαžαŸ’αžαž“αŸ…αž€αž“αŸ’αž›αŸ‚αž„αž’αŸ’αžœαžΎαž€αžΆαžšαž”αžΆαž“αž‘αŸαŸ” αžŠαžΌαž…αŸ’αž“αŸαŸ‡αž αžΎαž™ αž’αŸ’αž“αž€αžαŸ’αžšαžΌαžœαž€αžΆαžšαž‚αž˜αŸ’αžšαŸ„αž„αž”αž‰αŸ’αž…αž”αŸ‹αž€αžΆαžšαžŸαž·αž€αŸ’αžŸαžΆ αžŠαŸ‚αž›αž’αŸ’αž“αž€αž“αžΉαž„αž–αŸ’αž™αžΆαž™αžΆαž˜αž’αž“αž»αžœαžαŸ’αžαž…αŸ†αžŽαŸαŸ‡αžŠαžΉαž„αžαŸ’αž˜αžΈαŸ—αŸ”

αž˜αž·αž“αž˜αžΆαž“αž”αŸ’αžšαž’αžΆαž“αž”αž‘αž‘αžΆαž€αŸ‹αž‘αž„αž“αžΉαž„αž€αžΆαžšαžœαž·αž—αžΆαž‚αž‘αž·αž“αŸ’αž“αž“αŸαž™ αž“αž·αž„αž€αžΆαžšαžšαŸ€αž“αž˜αŸ‰αžΆαžŸαŸŠαžΈαž“αž“αŸ…αž€αŸ’αž“αž»αž„αž•αŸ‚αž“αž€αžΆαžšαž“αŸ„αŸ‡αž‘αŸαŸ” αž“αŸαŸ‡αž’αž“αž»αžœαžαŸ’αžαž”αž“αŸ’αžαŸ‚αž˜αž‘αŸ€αžαž…αŸ†αž–αŸ„αŸ‡αžœαž·αž‡αŸ’αž‡αžΆαž‡αžΈαžœαŸˆαž’αŸ’αž“αž€αžœαž·αž‘αŸ’αž™αžΆαžŸαžΆαžŸαŸ’αžαŸ’αžšαž‘αž·αž“αŸ’αž“αž“αŸαž™αŸ” αžœαžΆαž€αŸαž˜αž·αž“αž˜αžΆαž“αž”αŸ’αžšαž’αžΆαž“αž”αž‘αž‘αžΆαž€αŸ‹αž‘αž„αž“αžΉαž„ AWS clouds, Azure αžŠαŸ‚αžšαŸ” αž”αŸ’αžšαž’αžΆαž“αž”αž‘αž‘αžΆαŸ†αž„αž“αŸαŸ‡αž‚αžΊαž–αžΉαž„αž•αŸ’αž’αŸ‚αž€αž™αŸ‰αžΆαž„αžαŸ’αž›αžΆαŸ†αž„αž‘αŸ…αž›αžΎαž‡αž˜αŸ’αžšαžΎαžŸαž“αŸƒαžœαŸαž‘αž·αž€αžΆαŸ”

αžŸαŸ†αžŽαž½αžšαž‘αŸ…αž€αžΆαž“αŸ‹αžŸαž αž‚αž˜αž“αŸαŸ–
αžαžΎαž•αŸ‚αž“αž€αžΆαžšαž€αž˜αŸ’αžšαž·αžαžšαž”αžŸαŸ‹αžαŸ’αž‰αž»αŸ†αž‚αŸ’αžšαž”αŸ‹αž‚αŸ’αžšαžΆαž“αŸ‹αž”αŸ‰αž»αžŽαŸ’αžŽαžΆ? αž’αŸ’αžœαžΈαžŠαŸ‚αž›αžαŸ’αžšαžΌαžœαžŠαž€αž…αŸαž‰αž¬αž”αž“αŸ’αžαŸ‚αž˜?
αžαžΎαž‚αž˜αŸ’αžšαŸ„αž„αž’αŸ’αžœαžΈαžŠαŸ‚αž›αž’αŸ’αž“αž€αž“αžΉαž„αžŽαŸ‚αž“αžΆαŸ†αž‡αžΆαž“αž·αž€αŸ’αžαŸαž”αž”αž‘?

αž”αŸ’αžšαž—αž–: www.habr.com

αž”αž“αŸ’αžαŸ‚αž˜αž˜αžαž·αž™αŸ„αž”αž›αŸ‹