เปเบœเบ™เบเบฒเบ™เบฅเบฐเบ”เบฑเบšเบเบฒเบ™เป„เบ”เป‰เบฎเบฑเบšเบงเบดเบŠเบฒเบŠเบตเบšเบงเบดเบชเบฐเบงเบฐเบเบญเบ™เบ‚เปเป‰เบกเบนเบ™

เบ‚เป‰เบญเบเป„เบ”เป‰เป€เบฎเบฑเบ”เบงเบฝเบเป€เบ›เบฑเบ™เบœเบนเป‰เบˆเบฑเบ”เบเบฒเบ™เป‚เบ„เบ‡เบเบฒเบ™เบชเปเบฒเบฅเบฑเบšเปเบ›เบ”เบ›เบตเบ—เบตเปˆเบœเปˆเบฒเบ™เบกเบฒ (เบ‚เป‰เบญเบเบšเปเปˆเบ‚เบฝเบ™เบฅเบฐเบซเบฑเบ”เปƒเบ™เบšเปˆเบญเบ™เป€เบฎเบฑเบ”เบงเบฝเบ), เป€เบŠเบดเปˆเบ‡เบ—เปเบฒเบกเบฐเบŠเบฒเบ”เบกเบตเบœเบปเบ™เบเบฐเบ—เบปเบšเบ—เบฒเบ‡เบฅเบปเบšเบ•เปเปˆ backend เป€เบ•เบฑเบเป‚เบ™เป‚เบฅเบขเบตเบ‚เบญเบ‡เบ‚เป‰เบญเบ. เบ‚เป‰เบญเบเป„เบ”เป‰เบ•เบฑเบ”เบชเบดเบ™เปƒเบˆเบซเบผเบธเบ”เบŠเปˆเบญเบ‡เบซเบงเปˆเบฒเบ‡เบ—เบฒเบ‡เป€เบ—เบฑเบเป‚เบ™เป‚เบฅเบเบตเบ‚เบญเบ‡เบ‚เป‰เบญเบ เปเบฅเบฐเป„เบ”เป‰เบฎเบฑเบšเบญเบฒเบŠเบตเบšเบ‚เบญเบ‡ Data engineer. เบ—เบฑเบเบชเบฐเบ•เบปเป‰เบ™เบ•เปเบ‚เบญเบ‡เบงเบดเบชเบฐเบงเบฐเบเบญเบ™เบ‚เปเป‰เบกเบนเบ™เปเบกเปˆเบ™เบ„เบงเบฒเบกเบชเบฒเบกเบฒเบ”เปƒเบ™เบเบฒเบ™เบญเบญเบเปเบšเบš, เบเปเปˆเบชเป‰เบฒเบ‡เปเบฅเบฐเบฎเบฑเบเบชเบฒเบ„เบฑเบ‡เบ‚เปเป‰เบกเบนเบ™.

เบ‚เป‰เบฒเบžเบฐเป€เบˆเบปเป‰เบฒเป„เบ”เป‰เปเบ•เป‰เบกเปเบœเบ™เบเบฒเบ™เบเบถเบเบญเบปเบšเบฎเบปเบก, เบ‚เป‰เบฒเบžเบฐเป€เบˆเบปเป‰เบฒเบ„เบดเบ”เบงเปˆเบฒเบกเบฑเบ™เบˆเบฐเป€เบ›เบฑเบ™เบ›เบฐเป‚เบซเบเบ”เบšเปเปˆเบžเบฝเบ‡เปเบ•เปˆเบชเปเบฒเบฅเบฑเบšเบ‚เป‰เบฒเบžเบฐเป€เบˆเบปเป‰เบฒ. เปเบœเบ™เบเบฒเบ™เปเบกเปˆเบ™เบชเบธเบกเปƒเบชเปˆเบเบฒเบ™เบชเบถเบเบชเบฒเป€เบญเบเบฐเบฅเบฒเบ”เบ‚เบญเบ‡เบซเบผเบฑเบเบชเบนเบ”. เบšเบนเบฅเบดเบกเบฐเบชเบดเบ”เปเบกเปˆเบ™เปƒเบซเป‰เบซเบผเบฑเบเบชเบนเบ”เบŸเบฃเบตเปƒเบ™เบžเบฒเบชเบฒเบฅเบฑเบ”เป€เบŠเบ.

เบžเบฒเบเบชเปˆเบงเบ™:

  • เบชเบนเบ”เบเบฒเบ™เบ„เบดเบ”เป„เบฅเปˆเปเบฅเบฐเป‚เบ„เบ‡เบชเป‰เบฒเบ‡เบ‚เปเป‰เบกเบนเบ™. เบžเบฒเบเบชเปˆเบงเบ™เบซเบผเบฑเบ. เบ–เป‰เบฒเป€เบˆเบปเป‰เบฒเบชเบถเบเบชเบฒเบกเบฑเบ™, เบ—เบธเบเบขเปˆเบฒเบ‡เบˆเบฐเป€เบฎเบฑเบ”เบงเบฝเบเบ„เบทเบเบฑเบ™. เบกเบฑเบ™เป€เบ›เบฑเบ™เบชเบดเปˆเบ‡เบชเปเบฒเบ„เบฑเบ™เบ—เบตเปˆเบˆเบฐเบเบฒเบเป€เบ›เบฑเบ™เบ„เบงเบฒเบกเบŠเปเบฒเบ™เบฒเบ™เปƒเบ™เบเบฒเบ™เบ‚เบฝเบ™เบฅเบฐเบซเบฑเบ”เปเบฅเบฐเบเบฒเบ™เบ™เปเบฒเปƒเบŠเป‰เป‚เบ„เบ‡เบชเป‰เบฒเบ‡เบžเบทเป‰เบ™เบ–เบฒเบ™เปเบฅเบฐเบชเบนเบ”เบเบฒเบ™เบ„เบดเบ”เป„เบฅเปˆ.
  • เบ–เบฒเบ™เบ‚เปเป‰เบกเบนเบ™เปเบฅเบฐเบ„เบฑเบ‡เบ‚เปเป‰เบกเบนเบ™, Business Intelligence. เบžเบงเบเป€เบฎเบปเบฒเบเป‰เบฒเบเบˆเบฒเบ algorithms เป„เบ›เบชเบนเปˆเบเบฒเบ™เป€เบเบฑเบšเบฎเบฑเบเบชเบฒเบ‚เปเป‰เบกเบนเบ™เปเบฅเบฐเบเบฒเบ™เบ›เบฐเบกเบงเบ™เบœเบปเบ™.
  • Hadoop เปเบฅเบฐเบ‚เปเป‰เบกเบนเบ™เปƒเบซเบเปˆ. เป€เบกเบทเปˆเบญเบ–เบฒเบ™เบ‚เปเป‰เบกเบนเบ™เบšเปเปˆเป€เบซเบกเบฒเบฐเบชเบปเบกเบเบฑเบšเบฎเบฒเบ”เบ”เบดเบ”, เบซเบผเบทเปƒเบ™เป€เบงเบฅเบฒเบ—เบตเปˆเบ‚เปเป‰เบกเบนเบ™เบ•เป‰เบญเบ‡เป„เบ”เป‰เบฎเบฑเบšเบเบฒเบ™เบงเบดเป€เบ„เบฒเบฐ, เปเบ•เปˆ Excel เบšเปเปˆเบชเบฒเบกเบฒเบ”เป‚เบซเบฅเบ”เบกเบฑเบ™เป„เบ”เป‰, เบ‚เปเป‰เบกเบนเบ™เปƒเบซเบเปˆเบˆเบฐเป€เบฅเบตเปˆเบกเบ•เบปเป‰เบ™. เปƒเบ™เบ„เบงเบฒเบกเบ„เบดเบ”เป€เบซเบฑเบ™เบ‚เบญเบ‡เบ‚เป‰เบฒเบžเบฐเป€เบˆเบปเป‰เบฒ, เบ—เปˆเบฒเบ™เบˆเปเบฒเป€เบ›เบฑเบ™เบ•เป‰เบญเบ‡เป„เบ”เป‰เบเป‰เบฒเบเป„เบ›เบซเบฒเบžเบฒเบเบ™เบตเป‰เบžเบฝเบ‡เปเบ•เปˆเบซเบผเบฑเบ‡เบˆเบฒเบเบเบฒเบ™เบชเบถเบเบชเบฒเป€เบฅเบดเบเบ‚เบญเบ‡เบชเบญเบ‡เบ—เบตเปˆเบœเปˆเบฒเบ™เบกเบฒ.

เบชเบนเบ”เบเบฒเบ™เบ„เบดเบ”เป„เบฅเปˆเปเบฅเบฐเป‚เบ„เบ‡เบชเป‰เบฒเบ‡เบ‚เปเป‰เบกเบนเบ™

เปƒเบ™เปเบœเบ™เบเบฒเบ™เบ‚เบญเบ‡เบ‚เป‰เบญเบ, เบ‚เป‰เบญเบเป„เบ”เป‰เบฅเบงเบกเป€เบญเบปเบฒเบเบฒเบ™เบฎเบฝเบ™เบฎเบนเป‰ Python, เบ—เบปเบšเบ—เบงเบ™เบ„เบทเบ™เบžเบทเป‰เบ™เบ–เบฒเบ™เบ‚เบญเบ‡เบ„เบฐเบ™เบดเบ”เบชเบฒเบ”เปเบฅเบฐเบชเบนเบ”เบเบฒเบ™เบ„เบดเบ”เป„เบฅเปˆ.

เบ–เบฒเบ™เบ‚เปเป‰เบกเบนเบ™เปเบฅเบฐเบ„เบฑเบ‡เบ‚เปเป‰เบกเบนเบ™, Business Intelligence

เบซเบปเบงเบ‚เปเป‰เบ—เบตเปˆเบเปˆเบฝเบงเบ‚เป‰เบญเบ‡เบเบฑเบšเบเบฒเบ™เบเปเปˆเบชเป‰เบฒเบ‡เบ„เบฑเบ‡เบ‚เปเป‰เบกเบนเบ™, ETL, OLAP cubes เปเบกเปˆเบ™เบ‚เบถเป‰เบ™เบเบฑเบšเป€เบ„เบทเปˆเบญเบ‡เบกเบทเบขเปˆเบฒเบ‡เบซเบผเบงเบ‡เบซเบผเบฒเบ, เบ”เบฑเปˆเบ‡เบ™เบฑเป‰เบ™เปƒเบ™เป€เบญเบเบฐเบชเบฒเบ™เบ™เบตเป‰เบ‚เป‰เบญเบเบšเปเปˆเป„เบ”เป‰เบชเบฐเบซเบ™เบญเบ‡เบเบฒเบ™เป€เบŠเบทเปˆเบญเบกเบ•เปเปˆเบเบฑเบšเบซเบผเบฑเบเบชเบนเบ”. เบกเบฑเบ™เปเบกเปˆเบ™เปเบ™เบฐเบ™เปเบฒเปƒเบซเป‰เบชเบถเบเบชเบฒเบฅเบฐเบšเบปเบšเบ”เบฑเปˆเบ‡เบเปˆเบฒเบงเปƒเบ™เป€เบงเบฅเบฒเบ—เบตเปˆเป€เบฎเบฑเบ”เบงเบฝเบเบเปˆเบฝเบงเบเบฑเบšเป‚เบ„เบ‡เบเบฒเบ™เบชเบฐเป€เบžเบฒเบฐเปƒเบ”เบซเบ™เบถเปˆเบ‡เปƒเบ™เบšเปเบฅเบดเบชเบฑเบ”เบชเบฐเป€เบžเบฒเบฐเปƒเบ”เบซเบ™เบถเปˆเบ‡. เป€เบžเบทเปˆเบญเบฎเบนเป‰เบˆเบฑเบเบเบฑเบš ETL เบ—เปˆเบฒเบ™เบชเบฒเบกเบฒเบ”เบฅเบญเบ‡เป„เบ”เป‰ เบ›เบฐเบ•เบดเบ—เบดเบ™ เบซเบผเบท เบเบฐเปเบชเบญเบฒเบเบฒเบ”.

เปƒเบ™เบ„เบงเบฒเบกเบ„เบดเบ”เป€เบซเบฑเบ™เบ‚เบญเบ‡เบ‚เป‰เบญเบ, เบกเบฑเบ™เป€เบ›เบฑเบ™เบชเบดเปˆเบ‡เบชเปเบฒเบ„เบฑเบ™เบ—เบตเปˆเบˆเบฐเบชเบถเบเบชเบฒเบงเบดเบ—เบตเบเบฒเบ™เบญเบญเบเปเบšเบšเบ„เบฑเบ‡เบ‚เปเป‰เบกเบนเบ™เบ—เบตเปˆเบ—เบฑเบ™เบชเบฐเป„เบซเบก Data Vault เบฅเบดเป‰เบ‡ 1, เบฅเบดเป‰เบ‡ 2. เปเบฅเบฐเบงเบดเบ—เบตเบ—เบตเปˆเบ”เบตเบ—เบตเปˆเบชเบธเบ”เบ—เบตเปˆเบˆเบฐเบฎเบฝเบ™เบฎเบนเป‰เบกเบฑเบ™เปเบกเปˆเบ™เบเบฒเบ™เป€เบญเบปเบฒเบกเบฑเบ™เปเบฅเบฐเบ›เบฐเบ•เบดเบšเบฑเบ”เบกเบฑเบ™เบ”เป‰เบงเบเบ•เบปเบงเบขเปˆเบฒเบ‡เบ—เบตเปˆเบ‡เปˆเบฒเบเบ”เบฒเบ. เบกเบตเบ•เบปเบงเบขเปˆเบฒเบ‡เบซเบผเบฒเบเบขเปˆเบฒเบ‡เบ‚เบญเบ‡เบเบฒเบ™เบ›เบฐเบ•เบดเบšเบฑเบ” Data Vault เปƒเบ™ GitHub เบซเบ™เป‰เบฒเบ—เปเบฒเบญเบดเบ”. เบ›เบทเป‰เบกเบ—เบตเปˆเบ—เบฑเบ™เบชเบฐเป„เบซเบกเบเปˆเบฝเบงเบเบฑเบšเบ„เบฑเบ‡เบ‚เปเป‰เบกเบนเบ™: เบเบฒเบ™เบชเป‰เบฒเบ‡เปเบšเบšเบˆเปเบฒเบฅเบญเบ‡เบ‚เบญเบ‡เบ„เบฑเบ‡เบ‚เปเป‰เบกเบนเบ™ Agile เบเบฑเบš Data Vault เป‚เบ”เบ Hans Hultgren.

เป€เบžเบทเปˆเบญเบฎเบนเป‰เบˆเบฑเบเบเบฑเบš Business Intelligence เป€เบ„เบทเปˆเบญเบ‡เบกเบทเบชเปเบฒเบฅเบฑเบšเบœเบนเป‰เปƒเบŠเป‰เบชเบธเบ”เบ—เป‰เบฒเบ, เบ—เปˆเบฒเบ™เบชเบฒเบกเบฒเบ”เบ™เปเบฒเปƒเบŠเป‰เบœเบนเป‰เบญเบญเบเปเบšเบšเบšเบปเบ”เบฅเบฒเบเบ‡เบฒเบ™, dashboards, เปเบฅเบฐเบชเบฒเบ‡เบ‚เปเป‰เบกเบนเบ™เบ‚เบฐเบซเบ™เบฒเบ”เบ™เป‰เบญเบ Power BI Desktop. เบญเบธเบ›เบฐเบเบญเบ™เบเบฒเบ™เบชเบถเบเบชเบฒ: เบฅเบดเป‰เบ‡ 1, เบฅเบดเป‰เบ‡ 2.

Hadoop เปเบฅเบฐเบ‚เปเป‰เบกเบนเบ™เปƒเบซเบเปˆ

เบชเบฐเบซเบฅเบธเบš

เบšเปเปˆเปเบกเปˆเบ™เบ—เบธเบเบขเปˆเบฒเบ‡เบ—เบตเปˆเป€เบˆเบปเป‰เบฒเบชเบถเบเบชเบฒเบชเบฒเบกเบฒเบ”เบ™เบณเปƒเบŠเป‰เป„เบ”เป‰เปƒเบ™เบšเปˆเบญเบ™เป€เบฎเบฑเบ”เบงเบฝเบ. เบ”เบฑเปˆเบ‡เบ™เบฑเป‰เบ™, เบ—เปˆเบฒเบ™เบ•เป‰เบญเบ‡เบเบฒเบ™เป‚เบ„เบ‡เบเบฒเบ™เบˆเบปเบšเบเบฒเบ™เบชเบถเบเบชเบฒเบ—เบตเปˆเบ—เปˆเบฒเบ™เบˆเบฐเบžเบฐเบเบฒเบเบฒเบกเบ™เปเบฒเปƒเบŠเป‰เบ„เบงเบฒเบกเบฎเบนเป‰เปƒเบซเบกเปˆ.

เปเบœเบ™เบเบฒเบ™เบ”เบฑเปˆเบ‡เบเปˆเบฒเบงเบšเปเปˆเป„เบ”เป‰เบฅเบงเบกเป€เบญเบปเบฒเบซเบปเบงเบ‚เปเป‰เบ—เบตเปˆเบเปˆเบฝเบงเบ‚เป‰เบญเบ‡เบเบฑเบšเบเบฒเบ™เบงเบดเป€เบ„เบฒเบฐเบ‚เปเป‰เบกเบนเบ™เปเบฅเบฐเบเบฒเบ™เบฎเบฝเบ™เบฎเบนเป‰เป€เบ„เบทเปˆเบญเบ‡เบˆเบฑเบ, เป€เบžเบฒเบฐเบงเปˆเบฒ เบ™เบตเป‰เปเบกเปˆเบ™เบเปˆเบฝเบงเบ‚เป‰เบญเบ‡เบเบฑเบšเบเบฒเบ™เบ›เบฐเบเบญเบšเบญเบฒเบŠเบตเบšเบ™เบฑเบเบงเบดเบ—เบฐเบเบฒเบชเบฒเบ”เบ‚เปเป‰เบกเบนเบ™เบซเบผเบฒเบเบ‚เบถเป‰เบ™. เบเบฑเบ‡เบšเปเปˆเบกเบตเบซเบปเบงเบ‚เปเป‰เบ—เบตเปˆเบเปˆเบฝเบงเบ‚เป‰เบญเบ‡เบเบฑเบš AWS เปเบฅเบฐ Azure clouds. เบซเบปเบงเบ‚เปเป‰เป€เบซเบผเบปเปˆเบฒเบ™เบตเป‰เปเบกเปˆเบ™เบ‚เบถเป‰เบ™เบเบฑเบšเบ—เบฒเบ‡เป€เบฅเบทเบญเบเบ‚เบญเบ‡เป€เบงเบ—เบต.

เบ„เปเบฒโ€‹เบ–เบฒเบกโ€‹เบชเปเบฒโ€‹เบฅเบฑเบšโ€‹เบŠเบธเบกโ€‹เบŠเบปเบ™โ€‹:
เปเบœเบ™เบเบฒเบ™เบชเบนเบšเบ™เป‰เบณเบ‚เบญเบ‡เบ‚เป‰เบญเบเบžเบฝเบ‡เบžเปเป€เบ—เบปเปˆเบฒเปƒเบ”? เบชเบดเปˆเบ‡เบ—เบตเปˆเบˆเบฐเป€เบญเบปเบฒเบญเบญเบเบซเบผเบทเป€เบžเบตเปˆเบก?
เป‚เบ„เบ‡เบเบฒเบ™เปƒเบ”เบ—เบตเปˆเป€เบˆเบปเป‰เบฒเบˆเบฐเปเบ™เบฐเบ™เปเบฒเป€เบ›เบฑเบ™ thesis?

เปเบซเบผเปˆเบ‡เบ‚เปเป‰เบกเบนเบ™: www.habr.com

เป€เบžเบตเปˆเบกเบ„เบงเบฒเบกเบ„เบดเบ”เป€เบซเบฑเบ™