เบชเบดเปˆเบ‡เบ—เบตเปˆเบžเบดเป€เบชเบ”เบเปˆเบฝเบงเบเบฑเบš Cloudera เปเบฅเบฐเบงเบดเบ—เบตเบเบฒเบ™เบ›เบธเบ‡เปเบ•เปˆเบ‡เบกเบฑเบ™

เบ•เบฐเบซเบผเบฒเบ”เบชเปเบฒเบฅเบฑเบšเบ„เบญเบกเบžเบดเบงเป€เบ•เบตเป‰เปเบˆเบเบขเบฒเบเปเบฅเบฐเบ‚เปเป‰เบกเบนเบ™เปƒเบซเบเปˆ, เบญเบตเบ‡เบ•เบฒเบก เบชเบฐเบ–เบดเบ•เบด, เปเบกเปˆเบ™เบเบฒเบ™เบ‚เบฐเบซเบเบฒเบเบ•เบปเบงเบขเบนเปˆเบ—เบตเปˆ 18-19% เบ•เปเปˆเบ›เบต. เบ™เบตเป‰เบซเบกเบฒเบเบ„เบงเบฒเบกเบงเปˆเบฒเบšเบฑเบ™เบซเบฒเบ‚เบญเบ‡เบเบฒเบ™เป€เบฅเบทเบญเบเบŠเบญเบšเปเบงเบชเปเบฒเบฅเบฑเบšเบˆเบธเบ”เบ›เบฐเบชเบปเบ‡เป€เบซเบผเบปเปˆเบฒเบ™เบตเป‰เบเบฑเบ‡เบ„เบปเบ‡เบเปˆเบฝเบงเบ‚เป‰เบญเบ‡. เปƒเบ™เบšเบปเบ”เบ‚เบฝเบ™เบ™เบตเป‰, เบžเบงเบเป€เบฎเบปเบฒเบˆเบฐเป€เบฅเบตเปˆเบกเบ•เบปเป‰เบ™เบ”เป‰เบงเบเป€เบซเบ”เบœเบปเบ™เบ—เบตเปˆเบžเบงเบเป€เบฎเบปเบฒเบ•เป‰เบญเบ‡เบเบฒเบ™เบ„เบญเบกเบžเบดเบงเป€เบ•เบตเป‰เปเบˆเบเบขเบฒเบ, เบžเบงเบเป€เบฎเบปเบฒเบˆเบฐเบขเบนเปˆเปƒเบ™เบฅเบฒเบเบฅเบฐเบญเบฝเบ”เป€เบžเบตเปˆเบกเป€เบ•เบตเบกเบเปˆเบฝเบงเบเบฑเบšเบ—เบฒเบ‡เป€เบฅเบทเบญเบเบ‚เบญเบ‡เบŠเบญเบšเปเบง, เบžเบงเบเป€เบฎเบปเบฒเบˆเบฐเป€เบงเบปเป‰เบฒเบเปˆเบฝเบงเบเบฑเบšเบเบฒเบ™เปƒเบŠเป‰ Hadoop เบเบฑเบš Cloudera, เปเบฅเบฐเบชเบธเบ”เบ—เป‰เบฒเบเบžเบงเบเป€เบฎเบปเบฒเบˆเบฐเป€เบงเบปเป‰เบฒเบเปˆเบฝเบงเบเบฑเบšเบ—เบฒเบ‡เป€เบฅเบทเบญเบเบ‚เบญเบ‡เบฎเบฒเบ”เปเบงเปเบฅเบฐเบงเบดเบ—เบตเบเบฒเบ™เบ—เบตเปˆเบกเบฑเบ™เบกเบตเบœเบปเบ™เบเบฐเบ—เบปเบšเบ•เปเปˆเบเบฒเบ™เบ›เบฐเบ•เบดเบšเบฑเบ”. เปƒเบ™เบ—เบฒเบ‡เบ—เบตเปˆเปเบ•เบเบ•เปˆเบฒเบ‡เบเบฑเบ™.

เบชเบดเปˆเบ‡เบ—เบตเปˆเบžเบดเป€เบชเบ”เบเปˆเบฝเบงเบเบฑเบš Cloudera เปเบฅเบฐเบงเบดเบ—เบตเบเบฒเบ™เบ›เบธเบ‡เปเบ•เปˆเบ‡เบกเบฑเบ™
เป€เบ›เบฑเบ™เบซเบเบฑเบ‡เบžเบงเบเป€เบฎเบปเบฒเบ•เป‰เบญเบ‡เบเบฒเบ™เบ„เบญเบกเบžเบดเบงเป€เบ•เบตเป‰เปเบˆเบเบขเบฒเบเปƒเบ™เบ—เบธเบฅเบฐเบเบดเบ”เบ—เปเบฒเบกเบฐเบ”เบฒ? เบ—เบธเบเบชเบดเปˆเบ‡เบ—เบธเบเบขเปˆเบฒเบ‡เปเบกเปˆเบ™เบ‡เปˆเบฒเบเบ”เบฒเบเปเบฅเบฐเบชเบฑเบšเบชเบปเบ™เปƒเบ™เป€เบงเบฅเบฒเบ”เบฝเบงเบเบฑเบ™. เบ‡เปˆเบฒเบเบ”เบฒเบ - เป€เบ™เบทเปˆเบญเบ‡เบˆเบฒเบเบงเปˆเบฒเปƒเบ™เบเปเบฅเบฐเบ™เบตเบซเบผเบฒเบเบ—เบตเปˆเบชเบธเบ”เบžเบงเบเป€เบฎเบปเบฒเบ”เปเบฒเป€เบ™เบตเบ™เบเบฒเบ™เบ„เบดเบ”เป„เบฅเปˆเบ‚เป‰เบญเบ™เบ‚เป‰เบฒเบ‡เบ‡เปˆเบฒเบเบ”เบฒเบเบ•เปเปˆเบซเบปเบงเบซเบ™เปˆเบงเบเบ‚เบญเบ‡เบ‚เปเป‰เบกเบนเบ™. เบ„เบงเบฒเบกเบซเบเบธเป‰เบ‡เบเบฒเบ - เป€เบ™เบทเปˆเบญเบ‡เบˆเบฒเบเบงเปˆเบฒเบกเบตเบ‚เปเป‰เบกเบนเบ™เบ”เบฑเปˆเบ‡เบเปˆเบฒเบงเบซเบผเบฒเบ. เบซเบผเบฒเบเบ”เบฑเปˆเบ‡เบ™เบฑเป‰เบ™. เบ”เบฑเปˆเบ‡เบ™เบฑเป‰เบ™, เบซเบ™เบถเปˆเบ‡เบ•เป‰เบญเบ‡ เบ›เบฐเบกเบงเบ™เบœเบปเบ™เบ‚เปเป‰เบกเบนเบ™ terabytes เปƒเบ™ 1000 threads. เบ”เบฑเปˆเบ‡เบ™เบฑเป‰เบ™, เบเปเบฅเบฐเบ™เบตเบเบฒเบ™เบ™เปเบฒเปƒเบŠเป‰เปเบกเปˆเบ™เบ‚เป‰เบญเบ™เบ‚เป‰เบฒเบ‡เบ—เบปเปˆเบงเป„เบ›: เบเบฒเบ™เบ„เบดเบ”เป„เบฅเปˆเบชเบฒเบกเบฒเบ”เบ™เปเบฒเปƒเบŠเป‰เป„เบ”เป‰เบ—เบธเบเบšเปˆเบญเบ™เบ—เบตเปˆเบกเบฑเบ™เบˆเปเบฒเป€เบ›เบฑเบ™เบ•เป‰เบญเบ‡เบ„เปเบฒเบ™เบถเบ‡เป€เบ–เบดเบ‡เบˆเปเบฒเบ™เบงเบ™เบ‚เบฐเบซเบ™เบฒเบ”เปƒเบซเบเปˆเบ‚เบญเบ‡ metrics เปƒเบ™ array เบ‚เปเป‰เบกเบนเบ™เปƒเบซเบเปˆเบเบงเปˆเบฒ.

เบ•เบปเบงเบขเปˆเบฒเบ‡เบซเบ™เบถเปˆเบ‡เบ—เบตเปˆเบœเปˆเบฒเบ™เบกเบฒ: Dodo Pizza เบเปเบฒเบ™เบปเบ” เบญเบตเบ‡เบ•เบฒเบกเบเบฒเบ™เบงเบดเป€เบ„เบฒเบฐเบžเบทเป‰เบ™เบ–เบฒเบ™เบเบฒเบ™เบชเบฑเปˆเบ‡เบŠเบทเป‰เบ‚เบญเบ‡เบฅเบนเบเบ„เป‰เบฒ, เบงเปˆเบฒเปƒเบ™เป€เบงเบฅเบฒเบ—เบตเปˆเป€เบฅเบทเบญเบ pizza เบ—เบตเปˆเบกเบต toppings เบ•เบปเบ™เป€เบญเบ‡เบกเบฑเบ, เบœเบนเป‰เปƒเบŠเป‰เบ›เบปเบเบเบฐเบ•เบดเปเบฅเป‰เบงเบ”เปเบฒเป€เบ™เบตเบ™เบเบฒเบ™เบžเบฝเบ‡เปเบ•เปˆเบซเบปเบเบŠเบธเบ”เบžเบทเป‰เบ™เบ–เบฒเบ™เบ‚เบญเบ‡เบชเปˆเบงเบ™เบ›เบฐเบเบญเบšเบšเบงเบเบเบฑเบšเบ„เบนเปˆเบ™เปˆเบถเบ‚เบญเบ‡เบเบฒเบ™เบชเบธเปˆเบก. เบ•เบฒเบกเบ™เบฑเป‰เบ™เปเบฅเป‰เบง, pizzeria เป„เบ”เป‰เบ›เบฑเบšเบเบฒเบ™เบŠเบทเป‰. เบ™เบญเบเบˆเบฒเบเบ™เบฑเป‰เบ™, เบกเบฑเบ™เบชเบฒเบกเบฒเบ”เปเบ™เบฐเบ™เปเบฒเบœเบฐเบฅเบดเบ”เบ•เบฐเบžเบฑเบ™เป€เบžเบตเปˆเบกเป€เบ•เบตเบกเบ—เบตเปˆเบชเบฐเป€เบซเบ™เบตเบขเบนเปˆเปƒเบ™เบ‚เบฑเป‰เบ™เบ•เบญเบ™เบ„เปเบฒเบชเบฑเปˆเบ‡เปƒเบซเป‰เบœเบนเป‰เปƒเบŠเป‰เป„เบ”เป‰เบ”เบตเบเบงเปˆเบฒ, เป€เบŠเบดเปˆเบ‡เป€เบฎเบฑเบ”เปƒเบซเป‰เบเปเบฒเป„เบฅเป€เบžเบตเปˆเบกเบ‚เบถเป‰เบ™.

เบ•เบปเบงเบขเปˆเบฒเบ‡ เปœเบถเปˆเบ‡ เบญเบตเบ: เบเบฒเบ™เบงเบดเป€เบ„เบฒเบฐ เบชเบดเบ™เบ„เป‰เบฒเบญเบฐเบ™เบธเบเบฒเบ”เปƒเบซเป‰ H&M เบซเบผเบธเบ”เบœเปˆเบญเบ™เบเบฒเบ™เปเบšเปˆเบ‡เบ›เบฐเป€เบžเบ”เปƒเบ™เบฎเป‰เบฒเบ™เบ„เป‰เบฒเบชเปˆเบงเบ™เบšเบธเบเบ„เบปเบ™ 40%, เปƒเบ™เบ‚เบฐเบ™เบฐเบ—เบตเปˆเบฎเบฑเบเบชเบฒเบฅเบฐเบ”เบฑเบšเบเบฒเบ™เบ‚เบฒเบ. เบ™เบตเป‰เปเบกเปˆเบ™เบšเบฑเบ™เบฅเบธเป„เบ”เป‰เป‚เบ”เบเบเบฒเบ™เบเบปเบเป€เบงเบฑเป‰เบ™เบ•เปเบฒเปเบซเบ™เปˆเบ‡เบเบฒเบ™เบ‚เบฒเบเบ—เบตเปˆเบšเปเปˆเบ”เบต, เปเบฅเบฐเบฅเบฐเบ”เบนเบเบฒเบ™เป„เบ”เป‰เบ–เบทเบเบžเบดเบˆเบฒเบฅเบฐเบ™เบฒเปƒเบ™เบเบฒเบ™เบ„เบดเบ”เป„เบฅเปˆ.

เบเบฒเบ™เป€เบฅเบทเบญเบเป€เบ„เบทเปˆเบญเบ‡เบกเบท

เบกเบฒเบ”เบ•เบฐเบ–เบฒเบ™เบญเบธเบ”เบชเบฒเบซเบฐเบเปเบฒเบชเปเบฒเบฅเบฑเบšเบ›เบฐเป€เบžเบ”เบ‚เบญเบ‡เบ„เบญเบกเบžเบดเบงเป€เบ•เบตเป‰เบ™เบตเป‰เปเบกเปˆเบ™ Hadoop. เป€เบ›เบฑเบ™เบซเบเบฑเบ‡? เป€เบ™เบทเปˆเบญเบ‡เบˆเบฒเบเบงเปˆเบฒ Hadoop เป€เบ›เบฑเบ™เบเบญเบšเบ—เบตเปˆเบ”เบต, เป€เบญเบเบฐเบชเบฒเบ™เบ—เบตเปˆเบ”เบต ( Habr เบ”เบฝเบงเบเบฑเบ™เปƒเบซเป‰เบšเบปเบ”เบ„เบงเบฒเบกเบฅเบฒเบเบฅเบฐเบญเบฝเบ”เบˆเปเบฒเบ™เบงเบ™เบซเบผเบฒเบเบเปˆเบฝเบงเบเบฑเบšเบซเบปเบงเบ‚เปเป‰เบ™เบตเป‰), เป€เบŠเบดเปˆเบ‡เบ›เบฐเบเบญเบšเบ”เป‰เบงเบเบŠเบธเบ”เบ‚เบญเบ‡เบญเบธเบ›เบฐเบเบญเบ™เปเบฅเบฐเบซเป‰เบญเบ‡เบชเบฐเบซเบกเบธเบ”เบ—เบฑเบ‡เบซเบกเบปเบ”. เบ—เปˆเบฒเบ™โ€‹เบชเบฒโ€‹เบกเบฒเบ”โ€‹เบชเบปเปˆเบ‡โ€‹เบŠเบธเบ”โ€‹เปƒเบซเบเปˆโ€‹เบ‚เบญเบ‡โ€‹เบ‚เปเป‰โ€‹เบกเบนเบ™โ€‹เบ—เบฑเบ‡โ€‹เป‚เบ„เบ‡โ€‹เบชเป‰เบฒเบ‡โ€‹เปเบฅเบฐโ€‹เบšเปเปˆโ€‹เบกเบตโ€‹เป‚เบ„เบ‡โ€‹เบชเป‰เบฒเบ‡โ€‹เป€เบ›เบฑเบ™โ€‹เบเบฒเบ™โ€‹เบ›เป‰เบญเบ™โ€‹เบ‚เปเป‰โ€‹เบกเบนเบ™โ€‹, เปเบฅเบฐโ€‹เบฅเบฐโ€‹เบšเบปเบšโ€‹เบ•เบปเบงโ€‹เบกเบฑเบ™โ€‹เป€เบญเบ‡โ€‹เบˆเบฐโ€‹เปเบˆเบโ€‹เบขเบฒเบโ€‹เปƒเบซเป‰โ€‹เป€เบ‚เบปเบฒโ€‹เป€เบˆเบปเป‰เบฒโ€‹เบฅเบฐโ€‹เบซเบงเปˆเบฒเบ‡โ€‹เบžเบฐโ€‹เบฅเบฑเบ‡โ€‹เบ‡เบฒเบ™โ€‹เบ„เบญเบกโ€‹เบžเบดเบงโ€‹เป€เบ•เบตโ€‹. เบเบดเปˆเบ‡เป„เบ›เบเบงเปˆเบฒเบ™เบฑเป‰เบ™, เบ„เบงเบฒเบกเบญเบฒเบ”เบชเบฒเบกเบฒเบ”เบ”เบฝเบงเบเบฑเบ™เป€เบซเบผเบปเปˆเบฒเบ™เบตเป‰เบชเบฒเบกเบฒเบ”เป€เบžเบตเปˆเบกเบ‚เบถเป‰เบ™เบซเบผเบทเบ›เบดเบ”เบเบฒเบ™เปƒเบŠเป‰เบ‡เบฒเบ™เป„เบ”เป‰เบ—เบธเบเป€เบงเบฅเบฒ - เบ„เบงเบฒเบกเบชเบฒเบกเบฒเบ”เปƒเบ™เบเบฒเบ™เบ‚เบฐเบซเบเบฒเบเบ—เบฒเบ‡เบ™เบญเบ™เบ”เบฝเบงเบเบฑเบ™เปƒเบ™เบเบฒเบ™เบ›เบฐเบ•เบดเบšเบฑเบ”.

เปƒเบ™เบ›เบต 2017, เบšเปเบฅเบดเบชเบฑเบ”เบ—เบตเปˆเบ›เบถเบเบชเบฒเบ—เบตเปˆเบกเบตเบญเบดเบ”เบ—เบดเบžเบปเบ™ Gartner เบชเบฐเบซเบผเบธเบšเบงเปˆเบฒ Hadoop เบˆเบฐเบเบฒเบเป€เบ›เบฑเบ™เบฅเป‰เบฒเบชเบฐเป„เบซเบกเปƒเบ™เป„เบงเป†เบ™เบตเป‰. เป€เบซเบ”เบœเบปเบ™เปเบกเปˆเบ™เบ‚เป‰เบญเบ™เบ‚เป‰เบฒเบ‡ banal: เบ™เบฑเบเบงเบดเป€เบ„เบฒเบฐเป€เบŠเบทเปˆเบญเบงเปˆเบฒเบšเปเบฅเบดเบชเบฑเบ”เบˆเปเบฒเบ™เบงเบ™เบซเบฅเบฒเบเบˆเบฐเป€เบ„เบทเปˆเบญเบ™เบเป‰เบฒเบเป„เบ›เบชเบนเปˆเป€เบกเบ„, เบเป‰เบญเบ™เบงเปˆเบฒเบžเบงเบเป€เบ‚เบปเบฒเบˆเบฐเบชเบฒเบกเบฒเบ”เบˆเปˆเบฒเบเป‚เบ”เบเบญเบตเบ‡เปƒเบชเปˆเบเบฒเบ™เปƒเบŠเป‰เบžเบฐเบฅเบฑเบ‡เบ‡เบฒเบ™เบ„เบญเบกเบžเบดเบงเป€เบ•เบตเป‰. เบ›เบฑเบ”เป„เบˆเบ—เบตเปˆเบชเปเบฒเบ„เบฑเบ™เบ—เบตเบชเบญเบ‡ supposedly เบชเบฒเบกเบฒเบ” "เบเบฑเบ‡" Hadoop เปเบกเปˆเบ™เบ„เบงเบฒเบกเป„เบงเบ‚เบญเบ‡เบเบฒเบ™เป€เบฎเบฑเบ”เบงเบฝเบ. เป€เบ™เบทเปˆเบญเบ‡เบˆเบฒเบเบงเปˆเบฒเบ—เบฒเบ‡เป€เบฅเบทเบญเบเป€เบŠเบฑเปˆเบ™ Apache Spark เบซเบผเบท Google Cloud DataFlow เปเบกเปˆเบ™เป„เบงเบเบงเปˆเบฒ Hadoop เบ—เบตเปˆเบขเบนเปˆเป€เบšเบทเป‰เบญเบ‡เบ•เบปเป‰เบ™เบ‚เบญเบ‡ MapReduce.

Hadoop เบžเบฑเบเบœเปˆเบญเบ™เบขเบนเปˆเปƒเบ™เบซเบผเบฒเบเป€เบชเบปเบฒเบ„เป‰เปเบฒ, เบ—เบตเปˆเป‚เบ”เบ”เป€เบ”เบฑเปˆเบ™เบ—เบตเปˆเบชเบธเบ”เปเบกเปˆเบ™เป€เบ•เบฑเบเป‚เบ™เป‚เบฅเบขเบต MapReduce (เบฅเบฐเบšเบปเบšเบเบฒเบ™เปเบˆเบเบขเบฒเบเบ‚เปเป‰เบกเบนเบ™เบชเปเบฒเบฅเบฑเบšเบเบฒเบ™เบ„เบดเบ”เป„เบฅเปˆเบฅเบฐเบซเบงเปˆเบฒเบ‡เป€เบ„เบทเปˆเบญเบ‡เปเบกเปˆเบ‚เปˆเบฒเบ) เปเบฅเบฐเบฅเบฐเบšเบปเบšเป„เบŸเบฅเปŒ HDFS. เบญเบฑเบ™เบชเบธเบ”เบ—เป‰เบฒเบเป„เบ”เป‰เบ–เบทเบเบญเบญเบเปเบšเบšเป‚เบ”เบเบชเบฐเป€เบžเบฒเบฐเป€เบžเบทเปˆเบญเป€เบเบฑเบšเบ‚เปเป‰เบกเบนเบ™เบ—เบตเปˆเปเบˆเบเบขเบฒเบเบฅเบฐเบซเบงเปˆเบฒเบ‡เบเบธเปˆเบกเบ‚เบญเบ‡เบเบธเปˆเบก: เปเบ•เปˆเบฅเบฐเบšเบฅเบฑเบญเบเบ‚เบญเบ‡เบ‚เบฐเบซเบ™เบฒเบ”เบ„เบปเบ‡เบ—เบตเปˆเบชเบฒเบกเบฒเบ”เบ–เบทเบเบงเบฒเบ‡เป„เบงเป‰เปƒเบ™เบซเบผเบฒเบเป‚เบซเบ™เบ”, เปเบฅเบฐเบเป‰เบญเบ™เบเบฒเบ™เบˆเปเบฒเบฅเบญเบ‡, เบฅเบฐเบšเบปเบšเปเบกเปˆเบ™เบ—เบปเบ™เบ—เบฒเบ™เบ•เปเปˆเบเบฑเบšเบ„เบงเบฒเบกเบฅเบปเป‰เบกเป€เบซเบผเบงเบ‚เบญเบ‡เปเบ•เปˆเบฅเบฐ nodes. เปเบ—เบ™เบ—เบตเปˆเบˆเบฐเป€เบ›เบฑเบ™เบ•เบฒเบ•เบฐเบฅเบฒเบ‡เป„เบŸเบฅเปŒ, เป€เบ„เบทเปˆเบญเบ‡เปเบกเปˆเบ‚เปˆเบฒเบเบžเบดเป€เบชเบ”เบ—เบตเปˆเป€เบญเบตเป‰เบ™เบงเปˆเบฒ NameNode เบ–เบทเบเบ™เปเบฒเปƒเบŠเป‰.

เบฎเบนเบšเบžเบฒเบšเบ‚เป‰เบฒเบ‡เบฅเบธเปˆเบกเบ™เบตเป‰เบชเบฐเปเบ”เบ‡เปƒเบซเป‰เป€เบซเบฑเบ™เบงเปˆเบฒ MapReduce เป€เบฎเบฑเบ”เบงเบฝเบเปเบ™เบงเปƒเบ”. เปƒเบ™เบ‚เบฑเป‰เบ™เบ•เบญเบ™เบ—เปเบฒเบญเบดเบ”, เบ‚เปเป‰เบกเบนเบ™เบ–เบทเบเปเบšเปˆเบ‡เบญเบญเบเบ•เบฒเบกเบ„เบธเบ™เบฅเบฑเบเบชเบฐเบ™เบฐเบชเบฐเป€เบžเบฒเบฐเปƒเบ”เบซเบ™เบถเปˆเบ‡, เปƒเบ™เบ‚เบฑเป‰เบ™เบ•เบญเบ™เบ—เบตเบชเบญเบ‡เบกเบฑเบ™เบ–เบทเบเปเบˆเบเบขเบฒเบเป‚เบ”เบเบžเบฐเบฅเบฑเบ‡เบ‡เบฒเบ™เบ„เบญเบกเบžเบดเบงเป€เบ•เบตเป‰, เปƒเบ™เบ‚เบฑเป‰เบ™เบ•เบญเบ™เบ—เบตเบชเบฒเบกเบเบฒเบ™เบ„เบดเบ”เป„เบฅเปˆเป€เบเบตเบ”เบ‚เบถเป‰เบ™.

เบชเบดเปˆเบ‡เบ—เบตเปˆเบžเบดเป€เบชเบ”เบเปˆเบฝเบงเบเบฑเบš Cloudera เปเบฅเบฐเบงเบดเบ—เบตเบเบฒเบ™เบ›เบธเบ‡เปเบ•เปˆเบ‡เบกเบฑเบ™
MapReduce เป„เบ”เป‰เบ–เบทเบเบชเป‰เบฒเบ‡เบ‚เบทเป‰เบ™เปƒเบ™เป€เบšเบทเป‰เบญเบ‡เบ•เบปเป‰เบ™เป‚เบ”เบ Google เบชเปเบฒเบฅเบฑเบšเบ„เบงเบฒเบกเบ•เป‰เบญเบ‡เบเบฒเบ™เบ‚เบญเบ‡เบเบฒเบ™เบ„เบปเป‰เบ™เบซเบฒเบ‚เบญเบ‡เบกเบฑเบ™. เบซเบผเบฑเบ‡เบˆเบฒเบเบ™เบฑเป‰เบ™, MapReduce เป„เบ”เป‰เป€เบ‚เบปเป‰เบฒเป„เบ›เปƒเบ™เบฅเบฐเบซเบฑเบ”เบŸเบฃเบต, เปเบฅเบฐ Apache เป„เบ”เป‰เบ„เบญเบšเบ„เบญเบ‡เป‚เบ„เบ‡เบเบฒเบ™. เบ”เบต, Google เบ„เปˆเบญเบเป†เบเป‰เบฒเบเป„เบ›เบซเบฒเบงเบดเบ—เบตเปเบเป‰เป„เบ‚เบญเบทเปˆเบ™เป†. nuance เบ—เบตเปˆเบซเบ™เป‰เบฒเบชเบปเบ™เปƒเบˆ: เปƒเบ™เบ›เบฑเบ”เบˆเบธเบšเบฑเบ™, Google เบกเบตเป‚เบ„เบ‡เบเบฒเบ™เบ—เบตเปˆเป€เบญเบตเป‰เบ™เบงเปˆเบฒ Google Cloud Dataflow, เบ•เปเบฒเปเบซเบ™เปˆเบ‡เป€เบ›เบฑเบ™เบ‚เบฑเป‰เบ™เบ•เบญเบ™เบ•เปเปˆเป„เบ›เบซเบผเบฑเบ‡เบˆเบฒเบ Hadoop, เป€เบ›เบฑเบ™เบเบฒเบ™เบ—เบปเบ”เปเบ—เบ™เบ—เบตเปˆเป„เบงเบ‚เบญเบ‡เบกเบฑเบ™.

เบเบฒเบ™เป€เบšเบดเปˆเบ‡เบ—เบตเปˆเปƒเบเป‰เบŠเบดเบ”เบชเบฐเปเบ”เบ‡เปƒเบซเป‰เป€เบซเบฑเบ™เบงเปˆเบฒ Google Cloud Dataflow เปเบกเปˆเบ™เบญเบตเบ‡เปƒเบชเปˆเบเบฒเบ™เบ›เปˆเบฝเบ™เปเบ›เบ‡เบ‚เบญเบ‡ Apache Beam, เปƒเบ™เบ‚เบฐเบ™เบฐเบ—เบตเปˆ Apache Beam เบ›เบฐเบเบญเบšเบกเบตเบเบญเบšเบ‚เบญเบ‡ Apache Spark เบ—เบตเปˆเบกเบตเป€เบญเบเบฐเบชเบฒเบ™เบ—เบตเปˆเบ”เบต, เป€เบŠเบดเปˆเบ‡เบŠเปˆเบงเบเปƒเบซเป‰เบžเบงเบเป€เบฎเบปเบฒเป€เบงเบปเป‰เบฒเบเปˆเบฝเบงเบเบฑเบšเบ„เบงเบฒเบกเป„เบงเบ‚เบญเบ‡เบเบฒเบ™เบ›เบฐเบ•เบดเบšเบฑเบ”เบเบฒเบ™เปเบเป‰เป„เบ‚เป€เบเบทเบญเบšเบ”เบฝเบงเบเบฑเบ™. เบ”เบต, Apache Spark เป€เบฎเบฑเบ”เบงเบฝเบเป„เบ”เป‰เบ”เบตเปƒเบ™เบฅเบฐเบšเบปเบšเป„เบŸเบฅเปŒ HDFS, เป€เบŠเบดเปˆเบ‡เบŠเปˆเบงเบเปƒเบซเป‰เบ—เปˆเบฒเบ™เบชเบฒเบกเบฒเบ”เบ™เปเบฒเป„เบ›เปƒเบŠเป‰เปƒเบ™เป€เบ„เบทเปˆเบญเบ‡เปเบกเปˆเบ‚เปˆเบฒเบเบ‚เบญเบ‡ Hadoop.

เป€เบžเบตเปˆเบกเบ›เบฐเบฅเบดเบกเบฒเบ™เบ‚เบญเบ‡เป€เบญเบเบฐเบชเบฒเบ™เปเบฅเบฐเบงเบดเบ—เบตเปเบเป‰เป„เบ‚เบ—เบตเปˆเบเบฝเบกเบžเป‰เบญเบกเบชเปเบฒเบฅเบฑเบš Hadoop เปเบฅเบฐ Spark เบ•เปเปˆ Google Cloud Dataflow, เปเบฅเบฐเบ—เบฒเบ‡เป€เบฅเบทเบญเบเบ‚เบญเบ‡เป€เบ„เบทเปˆเบญเบ‡เบกเบทเบˆเบฐเป€เบซเบฑเบ™เป„เบ”เป‰เบŠเบฑเบ”เป€เบˆเบ™. เบเบดเปˆเบ‡เป„เบ›เบเบงเปˆเบฒเบ™เบฑเป‰เบ™, เบงเบดเบชเบฐเบงเบฐเบเบญเบ™เบชเบฒเบกเบฒเบ”เบ•เบฑเบ”เบชเบดเบ™เปƒเบˆเบ”เป‰เบงเบเบ•เบปเบ™เป€เบญเบ‡เบงเปˆเบฒเบฅเบฐเบซเบฑเบ”เปƒเบ” - เบžเบฒเบเปƒเบ•เป‰ Hadoop เบซเบผเบท Spark - เบžเบงเบเป€เบ‚เบปเบฒเบˆเบฐเบ›เบฐเบ•เบดเบšเบฑเบ”, เบชเบธเบกเปƒเบชเปˆเบงเบฝเบเบ‡เบฒเบ™, เบ›เบฐเบชเบปเบšเบเบฒเบ™เปเบฅเบฐเบ„เบธเบ™เบชเบปเบกเบšเบฑเบ”.

Cloud เบซเบผเบทเป€เบ„เบทเปˆเบญเบ‡เปเบกเปˆเบ‚เปˆเบฒเบเบ—เป‰เบญเบ‡เบ–เบดเปˆเบ™

เบ—เปˆเบฒเบญเปˆเบฝเบ‡เป„เบ›เบชเบนเปˆเบเบฒเบ™เบซเบฑเบ™เบ›เปˆเบฝเบ™เบ—เบปเปˆเบงเป„เบ›เป„เบ›เบชเบนเปˆเป€เบกเบ„เป„เบ”เป‰เป€เบžเบตเปˆเบกเบ‚เบถเป‰เบ™เป€เบ–เบดเบ‡เบ„เปเบฒเบ—เบตเปˆเบซเบ™เป‰เบฒเบชเบปเบ™เปƒเบˆเป€เบŠเบฑเปˆเบ™ Hadoop-as-a-service. เปƒเบ™เบชเบฐเบ–เบฒเบ™เบฐเบเบฒเบ™เบ”เบฑเปˆเบ‡เบเปˆเบฒเบง, เบเบฒเบ™เบ„เบธเป‰เบกเบ„เบญเบ‡เป€เบ„เบทเปˆเบญเบ‡เปเบกเปˆเบ‚เปˆเบฒเบเบ—เบตเปˆเป€เบŠเบทเปˆเบญเบกเบ•เปเปˆเป„เบ”เป‰เบเบฒเบเป€เบ›เบฑเบ™เบ„เบงเบฒเบกเบชเปเบฒเบ„เบฑเบ™เบซเบผเบฒเบ. เป€เบ™เบทเปˆเบญเบ‡เบˆเบฒเบเบงเปˆเบฒ, เบญเบฐเบ™เบดเบˆเบฒ, เป€เบ–เบดเบ‡เบงเปˆเบฒเบˆเบฐเบกเบตเบ„เบงเบฒเบกเบ™เบดเบเบปเบกเบ‚เบญเบ‡เบกเบฑเบ™, Hadoop เบšเปเบฅเบดเบชเบธเบ”เปเบกเปˆเบ™เป€เบ›เบฑเบ™เป€เบ„เบทเปˆเบญเบ‡เบกเบทเบ—เบตเปˆเบเบฒเบเบ—เบตเปˆเบˆเบฐเบ•เบฑเป‰เบ‡เบ„เปˆเบฒ, เป€เบžเบฒเบฐเบงเปˆเบฒเบ—เปˆเบฒเบ™เบ•เป‰เบญเบ‡เป€เบฎเบฑเบ”เบซเบผเบฒเบเบ”เป‰เบงเบเบกเบท. เบชเปเบฒเบฅเบฑเบšเบ•เบปเบงเบขเปˆเบฒเบ‡, เบ—เปˆเบฒเบ™เบชเบฒเบกเบฒเบ”เบเปเบฒเบซเบ™เบปเบ”เบ„เปˆเบฒเป€เบ„เบทเปˆเบญเบ‡เปเบกเปˆเบ‚เปˆเบฒเบเป€เบ›เบฑเบ™เบชเปˆเบงเบ™เบšเบธเบเบ„เบปเบ™, เบ•เบดเบ”เบ•เบฒเบกเบเบงเบ”เบเบฒเบ›เบฐเบชเบดเบ”เบ—เบดเบžเบฒเบšเบ‚เบญเบ‡เป€เบ‚เบปเบฒเป€เบˆเบปเป‰เบฒ, เปเบฅเบฐเบ›เบฑเบšเบ•เบปเบงเบเปเบฒเบ™เบปเบ”เบเบฒเบ™เบซเบผเบฒเบ. เป‚เบ”เบเบ—เบปเปˆเบงเป„เบ›, เป€เบฎเบฑเบ”เบงเบฝเบเบชเปเบฒเบฅเบฑเบšเบ™เบฑเบเบชเบกเบฑเบเป€เบฅเปˆเบ™เปเบฅเบฐเบกเบตเป‚เบญเบเบฒเบ”เบญเบฑเบ™เปƒเบซเบเปˆเบซเบผเบงเบ‡เบ—เบตเปˆเบˆเบฐ screw up somewhere เบซเบผเบทเบžเบฒเบ”เบšเบฒเบ‡เบชเบดเปˆเบ‡เบšเบฒเบ‡เบขเปˆเบฒเบ‡.

เบ”เบฑเปˆเบ‡เบ™เบฑเป‰เบ™, เบเบฒเบ™เปเบœเปˆเบเบฐเบˆเบฒเบเบ•เปˆเบฒเบ‡เป†เป„เบ”เป‰เบเบฒเบเป€เบ›เบฑเบ™เบ—เบตเปˆเบ™เบดเบเบปเบกเบซเบผเบฒเบ, เป€เบŠเบดเปˆเบ‡เปƒเบ™เป€เบšเบทเป‰เบญเบ‡เบ•เบปเป‰เบ™เปเบกเปˆเบ™เบญเบธเบ›เบฐเบเบญเบ™เบ—เบตเปˆเบชเบฐเบ”เบงเบเปƒเบ™เบเบฒเบ™เบ™เปเบฒเปƒเบŠเป‰เปเบฅเบฐเบเบฒเบ™เบ„เบธเป‰เบกเบ„เบญเบ‡. เบซเบ™เบถเปˆเบ‡เปƒเบ™เบเบฒเบ™เปเบˆเบเบขเบฒเบเบ—เบตเปˆเบ™เบดเบเบปเบกเบซเบผเบฒเบเบ—เบตเปˆเบชเบฐเบซเบ™เบฑเบšเบชเบฐเบซเบ™เบนเบ™ Spark เปเบฅเบฐเป€เบฎเบฑเบ”เปƒเบซเป‰เบชเบดเปˆเบ‡เบ—เบตเปˆเบ‡เปˆเบฒเบเปเบกเปˆเบ™ Cloudera. เบกเบฑเบ™เบกเบตเบ—เบฑเบ‡เบชเบฐเบšเบฑเบšเบˆเปˆเบฒเบเปเบฅเบฐเบŸเบฃเบต - เปเบฅเบฐเปƒเบ™เบชเบธเบ”เบ—เป‰เบฒเบ, เบซเบ™เป‰เบฒเบ—เบตเปˆเบ•เบปเป‰เบ™เบ•เปเบ—เบฑเบ‡เบซเบกเบปเบ”เปเบกเปˆเบ™เบกเบตเบขเบนเปˆ, เปเบฅเบฐเบšเปเปˆเบˆเปเบฒเบเบฑเบ”เบˆเปเบฒเบ™เบงเบ™เบ‚เบญเบ‡ nodes.

เบชเบดเปˆเบ‡เบ—เบตเปˆเบžเบดเป€เบชเบ”เบเปˆเบฝเบงเบเบฑเบš Cloudera เปเบฅเบฐเบงเบดเบ—เบตเบเบฒเบ™เบ›เบธเบ‡เปเบ•เปˆเบ‡เบกเบฑเบ™

เปƒเบ™เบฅเบฐเบซเบงเปˆเบฒเบ‡เบเบฒเบ™เบ•เบฑเป‰เบ‡, Cloudera Manager เบˆเบฐเป€เบŠเบทเปˆเบญเบกเบ•เปเปˆเบœเปˆเบฒเบ™ SSH เบเบฑเบšเป€เบ„เบทเปˆเบญเบ‡เปเบกเปˆเบ‚เปˆเบฒเบเบ‚เบญเบ‡เบ—เปˆเบฒเบ™. เบˆเบธเบ”เบ—เบตเปˆเบซเบ™เป‰เบฒเบชเบปเบ™เปƒเบˆ: เป€เบกเบทเปˆเบญเบ•เบดเบ”เบ•เบฑเป‰เบ‡, เบกเบฑเบ™เบ”เบตเบเบงเปˆเบฒเบ—เบตเปˆเบˆเบฐเบฅเบฐเบšเบธเบงเปˆเบฒเบกเบฑเบ™เบˆเบฐเบ–เบทเบเบ›เบฐเบ•เบดเบšเบฑเบ”เป‚เบ”เบเบญเบฑเบ™เบ—เบตเปˆเป€เบญเบตเป‰เบ™เบงเปˆเบฒ เบžเบฑเบ”เบชเบฐเบ”เบธ: เบŠเบธเบ”เบžเบดเป€เบชเบ”, เปเบ•เปˆเบฅเบฐเบญเบฑเบ™เบ›เบฐเบเบญเบšเบ”เป‰เบงเบเบญเบปเบ‡เบ›เบฐเบเบญเบšเบ—เบตเปˆเบˆเปเบฒเป€เบ›เบฑเบ™เบ—เบฑเบ‡เบซเบกเบปเบ”เบ—เบตเปˆเบ–เบทเบเบ•เบฑเป‰เบ‡เบ„เปˆเบฒเป€เบžเบทเปˆเบญเป€เบฎเบฑเบ”เบงเบฝเบเบฎเปˆเบงเบกเบเบฑเบ™. เปƒเบ™เบ„เบงเบฒเบกเป€เบ›เบฑเบ™เบˆเบดเบ‡, เบ™เบตเป‰เปเบกเปˆเบ™เบชเบฐเบšเบฑเบšเบ›เบฑเบšเบ›เบธเบ‡เบ‚เบญเบ‡เบœเบนเป‰เบˆเบฑเบ”เบเบฒเบ™เบŠเบธเบ”.

เบซเบผเบฑเบ‡เบˆเบฒเบเบเบฒเบ™เบ•เบดเบ”เบ•เบฑเป‰เบ‡, เบžเบงเบเป€เบฎเบปเบฒเป„เบ”เป‰เบฎเบฑเบš console เบเบฒเบ™เบ„เบธเป‰เบกเบ„เบญเบ‡เบเบธเปˆเบก, เบšเปˆเบญเบ™เบ—เบตเปˆเบ—เปˆเบฒเบ™เบชเบฒเบกเบฒเบ”เป€เบšเบดเปˆเบ‡ telemetry เบชเปเบฒเบฅเบฑเบš clusters, เบเบฒเบ™เบšเปเบฅเบดเบเบฒเบ™เบ—เบตเปˆเบ•เบดเบ”เบ•เบฑเป‰เบ‡, เบšเบงเบเบเบฑเบšเบ—เปˆเบฒเบ™เบชเบฒเบกเบฒเบ”เป€เบžเบตเปˆเบก / เป€เบญเบปเบฒเบŠเบฑเบšเบžเบฐเบเบฒเบเบญเบ™เปเบฅเบฐเปเบเป‰เป„เบ‚เบเบฒเบ™เบ•เบฑเป‰เบ‡เบ„เปˆเบฒเบ‚เบญเบ‡เบเบธเปˆเบก.

เบชเบดเปˆเบ‡เบ—เบตเปˆเบžเบดเป€เบชเบ”เบเปˆเบฝเบงเบเบฑเบš Cloudera เปเบฅเบฐเบงเบดเบ—เบตเบเบฒเบ™เบ›เบธเบ‡เปเบ•เปˆเบ‡เบกเบฑเบ™

เบ”เบฑเปˆเบ‡เบ™เบฑเป‰เบ™, เบเบฒเบ™เบ•เบฑเบ”เบšเบฑเป‰เบ‡เป„เบŸเบˆเบฐเบ›เบฒเบเบปเบ”เบขเบนเปˆเบ—เบฒเบ‡เบซเบ™เป‰เบฒเบ‚เบญเบ‡เบ—เปˆเบฒเบ™, เป€เบŠเบดเปˆเบ‡เบˆเบฐเบ™เปเบฒเบ—เปˆเบฒเบ™เป„เบ›เบชเบนเปˆเบญเบฐเบ™เบฒเบ„เบปเบ”เบญเบฑเบ™เบชเบปเบ”เปƒเบชเบ‚เบญเบ‡ BigData. เปเบ•เปˆเบเปˆเบญเบ™เบ—เบตเปˆเบžเบงเบเป€เบฎเบปเบฒเบˆเบฐเป€เบงเบปเป‰เบฒเบงเปˆเบฒ "เป„เบ›", เปƒเบซเป‰เป„เบงเป„เบ›เบ‚เป‰เบฒเบ‡เบซเบ™เป‰เบฒเบžเบฒเบเปƒเบ•เป‰เบเบฒเบ™ hood เป„เบ”เป‰.

เบ„เบงเบฒเบกเบ•เป‰เบญเบ‡เบเบฒเบ™เบฎเบฒเบ”เปเบง

เบขเบนเปˆเปƒเบ™เป€เบงเบฑเบšเป„เบŠเบ—เปŒเบ‚เบญเบ‡เบžเบงเบเป€เบ‚เบปเบฒ, Cloudera เบเปˆเบฒเบงเป€เบ–เบดเบ‡เบเบฒเบ™เบ•เบฑเป‰เบ‡เบ„เปˆเบฒเบ—เบตเปˆเป€เบ›เบฑเบ™เป„เบ›เป„เบ”เป‰เบ—เบตเปˆเปเบ•เบเบ•เปˆเบฒเบ‡เบเบฑเบ™. เบซเบผเบฑเบเบเบฒเบ™เบ—เบปเปˆเบงเป„เบ›เบ—เบตเปˆเป€เบ‚เบปเบฒเป€เบˆเบปเป‰เบฒเบชเป‰เบฒเบ‡เบ‚เบถเป‰เบ™เปเบกเปˆเบ™เบชเบฐเปเบ”เบ‡เบขเบนเปˆเปƒเบ™เบ•เบปเบงเบขเปˆเบฒเบ‡:

เบชเบดเปˆเบ‡เบ—เบตเปˆเบžเบดเป€เบชเบ”เบเปˆเบฝเบงเบเบฑเบš Cloudera เปเบฅเบฐเบงเบดเบ—เบตเบเบฒเบ™เบ›เบธเบ‡เปเบ•เปˆเบ‡เบกเบฑเบ™
MapReduce เบชเบฒเบกเบฒเบ”เบกเบปเบงเบฎเบนเบšเบžเบฒเบšเปƒเบ™เปเบ‡เปˆเบ”เบตเบ™เบตเป‰เป„เบ”เป‰. เบŠเบญเบเบซเบฒเบญเบตเบเป€เบ—เบทเปˆเบญเบซเบ™เบถเปˆเบ‡เบขเบนเปˆเปƒเบ™เปเบœเบ™เบงเบฒเบ”เปƒเบ™เบžเบฒเบเบเปˆเบญเบ™เบซเบ™เป‰เบฒ, เบกเบฑเบ™เบˆเบฐเบเบฒเบเป€เบ›เบฑเบ™เบ—เบตเปˆเบŠเบฑเบ”เป€เบˆเบ™เบงเปˆเบฒเปƒเบ™เป€เบเบทเบญเบšเบ—เบธเบเบเปเบฅเบฐเบ™เบต, เบงเบฝเบเบ‡เบฒเบ™ MapReduce เบชเบฒเบกเบฒเบ”เบ•เบตเบ„เปเบ‚เบงเบ”เปƒเบ™เป€เบงเบฅเบฒเบ—เบตเปˆเบญเปˆเบฒเบ™เบ‚เปเป‰เบกเบนเบ™เบˆเบฒเบเปเบœเปˆเบ™เบซเบผเบทเป€เบ„เบทเบญเบ‚เปˆเบฒเบ. เบ™เบตเป‰เบเบฑเบ‡เบ–เบทเบเบšเบฑเบ™เบ—เบถเบเป„เบงเป‰เปƒเบ™ blog Cloudera. เบ”เบฑเปˆเบ‡เบ™เบฑเป‰เบ™, เบชเปเบฒเบฅเบฑเบšเบเบฒเบ™เบ„เบดเบ”เป„เบฅเปˆเป„เบงเปƒเบ”เป†, เบฅเบงเบกเบ—เบฑเบ‡เบœเปˆเบฒเบ™ Spark, เป€เบŠเบดเปˆเบ‡เบกเบฑเบเบˆเบฐเบ–เบทเบเบ™เปเบฒเปƒเบŠเป‰เบชเปเบฒเบฅเบฑเบšเบเบฒเบ™เบ„เบดเบ”เป„เบฅเปˆเปƒเบ™เป€เบงเบฅเบฒเบ—เบตเปˆเปเบ—เป‰เบˆเบดเบ‡, เบ„เบงเบฒเบกเป„เบง I / O เปเบกเปˆเบ™เบกเบตเบ„เบงเบฒเบกเบชเปเบฒเบ„เบฑเบ™เบซเบผเบฒเบ. เบ”เบฑเปˆเบ‡เบ™เบฑเป‰เบ™, เป€เบกเบทเปˆเบญเปƒเบŠเป‰ Hadoop, เบกเบฑเบ™เป€เบ›เบฑเบ™เบชเบดเปˆเบ‡เบชเปเบฒเบ„เบฑเบ™เบซเบผเบฒเบเบ—เบตเปˆเป€เบ„เบทเปˆเบญเบ‡เบˆเบฑเบเบ—เบตเปˆเบกเบตเบ„เบงเบฒเบกเบชเบปเบกเบ”เบนเบ™เปเบฅเบฐเป„เบงเป€เบ‚เบปเป‰เบฒเป„เบ›เปƒเบ™เบเบธเปˆเบก, เป€เบŠเบดเปˆเบ‡, เป€เบžเบทเปˆเบญเป€เบฎเบฑเบ”เปƒเบซเป‰เบกเบฑเบ™เบญเปˆเบญเบ™เป‚เบเบ™, เบšเปเปˆเป„เบ”เป‰เบชเบฐเบซเบ™เบญเบ‡เปƒเบซเป‰เบชเบฐเป€เบซเบกเบตเปƒเบ™เป‚เบ„เบ‡เบชเป‰เบฒเบ‡เบžเบทเป‰เบ™เบ–เบฒเบ™เบ‚เบญเบ‡เบŸเบฑเบ‡.

เบเบฒเบ™เบ”เบธเปˆเบ™เบ”เปˆเบฝเบ‡เปƒเบ™เบเบฒเบ™เปเบˆเบเบขเบฒเบเบเบฒเบ™เป‚เบซเบผเบ”เปเบกเปˆเบ™เบšเบฑเบ™เบฅเบธเป„เบ”เป‰เป‚เบ”เบเบœเปˆเบฒเบ™เบเบฒเบ™เบ™เปเบฒเปƒเบŠเป‰ Openstack virtualization เปƒเบ™เป€เบ„เบทเปˆเบญเบ‡เปเบกเปˆเบ‚เปˆเบฒเบเบ—เบตเปˆเบกเบต CPU เบซเบผเบฒเบเปเบเบ™เบ—เบตเปˆเบกเบตเบ›เบฐเบชเบดเบ”เบ—เบดเบžเบฒเบš. เบ‚เปเป‰โ€‹เบกเบนเบ™โ€‹เปเบกเปˆเบ™โ€‹เป„เบ”เป‰โ€‹เบฎเบฑเบšโ€‹เบเบฒเบ™โ€‹เบˆเบฑเบ”โ€‹เบชเบฑเบ™โ€‹เบŠเบฑเบšโ€‹เบžเบฐโ€‹เบเบฒโ€‹เบเบญเบ™โ€‹เบ‚เบญเบ‡โ€‹เบ•เบปเบงโ€‹เบœเบฐโ€‹เบฅเบดเบ”โ€‹เบ•เบฐโ€‹เบžเบฑเบ™โ€‹เบ‚เบญเบ‡โ€‹เบ•เบปเบ™โ€‹เป€เบญเบ‡โ€‹เปเบฅเบฐโ€‹เปเบœเปˆเบ™โ€‹เบ—เบตเปˆโ€‹เปเบ™เปˆโ€‹เบ™เบญเบ™โ€‹. เปƒเบ™เบเบฒเบ™เปเบเป‰เป„เบ‚เบ‚เบญเบ‡เบžเบงเบเป€เบฎเบปเบฒ Atos Codex Data Lake Engine virtualization เบเบงเป‰เบฒเบ‡เปเบกเปˆเบ™เบšเบฑเบ™เบฅเบธเป„เบ”เป‰, เบ™เบฑเป‰เบ™เปเบกเปˆเบ™เป€เบซเบ”เบœเบปเบ™เบ—เบตเปˆเบžเบงเบเป€เบฎเบปเบฒเบŠเบฐเบ™เบฐเบ—เบฑเบ‡เบชเบญเบ‡เบ”เป‰เบฒเบ™เบเบฒเบ™เบ›เบฐเบ•เบดเบšเบฑเบ” (เบœเบปเบ™เบเบฐเบ—เบปเบšเบ‚เบญเบ‡เป‚เบ„เบ‡เบชเป‰เบฒเบ‡เป€เบ„เบทเบญเบ‚เปˆเบฒเบเบ–เบทเบเบซเบผเบธเบ”เบฅเบปเบ‡) เปเบฅเบฐ TCO (เป€เบ„เบทเปˆเบญเบ‡เปเบกเปˆเบ‚เปˆเบฒเบเบ—เบฒเบ‡เบ”เป‰เบฒเบ™เบฎเปˆเบฒเบ‡เบเบฒเบเบžเบดเป€เบชเบ”เบ–เบทเบเบฅเบปเบšเบฅเป‰เบฒเบ‡).

เบชเบดเปˆเบ‡เบ—เบตเปˆเบžเบดเป€เบชเบ”เบเปˆเบฝเบงเบเบฑเบš Cloudera เปเบฅเบฐเบงเบดเบ—เบตเบเบฒเบ™เบ›เบธเบ‡เปเบ•เปˆเบ‡เบกเบฑเบ™
เปƒเบ™เบเปเบฅเบฐเบ™เบตเบ‚เบญเบ‡เบเบฒเบ™เบ™เปเบฒเปƒเบŠเป‰เป€เบ„เบทเปˆเบญเบ‡เปเบกเปˆเบ‚เปˆเบฒเบเบ‚เบญเบ‡ BullSequana S200, เบžเบงเบเป€เบฎเบปเบฒเป„เบ”เป‰เบฎเบฑเบšเบเบฒเบ™เป‚เบซเบผเบ”เป€เบ›เบฑเบ™เป€เบญเบเบฐเบžเบฒเบšเบซเบผเบฒเบ, เบšเปเปˆเบกเบตเบ‚เปเป‰เบšเบปเบเบœเปˆเบญเบ‡เบšเบฒเบ‡เบขเปˆเบฒเบ‡. เบเบฒเบ™เบ•เบฑเป‰เบ‡เบ„เปˆเบฒเบ•เปเบฒเปˆเบชเบธเบ”เบ—เบตเปˆเบ›เบฐเบเบญเบšเบกเบต 3 เป€เบŠเบตเบšเป€เบงเบต BullSequana S200, เปเบ•เปˆเบฅเบฐเบญเบฑเบ™เบกเบตเบชเบญเบ‡ JBODs, เบšเบงเบเบเบฑเบš S200s เป€เบžเบตเปˆเบกเป€เบ•เบตเบกเบ—เบตเปˆเบกเบตเบชเบตเปˆเป‚เบซเบ™เบ”เบ‚เปเป‰เบกเบนเบ™เปเบกเปˆเบ™เป€เบŠเบทเปˆเบญเบกเบ•เปเปˆเบ—เบฒเบ‡เป€เบฅเบทเบญเบ. เบ™เบตเป‰เปเบกเปˆเบ™เบ•เบปเบงเบขเปˆเบฒเบ‡เบเบฒเบ™เป‚เบซเบผเบ”เปƒเบ™เบเบฒเบ™เบ—เบปเบ”เบชเบญเบš TeraGen:

เบชเบดเปˆเบ‡เบ—เบตเปˆเบžเบดเป€เบชเบ”เบเปˆเบฝเบงเบเบฑเบš Cloudera เปเบฅเบฐเบงเบดเบ—เบตเบเบฒเบ™เบ›เบธเบ‡เปเบ•เปˆเบ‡เบกเบฑเบ™

เบเบฒเบ™เบ—เบปเบ”เบชเบญเบšเบ—เบตเปˆเบกเบตเบ›เบฐเบฅเบดเบกเบฒเบ™เบ‚เปเป‰เบกเบนเบ™เบ—เบตเปˆเปเบ•เบเบ•เปˆเบฒเบ‡เบเบฑเบ™เปเบฅเบฐเบกเบนเบ™เบ„เปˆเบฒ replication เบชเบฐเปเบ”เบ‡เปƒเบซเป‰เป€เบซเบฑเบ™เบœเบปเบ™เป„เบ”เป‰เบฎเบฑเบšเบ”เบฝเบงเบเบฑเบ™เปƒเบ™เป€เบ‡เบทเปˆเบญเบ™เป„เบ‚เบ‚เบญเบ‡เบเบฒเบ™เปเบˆเบเบขเบฒเบเบเบฒเบ™เป‚เบซเบผเบ”เปƒเบ™เบ—เบปเปˆเบง nodes เบ‚เบญเบ‡เบเบธเปˆเบก. เบ‚เป‰เบฒเบ‡เบฅเบธเปˆเบกเบ™เบตเป‰เปเบกเปˆเบ™เบ•เบฒเบ•เบฐเบฅเบฒเบ‡เบเบฒเบ™เปเบˆเบเบขเบฒเบเบ‚เบญเบ‡เบเบฒเบ™เป€เบ‚เบปเป‰เบฒเป€เบ–เบดเบ‡เปเบœเปˆเบ™เป‚เบ”เบเบเบฒเบ™เบ—เบปเบ”เบชเบญเบšเบเบฒเบ™เบ›เบฐเบ•เบดเบšเบฑเบ”.

เบชเบดเปˆเบ‡เบ—เบตเปˆเบžเบดเป€เบชเบ”เบเปˆเบฝเบงเบเบฑเบš Cloudera เปเบฅเบฐเบงเบดเบ—เบตเบเบฒเบ™เบ›เบธเบ‡เปเบ•เปˆเบ‡เบกเบฑเบ™

เบเบฒเบ™เบ„เบดเบ”เป„เบฅเปˆเปเบกเปˆเบ™เบญเบตเบ‡เปƒเบชเปˆเบเบฒเบ™เบ•เบฑเป‰เบ‡เบ„เปˆเบฒเบ‚เบฑเป‰เบ™เบ•เปˆเปเบฒเบ‚เบญเบ‡ 3 เป€เบŠเบตเบšเป€เบงเบต BullSequana S200. เบกเบฑเบ™เบ›เบฐเบเบญเบšเบกเบต 9 เบ‚เปเป‰เบ‚เปเป‰เบกเบนเบ™เปเบฅเบฐ 3 เป‚เบซเบ™เบ”เบ•เบปเป‰เบ™เบชเบฐเบšเบฑเบš, เป€เบŠเบฑเปˆเบ™เบ”เบฝเบงเบเบฑเบ™เบเบฑเบšเป€เบ„เบทเปˆเบญเบ‡ virtual เบ—เบตเปˆเบชเบฐเบซเบ‡เบงเบ™เป„เบงเป‰เปƒเบ™เบเปเบฅเบฐเบ™เบตเบ‚เบญเบ‡เบเบฒเบ™เบ™เปเบฒเปƒเบŠเป‰เบเบฒเบ™เบ›เบปเบเบ›เป‰เบญเบ‡เป‚เบ”เบเบญเบตเบ‡เปƒเบชเปˆ OpenStack Virtualization. เบœเบปเบ™เป„เบ”เป‰เบฎเบฑเบšเบเบฒเบ™เบ—เบปเบ”เบชเบญเบš TeraSort: เบ‚เบฐเบซเบ™เบฒเบ”เบšเบฅเบฑเบญเบ 512 MB เบ‚เบญเบ‡เบ›เบฑเบ”เป„เบˆเบเบฒเบ™เบˆเปเบฒเบฅเบญเบ‡เบ‚เบญเบ‡เบชเบฒเบกเบ—เบตเปˆเบกเบตเบเบฒเบ™เป€เบ‚เบปเป‰เบฒเบฅเบฐเบซเบฑเบ”เปเบกเปˆเบ™ 23,1 เบ™เบฒเบ—เบต.

เบฅเบฐเบšเบปเบšเบˆเบฐเบ‚เบฐเบซเบเบฒเบเป„เบ”เป‰เปเบ™เบงเปƒเบ”? เบ›เบฐเป€เบžเบ”เบ•เปˆเบฒเบ‡เป†เบ‚เบญเบ‡เบชเปˆเบงเบ™เบ‚เบฐเบซเบเบฒเบเปเบกเปˆเบ™เบกเบตเปƒเบซเป‰เบชเปเบฒเบฅเบฑเบš Data Lake Engine:

  • เบ‚เปเป‰โ€‹เบกเบนเบ™โ€‹: เบชเปเบฒโ€‹เบฅเบฑเบšโ€‹เบ—เบธเบ 40 TB เบ‚เบญเบ‡โ€‹เบŠเปˆเบญเบ‡โ€‹เบ—เบตเปˆโ€‹เปƒเบŠเป‰โ€‹เป„เบ”เป‰โ€‹
  • เป‚เบ™เบ”เบเบฒเบ™เบงเบดเป€เบ„เบฒเบฐเบ—เบตเปˆเบกเบตเบ„เบงเบฒเบกเบชเบฒเบกเบฒเบ”เปƒเบ™เบเบฒเบ™เบ•เบดเบ”เบ•เบฑเป‰เบ‡ GPU
  • เบ—เบฒเบ‡เป€เบฅเบทเบญเบเบญเบทเปˆเบ™เบ‚เบถเป‰เบ™เบขเบนเปˆเบเบฑเบšเบ„เบงเบฒเบกเบ•เป‰เบญเบ‡เบเบฒเบ™เบ‚เบญเบ‡เบ—เบธเบฅเบฐเบเบดเบ” (เบ•เบปเบงเบขเปˆเบฒเบ‡, เบ–เป‰เบฒเบ—เปˆเบฒเบ™เบ•เป‰เบญเบ‡เบเบฒเบ™ Kafka เปเบฅเบฐเบญเบทเปˆเบ™เป†)

เบชเบดเปˆเบ‡เบ—เบตเปˆเบžเบดเป€เบชเบ”เบเปˆเบฝเบงเบเบฑเบš Cloudera เปเบฅเบฐเบงเบดเบ—เบตเบเบฒเบ™เบ›เบธเบ‡เปเบ•เปˆเบ‡เบกเบฑเบ™

เบชเบฐเบฅเบฑเบšเบชเบฑเบšเบŠเป‰เบญเบ™ Atos Codex Data Lake Engine เบฅเบงเบกเบกเบตเบ—เบฑเบ‡เป€เบŠเบตเบšเป€เบงเบตเบ”เป‰เบงเบเบ•เบปเบ™เป€เบญเบ‡เปเบฅเบฐเบŠเบญเบšเปเบงเบ—เบตเปˆเบ•เบดเบ”เบ•เบฑเป‰เบ‡เป„เบงเป‰เบเปˆเบญเบ™, เบฅเบงเบกเบ—เบฑเบ‡เบŠเบธเบ” Cloudera เบ—เบตเปˆเบกเบตเปƒเบšเบญเบฐเบ™เบธเบเบฒเบ”; Hadoop เบ•เบปเบงเบ‚เบญเบ‡เบกเบฑเบ™เป€เบญเบ‡, OpenStack เบเบฑเบšเป€เบ„เบทเปˆเบญเบ‡ virtual เป‚เบ”เบเบญเบตเบ‡เปƒเบชเปˆ RedHat Enterprise Linux kernel, เบเบฒเบ™เบˆเปเบฒเบฅเบญเบ‡เบ‚เปเป‰เบกเบนเบ™เปเบฅเบฐเบฅเบฐเบšเบปเบšเบชเปเบฒเบฎเบญเบ‡เบ‚เปเป‰เบกเบนเบ™ (เบฅเบงเบกเบ—เบฑเบ‡เบเบฒเบ™เบ™เปเบฒเปƒเบŠเป‰ node เบชเปเบฒเบฎเบญเบ‡เบ‚เปเป‰เบกเบนเบ™เปเบฅเบฐ Cloudera BDR - เบชเปเบฒเบฎเบญเบ‡เบ‚เปเป‰เบกเบนเบ™เปเบฅเบฐเบเบฒเบ™เบŸเบทเป‰เบ™เบŸเบนเป„เบžเบžเบดเบšเบฑเบ”). Atos Codex Data Lake Engine เปเบกเปˆเบ™เบเบฒเบ™เปเบเป‰เป„เบ‚ virtualization เบ—เปเบฒเบญเบดเบ”เบ—เบตเปˆเป„เบ”เป‰เบฎเบฑเบšเบเบฒเบ™เบขเบฑเป‰เบ‡เบขเบทเบ™ cloudera.

เบ–เป‰เบฒเบ—เปˆเบฒเบ™เบชเบปเบ™เปƒเบˆเปƒเบ™เบฅเบฒเบเบฅเบฐเบญเบฝเบ”, เบžเบงเบเป€เบฎเบปเบฒเบเบดเบ™เบ”เบตเบ—เบตเปˆเบˆเบฐเบ•เบญเบšเบ„เปเบฒเบ–เบฒเบกเบ‚เบญเบ‡เบžเบงเบเป€เบฎเบปเบฒเปƒเบ™เบ„เปเบฒเป€เบซเบฑเบ™.

เปเบซเบผเปˆเบ‡เบ‚เปเป‰เบกเบนเบ™: www.habr.com

เป€เบžเบตเปˆเบกเบ„เบงเบฒเบกเบ„เบดเบ”เป€เบซเบฑเบ™