ืงืืื ืืจืืืก ืืึทืื ืึธืคึผืขืจืึทืฆืืข ืจืืงืืืืืขืจื ืึท ืคึผืืึทืฅ ืคืื ืงืึทืืคึผืืืืื ื ืืึทืื. ื ืืืคึผืืฉ ืึทืจืืืขืจืคืืจื ืคืื ืืึทืื ืคืื ืึท ืืึทืืึทืืืืก ืฆื Hadoop ืงืขื ื ืขืืขื ืืืึธืื ืึธืืขืจ ืงืึธืกืื ืึทืืื ืคืื ืืื ืึทื ืึทืขืจืึธืคึผืืึทื ืคืืืื. ืฆื ื ืื ืืืืื ืฆื ืืืึทืจืื ืืื ืคืึทืจืืจืขื ืืขื ืืขืื? ืืึทืืึทื ืกืืจื ืื ืืึทืกืข ืืืืฃ ืคืึทืจืฉืืืขื ืข ืคึผืืึทืืคืึธืจืืก. ืืืื ืืืขื ืืื ืคึผืืฉืืึทืื ืึทืคึผืืึทืืึทืืืืฉืึทื.
ืืื ืืขืืขืื ืจืืกืืึทื ื ืก ืืืืื ื ืืจืืื ืขืจ ืคึฟืึทืจ ืืขืจ ืึทื ืืืืืงืืื ื ืืื ืึทืืืื ืืกืืจืึทืฆืืข ืคืื โโืื ืคืึธืจืืึทืืืงืึท ืคึผืจืึธืืืงืื, ืึทืืขืงืกืื ืึทื ืึทื ืืขืื, ืฆื ืจืขืื ืืืขืื ืื ืคึผืืฉืืึธืืื ืึทืคึผืืึทืืึทืืืืฉืึทื ืคืื ืงืฆืืข ืืื ืื ืคืึธืจืืึทืืืงืึท ืืื ืืึทืืึท ืืึทื ืึทืืขืืขื ื (ืืื). ืืึธืื ืืืจ ืืืฅ ืืขืืขืจื ื ืฆื ืึทืจืืขืื ืืื ืื ืคืึธืจืืึทืืืงืึท ืคึผืจืึธืืืงืื? ืจืืึฟ ืืกืชึผืื, ืขืก ืืื ืืขืืืขื ืึทืืขืงืกืื ืืืึธืก ืืขืจืฆืืืื ืืืจ ืื ืืึทืกืืงืก ืคืื PowerCenter ืืื ืืขืจืงืืขืจื ืืื ืฆื ืืืืขื ืืึทืคึผืื ืื.
ืึทืืขืงืกืื ืึทื ืึทื ืืขืื, ืืืืคึผื ืคืื ืืจืืื ืื ื ืืื DIS ืืจืืคืข
ืืืึธืก ืืื ืคึผืืฉืืึธืืื?
ืคืืืข ืคืื โโืืืจ ืืขื ืขื ืฉืืื ืืึทืงืึทื ื ืืื Informatica Big Data Management (BDM). ืืขืจ ืคึผืจืึธืืืงื ืงืขื ืขื ืืืกืฉืืืืขื ืืจืืืก ืืึทืื ืคืื ืคืึทืจืฉืืืขื ืข ืงืืืืื, ืืึทื ืขืก ืฆืืืืฉื ืคืึทืจืฉืืืขื ืข ืกืืกืืขืืขื, ืืื ืืจืื ื ืึทืงืกืขืก ืฆื ืขืก, ืึทืืึทืื ืืืจ ืฆื ืคึผืจืึธืคืื ืขืก, ืืื ืคืื ืืขืจ.
ืืื ืื ืจืขืื ืืขื ื, BDM ืงืขื ืขื ืึทืจืืขื ืืืืื ืืขืจ: ืืึทืกืงืก ืืืขื ืืืื ืืขืขื ืืืงื ืืขืฉืืืื ื ืืื ืืื ืืื ืืืึทื ืงืึทืืคึผืืืืื ื ืจืขืกืืจืกื.
ืืืืืกื ืืืก ืืืื? ืืขืจื ืฆื ื ืืฆื ืื Pushdown ืฉืืจืื ืืื BDM ืฆื ืคืึทืจืฉืคึผืจืืืื ืื ืงืึทืืคึผืืืืื ื ืืึทืกืข ืืืืฃ ืคืึทืจืฉืืืขื ืข ืคึผืืึทืืคืึธืจืืก. ืคึผืืฉืืึธืืื ืืขืื ืึธืืึธืืืข ืึทืืึทืื ืืืจ ืฆื ืืืขื ืื ืืึทืคึผืื ื ืืื ืึท ืฉืจืืคื ืืื ืืืืกืงืืืึทืื ืื ืกืืืืืืข ืืื ืืืึธืก ืืขื ืฉืจืืคื ืืืขื ืืืืคื. ืื ืืจืืจื ืึทืืึทืื ืืืจ ืฆื ืคืึทืจืืื ืื ืื ืกืืจืขื ืืงืืก ืคืื ืคืึทืจืฉืืืขื ืข ืคึผืืึทืืคืึธืจืืก ืืื ืืขืจืืจืืืื ืืืืขืจ ืืึทืงืกืืืื ืคืึธืจืฉืืขืืื ื.
ืฆื ืงืึทื ืคืืืืขืจ ืื ืฉืจืืคื ืืืจืืคืืจืื ื ืกืืืืืืข, ืืืจ ืืึทืจืคึฟื ืฆื ืกืขืืขืงืืืจื ืืขื ืืจืืงื ืืืคึผ. ืืขืจ ืฉืจืืคื ืงืขื ืขื ืืืื ืืืืคื ืืขืืึทืืจืข ืืืืฃ Hadoop ืึธืืขืจ ืืืื ืคืื ืื ืืขืจืืขืืืืื ืฆืืืืฉื ืื ืืงืืจ ืืื ืืื ืงืขื. ืขืก ืืขื ืขื 4 ืืขืืืขื ืืืืคึผืก ืคืื ืคึผืืฉืืึทืื. ืืึทืคึผืื ื ืืึทืจืฃ ื ืื ืืืื ืคืืจืืืื ืืืขื ืืื ืึท ืฉืจืืคื (ืืขืืืืจื). ืืึทืคึผืื ื ืงืขื ืขื ืืืื ืืขืืื ืืื ืคืื ืืื ืืขืืืขื ืืืืฃ ืื ืืงืืจ (ืืงืืจ) ืึธืืขืจ ืืึธืจ ืืืืฃ ืื ืืงืืจ (ืคืื). ืืึทืคึผืื ื ืงืขื ืขื ืืืื ืืืื ืคืืจืืืื ืืืขื ืืื ืึท Hadoop ืฉืจืืคื (ืงืืื).
ืคึผืืฉืืึธืืื ืึทืคึผืืึทืืึทืืืืฉืึทื
ืื ืืืกืืขื 4 ืืืืคึผืก ืงืขื ืขื ืืืื ืงืึทืืืืื ื ืืื ืคืึทืจืฉืืืขื ืข ืืืขืื - ืคึผืืฉืืึธืืื ืงืขื ืขื ืืืื ืึธืคึผืืืืืืขื ืคึฟืึทืจ ืื ืกืคึผืขืฆืืคืืฉ ืืืืขืจืคืขื ืืฉื ืคืื ืื ืกืืกืืขื. ืคึฟืึทืจ ืืืึทืฉืคึผืื, ืขืก ืืื ืึธืคื ืืขืจ ืฆืื ืขืืขื ืฆื ืขืงืกืืจืึทืงื ืืึทืื ืคืื ืึท ืืึทืืึทืืืืก ืืื ืืืื ืืืืืขื ืข ืงืืืคึผืึทืืืืึทืืื. ืืื ืื ืืึทืื ืืืขื ืืืื ืงืึธื ืืืขืจืืขื ืืื Hadoop, ืึทืืื ื ืืฉื ืฆื ืึธืืืขืจืืึธืึทื ืื ืืึทืืึทืืืืก ืืื.
ืืึธืืืจ ืืึทืืจืึทืืื ืืขื ืคืึทื ืืืขื ืืืืืข ืื ืืงืืจ ืืื ืื ืืขืกืืื ืืืฉืึทื ืืขื ืขื ืืื ืื ืืึทืืึทืืืืก, ืืื ืื ืืจืึทื ืกืคืึธืจืืึทืฆืืข ืืืจืืคืืจืื ื ืคึผืืึทืืคืึธืจืืข ืงืขื ืขื ืืืื ืืืืกืืขืงืืืื: ืืืคึผืขื ืืื ื ืืืืฃ ืื ืกืขืืืื ืืก, ืขืก ืืืขื ืืืื Informatica, ืึท ืืึทืืึทืืืืก ืกืขืจืืืขืจ ืึธืืขืจ Hadoop. ืึทืืึท ืึท ืืืึทืฉืคึผืื ืืืขื ืืึธืื ืืืจ ืฆื ืจืืึฟ ืึทืงืืขืจืึทืืื ืคึฟืึทืจืฉืืืื ืื ืืขืื ืืฉ ืืืึทื ืคืื ืื ืึธืคึผืขืจืึทืฆืืข ืคืื โโืืขื ืืขืงืึทื ืืืึทื. ืืขืืืืื ืืืขื, ืืื ืคืึทืงืืืฉ ืืขืื ืืขื ืกืืืืึทืฆืืข ืืื ื ืืฉื ืืืืคืฉืืืื, ืึธืืขืจ ืขืก ืืื ืืขืกืืขืจ ืคึผืึทืกืืง ืคึฟืึทืจ ืืขืืึทื ืกืืจืืืืื ื ืคืึทื ืืงืฉืึทื ืึทืืืื.
ืืึธืืืจ ื ืขืืขื ืืึทืคึผืื ื ืฆื ืืืืขื ืขื ืฆืืืื ืืืฉื ืืื ืึท ืืืื ืึธืจืึทืงืืข ืืึทืืึทืืืืก. ืืื ืืึธืื ืื ืืืืขื ืขื ืจืขืืืืืึทืื ืืืื ืจืขืงืึธืจืืขื ืืื ืึท ืืืฉ ืืื ืืขืจ ืืขืืืืงืขืจ ืืึทืืึทืืืืก. ืื ืืึทืคึผืื ื ืกืืขืืข ืืืขื ืืืื ืืื ืืึธืก:
ืืื ืื ืคืึธืจืขื ืคืื ืืึทืคึผืื ื ืืืืฃ Informatica BDM 10.2.1 ืขืก ืงืืงื ืืื ืืึธืก:
ืคึผืืฉืืึธืืื ืืืคึผ - ืืขืืืืจื
ืืืื ืืืจ ืกืขืืขืงืืืจื ืืขื ืืขืืืืจื ืืืคึผ ืคืื ืคึผืืฉืืึธืืื, ืื ืืึทืคึผืื ื ืืืขื ืืืื ืืืจืืืขืงืึธืื ืืืืฃ ืื ืื ืคืึธืจืืึทืืืงืึท ืกืขืจืืืขืจ. ืื ืืึทืื ืืืขื ืืืื ืืืืขื ืขื ืคืื ืื ืึธืจืึทืงืืข ืกืขืจืืืขืจ, ืืจืึทื ืกืคืขืจื ืฆื ืื ืื ืคืึธืจืืึทืืืงืึท ืกืขืจืืืขืจ, ืคืืจืืืื ืืืขื ืืึธืจื ืืื ืืจืึทื ืกืคืขืจื ืฆื Hadoop. ืืื ืื ืืขืจืข ืืืขืจืืขืจ, ืืืจ ืืืขืื ืืึทืงืืืขื ืึท ื ืึธืจืืึทื ETL ืคึผืจืึธืฆืขืก.
ืคึผืืฉืืึธืืื ืืืคึผ - ืืงืืจ
ืืืขื ืืฉืืืื ื ืื ืืงืืจ ืืืคึผ, ืืืจ ืืึทืงืืืขื ืื ืืขืืขืื ืืืื ืฆื ืคืึทืจืฉืคึผืจืืืื ืืื ืืืขืจ ืคึผืจืึธืฆืขืก ืฆืืืืฉื ืื ืืึทืืึทืืืืก ืกืขืจืืืขืจ (DB) ืืื Hadoop. ืืืขื ืึท ืคึผืจืึธืฆืขืก ืืื ืขืงืกืึทืงืืืืึทื ืืื ืืขื ืืึทืฉืืขืืืงื, ืจืืงืืืขืก ืฆื ืฆืืจืืงืงืจืืื ืืึทืื ืคืื ืืืฉื ืืืขื ืืืื ืืขืฉืืงื ืฆื ืื ืืึทืืึทืืืืก. ืืื ืื ืื ืืื ืืืขื ืืืื ืืขืืื ืืื ืื ืคืึธืจืขื ืคืื ืืจืื ืืืืฃ Hadoop.
ืืขืจ ืืืจืืคืืจืื ื ืืืึทืืจืึทืืข ืืืขื ืงืืงื ืืื ืืึธืก:
ืื ืืขืจ ืืื ืึท ืืืืฉืคึผืื ืคืื ืืึทืฉืืขืืืงื ืื ืจืื ืืืืข ืกืืืืืืข.
ืืื ืืขื ืคืึทื, ืืึทืคึผืื ื ืืืขื ืืืื ืืืจืืืขืงืึธืื ืืื ืฆืืืื ืกืืขืคึผืก. ืืื ืืืื ืกืขืืืื ืืก ืืืจ ืืืขืื ืืขื ืึทื ืขืก ืืื ืคืืจืืืื ืืืขื ืืื ืึท ืฉืจืืคื ืืืึธืก ืืืขื ืืืื ืืขืฉืืงื ืฆื ืื ืืงืืจ. ืืขืจืฆื, ืงืึทืืืืื ืื ื ืืืฉื ืืื ืืืขืจืืึทืื ืืึทืื ืืืขื ืืืื ืืืจืืืขืงืึธืื ืืื ืื ืคืึธืจืขื ืคืื ืึท ืึธืืืืขืจืจืืืึทื ืึธื ืคึฟืจืขื ืืืืฃ ืืขืจ ืืงืืจ.
ืืื ืื ืืืื ืืื ืื, ืืืจ ืืขื ืึท ืึธืคึผืืืืืืขื ืืึทืคึผืื ื ืืืืฃ ืื BDM ืืื ืึท ืจืืืืคืืื ื ืึธื ืคึฟืจืขื ืืืืฃ ืืขืจ ืืงืืจ.
ืื ืจืึธืืข ืคืื โโโโHadoop ืืื ืืขื ืงืึทื ืคืืืืขืจืืืฉืึทื ืืืขื ืืืื ืจืืืืกื ืฆื ืึธื ืคืืจืื ื ืื ืืืืคื ืคืื ืืึทืื - ืึธืจืงืขืกืืจืืืืื ื ืขืก. ืืขืจ ืจืขืืืืืึทื ืคืื ืื ืึธื ืคึฟืจืขื ืืืขื ืืืื ืืขืฉืืงื ืฆื Hadoop. ืึทืืึธื ืื ืืืืขื ืขื ืืื ืืขืขื ืืืงื, ืื ืืขืงืข ืคึฟืื Hadoop ืืืขื ืืืื ืืขืฉืจืืื ืฆื ืื ืืื ืงืขื.
ืคึผืืฉืืึธืืื ืืืคึผ - ืคืื
ืืืขื ืืืจ ืืืืกืงืืืึทืื ืื ืคืื ืืืคึผ, ืืึทืคึผืื ื ืืืขื ืืึธืจ ืืืขืจื ืึท ืืึทืืึทืืืืก ืึธื ืคึฟืจืขื. ืืื ืืขืจ ืจืขืืืืืึทื ืคืื ืืขืจ ืืงืฉื ืืืขื ืืืื ืืขืฉืืงื ืฆื Hadoop. ื ืืืึทืืจืึทืืข ืคืื โโืึทืืึท ืึท ืคึผืจืึธืฆืขืก ืืื ืืขืจืืื ืื ืืื ืื.
ื ืืืืฉืคึผืื ืกืขืืึทืคึผ ืืื ืืขืืืืื ืืื ืื.
ืืื ืึท ืจืขืืืืืึทื, ืืืจ ืืืขืื ืืึทืงืืืขื ืึท ืึธืคึผืืืืืืขื ืืึทืคึผืื ื ืขื ืืขื ืฆื ืื ืคืจืืขืจืืืงืข. ืืขืจ ืืืืื ืืืืืง ืืื ืึทื ืึทืืข ืื ืืึธืืืง ืืื ืืจืึทื ืกืคืขืจื ืฆื ืื ืืคื ืขืืขืจ ืืื ืื ืคืึธืจืขื ืคืื ืึธืืืืขืจืจืืืืื ื ืืืึทื ืื ืกืขืจืฉืึทื. ื ืืืืฉืคึผืื ืคืื ืึธืคึผืืืืืืขื ืืึทืคึผืื ื ืืื ืืขืจืืื ืื ืืื ืื.
ืืึธ, ืืื ืืื ืื ืคืจืืขืจืืืงืข ืคืึทื, Hadoop ืฉืคึผืืื ืื ืจืึธืืข ืคืื โโืงืึธื ืืืงืืึธืจ. ืืืขืจ ืืึธ ืื ืืงืืจ ืืื ืืืืขื ืขื ืืื ืืืื ืื ืืืืขืจืืึทื ื, ืืื ืืึทื ืื ืืึทืื ืคึผืจืึทืกืขืกืื ื ืืึธืืืง ืืื ืืืจืืืขืงืึธืื ืืืืฃ ืื ืืคื ืขืืขืจ ืืืจืื.
ืคึผืืฉืืึธืืื ืืืคึผ ืืื ื ืึทื
ื ื, ืื ืืขืฆืืข ืึธืคึผืฆืืข ืืื ืื ืคึผืืฉืืึธืืื ืืืคึผ, ืืื ืืืึธืก ืืื ืืืขืจ ืืึทืคึผืื ื ืืืขื ืืืขืจื ืึท Hadoop ืฉืจืืคื.
ืื ืึธืคึผืืืืืืขื ืืึทืคึผืื ื ืืืขื ืืืฆื ืงืืงื ืืื ืืึธืก:
ืืึธ ืื ืืึทืื ืคืื ืื ืืงืืจ ืืขืงืขืก ืืืขื ืขืจืฉืืขืจ ืืืื ืืืืขื ืขื ืืืืฃ Hadoop. ืืขืจื ืึธื, ืืื ืืืื ืืืืืขื ืข ืืืื, ืื ืฆืืืื ืืขืงืขืก ืืืขื ืืืื ืงืึทืืืืื ื. ื ืึธื ืืขื, ืื ืืึทืื ืืืขื ืืืื ืงืึธื ืืืขืจืืขื ืืื ืืคึผืืึธืึทืืขื ืฆื ืื ืืึทืืึทืืืืก.
ืืืจื ืคืืจืฉืืื ื ืื ืคึผืจืื ืกืึทืคึผืึทืื ืคืื ืคึผืืฉืืึทืื ืึทืคึผืืึทืืึทืืืืฉืึทื, ืืืจ ืงืขื ืขื ืืืืขืจ ืืคืขืงืืืืืื ืึธืจืืึทื ืืืืจื ืคืืืข ืคึผืจืึทืกืขืกืึทื ืคึฟืึทืจ ืืจืืขืื ืืื ืืจืืืก ืืึทืื. ืืืื, ืืึทื ืฅ ืืขืฆืื ืก, ืืืื ืืจืืืก ืคืืจืืข, ืืื ืืืืื ืึท ืืืกื ืืืึธืื, ืืึทืื ืืึธืืืื ืืจืืืก ืืึทืื ืคืื ืกืืึธืจืืืืฉ ืืื Hadoop, ืืืึธืก ืื ืืื ืคืจืืขืจ ืืขืืืืื ืคึฟืึทืจ ืขืืืขืืข ืืึธืจื.
ืืงืืจ: www.habr.com