ืขืืืขืืข ืืึธื ืฆืืจืืง, ืืืจ ืืขื ืขื ืคืืืกื ืืื ืื ืงืฉืื ืคืื ืืฉืืืื ื ืึทื ETL ืืขืฆืืึทื ืคึฟืึทืจ ืืจืืขืื ืืื ืืื ืืึทืืึท. ืื ืคืจืืขืจ ืืขืืืืื ื Informatica BDM ืืืืืื ื ืืื ื ืืฉื ืคึผืึทืกืืง ืคึฟืึทืจ ืืื ืื ืจืขืื ืฆื ืืืืืืขื ืคืึทื ืืงืฉืึทื ืึทืืืื. ืื ื ืืฆื ืืื ืจืืืืกื ืฆื ืึท ืคืจืืืืืืขืจืง ืคึฟืึทืจ ืืึธื ืืฉืื ื ืึธื ืฆืื ืื-ืคืึธืจืืืืื ืงืึทืืึทื ืื. ืขืก ืืขื ืขื ื ืืฉื ืคืืืข ืึทื ืึทืืึธืืืขืก ืืืืฃ ืืขื ืืึทืจืง ืืืึธืก, ืืื ืคึผืจืื ืฆืืคึผ, ืงืขื ืขื ืึทืจืืขืื ืืื ืื ืืึทื ื ืคืื ืืึทืื ืืืึธืก ืืืจ ืืึทื ืืืขื ืืื ืืขืืขืจ ืืึธื. ืืื ืื ืกืืฃ ืืืจ ืืืืกืืขืจืืืืืื Ab Initio. ืืขืฉืึทืก ืคึผืืืึธื ืืขืืึทื ืกืืจืืืฉืึทื ื, ืื ืคึผืจืึธืืืงื ืืขืืืืื ืืืืขืจ ืืืื ืืึทืื ืคึผืจืึทืกืขืกืื ื ืืืืงืืึทื. ืขืก ืืื ืึผืืขื ืงืืื ืืื ืคึฟืึธืจืืึทืฆืืข ืืืขืื Ab Initio ืืื ืจืืกืืฉ, ืึทืืื ืืืจ ืืึทืฉืืึธืกื ืฆื ืจืขืื ืืืขืื ืืื ืืืขืจ ืืขืจืคืึทืจืื ื ืืืืฃ Habrรฉ.
Ab Initio ืืื ืคืืืข ืงืืึทืกืืฉ ืืื ืืืืขืืืืื ืืืขื ืืจืึทื ืกืคืขืจืืืืฉืึทื ื, ืื ืงืึธื ืคืื ืืืึธืก ืงืขื ืขื ืืืื ืขืงืกืืขื ืืขื ืืื ืืืื ืืืืืขื ืข PDL ืฉืคึผืจืึทื. ืคึฟืึทืจ ืึท ืงืืืื ืืขืฉืขืคื, ืึทืืึท ืึท ืฉืืึทืจืง ืืขืฆืืึทื ืืืขื ืืกืชึผืื ืืืื ืึธืืืืขืจืงืื, ืืื ืจืืึฟ ืคืื ืืืึทื ืงืืืคึผืึทืืืืึทืืื ืงืขื ืืืื ืืืึทืขืจ ืืื ืึทื ืืืื. ืึธืืขืจ ืืืื ืืืื ืืืึธื ืืื ื ืึธืขื ื ืฆื ืกืืขืจืึธืื ืก, Ab Initio ืงืขื ืืืื ืืฉืืงืึทืืืข ืคึฟืึทืจ ืืืจ.
ืขืก ืืขืืคึผืก ืึท ืืขืฉืขืคื ืฆื ืึธื ืงืืืึทืื ืืืืกื ืืืึธืืืึทืื ืืื ืึทื ืืืืืงืืขื ืึทื ืืงืึธืืกืืกืืึทื, ืืื ืึท ืืขืืืขืืึธืคึผืขืจ ืฆื ืคึฟืึทืจืืขืกืขืจื ืืืื ืกืงืืื ืืื ETL, ืคึฟืึทืจืืขืกืขืจื ืืืื ืืืืกื ืืื ืื ืฉืึธื, ืืื ืื ืืขืืขืื ืืืื ืฆื ืืขื ืื PDL ืฉืคึผืจืึทื, ืืื ืึท ืืืืืฉืึทืืืึทื ืืืื ืคืื ืืึธืืืื ื ืคึผืจืึทืกืขืกืึทื ืืื ืกืืืคึผืืึทืคืืื ืึทื ืืืืืงืืื ื. ืจืขืื ืฆื ืืขืจ ืืขื ืคืื ืคืึทื ืืงืฉืึทื ืึทื ืงืึทืืคึผืึธืื ืึทื ืฅ.
ืืื ืืขื ืคึผืึธืกืื, ืืื ืืืขื ืจืขืื ืืืขืื ืื ืงืืืคึผืึทืืืืึทืืื ืคืื Ab Initio ืืื ืฆืืฉืืขืื ืงืึธืืคึผืึทืจืึทืืืืืข ืงืขืจืึทืงืืขืจืืกืืืงืก ืคืื ืืืื ืึทืจืืขื ืืื ืืืืืข ืืื GreenPlum.
- ืืึทืฉืจืืึทืืื ื ืคืื ืื MDW ืคืจืืืืืืขืจืง ืืื ืึทืจืืขื ืืืืฃ ืืืื ืงืืกืืึธืืืืึทืืืึธื ืคึฟืึทืจ GreenPlum
- Ab Initio ืคืึธืจืฉืืขืืื ื ืคืึทืจืืืืึทื ืฆืืืืฉื ืืืืืข ืืื GreenPlum
- ืึทืจืืขื ืืื ืื ืึธื ืืืื ืืื GreenPlum ืืื ืืขืื ืคืึทืงืืืฉ ืฆืืื ืืึธืืข
ืื ืคืึทื ืืงืฉืึทื ืึทืืืื ืคืื ืืขื ืคึผืจืึธืืืงื ืืื ืืืืขืจ ืืจืืื ืืื ืจืืงืืืืืขืจื ืึท ืคึผืืึทืฅ ืคืื ืฆืืื ืฆื ืืขืจื ืขื. ืึธืืขืจ, ืืื ืื ืืขืืขืจืืง ืึทืจืืขื ืกืงืืื ืืื ืื ืจืขืื ืคืึธืจืฉืืขืืื ื ืกืขืืืื ืืก, ืื ืจืขืืืืืึทืื ืคืื ืืึทืื ืคึผืจืึทืกืขืกืื ื ืืขื ืขื ืืืืขืจ ืืืคึผืจืขืกืืื. ื ืืฆื Ab Initio ืคึฟืึทืจ ืึท ืืขืืืขืืึธืคึผืขืจ ืงืขื ืขื ืฆืืฉืืขืื ืึท ืืฉืืงืึทืืืข ืืขืจืคืึทืจืื ื. ืืึธืก ืืื ืึท ื ืืึทืข ืึทื ืืืืืงืืื ื ืคืื ETL, ืึท ืืืืืจืื ืฆืืืืฉื ืึท ืืืืืฉืึทืืืึทื ืกืืืืืืข ืืื ืืจืืคืงืืคืืข ืึทื ืืืืืงืืื ื ืืื ืึท ืฉืจืืคื-ืืื ืฉืคึผืจืึทื.
ืืขืฉืขืคืื ืึทื ืืืืืงืืขื ืืืืขืจ ืืงืึธืืกืืกืืึทืื ืืื ืืขื ืืขืฆืืึทื ืืื ื ืืฆืืง ืืขืจ ืืื ืืืฅ. ืืื Ab Initio, ืืืจ ืงืขื ืขื ืึธื ืงืืืึทืื ืืืืกื ืืืขืื ืืืื ืงืจืึทื ื ืืขืฉืขืคื ืืื ื ืืฆื ืืขื ืืืืกื ืฆื ืืงืกืคึผืึทื ื ืึทืื ืืื ืขืคืขื ืขื ื ืืึทืข ืืขืฉืขืคืื. ืึทืืืขืจื ืึทืืืืืขืก ืฆื Ab Initio ืึทืจืืึทื ื ืขืืขื ืืืืืฉืึทืืืึทื ืึทื ืืืืืงืืื ื ืื ืืืืืจืึทื ืืึทื ืฅ Informatica BDM ืืื ื ืื-ืืืืกืืึทื ืึทื ืืืืืงืืื ื ืื ืืืืืจืึทื ืืึทื ืฅ Apache Spark.
ืืึทืฉืจืืึทืืื ื ืคืื Ab Initio
Ab Initio, ืืื ืื ืืขืจืข ETL ืืืฉืืจืื, ืืื ืึท ืืึทืืืื ื ืคืื ืคึผืจืึธืืืงืื.
Ab Initio GDE (ืืจืึทืคืืงืึทื ืื ืืืืืงืืื ื ืขื ืืืืจืึธื ืืขื ื) ืืื ืึท ืกืืืืืืข ืคึฟืึทืจ ืื ืืขืืืขืืึธืคึผืขืจ ืืื ืืืึธืก ืขืจ ืงืึทื ืคืืืืขืจ ืืึทืื ืืจืึทื ืกืคืึธืจืืึทืฆืืข ืืื ืงืึทื ืขืงืฅ ืืื ืืื ืืึทืื ืคืืึธืื ืืื ืื ืคืึธืจืขื ืคืื ืึทืจืึธืื. ืืื ืืขื ืคืึทื, ืึทืืึท ืึท ืืึทื ื ืคืื ืืจืึทื ืกืคืึธืจืืึทืฆืืข ืืื ืืขืจืืคื ืึท ืืจืึทืคืืง:
ืื ืึทืจืืึทื ืฉืจืืึทื ืืื ืจืขืืืืืึทื ืงืึทื ืขืงืฉืึทื ื ืคืื ืคืึทื ืืงืฉืึทื ืึทื ืงืึทืืคึผืึธืื ืึทื ืฅ ืืขื ืขื ืคึผืึธืจืฅ ืืื ืึทื ืืืึทืืื ืคืขืืืขืจ ืงืึทืืงืืึทืืืืืื ืืื ืืจืึทื ืกืคืึธืจืืึทืฆืืข. ืขืืืขืืข ืืจืึทืคืก ืคืืจืืื ืื ืืืจื ืคืืึธืื ืืื ืื ืคืึธืจืขื ืคืื ืึทืจืึธืื ืืื ืืขืจ ืกืืจ ืคืื ืืืืขืจ ืืืจืืคืืจืื ื ืืขื ืขื ืืขืจืืคื ืึท ืคึผืืึทื.
ืขืก ืืขื ืขื ืขืืืขืืข ืืื ืืขืจื ืคืึทื ืืงืฉืึทื ืึทื ืงืึทืืคึผืึธืื ืึทื ืฅ, ืืืึธืก ืืื ืึท ืคึผืืึทืฅ. ืคืืืข ืคืื โโืืื ืืขื ืขื ืืขืืกื ืกืคึผืขืฉืึทืืืืื. ืื ืงืืืคึผืึทืืืืึทืืื ืคืื ืงืืึทืกืืฉ ืืจืึทื ืกืคืขืจืืืืฉืึทื ื ืืื Ab Initio ืืขื ืขื ืืจืืื ืืื ืืื ืื ืืขืจืข ETL ืืืฉืืจืื. ืคึฟืึทืจ ืืืึทืฉืคึผืื, Join ืืื ืงืืืคื ืึทืืืคึผืืฅ. ืืื ืึทืืืฉืึทื ืฆื ืืขืจ ืจืขืืืืืึทื ืคืื ืงืึทื ืขืงืืื ื ืืึทืืึทืกืขืฅ, ืืืจ ืงืขื ืขื ืืึทืงืืืขื ืจืขืืืืืึทื ืจืขืงืึธืจืืก ืคืื ืึทืจืืึทื ืฉืจืืึทื ืืึทืืึทืกืขืฅ ืืืขืืขื ืก ืฉืืืกืืขื ืงืขื ื ืืฉื ืืืื ืงืึธื ื ืขืงืืขื. ืืืจ ืงืขื ื ืืืื ืืึทืงืืืขื ืึธืคึผืืึธืื, ืขืจืจืึธืจืก ืืื ืึท ืงืืึธืฅ ืคืื ืื ืืจืึทื ืกืคืึธืจืืึทืฆืืข ืึธืคึผืขืจืึทืฆืืข, ืืืึธืก ืงืขื ืขื ืืืื ืืืืขื ืขื ืืื ืืขืจ ืืขืืืืงืขืจ ืืืึทื ืืื ืึท ืืขืงืกื ืืขืงืข ืืื ืคึผืจืึทืกืขืกื ืืื ืื ืืขืจืข ืืจืึทื ืกืคืึธืจืืึทืฆืืข:
ืึธืืขืจ, ืคึฟืึทืจ ืืืึทืฉืคึผืื, ืืืจ ืงืขื ืขื ืืึทืืืจืืึทืืืื ืึท ืืึทืื ืืคื ืขืืขืจ ืืื ืื ืคืึธืจืขื ืคืื ืึท ืืืฉ ืืื ืืืืขื ืขื ืืึทืื ืคึฟืื ืขืก ืืื ืืขืจ ืืขืืืืงืขืจ ืืืึทื.
ืขืก ืืขื ืขื ืึธืจืืืื ืขื ืืจืึทื ืกืคืึธืจืืึทืฆืืข. ืคึฟืึทืจ ืืืึทืฉืคึผืื, ืื ืืืขืจืงืืงื ืืจืึทื ืกืคืึธืจืืึทืฆืืข ืืื ืคืึทื ืืงืฉืึทื ืึทืืืื ืขื ืืขื ืฆื ืึทื ืึทืืืืืงืึทื ืคืึทื ืืงืฉืึทื ื. ืขืก ืืขื ืขื ืืจืึทื ืืคืึธืจืืืืฉืึทื ื ืืื ืืื-ืืงืกืคึผืืึทื ืึทืืึธืจื ื ืขืืขื: ืฉืึทืคึฟื ืืึทืืึท, ืืืืขื ืขื ืขืงืกืกืขื, ื ืึธืจืืึทืืืื, ืกืึธืจื ืืื ืืจืืคึผืขืก, ืืืืคื ืคึผืจืึธืืจืึทื, ืืืืคื ืกืงื, ืคืึทืจืืื ืื ืืื ืื, ืืื"ื ื. ืืจืึทืคืก ืงืขื ืขื ื ืืฆื ืืืืคื-ืฆืืื ืคึผืึทืจืึทืืขืืขืจืก, ืึทืจืืึทื ืืขืจืขืื ื ืื ืืขืืืขืืงืืื ืคืื ืคืึธืจื ืคึผืึทืจืึทืืขืืขืจืก ืคืื ืึธืืขืจ ืฆื. ืื ืึธืคึผืขืจืืืืื ื ืกืืกืืขื. ืืขืงืขืก ืืื ืึท ืคืึทืจืืืง ืืึทื ื ืคืื ืคึผืึทืจืึทืืขืืขืจืก ืืืจืืืขืืื ืืขื ืฆื ืื ืืจืึทืคืืง ืืขื ืขื ืืขืจืืคื ืคึผืึทืจืึทืืขืืขืจ ืฉืืขืื (ืคึผืกืขืฅ).
ืืื ืืขืจืืืึทืจื, Ab Initio GDE ืืื ืืืื ืืืืืขื ืข ืจืืคึผืึทืืึทืืึธืจื ืืขืจืืคึฟื EME (Enterprise Meta Environment). ืืขืืืขืืึธืคึผืขืจืก ืืึธืื ืื ืืขืืขืื ืืืื ืฆื ืึทืจืืขืื ืืื ืืืืข ืืืขืจืกืืขืก ืคืื ืงืึธื ืืื ืงืึธื ืืจืึธืืืจื ืืืืขืจ ืืืืืขืืึทืคึผืืึทื ืฅ ืืื ืื ืืืืคื ืจืืคึผืึทืืึทืืึธืจื.
ืขืก ืืื ืืขืืืขื, ืืขืฉืึทืก ืืืจืืคืืจืื ื ืึธืืขืจ ื ืึธื ืขืงืกืึทืงืืืืื ื ืื ืืจืึทืคืืง, ืฆื ืืื ืืืืฃ ืงืืื ืืืืคื ืงืึทื ืขืงืืื ื ืื ืืจืึทื ืกืคืึธืจืืึทืฆืืข ืืื ืงืืง ืืื ืื ืืึทืื ืืืึธืก ืืขื ืขื ืืืจืืืขืืื ืืขื ืฆืืืืฉื ืื ืืจืึทื ืกืคืึธืจืืึทืฆืืข:
ืขืก ืืื ืืืื ืืขืืืขื ืฆื ืืื ืืืืฃ ืงืืื ืืืึทื ืืื ืืขื ืืจืึทืงืื ื ืืขืืึทืืืก - ืืื ืคืืืข ืคึผืึทืจืึทืืึทืื ืื ืืจืึทื ืกืคืึธืจืืึทืฆืืข ืืขืืจืืขื ืืื, ืืื ืคืืืข ืฉืืจืืช ืืื ืืืืขืก ืืขื ืขื ืืึธืืืื ืืื ืืืึธืก ืคืื ืื ืคึผืึทืจืึทืืึทืื:
ืขืก ืืื ืืขืืืขื ืฆื ืืืืื ืื ืืืจืืคืืจืื ื ืคืื ืื ืืจืึทืคืืง ืืื ืคืึทืกืขืก ืืื ืฆืืืื ืึทื ืขืืืขืืข ืืจืึทื ืกืคืขืจืืืืฉืึทื ื ืืึทืจืคึฟื ืฆื ืืืื ืืืจืืืขืงืึธืื ืขืจืฉืืขืจ (ืืื ืื ื ืื ืคืึทืกืข), ืื ืืืืึทืืขืจ ืึธื ืขืก ืืื ืืขืจ ืขืจืฉืืขืจ ืคืึทืกืข, ืื ืืืืึทืืขืจ ืึธื ืขืก ืืื ืื ืจืืข ืคืึทืกืข, ืืื"ื ื.
ืคึฟืึทืจ ืืขืืขืจ ืืจืึทื ืกืคืึธืจืืึทืฆืืข ืืืจ ืงืขื ืขื ืงืืืึทืื ืื ืึทืืื ืืขืจืืคืขื ืข ืืืืกืืืื (ืืื ืขืก ืืืขื ืืืื ืขืงืกืึทืงืืืืึทื): ืึธื ืคึผืึทืจืึทืืึทืื ืึธืืขืจ ืืื ืคึผืึทืจืึทืืขื ืคึฟืขืืขื, ืื ื ืืืขืจ ืคืื ืืืึธืก ืงืขื ืขื ืืืื ืกืคึผืขืกืืคืืขื. ืืื ืืขืจ ืืขืืืืงืขืจ ืฆืืื, ืฆืืืืืืืืืืืข ืืขืงืขืก ืึทื Ab Initio ืงืจืืืืฅ ืืืขื ืืจืึทื ืกืคืขืจืืืืฉืึทื ื ืืขื ืขื ืคืืืกื ืืืง ืงืขื ืขื ืืืื ืืขืฉืืขืื ืืืืืข ืืื ืื ืกืขืจืืืขืจ ืืขืงืข ืกืืกืืขื ืืื ืืื HDFS.
ืืื ืืขืืขืจ ืืจืึทื ืกืคืึธืจืืึทืฆืืข, ืืืืืจื ืืืืฃ ืื ืคืขืืืงืืึทื ืืืกืืขืจ, ืืืจ ืงืขื ืขื ืืึทืื ืืืื ืืืืืขื ืข ืฉืจืืคื ืืื PDL, ืืืึธืก ืืื ืึท ืืืกื ืืื ืึท ืฉืึธื.
ืืื PDL ืืืจ ืงืขื ืขื ืคืึทืจืืจืืืืขืจื ืื ืคืึทื ืืงืฉืึทื ืึทืืืื ืคืื ืืจืึทื ืกืคืขืจืืืืฉืึทื ื ืืื, ืืื ืืึทืืื ืืขืจ, ืืืจ ืงืขื ืขื ืืื ืึทืืืงืึทืืื (ืืื ืจืื ืืืืข) ืืืฉืขื ืขืจืืื ืึทืจืืืืจืึทืจืืฉ ืงืึธื ืคืจืึทืืืึทื ืฅ ืืืคึผืขื ืืื ื ืืืืฃ ืจืื ืืืืข ืคึผืึทืจืึทืืขืืขืจืก.
Ab Initio ืืืื ืืื ืืขืืื ื-ืืขืืืขืืึธืคึผืขื ืื ืึทืืจืืืฉืึทื ืืื ืื ืึทืก ืืืจื ืฉืึธื. ืกืคึผืขืฆืืขื, ืกืืขืจืืึทื ืง ื ืืฆื ืืื ืืงืก ืงืฉ. ืืืจ ืงืขื ืขื ืืืขืงืกื ืืืขืจืืึทืืึทืื ืืื ืื ืฉืึธื ืืื ื ืืฆื ืืื ืืื ืืจืึทืคืืง ืคึผืึทืจืึทืืขืืขืจืก. ืืืจ ืงืขื ืขื ืจืืคื ืืืจืืคืืจืื ื ืคืื Ab Initio ืืจืึทืคืก ืคืื ืื ืฉืึธื ืืื ืคืืจื Ab Initio.
ืืื ืึทืืืฉืึทื ืฆื Ab Initio GDE, ืคืืืข ืื ืืขืจืข ืคึผืจืึธืืืงืื ืืขื ืขื ืึทืจืืึทื ืืขืจืขืื ื ืืื ืื ืขืงืกืคึผืจืขืก. ืขืก ืืื ืึทื ืืืืืขื ืข ืงืึธ> ืึธืคึผืขืจืึทืฆืืข ืกืืกืืขื ืืื ืึท ืคืึธืืขืจื ืฆื ืืืื ืืขืจืืคึฟื ืึทื ืึธืคึผืขืจืืืืื ื ืกืืกืืขื. ืขืก ืืื ืึท ืงืึธื ืืจืึธื> ืฆืขื ืืขืจ ืืื ืืืจ ืงืขื ืขื ืคึผืืึทื ืืื ืืึธื ืืืึธืจ ืื ืืจืืคืงืืคืืข ืคืืึธืื. ืขืก ืืขื ืขื ืคึผืจืึธืืืงืื ืคึฟืึทืจ ืึทื ืืืืืงืืื ื ืืืืฃ ืึท ืืขืจ ืคึผืจืืืืืืื ืืืจืื ืืื Ab Initio GDE ืึทืืึทืื.
ืืึทืฉืจืืึทืืื ื ืคืื ืื MDW ืคืจืืืืืืขืจืง ืืื ืึทืจืืขื ืืืืฃ ืืืื ืงืืกืืึธืืืืึทืืืึธื ืคึฟืึทืจ GreenPlum
ืฆืืืืืขื ืืื ืืืื ืคึผืจืึธืืืงืื, ืืขืจ ืคืึทืจืงืืืคืขืจ ืกืึทืคึผืืืื ืื MDW (Metadata Driven Warehouse) ืคึผืจืึธืืืงื, ืืืึธืก ืืื ืึท ืืจืึทืคืืง ืงืึทื ืคืืืืขืจืืืืขืจ ืืืืืื ื ืฆื ืืขืืคื ืืื ืืืคึผืืฉ ืืึทืกืงืก ืคืื ืคึผืึทืคึผืืึทืืืืืื ื ืืึทืื ืืืขืจืืึทืืกืื ืึธืืขืจ ืืึทืื ืืืึธืืฅ.
ืขืก ืึผืืื ืื ืื (ืคึผืจืึธืืขืงื-ืกืคึผืขืฆืืคืืฉ) ืืขืืึทืืึทืืึท ืคึผืึทืจืกืขืจื ืืื ืคืึทืจืืืง ืงืึธื ืืขื ืขืจืึทืืึธืจืก ืืืืก ืคืื ืื ืงืขืกืื.
ืืื ืึทืจืืึทื ืฉืจืืึทื, MDW ื ืขืื ืึท ืืึทืื ืืึธืืขื, ืึท ืงืึทื ืคืืืืขืจืืืฉืึทื ืืขืงืข ืคึฟืึทืจ ืืึทืฉืืขืืืงื ืึท ืงืฉืจ ืฆื ืึท ืืึทืืึทืืืืก (Oracle, Teradata ืึธืืขืจ Hive) ืืื ืขืืืขืืข ืื ืืขืจืข ืกืขืืืื ืืก. ืืขืจ ืคึผืจืืืขืงื-ืกืคึผืขืฆืืคืืฉ ืืืื, ืคึฟืึทืจ ืืืึทืฉืคึผืื, ืืืคึผืืืืื ืื ืืึธืืขื ืฆื ืึท ืืึทืืึทืืืืก. ืืขืจ ืึทืจืืืก-ืคืื-ืืขื-ืงืขืกืื ืืืื ืคืื ืื ืคึผืจืึธืืืงื ืืืฉืขื ืขืจืืืฅ ืืจืึทืคืก ืืื ืงืึทื ืคืืืืขืจืืืฉืึทื ืืขืงืขืก ืคึฟืึทืจ ืืื ืืืจื ืืึธืืืื ื ืืึทืื ืืื ืืึธืืขื ืืืฉื. ืืื ืืขื ืคืึทื, ืืจืึทืคืก (ืืื ืคึผืกืขืฅ) ืืขื ืขื ืืืฉืืคื ืคึฟืึทืจ ืขืืืขืืข ืืึธืืขืก ืคืื ืื ืืฉืึทืืืืื ื ืืื ืื ืงืจืึทืืขื ืืึทื ืึทืจืืขื ืืืืฃ ืึทืคึผืืืืืื ื ืขื ืืืืื.
ืืื ืื ืงืึทืกืขืก ืคืื ืืืืืข ืืื RDBMS, ืคืึทืจืฉืืืขื ืข ืืจืึทืคืก ืืขื ืขื ืืืฉืขื ืขืจืืืืึทื ืคึฟืึทืจ ืื ืืืืึทืืืืึทืืืึธื ืืื ืื ืงืจืึทืืขื ืืึทื ืืึทืื ืืขืจืืืึทื ืืืงืื ืืขื.
ืืื ืืขื ืคืึทื ืคืื ืืืืืข, ืื ืื ืงืึทืืื ื ืืขืืืึท ืืึทืื ืืขื ืขื ืคืืจืืื ืื ืืืจื Ab Initio Join ืืื ืื ืืึทืื ืืืึธืก ืืขื ืขื ืืขืืืขื ืืื ืื ืืืฉ ืืืืืขืจ ืื ืืขืจืืืึทื ืืืงื. ืืึทืืึท ืืึธืืืขืจื ืืื MDW (ืืืืืข ืืื ืืืืืข ืืื RDBMS) ื ืื ืืืืื ืึทืจืืึทื ืืืืื ื ืืึท ืืึทืื ืคืื ืื ืืขืืืึท, ืึธืืขืจ ืืืื ืคืึทืจืืึทืื ืื ืคึผืืจืืึทืื ืคืื ืฉืืืืืช ืคืื ืื ืืึทืื ืืืขืืขื ืก ืขืจืฉืืืง ืฉืืืกืืขื ืืืงืืืขื ืื ืืขืืืึท. ืืื ืืขืจืฆื, ืืืจ ืืึธืื ืฆื ืจืืจืืื ืื ืึทื ืืฉืืื ืืืฉื ืืืื ืคืื ืื ืืึทืื. ืึธืืขืจ ืืึธืก ืืึทืจืฃ ืืืื ืืขืืื ืืืืึทื ืืืืืข ืืื ื ืืฉื ืืึธืื ืืืกืืขืงื ืึธืืขืจ ืืขืจืืืึทื ืืืงื ืึทืคึผืขืจืืืฉืึทื ื.
ืืื ืืขื ืคืึทื ืคืื RDBMS, ืืจืึทืคืก ืคึฟืึทืจ ืื ืงืจืึทืืขื ืืึทื ืืึทืื ืึทืคึผืืืืืื ื ืงืืงื ืืขืจ ืึธืคึผืืืืึทื, ืืืืึทื RDBMS ืืึธืื ืคืึทืงืืืฉ ืึทืคึผืืืืืื ื ืงืืืคึผืึทืืืืึทืืื.
ืืขืจ ืืืงืืืขื ืืขืืืึท ืืื ืืึธืืืื ืืื ืึท ืื ืืขืจืืืืืื ืืืฉ ืืื ืื ืืึทืืึทืืืืก. ื ืึธื ืืขื, ืื ืืขืืืึท ืืื ืคืืจืืื ืื ืฆื ืื ืืึทืื ืืืึธืก ืืื ืืขืืืขื ืืื ืื ืืืฉ ืืืืืขืจ ืื ืืขืจืืืึทื ืืืงื. ืืื ืืึธืก ืืื ืืขืืื ืืื SQL ื ืืฆื ืึท ืืืฉืขื ืขืจืืืืึทื SQL ืึธื ืคึฟืจืขื. ืืขืจื ืึธื, ื ืืฆื ืื SQL ืงืึทืืึทื ืื ืืืกืืขืงื + ืึทืจืืึทื ืืืืื, ื ืืึท ืืึทืื ืคืื ืื ืืขืืืึท ืืขื ืขื ืื ืกืขืจืืึทื ืืื ืื ืฆืื ืืืฉ ืืื ืื ืคึผืืจืืึทืื ืคืื ืฉืืืืืช ืคืื ืื ืืึทืื ืืืขืืขื ืก ืขืจืฉืืืง ืฉืืืกืืขื ืืืงืืืขื ืื ืืขืืืึท ืืขื ืขื ืคืืจืืืื.
ืขืก ืืื ื ืื ืืึทืจืคึฟื ืฆื ืจืืจืืื ืึทื ืืฉืืื ืืืฉื ืืึทืื.
ืึทืืื ืืืจ ืืขืงืืืขื ืฆื ืื ืืกืงื ื ืึทื ืืื ืืขื ืคืึทื ืคืื ืืืืืข, MDW ืืืื ืืืื ืฆื ืื ืืึธืก ืคืื ืจืืจืืืืื ื ืื ืืื ืฆืข ืืืฉ ืืืืึทื ืืืืืข ืืื ื ืืฉื ืืึธืื ืึท ืืขืจืืืึทื ืืืงื ืคืื ืงืฆืืข. ืืื ืืึธืจื ืืฉื ืืขืกืขืจ ืืื ืืึธืจ ืจืืจืืืืื ื ืื ืืึทืื ืืืขื ืึทืคึผืืืืืื ื ืืื ืื ืืืขื ืืึทื. ืืื ืืขื ืคืึทื ืคืื RDBMS, ืืืืฃ ืื ืคืึทืจืงืขืจื, ืื ืงืจืืืืืขืจื ืคืื ืื ืคึผืจืึธืืืงื ืืขืคืื ืขื ืขืก ื ืืืืืง ืฆื ืขื ืืจืึทืกื ืื ืงืฉืจ ืืื ืึทืคึผืืืืืื ื ืคืื ืืืฉื ืฆื ืื ื ืืฆื ืคืื ืกืงื.
ืคึฟืึทืจ ืึท ืคึผืจืืืขืงื ืืื ืกืืขืจืืึทื ืง, ืืืจ ืืืฉืืคื ืึท ื ืืึทืข ืจืืืืึทืืึทื ืืืคึผืืึทืืขื ืืืืฉืึทื ืคืื ืึท ืืึทืืึทืืืืก ืืึธืืืขืจ ืคึฟืึทืจ GreenPlum. ืืึธืก ืืื ืืขืฉืขื ืืืืืจื ืืืืฃ ืื ืืืขืจืกืืข ืืืึธืก MDW ืืืฉืขื ืขืจืืืฅ ืคึฟืึทืจ Teradata. ืขืก ืืื ืืขืืืขื ืืขืจืึทืืึทืืึท, ืืื ื ืืฉื ืึธืจืึทืงืืข, ืืืึธืก ืืื ืืขืืืขื ื ืึธืขื ื ืืื ืืขืกืืขืจ ืคึฟืึทืจ ืืขื, ืืืืึทื ... ืืื ืืืื ืึท MPP ืกืืกืืขื. ืื ืึทืจืืขื ืืขืืืึธืืก, ืืื ืืขืืื ื ืืื ืื ืกืื ืืึทืงืก, ืคืื Teradata ืืื GreenPlum ืืื ืืขืืืขื ืขื ืืขื.
ืืืืฉืคืืื ืคืื MDW-ืงืจืืืืฉ ืืืคืขืจืึทื ืกืื ืฆืืืืฉื ืคืึทืจืฉืืืขื ืข RDBMSs ืืขื ืขื ืืื ืืืื. ืืื GreenPlum, ื ืื ืขื ืืขื Teradata, ืืืขื ืืืจ ืฉืึทืคึฟื ืืืฉื, ืืืจ ืืึทืจืคึฟื ืฆื ืฉืจืืึทืื ืึท ืคึผืื ืงื
distributed by
ืืขืจืึทืืึทืืึท ืฉืจืืืื:
delete <table> all
, ืืื ืืื GreenPlum ืืื ืฉืจืืึทืื
delete from <table>
ืืื ืึธืจืึทืงืืข, ืคึฟืึทืจ ืึทืคึผืืึทืืึทืืืืฉืึทื ืฆืืืขืงื ืืื ืฉืจืืึทืื
delete from t where rowid in (<ัะพะตะดะธะฝะตะฝะธะต t ั ะดะตะปััะพะน>)
, ืืื Teradata ืืื GreenPlum ืฉืจืืึทืื
delete from t where exists (select * from delta where delta.pk=t.pk)
ืืืจ ืืืื ืืึธื ืึทื ืคึฟืึทืจ Ab Initio ืฆื ืึทืจืืขืื ืืื GreenPlum, ืขืก ืืื ื ืืืืืง ืฆื ืื ืกืืึทืืืจื ืื GreenPlum ืงืืืขื ื ืืืืฃ ืึทืืข ื ืึธืืื ืคืื ืื Ab Initio ืงื ืืื. ืืึธืก ืืื ืืืืึทื ืืืจ ืงืึธื ื ืขืงืืขื ืฆื GreenPlum ืกืืืืึทืืืืื ืืึทืกืื ืคึฟืื ืึทืืข ื ืึธืืื ืืื ืืื ืืืขืจ ืงื ืืื. ืืื ืึผืื ืืืืขื ืขื ืคึฟืื GreenPlum ืฆื ืืืื ืคึผืึทืจืึทืืขื ืืื ืืขืืขืจ ืคึผืึทืจืึทืืขื Ab Initio ืคืึธืืขื ืฆื ืืืืขื ืขื ืืืื ืืืืืขื ืข ืืืง ืคืื ืืึทืื ืคึฟืื GreenPlum, ืืืจ ืืึธืื ืฆื ืฉืืขืื ืึท ืงืึทื ืกืืจืึทืงืฉืึทื ืคืืจืฉืืื ืขื ืืืจื Ab Initio ืืื ืื "ืืื" ืึธืคึผืืืืืื ื ืคืื SQL ืงืืืืจืื
where ABLOCAL()
ืืื ืืึทืฉืืืืขื ืื ืืืขืจื ืคืื ืืขื ืงืึทื ืกืืจืึทืงืฉืึทื ืืืจื ืกืคึผืขืฆืืคืืฆืืจื ืื ืคึผืึทืจืึทืืขืืขืจ ืืืืขื ืขื ืคืื ืื ืืจืึทื ืกืคืึธืจืืึทืฆืืข ืืึทืืึทืืืืก
ablocal_expr=ยซstring_concat("mod(t.", string_filter_out("{$TABLE_KEY}","{}"), ",", (decimal(3))(number_of_partitions()),")=", (decimal(3))(this_partition()))ยป
, ืืืึธืก ืงืึทืืคึผืืืื ืฆื ืขืคึผืขืก ืืื
mod(sk,10)=3
, ื.ื. ืืืจ ืืึธืื ืฆื ืคึผืื ืืืขื GreenPlum ืืื ืึท ืืงืกืคึผืืืกืึทื ืคืืืืขืจ ืคึฟืึทืจ ืืขืืขืจ ืฆืขืืืืืื ื. ืคึฟืึทืจ ืื ืืขืจืข ืืึทืืึทืืืืกืื (ืืขืจืึทืืึทืืึท, ืึธืจืึทืงืืข), Ab Initio ืงืขื ืขื ืืืืืึธืืึทืืืฉ ืืืจืืคืืจื ืืขื ืคึผืึทืจืึทืืขืืืืึทืืืึธื.
Ab Initio ืคืึธืจืฉืืขืืื ื ืคืึทืจืืืืึทื ืฆืืืืฉื ืืืืืข ืืื GreenPlum
ืกืืขืจืืึทื ืง ืืขืคืืจื ืึทื ืขืงืกืคึผืขืจืืืขื ื ืฆื ืคืึทืจืืืืึทืื ืื ืคืึธืจืฉืืขืืื ื ืคืื MDW-ืืืฉืขื ืขืจืืืืึทื ืืจืึทืคืก ืืื ืืึทืฆืืื ื ืฆื ืืืืืข ืืื ืืื ืืึทืฆืืื ื ืฆื GreenPlum. ืืื ืึท ืืืื ืคืื ืืขืจ ืขืงืกืคึผืขืจืืืขื ื, ืืื ืืขื ืคืึทื ืคืื ืืืืืข, ืขืก ืืขื ืขื ืืขืืืขื 5 ื ืึธืืื ืืืืฃ ืืขืจ ืืขืืืืงืขืจ ืงื ืืื ืืื Ab Initio, ืืื ืืื ืืขื ืคืึทื ืคืื GreenPlum ืขืก ืืขื ืขื ืืขืืืขื 4 ื ืึธืืื ืืืืฃ ืึท ืืึทืืื ืืขืจ ืงื ืืื. ืืขื ืข. ืืืืืข ืืื ืขืืืขืืข ืืึทืื ืืืึทืจื ืืืึทืืข ืืืืขืจ GreenPlum.
ืืืจ ืืึทืืจืึทืืื ืฆืืืื ืคึผืขืจื ืคืื ืืจืึทืคืก ืืืจืืคืืจื ืื ืืขืืืข ืึทืจืืขื ืคืื ืึทืคึผืืืืืื ื ืืึทืื ืืื ืืืืืข ืืื GreenPlum. ืืื ืืขืจ ืืขืืืืงืขืจ ืฆืืื, ืื ืืจืึทืคืก ืืืฉืขื ืขืจืืืืึทื ืืืจื ืื MDW ืงืึทื ืคืืืืขืจืืืืขืจ ืืขื ืขื ืืึธื ืืฉื:
- ืขืจืฉื ืืึทืกืข + ืื ืงืจืึทืืขื ืืึทื ืืึทืกืข ืคืื โโืจืึทื ืืึทืืื ืืืฉืขื ืขืจืืืืึทื ืืึทืื ืืื ืึท ืืืืืข ืืืฉ
- ืขืจืฉื ืืึทืกืข + ืื ืงืจืึทืืขื ืืึทื ืืึทืกืข ืคืื โโืจืึทื ืืึทืืื ืืืฉืขื ืขืจืืืืึทื ืืึทืื ืืื ืืขืจ ืืขืืืืงืขืจ GreenPlum ืืืฉ
ืืื ืืืืืข ืงืึทืกืขืก (ืืืืืข ืืื GreenPlum) ืืื ืืืืคื ืืคึผืืึธืึทืืก ืฆื 10 ืคึผืึทืจืึทืืขื ืคึฟืขืืขื ืืืืฃ ืืขืจ ืืขืืืืงืขืจ Ab Initio ืงื ืืื. Ab Initio ืืขืจืืืขืืืขื ืื ืืขืจืืืืืื ืืึทืื ืคึฟืึทืจ ืืฉืืื ืืช ืืื HDFS (ืืื ืืขืจืืื ืขื ืคืื Ab Initio, MFS ืืืืกืืืื ืืื HDFS ืืื ืืขื ืืฆื). ืืืื ืฉืืจื ืคืื ืจืึทื ืืึทืืื ืืืฉืขื ืขืจืืืืึทื ืืึทืื ืคืึทืจื ืืืขื 200 ืืืืขืก ืืื ืืืืืข ืงืึทืกืขืก.
ืืขืจ ืจืขืืืืืึทื ืืื ืืขืืืขื ืืื ืืึธืก:
ืืืืื:
ืขืจืฉื ืืึธืืืื ื ืืื ืืืืืข
ืจืืืขื ืืจืืื ืืขืืืืื
ืงืกื ืืืงืก ืงืกื ืืืงืก ืงืกื ืืืงืก
ืงืกื ืืืงืก ืงืกื ืืืงืก ืงืกื ืืืงืก
ืงืกื ืืืงืก ืงืกื ืืืงืก ืงืกื ืืืงืก
ืืขืืืืขืจ ืคืื ืื ืืืืึทืืืืึทืืืึธื
ืืึทืื ืืึธืืื ืืื ืกืขืงืื ืืขืก
41
203
1 601
ืื ืงืจืขืืขื ืืึทื ืืึธืืืื ื ืืื ืืืืืข
ื ืืืขืจ ืคืื ืจืึธืื ืื ืืืฆื ืืื
ืฆืื ืืืฉ ืืื ืื ืึธื ืืืื ืคืื ืืขืจ ืขืงืกืคึผืขืจืืืขื ื
ืงืกื ืืืงืก ืงืกื ืืืงืก ืงืกื ืืืงืก
ืงืกื ืืืงืก ืงืกื ืืืงืก ืงืกื ืืืงืก
ืงืกื ืืืงืก ืงืกื ืืืงืก ืงืกื ืืืงืก
ื ืืืขืจ ืคืื ืืขืืืึท ืฉืืจืืช ืืขืืืขื ืื ืฆื
ืฆืื ืืืฉ ืืขืฉืึทืก ืืขืจ ืขืงืกืคึผืขืจืืืขื ื
ืงืกื ืืืงืก ืงืกื ืืืงืก ืงืกื ืืืงืก
ืงืกื ืืืงืก ืงืกื ืืืงืก ืงืกื ืืืงืก
ืงืกื ืืืงืก ืงืกื ืืืงืก ืงืกื ืืืงืก
ืืขืืืืขืจ ืคืื ืื ืงืจืึทืืขื ืืึทื
ืืึทืื ืืึธืืื ืืื ืกืขืงืื ืืขืก
88
299
2 541
GreenPlum:
ืขืจืฉื ืืึธืืืื ื ืืื GreenPlum
ืจืืืขื ืืจืืื ืืขืืืืื
ืงืกื ืืืงืก ืงืกื ืืืงืก ืงืกื ืืืงืก
ืงืกื ืืืงืก ืงืกื ืืืงืก ืงืกื ืืืงืก
ืงืกื ืืืงืก ืงืกื ืืืงืก ืงืกื ืืืงืก
ืืขืืืืขืจ ืคืื ืื ืืืืึทืืืืึทืืืึธื
ืืึทืื ืืึธืืื ืืื ืกืขืงืื ืืขืก
72
360
3 631
ืื ืงืจืขืืขื ืืึทื ืืึธืืืื ื ืืื GreenPlum
ื ืืืขืจ ืคืื ืจืึธืื ืื ืืืฆื ืืื
ืฆืื ืืืฉ ืืื ืื ืึธื ืืืื ืคืื ืืขืจ ืขืงืกืคึผืขืจืืืขื ื
ืงืกื ืืืงืก ืงืกื ืืืงืก ืงืกื ืืืงืก
ืงืกื ืืืงืก ืงืกื ืืืงืก ืงืกื ืืืงืก
ืงืกื ืืืงืก ืงืกื ืืืงืก ืงืกื ืืืงืก
ื ืืืขืจ ืคืื ืืขืืืึท ืฉืืจืืช ืืขืืืขื ืื ืฆื
ืฆืื ืืืฉ ืืขืฉืึทืก ืืขืจ ืขืงืกืคึผืขืจืืืขื ื
ืงืกื ืืืงืก ืงืกื ืืืงืก ืงืกื ืืืงืก
ืงืกื ืืืงืก ืงืกื ืืืงืก ืงืกื ืืืงืก
ืงืกื ืืืงืก ืงืกื ืืืงืก ืงืกื ืืืงืก
ืืขืืืืขืจ ืคืื ืื ืงืจืึทืืขื ืืึทื
ืืึทืื ืืึธืืื ืืื ืกืขืงืื ืืขืก
159
199
321
ืืืจ ืืขื ืึทื ืื ืืืืงืืึทื ืคืื ืขืจืฉื ืืึธืืืื ื ืืื ืืืืืข ืืืืืข ืืื GreenPlum ืืื ืขืึทืจืื ืืขืคึผืขื ืืก ืืืืฃ ืื ืกืืืข ืคืื โโโโืืึทืื ืืื, ืคึฟืึทืจ ืืขืกืขืจ ืืึทืื ืืืึทืจื, ืขืก ืืื ืึท ืืืกื ืคืึทืกืืขืจ ืคึฟืึทืจ ืืืืืข ืืื ืคึฟืึทืจ GreenPlum.
ืื ืงืจืขืืขื ืืึทื ืืึธืืืื ื ืืื ืืืืืข ืืืื ืืื ืขืึทืจืื ืืขืคึผืขื ืืก ืืืืฃ ืื ืืึทื ื ืคืื ืคืจืืขืจ ืืึธืืืื ืืึทืื ืื ืืืฆื ืืื ืื ืฆืื ืืืฉ ืืื ืืื ืืึทื ืฅ ืกืืึธืืื ืืื ืื ืืึทื ื ืืืืงืกื. ืืขื ืืื ืืขืคึฟืืจื ืืืจื ืื ื ืืื ืฆื ืจืืจืืื ืื ืฆืื ืืืฉ ืืึธืจ. ืืขื ืืืื ืึทื ืึทืคึผืืืืื ื ืงืืืื ืขื ืืขืจืื ืืขื ืฆื ืจืืืืง ืืืฉื ืืื ื ืืฉื ืึท ืืื ื ืืฆื ืคืึทื ืคึฟืึทืจ ืืืืืข.
ืื ืงืจืขืืขื ืืึทื ืืึธืืืื ื ืืื GreenPlum ืืขืคึผืขื ืืก ืฉืืืึทื ืืืืฃ ืื ืืึทื ื ืคืื ืคืจืืขืจ ืืึธืืืื ืืึทืื ืื ืืืฆื ืืื ืื ืฆืื ืืืฉ ืืื ืืื ืืึทื ืฅ ืืขืฉืืืื ื. ืืึธืก ืืื ืืขืฉืขื ืืึทื ืง ืฆื SQL ืืืฉืึธืื ืก ืืื ืื GreenPlum ืึทืจืงืึทืืขืงืืฉืขืจ, ืืืึธืก ืึทืืึทืื ืื ืืืกืืขืงื ืึธืคึผืขืจืึทืฆืืข.
ืึทืืื, GreenPlum ืืืกืืฃ ืื ืืขืืืึท ื ืืฆื ืื ืืืกืืขืงื + ืึทืจืืึทื ืืืืื ืืืคึฟื, ืึธืืขืจ ืืืืืข ืืื ื ืืฉื ืืึธืื ืืืกืืขืงื ืึธืืขืจ ืืขืจืืืึทื ืืืงื ืึทืคึผืขืจืืืฉืึทื ื, ืึทืืื ืื ืืื ืฆืข ืืึทืื ืืขื ืืข ืืื ืืขืืืขื ืืขืฆืืืื ืืขื ืฆื ืืืื ืจืืจืืื ืืื ืึท ืื ืงืจืึทืืขื ืืึทื ืืขืจืืืึทื ืืืงื. ืืขืจ ืคืึทืจืืืืึทื ืคืื ืื ืกืขืื ืืืืืืืืื ืืื ืืจืืืกื ืืื ืืขืจืกื ืจืืืืืืื ื, ืืืืึทื ืขืก ืงืึธืจืึทืกืคึผืึทื ืื ืฆื ืื ืืขืจืกื ืคึผืจืึธืกื ืึธืคึผืฆืืข ืคึฟืึทืจ ื ืืฆื ืืืื-ืืื ืืขื ืกืืืืข ืืึทืื ืืึธืืื. ืืืจ ืืขื ืึทื GreenPlum ืฉืืึธืื Hive ืืื ืืขื ืคึผืจืึธืืข ืืื 8 ืืื.
ืึทืจืืขื ืืื ืื ืึธื ืืืื ืืื GreenPlum ืืื ืืขืื ืคืึทืงืืืฉ ืฆืืื ืืึธืืข
ืืื ืืขื ืขืงืกืคึผืขืจืืืขื ื, ืืืจ ืืืขืื ืคึผืจืืืืจื ืื ืคืืืืงืืื ืคืื Ab Initio ืฆื ืืขืจืืืึทื ืืืงื ืื GreenPlum ืืืฉ ืืื ืจืึทื ืืึทืืื ืืืฉืขื ืขืจืืืืึทื ืืฉืึทื ืืงืก ืคืื ืืึทืื ืืื ืึผืืขื ืคืึทืงืืืฉ ืฆืืื. ืืื ืก ืืึทืืจืึทืืื ืื GreenPlum ืืืฉ dev42_1_db_usl.TESTING_SUBJ_org_finval, ืืื ืืืึธืก ืืืจ ืืืขืื ืึทืจืืขืื.
ืืืจ ืืืขืื ื ืืฆื ืืจืื Ab Initio ืืจืึทืคืก ืฆื ืึทืจืืขืื ืืื ืืื:
1) ืืจืึทืคืืง Create_test_data.mp - ืงืจืืืืฅ ืืึทืื ืืขืงืขืก ืืื HDFS ืืื 10 ืจืึธืื ืืื 6 ืคึผืึทืจืึทืืขื ืคึฟืขืืขื. ืื ืืึทืื ืืขื ืขื ืืจืึทืค, ืื ืกืืจืืงืืืจ ืืื ืึธืจืืึทื ืืืืจื ืคึฟืึทืจ ืื ืกืขืจืฉืึทื ืืื ืืื ืืืขืจ ืืืฉ
2) ืืจืึทืคืืง mdw_load.day_one.current.dev42_1_db_usl_testing_subj_org_finval.pset - MDW ืืืฉืขื ืขืจืืืืึทื ืืจืึทืคืืง ืืืจื ืื ืืืืึทืืืืื ื ืืึทืื ืื ืกืขืจืฉืึทื ืืื ืืื ืืืขืจ ืืืฉ ืืื 10 ืคึผืึทืจืึทืืขื ืคึฟืขืืขื (ืคึผืจืืืืจื ืืึทืื ืืืฉืขื ืขืจืืืืึทื ืืืจื ืืจืึทืคืืง (1) ืืื ืืขื ืืฆื)
3) ืืจืึทืคืืง mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset - ืึท ืืจืึทืคืืง ืืืฉืขื ืขืจืืืืึทื ืืืจื MDW ืคึฟืึทืจ ืื ืงืจืึทืืขื ืืึทื ืึทืคึผืืืืืื ื ืคืื ืืื ืืืขืจ ืืืฉ ืืื 10 ืคึผืึทืจืึทืืขื ืคึฟืขืืขื ื ืืฆื ืึท ืืืื ืคืื ืคืจืืฉ ืืืงืืืขื ืืึทืื (ืืขืืืึท) ืืืฉืขื ืขืจืืืืึทื ืืืจื ืืจืึทืคืืง (1)
ืืึธืืืจ ืืืืคื ืื ืืื ืื ืฉืจืืคื ืืื NRT ืืึธืืข:
- ืืืฉืขื ืขืจืืื 6 ืคึผืจืืืืจื ืฉืืจืืช
- ืืืจืืคืืจื ืึทื ืขืจืฉื ืืึทืกืข ืึทืจืืึทื ืืืืื 6 ืคึผืจืืืืจื ืจืึธืื ืืื ืึท ืืืืืืง ืืืฉ
- ืืืืขืจืืืจื ืื ืงืจืึทืืขื ืืึทื ืืจืืคืงืืคืืข 5 ืืื
- ืืืฉืขื ืขืจืืื 6 ืคึผืจืืืืจื ืฉืืจืืช
- ืืืจืืคืืจื ืึทื ืื ืงืจืึทืืขื ืืึทื ืึทืจืืึทื ืืืืื ืคืื 6 ืคึผืจืืืืจื ืจืึธืื ืืื ืื ืืืฉ (ืืื ืืขื ืคืึทื, ืื valid_to_ts ืขืงืกืคึผืขืจืืืฉืึทื ืฆืืื ืืื ืืึทืฉืืืื ืฆื ืื ืึทืื ืืึทืื ืืื ืืขืจ ืคืจืืฉ ืืึทืื ืืื ืืขืจ ืืขืืืืงืขืจ ืขืจืฉืืืง ืฉืืืกื ืืื ืื ืกืขืจืืึทื)
ืืขืจ ืกืฆืขื ืึทืจ ืขืืืึทืืืืฅ ืื ืืึธืืข ืคืื โโืคืึทืงืืืฉ ืึธืคึผืขืจืึทืฆืืข ืคืื โโืึท ืืืืขืจ ืืขืฉืขืคื ืกืืกืืขื - ืึท ืคืขืจืื ืืจืืืก ืืืื ืคืื ื ืืึทืข ืืึทืื ืืื ืืจืืืก ืืื ืคืึทืงืืืฉ ืฆืืื ืืื ืืื ืืืืื ืืืืกืืขืืืกื ืืื GreenPlum.
ืืืฆื ืืึธืื ืก ืงืืง ืืื ืื ืฉืจืืคื ืก ืงืืึธืฅ:
ืึธื ืืืื Create_test_data.input.pset ืืื 2020-06-04 11:49:11
ืขื ืืืงื Create_test_data.input.pset ืืื 2020-06-04 11:49:37
ืึธื ืืืื mdw_load.day_one.current.dev42_1_db_usl_testing_subj_org_finval.pset ืืื 2020-06-04 11:49:37
ืขื ืืืงื mdw_load.day_one.current.dev42_1_db_usl_testing_subj_org_finval.pset ืืื 2020-06-04 11:50:42
ืึธื ืืืื Create_test_data.input.pset ืืื 2020-06-04 11:50:42
ืขื ืืืงื Create_test_data.input.pset ืืื 2020-06-04 11:51:06
ืึธื ืืืื mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset ืืื 2020-06-04 11:51:06
ืขื ืืืงื mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset ืืื 2020-06-04 11:53:41
ืึธื ืืืื Create_test_data.input.pset ืืื 2020-06-04 11:53:41
ืขื ืืืงื Create_test_data.input.pset ืืื 2020-06-04 11:54:04
ืึธื ืืืื mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset ืืื 2020-06-04 11:54:04
ืขื ืืืงื mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset ืืื 2020-06-04 11:56:51
ืึธื ืืืื Create_test_data.input.pset ืืื 2020-06-04 11:56:51
ืขื ืืืงื Create_test_data.input.pset ืืื 2020-06-04 11:57:14
ืึธื ืืืื mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset ืืื 2020-06-04 11:57:14
ืขื ืืืงื mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset ืืื 2020-06-04 11:59:55
ืึธื ืืืื Create_test_data.input.pset ืืื 2020-06-04 11:59:55
ืขื ืืืงื Create_test_data.input.pset ืืื 2020-06-04 12:00:23
ืึธื ืืืื mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset ืืื 2020-06-04 12:00:23
ืขื ืืืงื mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset ืืื 2020-06-04 12:03:23
ืึธื ืืืื Create_test_data.input.pset ืืื 2020-06-04 12:03:23
ืขื ืืืงื Create_test_data.input.pset ืืื 2020-06-04 12:03:49
ืึธื ืืืื mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset ืืื 2020-06-04 12:03:49
ืขื ืืืงื mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset ืืื 2020-06-04 12:06:46
ืขืก ืืืจื ืก ืืืืก ืืขื ืืืื:
ืืจืึทืคืืง
ืึธื ืืืื ืฆืืึทื
ืขื ืืืงื ืฆืืึทื
ืืขื ื
Create_test_data.input.pset
ืงืกื ืืืงืก ืงืกื ืืืงืก: ืงืกื ืืืงืก: ืงืกื ืืืงืก
ืงืกื ืืืงืก ืงืกื ืืืงืก: ืงืกื ืืืงืก: ืงืกื ืืืงืก
00:00:26
mdw_load.day_one.current.
dev42_1_db_usl_testing_subj_org_finval.pset
ืงืกื ืืืงืก ืงืกื ืืืงืก: ืงืกื ืืืงืก: ืงืกื ืืืงืก
ืงืกื ืืืงืก ืงืกื ืืืงืก: ืงืกื ืืืงืก: ืงืกื ืืืงืก
00:01:05
Create_test_data.input.pset
ืงืกื ืืืงืก ืงืกื ืืืงืก: ืงืกื ืืืงืก: ืงืกื ืืืงืก
ืงืกื ืืืงืก ืงืกื ืืืงืก: ืงืกื ืืืงืก: ืงืกื ืืืงืก
00:00:24
mdw_load.regular.current.
dev42_1_db_usl_testing_subj_org_finval.pset
ืงืกื ืืืงืก ืงืกื ืืืงืก: ืงืกื ืืืงืก: ืงืกื ืืืงืก
ืงืกื ืืืงืก ืงืกื ืืืงืก: ืงืกื ืืืงืก: ืงืกื ืืืงืก
00:02:35
Create_test_data.input.pset
ืงืกื ืืืงืก ืงืกื ืืืงืก: ืงืกื ืืืงืก: ืงืกื ืืืงืก
ืงืกื ืืืงืก ืงืกื ืืืงืก: ืงืกื ืืืงืก: ืงืกื ืืืงืก
00:00:23
mdw_load.regular.current.
dev42_1_db_usl_testing_subj_org_finval.pset
ืงืกื ืืืงืก ืงืกื ืืืงืก: ืงืกื ืืืงืก: ืงืกื ืืืงืก
ืงืกื ืืืงืก ืงืกื ืืืงืก: ืงืกื ืืืงืก: ืงืกื ืืืงืก
00:02:47
Create_test_data.input.pset
ืงืกื ืืืงืก ืงืกื ืืืงืก: ืงืกื ืืืงืก: ืงืกื ืืืงืก
ืงืกื ืืืงืก ืงืกื ืืืงืก: ืงืกื ืืืงืก: ืงืกื ืืืงืก
00:00:23
mdw_load.regular.current.
dev42_1_db_usl_testing_subj_org_finval.pset
ืงืกื ืืืงืก ืงืกื ืืืงืก: ืงืกื ืืืงืก: ืงืกื ืืืงืก
ืงืกื ืืืงืก ืงืกื ืืืงืก: ืงืกื ืืืงืก: ืงืกื ืืืงืก
00:02:41
Create_test_data.input.pset
ืงืกื ืืืงืก ืงืกื ืืืงืก: ืงืกื ืืืงืก: ืงืกื ืืืงืก
ืงืกื ืืืงืก ืงืกื ืืืงืก: ืงืกื ืืืงืก: ืงืกื ืืืงืก
00:00:28
mdw_load.regular.current.
dev42_1_db_usl_testing_subj_org_finval.pset
ืงืกื ืืืงืก ืงืกื ืืืงืก: ืงืกื ืืืงืก: ืงืกื ืืืงืก
ืงืกื ืืืงืก ืงืกื ืืืงืก: ืงืกื ืืืงืก: ืงืกื ืืืงืก
00:03:00
Create_test_data.input.pset
ืงืกื ืืืงืก ืงืกื ืืืงืก: ืงืกื ืืืงืก: ืงืกื ืืืงืก
ืงืกื ืืืงืก ืงืกื ืืืงืก: ืงืกื ืืืงืก: ืงืกื ืืืงืก
00:00:26
mdw_load.regular.current.
dev42_1_db_usl_testing_subj_org_finval.pset
ืงืกื ืืืงืก ืงืกื ืืืงืก: ืงืกื ืืืงืก: ืงืกื ืืืงืก
ืงืกื ืืืงืก ืงืกื ืืืงืก: ืงืกื ืืืงืก: ืงืกื ืืืงืก
00:02:57
ืืืจ ืืขื ืึทื 6 ืื ืงืจืึทืืึทื ื ืฉืืจืืช ืืขื ืขื ืคึผืจืึทืกืขืกื ืืื 000 ืืื ืื, ืืืึธืก ืืื ืืึทื ืฅ ืฉื ืขื.
ืื ืืึทืื ืืื ืื ืฆืื ืืืฉ ืืื ืืขืืืขื ืคืื ืื ืืขืจืืขืืืืื ืืื ืืืื:
select valid_from_ts, valid_to_ts, count(1), min(sk), max(sk) from dev42_1_db_usl.TESTING_SUBJ_org_finval group by valid_from_ts, valid_to_ts order by 1,2;
ืืืจ ืงืขื ืขื ืืขื ืื ืงืึธืจืขืกืคึผืึธื ืืขื ืฅ ืคืื ืื ืื ืกืขืจืืึทื ืืึทืื ืฆื ืื ืฆืืื ืืืขื ืื ืืจืึทืคืก ืืขื ืขื ืืึธื ืืฉื.
ืืขื ืืืื ืืืจ ืงืขื ืขื ืืืืคื ืื ืงืจืึทืืขื ืืึทื ืืึธืืืื ื ืคืื ืืึทืื ืืื GreenPlum ืืื Ab Initio ืืื ืึท ืืืืขืจ ืืืื ืึธืคืืงืืึทื ืืื ืึธืืกืขืจืืืืจื ืึท ืืืื ืืืืงืืึทื ืคืื ืื ืกืขืจืืื ื ืื ืืึทืื ืืื GreenPlum. ืคืื ืงืืจืก, ืขืก ืืืขื ื ืืฉื ืืืื ืืขืืืขื ืฆื ืงืึทืืขืจ ืึทืืึธื ืึท ืจืืข, ืืื ื Ab Initio, ืืื ืงืืื ETL ืืขืฆืืึทื, ืจืืงืืืืืขืจื ืฆืืื ืฆื "ืึธื ืืืื ืึทืจืืืฃ" ืืืขื ืืึธื ืืฉื.
ืกืึธืฃ
Ab Initio ืืื ืืขืจืืืืึทื ืืขื ืืฆื ืืื Sberbank ืฆื ืืืืขื ืึท ืื ืืคืืขื ืกืขืืึทื ืืืง ืืึทืืึท ืฉืืืืข (ESS). ืืขื ืคึผืจืืืขืงื ืื ืืืึทืืืื ืื ืื ืึท ืืื ืึทืคืืื ืืืขืจืกืืข ืคืื โโืื ืฉืืึทื ืคืื ืคืึทืจืฉืืื ืืึทื ืงืื ื ืืขืฉืขืคื ืขื ืืืืื. ืืื ืคึฟืึธืจืืึทืฆืืข ืงืืื ืคืื ืคืึทืจืฉืืื ืงืืืืื, ืื ืจืขืคึผืืึทืงืึทื ืคืื ืืืึธืก ืืขื ืขื ืฆืืืขืืจืืื ืืืืฃ Hadoop. ืืึทืืืจื ืืืืฃ ืืขืฉืขืคื ืืืืขืจืคืขื ืืฉื, ืึท ืืึทืื ืืึธืืขื ืืื ืฆืืืขืืจืืื ืืื ืืึทืื ืืจืึทื ืกืคืขืจืืืืฉืึทื ื ืืขื ืขื ืืืกืงืจืืืื. Ab Initio ืืึธืืื ืืื ืคึฟืึธืจืืึทืฆืืข ืืื ืื ESN ืืื ืื ืืึทืื ืืึธืืืื ืืึทืื ืืื ื ืื ืืืืื ืคืื ืืื ืืขืจืขืก ืฆื ืื ืืขืฉืขืคื ืืื ืืื, ืึธืืขืจ ืืืื ืืื ืขื ืืื ืึท ืืงืืจ ืคึฟืึทืจ ืื ืื ืืึทืื ืืึทืจืง. ืืื ืืขืจ ืืขืืืืงืขืจ ืฆืืื, ืื ืคืึทื ืืงืฉืึทื ืึทืืืื ืคืื ืื ืคึผืจืึธืืืงื ืึทืืึทืื ืืืจ ืฆื ื ืืฆื ืคืึทืจืฉืืื ืกืืกืืขืืขื ืืื ืึท ืืคื ืขืืขืจ (Hive, Greenplum, Teradata, Oracle), ืืืึธืก ืืืื ืขืก ืืขืืืขื ืฆื ืืืืื ืฆืืืจืืืื ืืึทืื ืคึฟืึทืจ ืึท ืืขืฉืขืคื ืืื ืื ืคืึทืจืฉืืื ืคึฟืึธืจืืึทืืืจืื ืืขื ืขืก ืจืืงืืืืืขืจื.
ืื ืงืืืคึผืึทืืืืึทืืื ืคืื Ab Initio ืืขื ืขื ืืจืืื, ืืืฉื, ืื ืึทืจืืึทื ืืขืจืขืื ื MDW ืคืจืืืืืืขืจืง ืืืื ืขืก ืืขืืืขื ืฆื ืืืืขื ืืขืื ืืฉ ืืื ืืขืฉืขืคื ืืืกืืืจืืฉืข ืืึทืื. ืคึฟืึทืจ ืืขืืืขืืึธืคึผืขืจืก, Ab Initio ืืืื ืขืก ืืขืืืขื ื ืืฉื ืฆื ืจืืื ืืืขื ื ืื ืจืึธื, ืึธืืขืจ ืฆื ื ืืฆื ืคืืืข ืืืืืกืืื ื ืคืึทื ืืงืฉืึทื ืึทื ืงืึทืืคึผืึธืื ืึทื ืฅ, ืืืึธืก ืืขื ืขื ืืกืขื ืฉืึทืื ืืืืืจืขืจืื ืืืจืฃ ืืืขื ืืจืืขืื ืืื ืืึทืื.
ืืขืจ ืืืืจ ืืื ืึท ืืืืื ืืื ืืขืจ ืคืึทืืืึทื ืงืื ืคืื Sberbank SberProfi DWH/BigData. ืื SberProfi DWH / BigData ืคืึทืืืึทื ืงืื ืืื ืคืึทืจืึทื ืืืืึธืจืืืขื ืคึฟืึทืจ ืืขืืืขืืึธืคึผืื ื ืงืึทืืคึผืึทืืื ืกืื ืืื ืึทืืึท ืืขืืืื ืืื ืื Hadoop ืืงืึธืืกืืกืืึทื, Teradata, Oracle DB, GreenPlum, ืืื ืืขืืื ื ืืื BI ืืืฉืืจืื Qlik, SAP BO, Tableau, ืขืืง.
ืืงืืจ: www.habr.com