á¨á°áá°á áá á ááľáŁ á¨Big Data áá áááľáŤáľ á¨á˘á˛á¤á ááłáŞáŤ á¨ááá¨áĽ áĽáŤá á ááĽáááᢠáá°á á˛á áĽá á áá á¨ááá á¨á˘ááááá˛áŤ BDM áááľá á á°áá°á á°ááŁáŤáááľ ááááŤáľ á áá°áľááááᢠá á ááá á¨áĽáááł-ááľá¨á¨á˘áŤ áľáááá˝á ááááá áá° áááá á°áááˇáᢠá ááá á°á¨á á á¨áá á¨ááá°áŤá á¨ááἠáá á áá áááľáŤáľ á¨áá˝á áĽá á áááá˝ á áá ፠áá á ááá áŠáᢠáá¨á¨áť áá á ἠá˘áá˛áŽá áá¨áĽáᢠá á áĽáŤáŞ ááłáŤáá˝ áá áľ áááą á áŁá á¨áá°á á¨ááἠáá°áľ ááĽááľ á áłááˇá. áĽá áŁáĽ á˘áá˛áŽ áŤá˝áŤá áá¨áŁá¨á áá˝ááŤáľ áľá áááᥠáľááááłá á¨á áá áŹáł á˝áááá˝ áá°ááá˘
á ἠá˘áá˛áŽ áĽá ááá˛á áĽá áŤáá°áááą áááŚá˝ á ááľáŁ áŽáąá á¨áŤáąá á¨áá˛á¤á ááá á áá áá ááŤáá áá˝ááᢠáá ááľá°á áááľ, áĽáá˛á ááááą áááá ááŁáŞáŤ á¨áá á á áá ááááą á áááá, áĽá á áĽááá á á á ááľ áĽá áĽá á áá áŤááá ááá áá˝áá. ááá áá áááá áá° Sberov's á áἠá¨áá, á ἠá˘áá˛áŽ ááĽááľá á áľá°áłá˝ ááá áá˝áá.
á ááľ á¨áááľ áĽáŤ á ááá á áá á°á¨á ááááľá áĽáá˛áŤá¨áá˝ áĽá áĽá-áá áłáŠá áĽáá˛áŤáłáĽá áá¨áłá ᣠáĽá ááᢠá ETL ááľáĽ áŤááá á˝ááł áĽáá˛áŤáťá˝á ᣠáĽáááąá á áźá ááľáĽ áĽáá˛áŤáťá˝á ᣠᨠPDL áááá á¨áááŁá á áĽáľá áá°áŁá ᣠá¨ááŤá áá°áśá˝á ááľáá ááľá áá°áŁá áĽá áááľá áŤááááᢠá á°ááŁáŤá á áŤááľ áĽááľ ááááŤáľ.
á áá á˝áá ááľáĽ áľá á ἠá˘áá˛áŽ á á á áĽáááŤáá áĽá á¨áá áĽá ááŞáááá áá áŤááá áĽáŤ áá˝á˝á áŁá áŞáŤáľá á áááŁááá˘
- á¨á¤áá˛á°áĽáá ááá á ááá፠áĽá áááŞáááá áá ááľ áá áá°áŤá
- áŁáĽ á˘áá˛áŽ áŁááá á áá á á ááá ááŞáááááá˘
- áŁáĽ á˘ááşáŽ á¨ááŞáááá áá°áŤáá°ááłáľ áá áŞá áłáá ááľ
á¨áá
áááľ á°ááŁáŤáááľ á áŁá á°á áĽá áááĽááľ áĽá áá áá ááá. ááá áá, á á°áá˘á á¨áľáŤ á˝ááł áĽá áľáááá á¨á áááá á
áá
áśá˝, á¨ááἠáá°áľ áá¤áśá˝ á áŁá á áľá°áá áá¸á. Ab Initioá áááᢠáá áá á áľá°áłá˝ á°áááŽá áá°áŁáᢠáá
á ETL áááľ áá á á˛áľ á
áĽáĽáá˝ ááᣠá áĽááł á áŤáŁá˘ áĽá á á áááľ áááľ ááŤá¨á áŤá áľááŞááľ á áááľá áááá˘
áááśá˝ áľá-áá áłáŽáťá¸áá áĽáŤáłá አáá áĽá áá ááłáŞáŤ á¨ááźáá áá á á áá á áá ááᢠá á ἠá˘áá˛áŽ á ááŤáááľ áľáá áá áááľá áĽáááľá áá°áŁá°áĽ áĽá áá áá áĽáááľ á¨áአáĽá á áłá˛áľ áááśá˝á áááááľ áá ááá áľá˘ áá ἠá˘áá˛áŽ á ááŤáŽá˝ á¨áĽááł áááľ á áŤáŁá˘áá˝á á˘ááááá˛áŤ BDM áĽá á¨áááłáŠ á¨áááľ á áŤáŁá˘áá˝á Apache Spark áŤáŤáľáłáá˘
áŁáĽ á˘áá˛áŽ áááť
á ἠá˘áá˛áŽáŁ áá áĽáá°ááá˝ á¨á˘á˛á¤á ááłáŞáŤáá˝áŁ á¨áááľ áľáĽáľáĽ ááá˘
áŁáĽ á˘áá˛áŽ áá˛á˘ (ááŤááŤá á´á¨áááááľ á˘ááŤááŽááááľ) áłáł áľáŤááľáááá˝áá áŁáááᲠááĽááłáľá áĽááľáľ áááá á¨áá˝áĽ áá˝áĽá áĽáŠá˘ á áá
áá᳠ᣠáĽáá˛á
ááááą á¨ááἠáľáĽáľáĽ ááŤá ááŁáá-
á¨á°ááŁá á áŤááľ á¨ááĽá áľ áĽá á¨áá¤áľ áááááśá˝ áá°áŚá˝ áá¸á áĽá á áááŚá˝ ááľáĽ á¨á°á°á ááľáŽá˝á ááááᢠá á ááááá¸á á
á°á á°á¨á°á ááľáĽ á áá°áśá˝ ááá á¨á°ááá á ááŤáł ááŤáá˝ áĽá
áľ ááŁáá.
á ááśáá˝ á¨ááá አá°ááŁáŤá á áŤááľ á á, áá á á áŁá áĽá áá. áĽáááš á¨áá°á áአáŁáááŤá°áá˝ áá¸á. á á ἠá˘áá˛áŽ ááľáĽ áŤá á¨áĽááłá áááŚá˝ á˝ááłáá˝ á¨ááá˝ á¨á˘á˛á¤á ááłáŞáŤáá˝ á¨á áá á°á áá¸áᢠáááłáᣠJoin á ááŤáł áá¤áśá˝ á ááľá˘ á¨ááἠáľáĽáľáŚá˝á á¨áááááľ áá¤áľ á á°á¨á᪠ááááťá¸á áááá á¨ááá˝á á¨áá¤áľ á¨ááἠáľáĽáľáŚá˝ á¨áá¤áľ ááááŚá˝á ááááľ áá˝ááᢠáĽáá˛áá ááľááśá˝á ᣠáľá á°áśá˝á áĽá á¨áľáŤááľáááá˝áá áááἠááľáłááť ááááľ áá˝áá ᣠáá á á¨á˝áá ááá áá á á°ááłáłá á ááľ ááľáĽ ááá ἠáĽá á¨ááá˝ áááŚá˝ áá áá°áŤ áá˝áá á˘
ááá, áááłá, á¨ááἠá°ááŁáá á á áá á¨áĽ ááá ááá áĽá á á°ááłáłá á ááľ ááľáĽ ááἠááá ἠáá˝áá.
áŚáŞá áá áááŚá˝ á áᢠáááłáᣠá¨ááá ááἠá¨áľááłá á°ááŁáŤáľ áá á°ááłáłáááľ áŤáá á°ááŁá á ááᢠá áŤáľ ááá áľáá˝ áááŚá˝ á áᥠáłáł áá áᣠá¤áá´áá á ááĽáĽáŁ áá°á á á áľááᣠá áĄáľá áá°áá°áᣠááŽááŤáá á ááľáŁ SQL á ááľáŁ á¨á˛á˘ áá áááááᣠááá°. ááŤáá˝ á¨áŠáŤ áá áááŞáŤáá˝á áá áá áá˝ááᣠáá¤áśá˝á ᨠááá áá° á¨ááá áĽáľáá á¨ááŽá˘ áľááá° áááá . áá° ááŤá á¨á°ááá ááá-á¨á°á°áŤ á¨áááŞáŤáá˝ áľáĽáľáĽ áŤáá¸á áááá˝ ááŤááľá áľáĽáľáŚá˝ (áá´áśá˝) ááŁááá˘
áĽáá°á°á á ááᣠá ἠá˘áá˛áŽ GDE á¨áŤáą áá¨ááť EME (á˘áá°áááŤáá ááł á˘ááŤááŽááááľ) á¨ááŁá á ááᢠááá˘áá˝ á¨á áŤáŁá˘áŤá á¨áŽáľ áľáŞáśá˝ áá áááľáŤáľ áĽá áĽáľááłá¸áá áá° ááĽá¨ááá áá¨ááť á¨ááá°á˝ áĽáľá á áá¸áá˘
á á áááá áá áľ ááá ááŤáá á¨áá¸á á áá áľáŤááľáááá˝áá á¨ááŤááá áááááá áá°áľ áá á á ááľá¨á áĽá á áĽááá áááŚá˝ ááŤá¨á áŤáááľá áá¨ááá˝ áááá¨áľ ááťáá á˘
ТакМо ĐľŃŃŃ Đ˛ĐžĐˇĐźĐžĐśĐ˝ĐžŃŃŃ ĐşĐťĐ¸ĐşĐ˝ŃŃŃ ĐżĐž ĐťŃĐąĐžĐźŃ ĐżĐžŃĐžĐşŃ Đ¸ пОŃПОŃŃĐľŃŃ tracking details â в ŃкОНŃкО паŃаННоНоК ŃайОŃаНа ŃŃĐ°Đ˝ŃŃĐžŃПаŃиŃ, ŃкОНŃкО ŃŃŃОк и ĐąĐ°ĐšŃ Đ˛ какОК иС паŃаННоНоК СагŃŃСиНОŃŃ:
á¨ááŤáá á áááá á á¨á°á¨áá á áá¨ááá á ááááŞáŤ á°á¨á (á áᎠá°á¨á) ᣠááŁáŠ á ááááŞáŤá áááŤá ᣠááŁáŠ á ááá°áá ááá ᣠááá° á ááłááľ áááŚá˝ áá¨ááá áĽááłááŁá¸á ááááľ ááľá¨á ááťáá á˘
ááĽáŤááłááą áľáŤááľáááá˝á, á áááἠá°áĽá á¨áá áŤáá (á¨áá°áá áá áľá áŚáł) ááá¨áĽ áá˝áá-áŤá áľááŠáá˝ ááá á áľáአááŽá˝ ááľáĽ, ááĽáŤá¸á áááá˝ áá˝áá. á á°ááłáłá áá áááŚá˝ á áá°áŠá áľ áá á ἠá˘áá˛áŽ á¨áááĽáŤá¸á áááŤá áááá˝ á á áááá ááá áľáááľ áĽá á á¤á˝á˛á¤áá¤áľ ááľáĽ áááᥠáá˝ááá˘
á áĽáŤááłááą áááĽáŁ á ááŁáŞá á áĽááľ áá á áááľá¨áľáŁ á áá˛á¤á ááľáĽ á¨áŤáľáá áľááŞááľ ááá á áá˝ááᣠáá á áĽáá° áźá áľáá˝ ááá˘
á áá˛á¤áᣠá¨áááŚá˝á á°ááŁáŤáááľ ááŤáá áá˝ááᣠáĽá á á°ááá á á°áááá (á á ááľ áá) áĽáá° áŠáŤ áá áááŞáŤáá˝ á¨áááá° á¨áŽáľ áááĽáŤáŽá˝á ááá á áá˝ááá˘
áŁáĽ á˘áá˛áŽ á áźá á áŠá á¨áľááá° áááá áá á á°áἠá¨áłá ᨠáá á°áľ á ááᢠá á°áá Sberbank linux ksh áá áááᢠá¨áźá áá á°ááááŽá˝á ááááἠáĽá áĽáá° ááŤá áááŞáŤáá˝ áá áá áľá˝ááá . áŁáĽ á˘áá˘á˛áŽ ááŤá ááťááľ ááá á°á ááŁáᥠáŁáĽ áá˝á˘ áᲠááá á°áá˘áŠá˘
ĐОПиПО Ab Initio GDE в пОŃŃĐ°Đ˛ĐşŃ Đ˛Ń ĐžĐ´Đ¸Ń ĐźĐ˝ĐžĐłĐž Đ´ŃŃĐłĐ¸Ń ĐżŃОдŃĐşŃОв. ĐŃŃŃ ŃĐ˛ĐžŃ Co>Operation System Ń ĐżŃĐľŃонСиоК наСŃваŃŃŃŃ ĐžĐżĐľŃĐ°ŃиОннОК ŃиŃŃоПОК. ĐŃŃŃ Control>Center, в кОŃĐžŃОП ПОМнО ŃŃавиŃŃ Đ˝Đ° ŃĐ°ŃпиŃанио и ПОниŃĐžŃиŃŃ ĐżĐžŃОки СагŃŃСки. ĐŃŃŃ ĐżŃОдŃĐşŃŃ Đ´ĐťŃ ĐžŃŃŃĐľŃŃĐ˛ĐťĐľĐ˝Đ¸Ń ŃаСŃайОŃки на йОНоо ĐżŃиПиŃивнОП ŃŃОвно, ŃоП пОСвОНŃĐľŃ Ab Initio GDE.
á¨á¤áá˛á°áĽáá ááá á ááá፠áĽá áááŞáááá áá ááľ áá áá°áŤá
á¨áááśáš ááᣠá á áŤá˘á á¨á¤áá˛á°áĽáá (ááłáłáł Driven Warehouse) áááľá áŤáááŁáᣠáá á á¨áá¨á ááááá˝á ááá á¨áá¨á ááśá˝á áááááľ á¨á°áááą á°ááŁáŤáľá ááááłáľ á¨á°áá°á á¨ááŤá áá á¨áľ ááá˘
á¨áłáĽá ááľáĽ áĽá (ááŽáááľ-á°áŽá) ááłáłáł á°ááłáá˝ áĽá ááá á¨áá á¨áŽáľ ááááŤáá˝á áááá˘
áĽáá° ááĽá áľáŁ á¤áá˛á°áĽáá á¨ááἠáá´áᣠá¨áá¨á ááľ (OracleᣠTeradata ááá Hive) áá áááááľá ááááá á á¨áá
á ááá áĽá á ááłááľ ááá˝ á
ááĽáŽá˝á ááá ááᢠá¨ááŽáááľ-á°áŽá ááá, áááłá, áá´áá áá° áłáłá¤á áŤá°ááŤá. á¨áłáĽá áá áŤáá á¨áááľ ááá áá¨áá áá° áá´á á°áá á¨áŚá˝ á ááŤá ááŤáá˝á áĽá á¨áááá áááá˝á áŤáááŤáᢠá áá
á ááŁá ááŤáá˝ (áĽá áá´áśá˝) á áŤááľá á áááá áá ááĽá á¨ááľáááŞáŤ áĽá á¨áá¨áá áľáŤáá˝ á°ááĽá¨ááá˘
á Hive áĽá RDBMS ááłáŽá˝áŁ ááááá áĽá ááá¨ááŞáŤ ááἠááťáťáŤ á¨á°ááŤáŠ ááŤáá˝ ááá áŤáá˘
á áá ááłá áá á¨áááŁá á¨á´ááł áá¨á á á ἠá˘áá˛áŽ á áŠá á°ááááˇá á¨áááá á ááľ á á°áá á¨áĄ ááľáĽ á¨áá á¨á áá¨á áá áááááᢠá á¤áá˛á°áĽáá ááľáĽ áŤá á¨ááἠáŤááá˝ (áááąá á Hive áĽá RDBMS) á¨á´ááł á á˛áľ ááἠááľááŁáľ áĽáť áłááá áá ááááš á´ááł á¨á°áá ááľá á¨áá¨á á áľááá áááá˝á ááááᢠá á°á¨ááŞá, áŤáá°ááá áá á¨ááἠááá áĽáá°áá ááá á ááĽááľ. ááá áá áá áá°á¨á áŤáá áľ ááááŤáąá áá á¨ááĽááľ ááá á¨áááá áľáŤáá˝ áľáááá ááá˘
á RDBMS ááłáᣠáá°á¨á᪠áá¨á áááá ááŤáá˝ á¨á áá áĽáŠ áááľááᣠááááŤáąá RDBMS áĽááá°á á¨áááá á˝ááłáá˝ áľáááľ ááá˘
á¨á°áá áá á´ááł á áá¨á ááą ááľáĽ ááŤá¨áá á áá á¨áĽ ááľáĽ á°áááᢠá¨áá
á áá á´ááł á¨ááťáťáŤá á ááľ á á°áá á¨áĄ ááľáĽ á¨áá á¨á áá¨á áá á°áŤááá. áĽá áá á¨á°áá ᨠᨠSQL áĽáŤáá á áá áá SQL á áá áá áá¨áááá. á ááá á ᨠSQL áľáááá˝á á°áá + á áľááŁá á áá áá á á˛áľ áá¨á á¨á´ááł áá° áááá á°áá á¨áĽ ááĽáˇá áĽá áá ááááš á´ááł á¨á°áá ááľ á¨áá¨áá á áľááá áááá˝ ááááá˘
áŤáá°ááá ááἠáĽáá°áá ááťá á áŤáľáááá.
áľááá áĽá áá° áľááłá á°áá°áá ááá á á°ááá¨á° á¤áá˛á°áĽáá áááá á á¨á´á áááá áááľ á áá áľ ááááŤáąá áá á¨áááá á°ááŁá á¨áááᢠáĽá áááá á˛áá á áááĄá áá á áá á¨ááá á¨á°áťá ááá ááá á¨ááᢠá RDBMS ááłá áá, á á°ááŤáá, á¨áááľ ááŁáŞáὠᨠSQL á á áááá á¨á á¨á´ááá˝á áááááľ áĽá áááá á á á°áŤ ááľá áľ á áľááá áá á ááá°ááłá.
á Sberbank ááľáĽ áá ááŽáááľáŁ áááŞáááá á¨áá¨á ááľ áŤá á á˛áľáŁ áĽáá°áá áĽá á áá ááá á¨áá˝á áľáá ፠ááĽá¨ááᢠáá á¨á°á°á¨áá MDW áá´áŤáłáł á ááŤááá¨á áľáŞáľ áá á áááľá¨áľ ááᢠááá á áŁá á áἠáĽá ááἠá¨ááá á´áŤáłáł áĽáá Oracle á áá°ááᣠááááŤáąá... ᨠMPP áľáááľá ááᢠá¨á´áŤáłáł áĽá ááŞá ááá á¨áľáŤ áá´áá˝áŁ áĽáá˛áá á ááŁáĽ á°ááłáłá ááá á°ááá°ááá˘
ĐŃиПоŃŃ ĐşŃиŃиŃĐ˝ŃŃ Đ´ĐťŃ MDW ŃаСНиŃиК ĐźĐľĐśĐ´Ń ŃаСнŃПи RDBMS ŃакОвŃ. Đ GreenPlum в ĐžŃНиŃии ĐžŃ Teradata ĐżŃи ŃОСдании ŃĐ°ĐąĐťĐ¸Ń Đ˝ŃМнО пиŃĐ°ŃŃ ĐşĐťĐ°ŃСŃ
distributed byá´áŤáłáł áĽáá˛á á˛á á˝áá-
delete <table> all, áĽá á ááŞáááá ááľáĽ áá˝áá
delete from <table>á Oracle ááľáĽ, ááááťá¸áľ ááááá˝ áá˝áá
delete from t where rowid in (<ŃОодинонио t Ń Đ´ĐľĐťŃŃОК>), áĽá Teradata áĽá GreenPlum áá˝áá
delete from t where exists (select * from delta where delta.pk=t.pk)áŁáĽ á˘áá˛áŽ á¨ááŞá ááá áá áááľáŤáľáŁ á ááá á¨á ἠá˘áá˛áŽ áááľá°á ááśá˝ áá á¨ááŞáááá á°áá áá ááŤá á áľááá áĽáá°áá á áĽááľá°ááááᢠáá á¨ááá áľ ááááŤáľ á¨ááŞáááá áá á á ááľ áá á¨áááľá°á ááľáĽ áŤá ááá á áááá˝ áľáá°áááá ááᢠáĽá á¨ááŞá ááá ááá ἠáľáአáĽáá˛áá áĽá áĽáŤááłááą áľáአá¨á ἠá˘áá˛áŽ áá á¨ááŞáááá á¨áŤáąá á¨áá¨á ááá áááá ἠá SQL áá ááá˝ "á¨áľ" ááá ááľáĽ á á ἠá˘áá˛áŽ á¨á°á¨áłáá áááŁáł ááľááἠáá á¨áĽáá˘
where ABLOCAL()áĽá á¨áľáŤááľáááá˝á áłáłá¤á ááľáĽ á¨áááŞáŤ ááŁáĽá á áááá˝ á¨áá á áááŁáł áá áááľá
ablocal_expr=ÂŤstring_concat("mod(t.", string_filter_out("{$TABLE_KEY}","{}"), ",", (decimal(3))(number_of_partitions()),")=", (decimal(3))(this_partition()))Âť, áĽáąá áá° á ááľ ááá áŤá áá áŤá
mod(sk,10)=3ᣠáááľá áĽ.á¤.á . ááĽáŤááłááą ááááá ááá˝ ááŁáŞáŤ ááŞáááá áá á¨á á ááŚáľá˘ áááá˝ á¨ááἠááłáá˝ (á´áŤáłáłáŁ áŚáŤáá)ᣠá ἠá˘áá˛áŽ áá á áľáአá áŤáľ á°á áá¨ááá áá˝ááá˘
áŁáĽ á˘áá˛áŽ áŁááá á áá á á ááá ááŞáááááá˘
Sberbank á á¤áá˛á°áĽáá á¨ááአááŤáá˝ á ááťá¸áá ᨠHive áĽá á¨ááŞáááá áá áááááá áá¨áŤ á áľáááᢠáĽáá° áá¨áŤá á áŤáᣠá áá ááłá áá áĽáá° á ἠá˘áá˛áŽ á á°ááłáłá áááľá°á áá 5 ááśá˝ áá áŠáŁ áĽá ááŞáááá áá á á°áᨠáááľá°á áá 4 ááśá˝ áá áŠá˘ áĽáááŤá˘ áá á¨ááŞáááá á áá á¨áááľáá áĽá á áá á¨áá˘
á Hive áĽá GreenPlum ááľáĽ áá¨áá á¨áááá á°ááłáłá á°ááŁá á¨ááŤá¨ááá áááľ áĽááľ ááŤáá˝á á°áááá°ááᢠá á°ááłáłá áá á á¤áá˛á°áĽáá áá á¨áľ á¨á°áá áŠáľ ááŤáá˝ á°ááá¨áááĄ
- á¨áááť áááľ + á áááá° á¨ááᨠááἠáá° áá á á¨á´á áá¨áá
- á¨áááť áááľ + áá᪠áááľ á áááá° á¨ááᨠááἠáá° á°ááłáłá á¨ááŞáááá á°áá á¨áĽ
á áááąá áááłáá˝ (Hive áĽá GreenPlum) á á°ááłáłá á¨á ἠá˘áá˛áŽ áááľá°á áá áá° 10 áľáአááŽá˝ á°áááá˝á áŤá°áá áá áᢠáŁáĽ Initio á á¤á˝á˛á¤áá¤áľ ááľáĽ áááľááľ ááŤá¨áá áááĽá á áľááá§á (á¨á ἠá˘áá˛áŽ á áááᣠHDFS á áá áá MFS á áááἠáĽá á áá ááá)ᢠá áááá° á¨ááá¨á á ááľ ááľáá á áááąá áááłáá˝ 200 áŁááľ ááááá˘
áá¤áąá áá á áááľááá˘
áá
á áá ááľáĽ á¨ááááŞáŤ áááľ
á¨áľáá˝ ááĽá°ááá˘
6 000 000
60 000 000
600 000 000
á¨ááľáááŞáŤ áááł
á á°á¨ááśá˝ ááľáĽ ááá¨áľ
41
203
1 601
á áá ááľáĽ áá¨áá
á ááľáĽ á¨ááááľ á¨á¨áľáá˝ áĽááľ
á áá¨áŤá ááááŞáŤ áá á¨ááá á°áá á¨áĽ
6 000 000
60 000 000
600 000 000
á¨á°á°áá አá¨á´ááł ááľááŽá˝ áĽááľ
á áá¨áŤá áá
áľ á¨ááá á°áá á¨áĽ
6 000 000
6 000 000
6 000 000
á¨áá¨áá áááł
á á°á¨ááśá˝ ááľáĽ ááá¨áľ
88
299
2 541
ááŞáááá
á ááŞáááá ááľáĽ á¨ááááŞáŤ áááľ
á¨áľáá˝ ááĽá°ááá˘
6 000 000
60 000 000
600 000 000
á¨ááľáááŞáŤ áááł
á á°á¨ááśá˝ ááľáĽ ááá¨áľ
72
360
3 631
á ááŞáááá ááľáĽ á°á¨á᪠áááľ
á ááľáĽ á¨ááááľ á¨á¨áľáá˝ áĽááľ
á áá¨áŤá ááááŞáŤ áá á¨ááá á°áá á¨áĽ
6 000 000
60 000 000
600 000 000
á¨á°á°áá አá¨á´ááł ááľááŽá˝ áĽááľ
á áá¨áŤá áá
áľ á¨ááá á°áá á¨áĽ
6 000 000
6 000 000
6 000 000
á¨áá¨áá áááł
á á°á¨ááśá˝ ááľáĽ ááá¨áľ
159
199
321
á áááąá Hive áĽá GreenPlum ááľáĽ áŤáá á¨áááť á¨ááŤá ááĽááľ á áá¨áá áá á áá á¨á°áá°á¨á° áĽáá°áá áĽá áá°áťá áááľáá ááááŤáľ á¨ááŞáááá ááá ááá áľáá˝ ááŁá áĽáá°áá áĽááŤááá˘
á Hive ááľáĽ áŤáá áá᪠á ááĽáł á áááá á áá á¨áĽ ááľáĽ áŁáá ááľá á á°áŤááľ á¨ááἠáá á áá á¨ááá¨áŽá á˛áá áľááš á˛áŤáľá á áŁá á áááł áááĽááᢠáá á¨áá¨á°á°á á¨áłáááá á°áá á¨áĽ áá á áá áĽáá°áá ááťá á áľááá áá. áá áááľ á áľááá á á¨á´ááá˝ áá áľááá˝ áááŚá˝á áá°áá á ááá áĽáŠ áĽá á á áá°áá áááľ áá.
á ááŞáááá ááľáĽ áŤáá áá᪠á á°áŤá áááł á áááá á áá á¨áĽ ááľáĽ áŁáá á¨á°áŤáá á¨ááἠáá á áá á¨ááá¨áŽá áĽá á ááĽááľ áá¨ááááᢠáá á¨ááá áSQL Joins áĽá áááŞá ááá á ááá´áá¸á ááľáá áááŁáá áá á á¨áá°á¨á áľáŤá ááá áłáá˘
áľááá ááŞá ááá á´ááłáá ᨠDelta+ insert áá´á áá¨ááŤáᣠááá áá áá á°áá ááá áááá áľáŤáá˝ á¨ááľáᣠáľááá á á ááá á¨áłáł á á°áŤá°á áĽá¨á¨áᨠá áááľá áľ áá áá á áá áĽáá°áá áááá á°ááľáˇáᢠá áľáĽá á¨á°áááľ á¨áááśá˝ áá˝á˝á á áŁá ááá ááᣠááááŤáąá á¨ááĽáľ-á°áŽá áááśá˝á ááá áá á áŁá á¨á°ááá°á á ááŤá áá áľáááááľá˘ á áá áá°á ááŞáááá ááá 8 áá áĽááłá¸áá á áá°ááá˘
áŁáĽ á˘ááşáŽ á¨ááŞáááá áá°áŤáá°ááłáľ áá áŞá áłáá ááľ
á á áá¨áŤáŁ á¨á ἠá˘áá˛áŽ á¨ááŞáááá á°áá á¨áĽá á áááá° á á°áá አá¨áá¨á ááśá˝ á á áἠáá á¨áááá á˝ááłá áĽáááľáťááᢠá¨ááá°áŤá áľá á¨ááŞáááá á°áá á¨áĽ dev42_1_db_usl.TESTING_SUBJ_org_finvalá áĽááľáĽá˘
á¨áĽáą áá áááľáŤáľ áśáľáľ á¨á ἠá˘áá˛áŽ ááŤáá˝á áĽáá áááá-
1) ááŤá Create_test_data.mp - á HDFS ááľáĽ á¨ááἠáááá˝á á¨10 á¨áľáá˝ áá á 6 áľáአááŽá˝ áááĽáŤáᢠáá¨áá á áááá° áá, á áááአáá° á á¨á´áá˝á áááľááŁáľ á¨á°á°áŤá áá
2) ááŤá mdw_load.day_one.current.dev42_1_db_usl_testing_subj_org_finval.pset - á¤áá˛á°áĽáá á¨ááᨠááŤá á 10 áľáአááŽá˝ ááľáĽ á á áá á¨áĄ ááľáĽ á¨ááἠááľááŁáľá á ááľááá (á ááŤá (1) á¨á°áá ᨠá¨áá°á áá¨á áĽá
á áá áááá)
3) mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset - á ááŤá (10) á¨ááᨠá á˛áľ á¨á°áá ááľá áá¨ááá˝ (á´ááł) á 1 áľáአááŽá˝ á áá áá á°áá á¨áĄá ááá¨áá á MDW á¨á°áá ᨠááŤá
á¨áłá˝ áŤááá áľááŞááľ á NRT áááł áĽáááľáĄ
- 6 á¨áá¨áŤ ááľááŽá˝á áŤáááŤá
- á¨ááááŞáŤ áááľ 6 á¨áá¨áŤ á¨áľáá˝á áá° áŁáś á á¨á´á á áľááŁ
- á°á¨á᪠ááá¨áľ 5 áá ááľáááľ
- 6 á¨áá¨áŤ ááľááŽá˝á áŤáááŤá
- á°á¨á᪠6 á¨áá¨áŤ á¨áľáá˝á áá° á áá á¨áĄ á áľáᣠ(á áá á ááŁá á¨áááá_á_á°ááľ á¨ááŤá áá áľ áá áá° á áŽáá ááἠá°áááĽáŻá áĽá á°á¨á᪠á¨á áἠáá ááἠá á°ááłáłá áá ááá ááĽáˇá)
áá áááł á¨á ááľ á¨á°áá°á á¨áááľ áľáááľ á¨áĽááá°á á á áŤá áááłá áááľáá - á áŁá áľáá á¨áá á á˛áľ áá¨á á áĽááá°á áá ááłáŤá áĽá áá˛áŤáá áá° ááŞáááá ááľáĽ áááľáłáá˘
á áá á¨áľááŞááąá áááἠáĽáááá¨áľáĄ-
Create_test_data.input.pset ááá 2020-06-04 11:49:11
á 2020-06-04 11:49:37 áá Create_test_data.input.pset á¨ááľ
ááá mdw_load.day_one.current.dev42_1_db_usl_testing_subj_org_finval.pset á 2020-06-04 11:49:37
á¨ááľ mdw_load.day_one.current.dev42_1_db_usl_testing_subj_org_finval.pset á 2020-06-04 11:50:42
Create_test_data.input.pset ááá 2020-06-04 11:50:42
á 2020-06-04 11:51:06 áá Create_test_data.input.pset á¨ááľ
ááá mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset á 2020-06-04 11:51:06
á¨ááľ mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset á 2020-06-04 11:53:41
Create_test_data.input.pset ááá 2020-06-04 11:53:41
á 2020-06-04 11:54:04 áá Create_test_data.input.pset á¨ááľ
ááá mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset á 2020-06-04 11:54:04
á¨ááľ mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset á 2020-06-04 11:56:51
Create_test_data.input.pset ááá 2020-06-04 11:56:51
á 2020-06-04 11:57:14 áá Create_test_data.input.pset á¨ááľ
ááá mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset á 2020-06-04 11:57:14
á¨ááľ mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset á 2020-06-04 11:59:55
Create_test_data.input.pset ááá 2020-06-04 11:59:55
á 2020-06-04 12:00:23 áá Create_test_data.input.pset á¨ááľ
ááá mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset á 2020-06-04 12:00:23
á¨ááľ mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset á 2020-06-04 12:03:23
Create_test_data.input.pset ááá 2020-06-04 12:03:23
á 2020-06-04 12:03:49 áá Create_test_data.input.pset á¨ááľ
ááá mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset á 2020-06-04 12:03:49
á¨ááľ mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset á 2020-06-04 12:06:46
áá ááľá á°ááá á˘
ááŤá
á¨ááááŞáŤ á°ááľ
áá á¨ááľ
ááááľ
á¨áá°á_áááĽ.input.pset ááá áŠ
04.06.2020: 11: 49: 11
04.06.2020: 11: 49: 37
00:00:26
mdw_load.day_one.á¨á ááá˘
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020: 11: 49: 37
04.06.2020: 11: 50: 42
00:01:05
á¨áá°á_áááĽ.input.pset ááá áŠ
04.06.2020: 11: 50: 42
04.06.2020: 11: 51: 06
00:00:24
mdw_load.áá°á á.á¨á ááá˘
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020: 11: 51: 06
04.06.2020: 11: 53: 41
00:02:35
á¨áá°á_áááĽ.input.pset ááá áŠ
04.06.2020: 11: 53: 41
04.06.2020: 11: 54: 04
00:00:23
mdw_load.áá°á á.á¨á ááá˘
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020: 11: 54: 04
04.06.2020: 11: 56: 51
00:02:47
á¨áá°á_áááĽ.input.pset ááá áŠ
04.06.2020: 11: 56: 51
04.06.2020: 11: 57: 14
00:00:23
mdw_load.áá°á á.á¨á ááá˘
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020: 11: 57: 14
04.06.2020: 11: 59: 55
00:02:41
á¨áá°á_áááĽ.input.pset ááá áŠ
04.06.2020: 11: 59: 55
04.06.2020: 12: 00: 23
00:00:28
mdw_load.áá°á á.á¨á ááá˘
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020: 12: 00: 23
04.06.2020: 12: 03: 23
00:03:00
á¨áá°á_áááĽ.input.pset ááá áŠ
04.06.2020: 12: 03: 23
04.06.2020: 12: 03: 49
00:00:26
mdw_load.áá°á á.á¨á ááá˘
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020: 12: 03: 49
04.06.2020: 12: 06: 46
00:02:57
6 áá᪠ááľááŽá˝ á 000 á°áá ááľáĽ á˛á°áŠ áĽááŤáá áá
á á áŁá ááŁá ááá˘
á áááá á°áá á¨áĽ ááľáĽ áŤáá áá¨á áĽáá°áá¨á°áá á°á°áŤááˇááĄ
select valid_from_ts, valid_to_ts, count(1), min(sk), max(sk) from dev42_1_db_usl.TESTING_SUBJ_org_finval group by valid_from_ts, valid_to_ts order by 1,2;
á¨ááŁá ááἠááŤáá˝ á¨á°áááŠá áľ áá áá áŤááá áááááľ áá¨áľ áá˝ááá˘
áá
áááľ á°á¨á᪠á¨áá¨á áááľ áá° ááŞáááá á á ἠá˘áá˛áŽ ááľáĽ á á¨áá°á áľáááá˝ áááľ áĽá áá
áá áá¨á áá° ááŞáááá áááľááŁáľ á¨áá°á ááĽááľá áá¨áłá°á áá˝ááᢠáĽááἠááᣠá á´áŽááľ á ááľ áá ááľááá á ááťááᣠááááŤáąá á ἠá˘áá˛áŽáŁ áá áĽáá° ááááá á¨á˘á˛á¤á ááłáŞáŤáŁ á˛ááá âáááááâ áá áľááááá ááá˘
áá°áá°ááŤ
Ab Initio á á áá áá á Sberbank ááľáĽ á¨á°ááá° á¨áľááá áłáł ááĽááĽá (ESS) áááááŁáľ áĽá á áá ááááᢠáá ááŽáááľ á¨á°ááŤáŠ á¨áŁáá á¨áááľ á°áááľá áááł á ááľ áἠá¨áá áĽáŞáľ ááááŁáľá áŤáŤáľáłáᢠáá¨á á¨á°ááŤáŠ áááŽá˝ á¨á°áá á˛áá áááŁáŽáš á Hadoop áá á°ááá á°áá. á áááľ ááááśá˝ áá á áááľá¨áľ á¨ááἠáá´á á°ááá áˇá áĽá á¨ááἠáááŚá˝ á°ááá¸áá. á ἠá˘áá˛áŽ áá¨áá áá° á˘á¤áľá¤á áááá áĽá á¨áá¨á°á áá¨á ááááľ áľáŤá ááááľ áĽáť áłááá áłáł áááśá˝á áááááŁáľá áĽáá° ááá áá áŤáááááᢠá á°ááłáłá áá á¨áááą á°ááŁáŤáááľ á¨á°ááŤáŠ áľáááśá˝á áĽáá° á°ááŁá (áá ᣠááŞáááá ᣠá´áŤáłáł ᣠáŚáŤáá) áĽáá˛á áá ááá áľáááłá ᣠáá á ááááľ áĽáŤ á ááŤáľááááľ á áááśá˝ á ááá ááááááľ áŤáľá˝áá á˘
á¨á ἠá˘áá˛áŽ á á á á°á ááᥠáááłáᥠá¨á°áŤá°á°á á¨á¤áá˛á°áĽáá ááá á á´áááŤá áĽá á˘áááľ áłáŞáŤá áá¨ááá˝á á¨áłáĽá ááľáĽ áááááŁáľ áŤáľá˝ááᢠáááá˘áá˝áŁ Ab Initio áááŽáŤáŠáŠá áĽáá°áá ááááá áᣠááá áá áĽá ááŁá á¨á°ááŁá áááá˝á ááá áá áŤáľá˝ááᣠáĽááąá á¨ááἠáá á˛á°áŠ á áá°á¨áą á áľááá á¨áá á¤á°-ááťáááľ áá¸áá˘
á°áŤá˛á á Sberbank SberProfi DWH/BigData ááŤá áá á á¨á°áĽ ááľáĽ áŁáá፠áá. ᨠSberProfi DWH/BigData ááŽáá˝áá áá á á¨á°áĽ áĽáá° ááąá áľá-áá áłáᣠá´áŤáłáłáŁ áŚáŤáá á˛á˘áŁ ááŞááááᣠáĽáá˛áá BI ááłáŞáŤáá˝ QlikᣠSAP BOᣠTableauᣠááá° áŁá á áŤáŁá˘áá˝ áĽááśá˝á á¨ááłá°á áááááľ á áá áľá˘
ááá: hab.com