Kòm ou konnen, SAP ofri yon seri konplè lojisyèl tou de pou kenbe done tranzaksyon ak pou trete done sa yo nan analiz ak sistèm rapò. An patikilye, platfòm SAP Business Warehouse (SAP BW) se yon bwat zouti pou estoke ak analize done ak anpil kapasite teknik. Pou tout avantaj objektif li yo, sistèm SAP BW la gen yon dezavantaj enpòtan. Sa a se yon gwo pri nan estoke ak trete done, espesyalman aparan lè w ap itilize nwaj ki baze sou SAP BW sou Hana.
E si w kòmanse sèvi ak kèk pwodwi ki pa SAP epi de preferans yon pwodwi OpenSource kòm depo? Nou nan X5 Retail Group te chwazi GreenPlum. Sa a, nan kou, rezoud pwoblèm nan nan pri, men an menm tan an, pwoblèm imedyatman leve ki te rezoud prèske pa default lè w ap itilize SAP BW.
An patikilye, ki jan yo rekipere done ki soti nan sistèm sous, ki se sitou solisyon SAP?
HR Metrics te premye pwojè kote li te nesesè pou rezoud pwoblèm sa a. Objektif nou se te kreye yon depo done HR ak bati rapò analitik nan domèn travay ak anplwaye yo. Nan ka sa a, sous prensipal done yo se sistèm tranzaksyon SAP HCM, kote tout aktivite pèsonèl, òganizasyonèl ak salè yo fèt.
Ekstraksyon done
Nan SAP BW gen ekstrè done estanda pou sistèm SAP. Ekstrè sa yo ka otomatikman kolekte done ki nesesè yo, kontwole entegrite li yo, epi detèmine delta chanjman. Men, pa egzanp, sous done estanda pou atribi anplwaye 0EMPLOYEE_ATTR:
Rezilta a nan ekstrè done nan li pou yon anplwaye:
Si sa nesesè, yo ka modifye yon ekstrè konsa pou adapte pwòp kondisyon ou yo oswa yo ka kreye pwòp ekstrè ou.
Premye lide ki te parèt se te posiblite pou réutilisation yo. Malerezman, sa a te tounen yon travay enposib. Pifò nan lojik la aplike sou bò SAP BW, epi li pa t posib yo separe ekstrè a san doulè nan sous la soti nan SAP BW.
Li te vin evidan ke nou ta bezwen devlope pwòp mekanis nou pou èkstraksyon done ki soti nan sistèm SAP.
Estrikti depo done nan SAP HCM
Pou konprann kondisyon yo pou yon mekanis konsa, nou bezwen premye detèmine ki done nou bezwen.
Pifò done nan SAP HCM yo estoke nan tab SQL plat. Dapre done sa yo, aplikasyon SAP yo vizyalize estrikti òganizasyonèl yo, anplwaye yo ak lòt enfòmasyon HR bay itilizatè a. Pou egzanp, men sa estrikti òganizasyonèl la sanble nan SAP HCM:
Fizikman, tankou yon pye bwa ki estoke nan de tab - nan hrp1000 objè ak nan hrp1001 koneksyon ki genyen ant objè sa yo.
Objè "Depatman 1" ak "Biwo 1":
Relasyon ant objè yo:
Ka gen yon gwo kantite tou de kalite objè ak kalite koneksyon ant yo. Genyen tou de koneksyon estanda ant objè ak moun ki Customized pou pwòp bezwen espesifik ou yo. Pou egzanp, relasyon estanda B012 ant yon inite òganizasyonèl ak yon pozisyon aplentan endike chèf yon depatman.
Ekspozisyon manadjè nan SAP:
Depo nan yon tab baz done:
Done anplwaye yo estoke nan tab pa*. Pou egzanp, done sou evènman pèsonèl pou yon anplwaye yo estoke nan tablo pa0000
Nou deside ke GreenPlum pral pran done "kri", sa vle di. jis kopye yo nan tab SAP yo. Ak dirèkteman nan GreenPlum yo pral trete ak konvèti nan objè fizik (pa egzanp, Depatman oswa Anplwaye) ak mezi (pa egzanp, mwayèn manm).
Apeprè 70 tab yo te defini, done ki soti nan ki dwe transfere nan GreenPlum. Apre sa, nou te kòmanse travay sou yon metòd pou transmèt done sa yo.
SAP ofri yon gwo kantite mekanis entegrasyon. Men, fason ki pi fasil la se ke aksè dirèk nan baz done a entèdi akòz restriksyon lisans. Kidonk, tout koule entegrasyon yo dwe aplike nan nivo sèvè aplikasyon an.
Pwoblèm nan pwochen te mank de done sou dosye efase nan baz done a SAP. Lè ou efase yon ranje nan baz done a, li fizikman efase. Moun sa yo. fòmasyon yon delta chanjman ki baze sou tan chanjman an pa t posib.
Natirèlman, SAP HCM gen mekanis pou anrejistre chanjman done yo. Pou egzanp, pou transfè ki vin apre nan sistèm moun k ap resevwa yo, gen pwent chanjman ki anrejistre nenpòt chanjman epi sou baz yo ki fòme yon Idoc (yon objè pou transfè nan sistèm ekstèn).
Egzanp IDoc pou chanje enfotip 0302 pou yon anplwaye ki gen nimewo pèsonèl 1251445:
Oswa kenbe mòso bwa chanjman done yo nan tablo DBTABLOG la.
Yon egzanp yon boutèy demi lit pou efase yon dosye ak kle QK53216375 nan tablo hrp1000 la:
Men, mekanis sa yo pa disponib pou tout done ki nesesè yo, ak pwosesis yo nan nivo sèvè aplikasyon an ka konsome anpil resous. Se poutèt sa, twouve pèmèt antre sou tout tab ki nesesè yo ka mennen nan yon degradasyon aparan nan pèfòmans sistèm.
Pwochen gwo pwoblèm lan te gwoupe tab. Estimasyon tan ak done pewòl nan vèsyon RDBMS SAP HCM yo estoke kòm yon seri tab lojik pou chak anplwaye pou chak kalkil. Tablo lojik sa yo estoke kòm done binè nan tab pcl2.
Gwoup Pewòl:
Done ki soti nan tab grap pa ka konsidere kòm yon kòmandman SQL, men mande pou itilize makro SAP HCM oswa modil fonksyon espesyal. An konsekans, vitès lekti tab sa yo pral byen ba. Nan lòt men an, gwoup sa yo estoke done ki nesesè sèlman yon fwa pa mwa - final pewòl ak estimasyon tan. Se konsa, vitès nan ka sa a se pa tèlman kritik.
Evalye opsyon pou fòme yon delta nan chanjman done, nou deside tou konsidere opsyon pou dechaje konplè. Opsyon pou transfere gigaocte done ki pa chanje ant sistèm chak jou ka pa gade byen. Sepandan, li gen tou yon kantite avantaj - pa gen okenn nesesite tou de aplike delta a sou bò sous la ak aplike entegrasyon nan delta sa a sou bò reseptè a. An konsekans, pri a ak tan aplikasyon yo redwi, ak fyab nan entegrasyon ogmante. An menm tan an, yo te detèmine ke prèske tout chanjman nan SAP HR rive nan yon orizon twa mwa anvan dat aktyèl la. Kidonk, li te deside patisipe pou yon download konplè chak jou nan done ki soti nan SAP HR N mwa anvan dat aktyèl la ak yon download konplè chak mwa. Paramèt N a depann de tablo espesifik la
ak varye ant 1 ak 15.
Yo te pwopoze konplo sa a pou fè ekstraksyon done:
Sistèm ekstèn lan jenere yon demann epi voye li bay SAP HCM, kote yo tcheke demann sa a pou done konplè ak otorizasyon pou jwenn aksè nan tab yo. Si chèk la reyisi, SAP HCM kouri yon pwogram ki kolekte done ki nesesè yo epi transfere yo nan solisyon entegrasyon Fuse la. Fuse detèmine sijè ki nesesè nan Kafka epi transfere done yo la. Apre sa, done ki soti nan Kafka transfere nan Etap Zòn GP.
Nan chèn sa a, nou enterese nan pwoblèm nan èkstraksyon done ki soti nan SAP HCM. Ann gade li an plis detay.
Dyagram entèraksyon SAP HCM-FUSE.
Sistèm ekstèn lan detèmine lè dènye demann siksè SAP la.
Pwosesis la ka lanse pa yon revèy oswa lòt evènman, ki gen ladan fikse yon tan pou tann yon repons ak done ki soti nan SAP epi kòmanse yon demann repete. Lè sa a, li jenere yon demann delta epi voye li bay SAP.
Done demann yo voye bay kò a nan fòma json.
Metòd http: POST.
Egzanp demann:
Sèvis SAP la kontwole demann pou konplè, konfòmite ak estrikti SAP aktyèl la, ak disponiblite pèmisyon aksè nan tab yo mande a.
Nan ka ta gen erè, sèvis la retounen yon repons ak kòd ki apwopriye a ak deskripsyon. Si kontwòl gen siksè, li kreye yon pwosesis background pou jenere yon echantiyon, jenere ak senkronize retounen yon id sesyon inik.
Nan ka yon erè, sistèm ekstèn nan anrejistre li nan boutèy la. Nan ka yon repons siksè, li transmèt id sesyon an ak non tab la pou ki demann lan te fè.
Sistèm ekstèn lan anrejistre sesyon aktyèl la kòm ouvè. Si gen lòt sesyon pou tablo sa a, yo fèmen ak yon avètisman konekte.
Travay background SAP la jenere yon kurseur ki baze sou paramèt yo espesifye ak yon pake done ki gen gwosè espesifye a. Gwosè pakèt se kantite maksimòm dosye ke yon pwosesis li nan baz done a. Pa default, li sipoze egal a 2000. Si gen plis dosye nan echantiyon baz done a pase gwosè pake itilize a, apre yo fin transmèt premye pake a, pwochen blòk la fòme ak konpanse ki koresponn ak nimewo pake enkreman. Nimewo yo ogmante pa 1 epi yo voye yon seri sekans.
Apre sa, SAP pase pake a kòm opinyon nan sèvis entènèt la nan sistèm ekstèn lan. Ak sistèm nan fè kontwòl sou pake a fèk ap rantre. Yon sesyon ak id resevwa a dwe anrejistre nan sistèm nan epi li dwe nan estati louvri. Si nimewo pake a > 1, sistèm nan ta dwe anrejistre resi siksè nan pake anvan an (package_id-1).
Si kontwòl la reyisi, sistèm ekstèn lan analize epi sove done tab la.
Anplis de sa, si drapo final la prezan nan pake a epi serializasyon an te reyisi, modil entegrasyon an ap fè konnen si pwosesis sesyon an fini ak modil la mete ajou estati sesyon an.
Nan ka yon erè kontwòl/parsing, erè a konekte ak pake pou sesyon sa a pral rejte pa sistèm ekstèn lan.
Menm jan an tou, nan ka opoze a, lè sistèm ekstèn lan retounen yon erè, li konekte epi transmisyon pake a sispann.
Pou mande done sou bò SAP HСM, yo te aplike yon sèvis entegrasyon. Sèvis la aplike sou kad ICF (SAP Entènèt Kominikasyon Framework - ). Li pèmèt ou rechèch done ki soti nan sistèm SAP HCM lè l sèvi avèk tab espesifik. Lè w ap kreye yon demann done, li posib pou presize yon lis jaden espesifik ak paramèt filtraj yo nan lòd yo jwenn done ki nesesè yo. An menm tan an, aplikasyon an nan sèvis la pa vle di okenn lojik biznis. Algoritm pou kalkile delta, paramèt rechèch, siveyans entegrite, elatriye yo tou aplike sou bò a nan sistèm ekstèn lan.
Mekanis sa a pèmèt ou kolekte epi transmèt tout done ki nesesè yo nan kèk èdtan. Vitès sa a se sou wout pou l akseptab, kidonk nou konsidere solisyon sa a kòm yon tanporè, ki te fè li posib ranpli bezwen an pou yon zouti ekstraksyon sou pwojè a.
Nan foto sib la, pou rezoud pwoblèm nan fè ekstraksyon done, opsyon pou itilize sistèm CDC tankou Oracle Golden Gate oswa zouti ETL tankou SAP DS yo ap eksplore.
Sous: www.habr.com