Kif tafu, SAP joffri firxa sħiħa ta’ softwer kemm għaż-żamma tad-dejta transazzjonali kif ukoll għall-ipproċessar ta’ din id-dejta f’sistemi ta’ analiżi u rappurtar. B'mod partikolari, il-pjattaforma SAP Business Warehouse (SAP BW) hija sett ta' għodda għall-ħażna u l-analiżi tad-dejta b'kapaċitajiet tekniċi estensivi. Għall-vantaġġi oġġettivi kollha tagħha, is-sistema SAP BW għandha żvantaġġ wieħed sinifikanti. Din hija spiża għolja għall-ħażna u l-ipproċessar tad-dejta, speċjalment notevoli meta tuża SAP BW ibbażat fuq il-cloud fuq Hana.
X'jiġri jekk tibda tuża xi prodott mhux SAP u preferibbilment OpenSource bħala ħażna? Aħna fil-X5 Retail Group għażilna GreenPlum. Dan, ovvjament, isolvi l-kwistjoni tal-ispiża, iżda fl-istess ħin, jinqalgħu immedjatament kwistjonijiet li ġew solvuti kważi awtomatikament meta tuża SAP BW.
B'mod partikolari, kif tirkupra data mis-sistemi tas-sors, li huma l-aktar soluzzjonijiet SAP?
HR Metrics kien l-ewwel proġett li fih kien meħtieġ li tissolva din il-problema. L-għan tagħna kien li noħolqu repożitorju tad-dejta tal-HR u nibnu rappurtar analitiku fil-qasam tal-ħidma mal-impjegati. F'dan il-każ, is-sors ewlieni tad-dejta hija s-sistema transazzjonali SAP HCM, li fiha jitwettqu l-attivitajiet kollha tal-persunal, organizzattivi u tas-salarju.
Estrazzjoni tad-dejta
F'SAP BW hemm estratturi tad-dejta standard għas-sistemi SAP. Dawn l-estratturi jistgħu awtomatikament jiġbru d-dejta meħtieġa, jimmonitorjaw l-integrità tagħha, u jiddeterminaw id-deltas tal-bidla. Hawnhekk, pereżempju, huwa s-sors tad-dejta standard għall-attributi tal-impjegati 0EMPLOYEE_ATTR:
Ir-riżultat tal-estrazzjoni tad-dejta minnha għal impjegat wieħed:
Jekk meħtieġ, estrattur bħal dan jista 'jiġi modifikat biex jaqdi l-ħtiġijiet tiegħek jew jista' jinħoloq estrattur tiegħek.
L-ewwel idea li qamet kienet il-possibbiltà li jerġgħu jintużaw. Sfortunatament, dan irriżulta li kien kompitu impossibbli. Ħafna mill-loġika hija implimentata fuq in-naħa SAP BW, u ma kienx possibbli li l-estrattur jiġi separat mingħajr tbatija fis-sors minn SAP BW.
Deher ovvju li jkollna bżonn niżviluppaw il-mekkaniżmu tagħna stess għall-estrazzjoni tad-dejta mis-sistemi SAP.
Struttura tal-ħażna tad-dejta f'SAP HCM
Biex nifhmu r-rekwiżiti għal mekkaniżmu bħal dan, l-ewwel irridu niddeterminaw liema data għandna bżonn.
Il-biċċa l-kbira tad-dejta f'SAP HCM hija maħżuna f'tabelli SQL ċatti. Ibbażat fuq din id-dejta, l-applikazzjonijiet SAP jivvisualizzaw strutturi organizzattivi, impjegati u informazzjoni oħra HR lill-utent. Pereżempju, hekk tidher l-istruttura organizzattiva f'SAP HCM:
Fiżikament, siġra bħal din hija maħżuna f'żewġ tabelli - f'oġġetti hrp1000 u f'hrp1001 il-konnessjonijiet bejn dawn l-oġġetti.
Oġġetti “Dipartiment 1” u “Uffiċċju 1”:
Relazzjoni bejn l-oġġetti:
Jista 'jkun hemm numru kbir taż-żewġ tipi ta' oġġetti u tipi ta 'konnessjonijiet bejniethom. Hemm kemm konnessjonijiet standard bejn l-oġġetti kif ukoll dawk personalizzati għall-bżonnijiet speċifiċi tiegħek. Pereżempju, ir-relazzjoni standard B012 bejn unità organizzattiva u pożizzjoni full-time tindika l-kap ta 'dipartiment.
Wirja tal-maniġer f'SAP:
Ħażna f'tabella tad-database:
Id-dejta tal-impjegati hija maħżuna f'tabelli pa*. Pereżempju, id-dejta dwar l-avvenimenti tal-persunal għal impjegat hija maħżuna fit-tabella pa0000
Iddeċidejna li GreenPlum se tieħu data "mhux maħduma", i.e. tikkopjahom biss mit-tabelli SAP. U direttament f'GreenPlum se jiġu pproċessati u kkonvertiti f'oġġetti fiżiċi (per eżempju, Dipartiment jew Impjegat) u metriċi (per eżempju, għadd medju ta 'ħaddiema).
Ġew definiti madwar 70 tabella, li d-dejta minnhom trid tiġi trasferita lil GreenPlum. Wara bdejna naħdmu metodu għat-trażmissjoni ta 'din id-dejta.
SAP joffri numru pjuttost kbir ta' mekkaniżmi ta' integrazzjoni. Iżda l-eħfef mod huwa li l-aċċess dirett għad-database huwa pprojbit minħabba restrizzjonijiet tal-liċenzjar. Għalhekk, il-flussi kollha ta 'integrazzjoni għandhom jiġu implimentati fil-livell tas-server tal-applikazzjoni.
Il-problema li jmiss kienet in-nuqqas ta' data dwar ir-rekords imħassra fid-database SAP. Meta tħassar ringiela fid-database, din titħassar fiżikament. Dawk. il-formazzjoni ta' delta tal-bidla bbażata fuq iż-żmien tal-bidla ma kinitx possibbli.
Naturalment, SAP HCM għandu mekkaniżmi għar-reġistrazzjoni tal-bidliet fid-dejta. Pereżempju, għal trasferiment sussegwenti għal sistemi riċevituri, hemm indikaturi tal-bidla li jirreġistraw kwalunkwe tibdil u li fuq il-bażi tiegħu jiġi ffurmat Idoc (oġġett għal trasferiment għal sistemi esterni).
Eżempju IDoc għall-bidla tal-infotip 0302 għal impjegat bin-numru tal-persunal 1251445:
Jew iż-żamma tar-reġistri tal-bidliet fid-dejta fit-tabella DBTABLOG.
Eżempju ta 'ġurnal għat-tħassir ta' rekord biċ-ċavetta QK53216375 mit-tabella hrp1000:
Iżda dawn il-mekkaniżmi mhumiex disponibbli għad-dejta kollha meħtieġa, u l-ipproċessar tagħhom fil-livell tas-server tal-applikazzjoni jista 'jikkonsma ħafna riżorsi. Għalhekk, l-abilitazzjoni massiva tal-illoggjar fuq it-tabelli kollha meħtieġa tista 'twassal għal degradazzjoni notevoli tal-prestazzjoni tas-sistema.
Il-problema ewlenija li jmiss kienet it-tabelli raggruppati. Stima tal-ħin u data tal-pagi fil-verżjoni RDBMS ta 'SAP HCM hija maħżuna bħala sett ta' tabelli loġiċi għal kull impjegat għal kull kalkolu. Dawn it-tabelli loġiċi huma maħżuna bħala data binarja fit-tabella pcl2.
Cluster tal-Pagi:
Dejta minn tabelli raggruppati ma tistax titqies bħala kmand SQL, iżda teħtieġ l-użu ta 'makros SAP HCM jew moduli ta' funzjoni speċjali. Għaldaqstant, il-veloċità tal-qari ta 'tabelli bħal dawn se tkun pjuttost baxxa. Min-naħa l-oħra, raggruppamenti bħal dawn jaħżnu dejta li hija meħtieġa darba biss fix-xahar - pagi finali u stima tal-ħin. Allura l-veloċità f'dan il-każ mhix daqshekk kritika.
Meta evalwaw l-għażliet għall-iffurmar ta 'delta ta' bidliet fid-dejta, iddeċidejna li nikkunsidraw ukoll l-għażla ta 'ħatt sħiħ. L-għażla li jiġu trasferiti gigabytes ta' data mhux mibdula bejn is-sistemi kuljum tista' ma tkunx tidher tajba. Madankollu, għandu wkoll għadd ta 'vantaġġi - m'hemmx bżonn li kemm tiġi implimentata d-delta fuq in-naħa tas-sors kif ukoll tiġi implimentata l-inkorporazzjoni ta' din id-delta fuq in-naħa tar-riċevitur. Għaldaqstant, l-ispiża u l-ħin tal-implimentazzjoni huma mnaqqsa, u l-affidabbiltà tal-integrazzjoni tiżdied. Fl-istess ħin, ġie determinat li kważi l-bidliet kollha fis-SAP HR iseħħu fi żmien tliet xhur qabel id-data attwali. Għalhekk, ġie deċiż li tagħżel tniżżil sħiħ ta 'kuljum tad-dejta minn SAP HR N xhur qabel id-data attwali u tniżżil sħiħ ta' kull xahar. Il-parametru N jiddependi fuq it-tabella speċifika
u tvarja minn 1 sa 15.
L-iskema li ġejja ġiet proposta għall-estrazzjoni tad-dejta:
Is-sistema esterna tiġġenera talba u tibgħatha lil SAP HCM, fejn din it-talba tiġi ċċekkjata għall-kompletezza tad-dejta u l-permessi għall-aċċess għat-tabelli. Jekk il-kontroll jirnexxi, SAP HCM imexxi programm li jiġbor id-dejta meħtieġa u jittrasferiha fis-soluzzjoni ta 'integrazzjoni Fuse. Fuse jiddetermina s-suġġett meħtieġ f'Kafka u jittrasferixxi d-dejta hemmhekk. Sussegwentement, id-dejta minn Kafka tiġi trasferita lil Stage Area GP.
F'din il-katina, aħna interessati fil-kwistjoni tal-estrazzjoni tad-dejta minn SAP HCM. Ejja nħarsu lejha f'aktar dettall.
Dijagramma ta' interazzjoni SAP HCM-FUSE.
Is-sistema esterna tiddetermina l-ħin tal-aħħar talba b'suċċess lil SAP.
Il-proċess jista 'jiġi mniedi minn tajmer jew avveniment ieħor, inkluż timeout biex tistenna rispons b'dejta minn SAP u tinbeda talba ripetuta. Imbagħad jiġġenera talba delta u jibgħatha lil SAP.
Id-dejta tat-talba tintbagħat lill-korp f'format json.
Metodu http: POST.
Eżempju talba:
Is-servizz SAP jimmonitorja t-talba għall-kompletezza, il-konformità mal-istruttura SAP attwali, u d-disponibbiltà tal-permess tal-aċċess għat-tabella mitluba.
F'każ ta' żbalji, is-servizz jirritorna tweġiba bil-kodiċi u d-deskrizzjoni xierqa. Jekk il-kontroll jirnexxi, joħloq proċess ta' sfond biex jiġġenera kampjun, jiġġenera u jirritorna b'mod sinkroniku id-sessjoni unika.
F'każ ta' żball, is-sistema esterna tirreġistrah fil-ġurnal. F'każ ta' tweġiba b'suċċess, jittrasmetti l-id tas-sessjoni u l-isem tat-tabella li għaliha saret it-talba.
Is-sistema esterna tirreġistra s-sessjoni kurrenti bħala miftuħa. Jekk ikun hemm sessjonijiet oħra għal din it-tabella, huma magħluqa bi twissija illoggjata.
Ix-xogħol fl-isfond SAP jiġġenera cursor ibbażat fuq il-parametri speċifikati u pakkett tad-dejta tad-daqs speċifikat. Id-daqs tal-lott huwa n-numru massimu ta' rekords li proċess jaqra mid-database. B'mod awtomatiku, huwa preżunt li jkun ugwali għal 2000. Jekk ikun hemm aktar rekords fil-kampjun tad-database mid-daqs tal-pakkett użat, wara li jittrasmetti l-ewwel pakkett, il-blokk li jmiss jiġi ffurmat bl-offset korrispondenti u n-numru tal-pakkett inkrementat. In-numri huma inkrementati b'1 u mibgħuta strettament sekwenzjali.
Sussegwentement, SAP jgħaddi l-pakkett bħala input lis-servizz tal-web tas-sistema esterna. U s-sistema twettaq kontrolli fuq il-pakkett li jkun dieħel. Sessjoni bl-id riċevuta għandha tkun irreġistrata fis-sistema u għandha tkun fi stat miftuħ. Jekk in-numru tal-pakkett > 1, is-sistema għandha tirreġistra l-irċevuta b'suċċess tal-pakkett preċedenti (package_id-1).
Jekk il-kontroll jirnexxi, is-sistema esterna tanalizza u ssalva d-dejta tat-tabella.
Barra minn hekk, jekk il-marka finali tkun preżenti fil-pakkett u s-serialization kienet ta 'suċċess, il-modulu ta' integrazzjoni jiġi nnotifikat dwar it-tlestija b'suċċess tal-ipproċessar tas-sessjoni u l-modulu jaġġorna l-istatus tas-sessjoni.
F'każ ta' żball ta' kontroll/parsing, l-iżball jiġi rreġistrat u l-pakketti għal din is-sessjoni jiġu rrifjutati mis-sistema esterna.
Bl-istess mod, fil-każ oppost, meta s-sistema esterna tirritorna żball, hija illoggjata u t-trażmissjoni tal-pakkett tieqaf.
Biex tintalab data fuq in-naħa SAP HСM, ġie implimentat servizz ta 'integrazzjoni. Is-servizz huwa implimentat fuq il-qafas ICF (SAP Internet Communication Framework - ). Jippermettilek mistoqsija tad-dejta mis-sistema SAP HCM billi tuża tabelli speċifiċi. Meta tinħoloq talba għal dejta, huwa possibbli li tiġi speċifikata lista ta 'oqsma speċifiċi u parametri ta' filtrazzjoni sabiex tinkiseb id-dejta meħtieġa. Fl-istess ħin, l-implimentazzjoni tas-servizz ma timplika l-ebda loġika tan-negozju. L-algoritmi għall-kalkolu tad-delta, il-parametri tal-mistoqsija, il-monitoraġġ tal-integrità, eċċ. huma wkoll implimentati fuq in-naħa tas-sistema esterna.
Dan il-mekkaniżmu jippermettilek tiġbor u tittrasmetti d-dejta kollha meħtieġa fi ftit sigħat. Din il-veloċità hija fuq il-ponta ta 'aċċettabbli, għalhekk inqisu din is-soluzzjoni bħala waħda temporanja, li għamilha possibbli li timla l-ħtieġa għal għodda ta' estrazzjoni fuq il-proġett.
Fl-istampa fil-mira, biex issolvi l-problema tal-estrazzjoni tad-dejta, qed jiġu esplorati għażliet għall-użu ta 'sistemi CDC bħal Oracle Golden Gate jew għodod ETL bħal SAP DS.
Sors: www.habr.com