SAP HCM થી નોન-SAP ડેટા વેરહાઉસમાં ડેટા કાઢવા

જેમ તમે જાણો છો, SAP વ્યવહારિક ડેટાને જાળવવા અને વિશ્લેષણ અને રિપોર્ટિંગ સિસ્ટમ્સમાં આ ડેટાની પ્રક્રિયા કરવા બંને માટે સોફ્ટવેરની સંપૂર્ણ શ્રેણી પ્રદાન કરે છે. ખાસ કરીને, SAP બિઝનેસ વેરહાઉસ (SAP BW) પ્લેટફોર્મ વ્યાપક તકનીકી ક્ષમતાઓ સાથે ડેટાને સ્ટોર કરવા અને તેનું વિશ્લેષણ કરવા માટેની ટૂલકિટ છે. તેના તમામ ઉદ્દેશ્ય લાભો માટે, SAP BW સિસ્ટમમાં એક નોંધપાત્ર ખામી છે. આ ડેટાને સ્ટોર કરવા અને પ્રોસેસ કરવાની ઊંચી કિંમત છે, ખાસ કરીને હાના પર ક્લાઉડ-આધારિત SAP BW નો ઉપયોગ કરતી વખતે નોંધપાત્ર.

જો તમે સ્ટોરેજ તરીકે કેટલાક નોન-એસએપી અને પ્રાધાન્યમાં ઓપનસોર્સ પ્રોડક્ટનો ઉપયોગ કરવાનું શરૂ કરો તો શું? અમે X5 રિટેલ ગ્રુપમાં ગ્રીનપ્લમ પસંદ કર્યું. આ, અલબત્ત, ખર્ચના મુદ્દાને હલ કરે છે, પરંતુ તે જ સમયે, સમસ્યાઓ તરત જ ઊભી થાય છે જે SAP BW નો ઉપયોગ કરતી વખતે લગભગ મૂળભૂત રીતે ઉકેલાઈ હતી.

ખાસ કરીને, સ્ત્રોત સિસ્ટમોમાંથી ડેટા કેવી રીતે પુનઃપ્રાપ્ત કરવો, જે મોટે ભાગે SAP ઉકેલો છે?

એચઆર મેટ્રિક્સ એ પહેલો પ્રોજેક્ટ હતો જેમાં આ સમસ્યાને ઉકેલવી જરૂરી હતી. અમારો ધ્યેય એચઆર ડેટાનો ભંડાર બનાવવાનો અને કર્મચારીઓ સાથે કામ કરવાના ક્ષેત્રમાં વિશ્લેષણાત્મક રિપોર્ટિંગ બનાવવાનો હતો. આ કિસ્સામાં, ડેટાનો મુખ્ય સ્ત્રોત SAP HCM ટ્રાન્ઝેક્શનલ સિસ્ટમ છે, જેમાં તમામ કર્મચારીઓ, સંસ્થાકીય અને પગાર પ્રવૃત્તિઓ હાથ ધરવામાં આવે છે.

ડેટા નિષ્કર્ષણ

SAP BW માં SAP સિસ્ટમો માટે પ્રમાણભૂત ડેટા એક્સ્ટ્રેક્ટર્સ છે. આ એક્સટ્રેક્ટર્સ આપમેળે જરૂરી ડેટા એકત્રિત કરી શકે છે, તેની અખંડિતતા પર દેખરેખ રાખી શકે છે અને ડેલ્ટામાં ફેરફાર નક્કી કરી શકે છે. અહીં, ઉદાહરણ તરીકે, કર્મચારી વિશેષતાઓ 0EMPLOYEE_ATTR માટે માનક ડેટા સ્ત્રોત છે:

એક કર્મચારી માટે તેમાંથી ડેટા કાઢવાનું પરિણામ:

જો જરૂરી હોય તો, આવા એક્સ્ટ્રેક્ટરને તમારી પોતાની જરૂરિયાતોને અનુરૂપ ફેરફાર કરી શકાય છે અથવા તમારું પોતાનું એક્સટ્રેક્ટર બનાવી શકાય છે.

ઉદભવવા માટેનો પ્રથમ વિચાર તેમને ફરીથી ઉપયોગ કરવાની શક્યતા હતી. કમનસીબે, આ એક અશક્ય કાર્ય હોવાનું બહાર આવ્યું. મોટાભાગના તર્ક SAP BW બાજુ પર લાગુ કરવામાં આવે છે, અને SAP BW થી સ્ત્રોત પર એક્સ્ટ્રાક્ટરને પીડારહિત રીતે અલગ કરવું શક્ય ન હતું.

તે સ્પષ્ટ થઈ ગયું છે કે SAP સિસ્ટમ્સમાંથી ડેટા કાઢવા માટે આપણે આપણી પોતાની પદ્ધતિ વિકસાવવાની જરૂર પડશે.

SAP HCM માં ડેટા સ્ટોરેજ સ્ટ્રક્ચર

આવી મિકેનિઝમ માટેની આવશ્યકતાઓને સમજવા માટે, અમારે પહેલા તે નક્કી કરવાની જરૂર છે કે અમને કયા ડેટાની જરૂર છે.

SAP HCM માં મોટા ભાગનો ડેટા ફ્લેટ SQL કોષ્ટકોમાં સંગ્રહિત થાય છે. આ ડેટાના આધારે, SAP એપ્લીકેશનો સંસ્થાકીય માળખાં, કર્મચારીઓ અને અન્ય HR માહિતી વપરાશકર્તાને વિઝ્યુઅલાઈઝ કરે છે. ઉદાહરણ તરીકે, SAP HCM માં સંગઠનાત્મક માળખું આના જેવું દેખાય છે:

ભૌતિક રીતે, આવા વૃક્ષને બે કોષ્ટકોમાં સંગ્રહિત કરવામાં આવે છે - hrp1000 ઑબ્જેક્ટ્સમાં અને hrp1001 માં આ ઑબ્જેક્ટ્સ વચ્ચેના જોડાણો.

ઑબ્જેક્ટ્સ "વિભાગ 1" અને "ઓફિસ 1":

વસ્તુઓ વચ્ચે સંબંધ:

બંને પ્રકારના ઑબ્જેક્ટ્સ અને તેમની વચ્ચેના જોડાણોના પ્રકારોની વિશાળ સંખ્યા હોઈ શકે છે. તમારી પોતાની ચોક્કસ જરૂરિયાતો માટે ઑબ્જેક્ટ્સ અને કસ્ટમાઇઝ્ડ વચ્ચે બંને પ્રમાણભૂત જોડાણો છે. ઉદાહરણ તરીકે, સંસ્થાકીય એકમ અને પૂર્ણ-સમયની સ્થિતિ વચ્ચેનો પ્રમાણભૂત B012 સંબંધ વિભાગના વડાને સૂચવે છે.

SAP માં મેનેજર ડિસ્પ્લે:

ડેટાબેઝ કોષ્ટકમાં સંગ્રહ:

કર્મચારીનો ડેટા pa* કોષ્ટકોમાં સંગ્રહિત થાય છે. ઉદાહરણ તરીકે, કર્મચારી માટે કર્મચારીઓની ઘટનાઓ પરનો ડેટા કોષ્ટક pa0000 માં સંગ્રહિત થાય છે

અમે નક્કી કર્યું કે ગ્રીનપ્લમ "કાચો" ડેટા લેશે, એટલે કે. ફક્ત તેમને SAP કોષ્ટકોમાંથી નકલ કરો. અને સીધા જ ગ્રીનપ્લમમાં તેમની પ્રક્રિયા કરવામાં આવશે અને ભૌતિક વસ્તુઓ (ઉદાહરણ તરીકે, વિભાગ અથવા કર્મચારી) અને મેટ્રિક્સ (ઉદાહરણ તરીકે, સરેરાશ હેડકાઉન્ટ) માં રૂપાંતરિત કરવામાં આવશે.

લગભગ 70 કોષ્ટકો વ્યાખ્યાયિત કરવામાં આવ્યા હતા, જેમાંથી ડેટા ગ્રીનપ્લમમાં ટ્રાન્સફર થવો જોઈએ. જે પછી અમે આ ડેટા ટ્રાન્સમિટ કરવા માટે એક પદ્ધતિ બનાવવાનું શરૂ કર્યું.

SAP એકદમ મોટી સંખ્યામાં એકીકરણ પદ્ધતિઓ પ્રદાન કરે છે. પરંતુ સૌથી સહેલો રસ્તો એ છે કે લાઇસન્સિંગ પ્રતિબંધોને કારણે ડેટાબેઝની સીધી ઍક્સેસ પ્રતિબંધિત છે. આમ, તમામ સંકલન પ્રવાહો એપ્લીકેશન સર્વર સ્તર પર અમલમાં મુકવા જોઈએ.
આગળની સમસ્યા SAP ડેટાબેઝમાં કાઢી નાખવામાં આવેલા રેકોર્ડ્સ વિશેના ડેટાનો અભાવ હતો. જ્યારે તમે ડેટાબેઝમાંથી કોઈ પંક્તિ કાઢી નાખો છો, ત્યારે તે ભૌતિક રીતે કાઢી નાખવામાં આવે છે. તે. પરિવર્તનના સમયના આધારે પરિવર્તન ડેલ્ટાની રચના શક્ય ન હતી.

અલબત્ત, SAP HCM પાસે ડેટાના ફેરફારોને રેકોર્ડ કરવા માટેની પદ્ધતિઓ છે. ઉદાહરણ તરીકે, પ્રાપ્તકર્તા સિસ્ટમમાં અનુગામી સ્થાનાંતરણ માટે, ત્યાં પરિવર્તન નિર્દેશકો છે જે કોઈપણ ફેરફારોને રેકોર્ડ કરે છે અને તેના આધારે Idoc રચાય છે (બાહ્ય સિસ્ટમમાં સ્થાનાંતરણ માટેનો એક ઑબ્જેક્ટ).

કર્મચારી નંબર 0302 ધરાવતા કર્મચારી માટે ઇન્ફોટાઇપ 1251445 બદલવા માટે IDocનું ઉદાહરણ:

અથવા DBTABLOG કોષ્ટકમાં ડેટા ફેરફારોના લોગ રાખવા.

hrp53216375 કોષ્ટકમાંથી QK1000 કી સાથે રેકોર્ડ કાઢી નાખવા માટેના લોગનું ઉદાહરણ:

પરંતુ આ મિકેનિઝમ્સ તમામ જરૂરી ડેટા માટે ઉપલબ્ધ નથી, અને એપ્લિકેશન સર્વર સ્તર પર તેમની પ્રક્રિયા ઘણા બધા સંસાધનોનો ઉપયોગ કરી શકે છે. તેથી, તમામ જરૂરી કોષ્ટકો પર મોટા પાયે લોગીંગને સક્ષમ કરવાથી સિસ્ટમની કામગીરીમાં નોંધપાત્ર ઘટાડો થઈ શકે છે.

આગામી મુખ્ય સમસ્યા ક્લસ્ટર કોષ્ટકો હતી. SAP HCM ના RDBMS સંસ્કરણમાં સમયનો અંદાજ અને પેરોલ ડેટા દરેક ગણતરી માટે દરેક કર્મચારી માટે લોજિકલ કોષ્ટકોના સમૂહ તરીકે સંગ્રહિત થાય છે. આ લોજિકલ કોષ્ટકો કોષ્ટક pcl2 માં બાઈનરી ડેટા તરીકે સંગ્રહિત છે.

પેરોલ ક્લસ્ટર:

ક્લસ્ટર્ડ કોષ્ટકોમાંથી ડેટાને SQL આદેશ તરીકે ગણી શકાય નહીં, પરંતુ SAP HCM મેક્રો અથવા વિશિષ્ટ કાર્યાત્મક મોડ્યુલોનો ઉપયોગ જરૂરી છે. તદનુસાર, આવા કોષ્ટકોની વાંચન ઝડપ તદ્દન ઓછી હશે. બીજી તરફ, આવા ક્લસ્ટર્સ મહિનામાં માત્ર એક જ વાર જરૂરી ડેટા સ્ટોર કરે છે - અંતિમ પગારપત્રક અને સમયનો અંદાજ. તેથી આ કિસ્સામાં ઝડપ એટલી જટિલ નથી.

ડેટા ફેરફારોનો ડેલ્ટા બનાવવા માટેના વિકલ્પોનું મૂલ્યાંકન કરીને, અમે સંપૂર્ણ અનલોડિંગના વિકલ્પને પણ ધ્યાનમાં લેવાનું નક્કી કર્યું. દરરોજ સિસ્ટમો વચ્ચે અપરિવર્તિત ડેટાના ગીગાબાઇટ્સ સ્થાનાંતરિત કરવાનો વિકલ્પ સારો ન લાગે. જો કે, તેના ઘણા ફાયદા પણ છે - સ્ત્રોત બાજુ પર ડેલ્ટાને અમલમાં મૂકવાની અને રીસીવર બાજુ પર આ ડેલ્ટાના એમ્બેડિંગને અમલમાં મૂકવાની જરૂર નથી. તદનુસાર, ખર્ચ અને અમલીકરણનો સમય ઓછો થાય છે, અને એકીકરણની વિશ્વસનીયતા વધે છે. તે જ સમયે, તે નિર્ધારિત કરવામાં આવ્યું હતું કે SAP HR માં લગભગ તમામ ફેરફારો વર્તમાન તારીખના ત્રણ મહિના પહેલાની ક્ષિતિજની અંદર થાય છે. આમ, વર્તમાન તારીખના મહિના પહેલા SAP HR N ના ડેટાના દૈનિક સંપૂર્ણ ડાઉનલોડ અને માસિક સંપૂર્ણ ડાઉનલોડ કરવાનું પસંદ કરવાનું નક્કી કરવામાં આવ્યું હતું. N પરિમાણ ચોક્કસ કોષ્ટક પર આધાર રાખે છે
અને 1 થી 15 સુધીની છે.

ડેટા નિષ્કર્ષણ માટે નીચેની યોજનાની દરખાસ્ત કરવામાં આવી હતી:

બાહ્ય સિસ્ટમ વિનંતી જનરેટ કરે છે અને તેને SAP HCM ને મોકલે છે, જ્યાં આ વિનંતી ડેટાની સંપૂર્ણતા અને કોષ્ટકોને ઍક્સેસ કરવાની પરવાનગી માટે તપાસવામાં આવે છે. જો ચેક સફળ થાય, તો SAP HCM એક પ્રોગ્રામ ચલાવે છે જે જરૂરી ડેટા એકત્રિત કરે છે અને તેને ફ્યુઝ એકીકરણ સોલ્યુશનમાં સ્થાનાંતરિત કરે છે. ફ્યુઝ કાફકામાં જરૂરી વિષય નક્કી કરે છે અને ત્યાં ડેટા ટ્રાન્સફર કરે છે. આગળ, કાફકાનો ડેટા સ્ટેજ એરિયા જીપીમાં ટ્રાન્સફર થાય છે.

આ સાંકળમાં, અમને SAP HCM માંથી ડેટા કાઢવાના મુદ્દામાં રસ છે. ચાલો તેને વધુ વિગતમાં જોઈએ.

SAP HCM-FUSE ક્રિયાપ્રતિક્રિયા ડાયાગ્રામ.

બાહ્ય સિસ્ટમ SAP ને છેલ્લી સફળ વિનંતીનો સમય નક્કી કરે છે.
પ્રક્રિયાને ટાઈમર અથવા અન્ય ઇવેન્ટ દ્વારા શરૂ કરી શકાય છે, જેમાં SAP ના ડેટા સાથે પ્રતિસાદની રાહ જોવા માટે સમયસમાપ્તિ સેટ કરવી અને પુનરાવર્તિત વિનંતી શરૂ કરવી શામેલ છે. પછી તે ડેલ્ટા વિનંતી જનરેટ કરે છે અને તેને SAP ને મોકલે છે.

વિનંતીનો ડેટા json ફોર્મેટમાં બોડીને મોકલવામાં આવે છે.
પદ્ધતિ http: POST.
ઉદાહરણ વિનંતી:

SAP સેવા સંપૂર્ણતા માટેની વિનંતી, વર્તમાન SAP માળખાનું પાલન અને વિનંતી કરેલ કોષ્ટકની ઍક્સેસ પરવાનગીની ઉપલબ્ધતા પર નજર રાખે છે.

ભૂલોના કિસ્સામાં, સેવા યોગ્ય કોડ અને વર્ણન સાથે પ્રતિસાદ આપે છે. જો નિયંત્રણ સફળ થાય છે, તો તે નમૂના જનરેટ કરવા માટે એક પૃષ્ઠભૂમિ પ્રક્રિયા બનાવે છે, જનરેટ કરે છે અને સિંક્રનસ રીતે અનન્ય સત્ર id પરત કરે છે.

ભૂલના કિસ્સામાં, બાહ્ય સિસ્ટમ તેને લોગમાં રેકોર્ડ કરે છે. સફળ પ્રતિસાદના કિસ્સામાં, તે સત્ર ID અને કોષ્ટકનું નામ પ્રસારિત કરે છે જેના માટે વિનંતી કરવામાં આવી હતી.

બાહ્ય સિસ્ટમ વર્તમાન સત્રને ખુલ્લા તરીકે રજીસ્ટર કરે છે. જો આ કોષ્ટક માટે અન્ય સત્રો હોય, તો તે ચેતવણી લોગ સાથે બંધ કરવામાં આવે છે.

SAP પૃષ્ઠભૂમિ જોબ નિર્દિષ્ટ પરિમાણો અને ઉલ્લેખિત કદના ડેટા પેકેટના આધારે કર્સર જનરેટ કરે છે. બેચનું કદ એ રેકોર્ડ્સની મહત્તમ સંખ્યા છે જે પ્રક્રિયા ડેટાબેઝમાંથી વાંચે છે. મૂળભૂત રીતે, તે 2000 ની બરાબર હોવાનું માનવામાં આવે છે. જો ડેટાબેઝ નમૂનામાં વપરાયેલ પેકેટના કદ કરતાં વધુ રેકોર્ડ્સ હોય, તો પ્રથમ પેકેટ ટ્રાન્સમિટ કર્યા પછી, અનુરૂપ ઓફસેટ અને વધારાના પેકેટ નંબર સાથે આગળનો બ્લોક રચાય છે. સંખ્યાઓ 1 દ્વારા વધારવામાં આવે છે અને સખત રીતે ક્રમિક રીતે મોકલવામાં આવે છે.

આગળ, SAP બાહ્ય સિસ્ટમની વેબ સેવામાં ઇનપુટ તરીકે પેકેટ પસાર કરે છે. અને સિસ્ટમ ઇનકમિંગ પેકેટ પર નિયંત્રણો કરે છે. પ્રાપ્ત ID સાથેનું સત્ર સિસ્ટમમાં નોંધાયેલ હોવું જોઈએ અને તે ઓપન સ્ટેટસમાં હોવું જોઈએ. જો પેકેજ નંબર > 1 હોય, તો સિસ્ટમે અગાઉના પેકેજની સફળ રસીદ (package_id-1) રેકોર્ડ કરવી જોઈએ.

જો નિયંત્રણ સફળ થાય, તો બાહ્ય સિસ્ટમ કોષ્ટક ડેટાને પાર્સ કરે છે અને સાચવે છે.

વધુમાં, જો અંતિમ ધ્વજ પેકેજમાં હાજર હોય અને સીરીયલાઇઝેશન સફળ થયું હોય, તો એકીકરણ મોડ્યુલને સત્ર પ્રક્રિયાના સફળ સમાપ્તિ વિશે સૂચિત કરવામાં આવે છે અને મોડ્યુલ સત્ર સ્થિતિને અપડેટ કરે છે.

કંટ્રોલ/પાર્સિંગ ભૂલના કિસ્સામાં, ભૂલ લોગ થઈ જાય છે અને આ સત્ર માટેના પેકેટો બાહ્ય સિસ્ટમ દ્વારા નકારવામાં આવશે.

તેવી જ રીતે, વિપરીત કિસ્સામાં, જ્યારે બાહ્ય સિસ્ટમ ભૂલ આપે છે, ત્યારે તે લોગ થાય છે અને પેકેટ ટ્રાન્સમિશન બંધ થાય છે.

SAP HСM બાજુ પર ડેટાની વિનંતી કરવા માટે, એકીકરણ સેવા લાગુ કરવામાં આવી હતી. આ સેવા ICF ફ્રેમવર્ક (SAP ઈન્ટરનેટ કોમ્યુનિકેશન ફ્રેમવર્ક -) પર લાગુ કરવામાં આવી છે. help.sap.com/viewer/6da7259a6c4b1014b7d5e759cc76fd22/7.01.22/en-US/488d6e0ea6ed72d5e10000000a42189c.html). તે તમને ચોક્કસ કોષ્ટકોનો ઉપયોગ કરીને SAP HCM સિસ્ટમમાંથી ડેટાની ક્વેરી કરવાની પરવાનગી આપે છે. ડેટા વિનંતી બનાવતી વખતે, જરૂરી ડેટા મેળવવા માટે ચોક્કસ ક્ષેત્રો અને ફિલ્ટરિંગ પરિમાણોની સૂચિનો ઉલ્લેખ કરવો શક્ય છે. તે જ સમયે, સેવાનો અમલ કોઈપણ વ્યવસાય તર્ક સૂચિત કરતું નથી. ડેલ્ટા, ક્વેરી પેરામીટર્સ, ઇન્ટિગ્રિટી મોનિટરિંગ વગેરેની ગણતરી માટેના અલ્ગોરિધમ્સ પણ બાહ્ય સિસ્ટમની બાજુમાં લાગુ કરવામાં આવે છે.

આ મિકેનિઝમ તમને થોડા કલાકોમાં તમામ જરૂરી ડેટા એકત્રિત અને ટ્રાન્સમિટ કરવાની મંજૂરી આપે છે. આ ઝડપ સ્વીકાર્ય થવાની ધાર પર છે, તેથી અમે આ ઉકેલને અસ્થાયી તરીકે ધ્યાનમાં લઈએ છીએ, જેણે પ્રોજેક્ટ પર નિષ્કર્ષણ સાધનની જરૂરિયાતને ભરવાનું શક્ય બનાવ્યું.
લક્ષ્ય ચિત્રમાં, ડેટા નિષ્કર્ષણની સમસ્યાને ઉકેલવા માટે, Oracle ગોલ્ડન ગેટ અથવા ETL ટૂલ્સ જેમ કે SAP DS જેવા CDC સિસ્ટમનો ઉપયોગ કરવાના વિકલ્પોની શોધ કરવામાં આવી રહી છે.

સોર્સ: www.habr.com