SAP HCM वरून SAP नसलेल्या डेटा वेअरहाऊसमध्ये डेटा काढत आहे

तुम्हाला माहिती आहेच की, व्यवहार डेटा राखण्यासाठी आणि विश्लेषण आणि अहवाल प्रणालीमध्ये या डेटावर प्रक्रिया करण्यासाठी SAP सॉफ्टवेअरची संपूर्ण श्रेणी ऑफर करते. विशेषतः, SAP बिझनेस वेअरहाऊस (SAP BW) प्लॅटफॉर्म हे विस्तृत तांत्रिक क्षमतांसह डेटा संचयित आणि विश्लेषित करण्यासाठी एक टूलकिट आहे. त्याच्या सर्व वस्तुनिष्ठ फायद्यांसाठी, SAP BW प्रणालीमध्ये एक लक्षणीय कमतरता आहे. हा डेटा संचयित आणि प्रक्रिया करण्याची उच्च किंमत आहे, विशेषत: हाना वर क्लाउड-आधारित SAP BW वापरताना लक्षात येते.

तुम्ही स्टोरेज म्हणून काही नॉन-एसएपी आणि प्राधान्याने ओपनसोर्स उत्पादन वापरण्यास सुरुवात केली तर? आम्ही X5 रिटेल ग्रुपमध्ये ग्रीनप्लम निवडले. हे, अर्थातच, खर्चाच्या समस्येचे निराकरण करते, परंतु त्याच वेळी, SAP BW वापरताना जवळजवळ डीफॉल्टनुसार निराकरण झालेल्या समस्या त्वरित उद्भवतात.

विशेषतः, स्त्रोत प्रणालींमधून डेटा कसा पुनर्प्राप्त करायचा, जे बहुतेक एसएपी उपाय आहेत?

एचआर मेट्रिक्स हा पहिला प्रकल्प होता ज्यामध्ये ही समस्या सोडवणे आवश्यक होते. आमचे ध्येय एचआर डेटाचे भांडार तयार करणे आणि कर्मचार्‍यांसह कार्य करण्याच्या क्षेत्रात विश्लेषणात्मक अहवाल तयार करणे हे होते. या प्रकरणात, डेटाचा मुख्य स्त्रोत एसएपी एचसीएम व्यवहार प्रणाली आहे, ज्यामध्ये सर्व कर्मचारी, संस्थात्मक आणि वेतन क्रियाकलाप चालवले जातात.

डेटा काढणे

SAP BW मध्ये SAP सिस्टमसाठी मानक डेटा एक्स्ट्रॅक्टर आहेत. हे एक्स्ट्रॅक्टर आपोआप आवश्यक डेटा संकलित करू शकतात, त्याच्या अखंडतेचे निरीक्षण करू शकतात आणि डेल्टा बदलू शकतात. येथे, उदाहरणार्थ, कर्मचारी विशेषता 0EMPLOYEE_ATTR साठी मानक डेटा स्रोत आहे:

एका कर्मचाऱ्यासाठी त्यातून डेटा काढण्याचा परिणाम:

आवश्यक असल्यास, असा एक्स्ट्रॅक्टर आपल्या स्वतःच्या गरजेनुसार बदलला जाऊ शकतो किंवा आपला स्वतःचा एक्स्ट्रॅक्टर तयार केला जाऊ शकतो.

त्यांचा पुन्हा वापर करण्याची शक्यता निर्माण झालेली पहिली कल्पना होती. दुर्दैवाने, हे एक अशक्य कार्य असल्याचे दिसून आले. बहुतेक तर्कशास्त्र SAP BW बाजूला लागू केले जाते आणि SAP BW पासून स्त्रोतावरील एक्स्ट्रॅक्टरला वेदनारहितपणे वेगळे करणे शक्य नव्हते.

हे स्पष्ट झाले की आम्हाला SAP प्रणालींमधून डेटा काढण्यासाठी आमची स्वतःची यंत्रणा विकसित करणे आवश्यक आहे.

SAP HCM मध्ये डेटा स्टोरेज स्ट्रक्चर

अशा यंत्रणेची आवश्यकता समजून घेण्यासाठी, आम्हाला प्रथम कोणता डेटा आवश्यक आहे हे निर्धारित करणे आवश्यक आहे.

SAP HCM मधील बहुतेक डेटा सपाट SQL टेबलमध्ये संग्रहित केला जातो. या डेटाच्या आधारे, एसएपी ऍप्लिकेशन्स वापरकर्त्याला संघटनात्मक संरचना, कर्मचारी आणि इतर एचआर माहितीची कल्पना करतात. उदाहरणार्थ, एसएपी एचसीएममध्ये संघटनात्मक रचना अशी दिसते:

भौतिकदृष्ट्या, असे झाड दोन टेबल्समध्ये साठवले जाते - hrp1000 वस्तूंमध्ये आणि hrp1001 मध्ये या वस्तूंमधील कनेक्शन.

ऑब्जेक्ट्स "विभाग 1" आणि "ऑफिस 1":

वस्तूंमधील संबंध:

दोन्ही प्रकारच्या वस्तू आणि त्यांच्यामधील कनेक्शनचे प्रकार मोठ्या संख्येने असू शकतात. तुमच्या स्वतःच्या विशिष्ट गरजांसाठी वस्तू आणि सानुकूलित अशा दोन्ही मानक कनेक्शन आहेत. उदाहरणार्थ, संस्थात्मक एकक आणि पूर्ण-वेळ स्थिती यांच्यातील मानक B012 संबंध विभागाचे प्रमुख सूचित करतात.

SAP मध्ये व्यवस्थापक प्रदर्शन:

डेटाबेस टेबलमध्ये स्टोरेज:

कर्मचारी डेटा pa* टेबलमध्ये संग्रहित केला जातो. उदाहरणार्थ, कर्मचार्‍यासाठी कर्मचार्‍यांच्या घटनांवरील डेटा टेबल pa0000 मध्ये संग्रहित केला जातो

आम्ही ठरवले की ग्रीनप्लम “रॉ” डेटा घेईल, म्हणजे. त्यांना फक्त SAP टेबलवरून कॉपी करा. आणि थेट ग्रीनप्लममध्ये त्यांच्यावर प्रक्रिया केली जाईल आणि भौतिक वस्तू (उदाहरणार्थ, विभाग किंवा कर्मचारी) आणि मेट्रिक्स (उदाहरणार्थ, सरासरी हेडकाउंट) मध्ये रूपांतरित केले जातील.

सुमारे 70 सारण्या परिभाषित केल्या होत्या, ज्यामधून डेटा ग्रीनप्लममध्ये हस्तांतरित करणे आवश्यक आहे. त्यानंतर आम्ही हा डेटा प्रसारित करण्यासाठी एक पद्धत तयार करण्यास सुरुवात केली.

SAP बऱ्यापैकी मोठ्या प्रमाणात एकत्रीकरण यंत्रणा ऑफर करते. परंतु सर्वात सोपा मार्ग म्हणजे परवाना निर्बंधांमुळे डेटाबेसमध्ये थेट प्रवेश प्रतिबंधित आहे. अशा प्रकारे, सर्व एकत्रीकरण प्रवाह अनुप्रयोग सर्व्हर स्तरावर लागू केले जाणे आवश्यक आहे.
पुढील समस्या SAP डेटाबेसमधील हटविलेल्या रेकॉर्डबद्दल डेटाची कमतरता होती. जेव्हा तुम्ही डेटाबेसमधील पंक्ती हटवता तेव्हा ती भौतिकरित्या हटविली जाते. त्या. बदलाच्या वेळेवर आधारित बदल डेल्टा तयार करणे शक्य नव्हते.

अर्थात, SAP HCM कडे डेटा बदल रेकॉर्ड करण्याची यंत्रणा आहे. उदाहरणार्थ, प्राप्तकर्त्याच्या सिस्टममध्ये त्यानंतरच्या हस्तांतरणासाठी, कोणतेही बदल नोंदवणारे बदल पॉइंटर आहेत आणि ज्याच्या आधारावर एक आयडॉक तयार केला जातो (बाह्य सिस्टममध्ये हस्तांतरणासाठी एक ऑब्जेक्ट).

कर्मचारी क्रमांक १२५१४४५ असलेल्या कर्मचाऱ्यासाठी इन्फोटाइप ०३०२ बदलण्यासाठी IDoc चे उदाहरण:

किंवा DBTABLOG सारणीमध्ये डेटा बदलांचे लॉग ठेवणे.

hrp53216375 टेबलवरून QK1000 की सह रेकॉर्ड हटवण्यासाठी लॉगचे उदाहरण:

परंतु या यंत्रणा सर्व आवश्यक डेटासाठी उपलब्ध नाहीत आणि अॅप्लिकेशन सर्व्हर स्तरावर त्यांची प्रक्रिया बरीच संसाधने वापरू शकते. म्हणून, सर्व आवश्यक सारण्यांवर मोठ्या प्रमाणात लॉगिंग सक्षम केल्याने सिस्टम कार्यक्षमतेत लक्षणीय घट होऊ शकते.

पुढील प्रमुख समस्या क्लस्टर टेबल्सची होती. SAP HCM च्या RDBMS आवृत्तीमधील वेळेचा अंदाज आणि वेतन डेटा प्रत्येक गणनेसाठी प्रत्येक कर्मचाऱ्यासाठी तार्किक सारण्यांचा संच म्हणून संग्रहित केला जातो. हे लॉजिकल टेबल pcl2 मध्ये बायनरी डेटा म्हणून साठवले जातात.

पेरोल क्लस्टर:

क्लस्टर केलेल्या सारण्यांवरील डेटा SQL कमांड म्हणून मानला जाऊ शकत नाही, परंतु SAP HCM मॅक्रो किंवा विशेष फंक्शन मॉड्यूल वापरणे आवश्यक आहे. त्यानुसार, अशा सारण्यांचा वाचन वेग खूपच कमी असेल. दुसरीकडे, असे क्लस्टर महिन्यातून एकदाच आवश्यक असलेला डेटा संग्रहित करतात - अंतिम वेतन आणि वेळेचा अंदाज. त्यामुळे या प्रकरणात वेग इतका गंभीर नाही.

डेटा बदलांचा डेल्टा तयार करण्यासाठी पर्यायांचे मूल्यांकन करताना, आम्ही पूर्ण अनलोडिंगच्या पर्यायाचा देखील विचार करण्याचे ठरवले. दररोज सिस्टीम दरम्यान अपरिवर्तित डेटाचे गीगाबाइट्स हस्तांतरित करण्याचा पर्याय कदाचित चांगला दिसत नाही. तथापि, त्याचे बरेच फायदे देखील आहेत - स्त्रोत बाजूला डेल्टा लागू करणे आणि रिसीव्हर बाजूला या डेल्टाचे एम्बेडिंग लागू करणे या दोन्हीची आवश्यकता नाही. त्यानुसार, खर्च आणि अंमलबजावणीची वेळ कमी होते आणि एकत्रीकरणाची विश्वासार्हता वाढते. त्याच वेळी, हे निश्चित केले गेले की एसएपी एचआरमधील जवळजवळ सर्व बदल वर्तमान तारखेच्या तीन महिन्यांपूर्वीच्या क्षितिजाच्या आत होतात. अशाप्रकारे, सध्याच्या तारखेच्या आधी SAP HR N मधून दररोज पूर्ण डेटा डाउनलोड करण्याचा आणि मासिक पूर्ण डाउनलोड करण्याचा निर्णय घेण्यात आला. एन पॅरामीटर विशिष्ट सारणीवर अवलंबून असते
आणि 1 ते 15 पर्यंत आहे.

डेटा काढण्यासाठी खालील योजना प्रस्तावित करण्यात आली होती:

बाह्य प्रणाली विनंती व्युत्पन्न करते आणि ती SAP HCM कडे पाठवते, जिथे ही विनंती डेटाची पूर्णता आणि टेबल्समध्ये प्रवेश करण्यासाठी परवानग्यांसाठी तपासली जाते. चेक यशस्वी झाल्यास, SAP HCM एक प्रोग्राम चालवते जो आवश्यक डेटा गोळा करतो आणि तो फ्यूज इंटिग्रेशन सोल्यूशनमध्ये हस्तांतरित करतो. फ्यूज काफ्कामधील आवश्यक विषय निश्चित करतो आणि डेटा तेथे हस्तांतरित करतो. पुढे, काफ्काकडील डेटा स्टेज एरिया जीपीकडे हस्तांतरित केला जातो.

या साखळीमध्ये, आम्हाला SAP HCM कडून डेटा काढण्याच्या समस्येमध्ये स्वारस्य आहे. चला ते अधिक तपशीलवार पाहू.

SAP HCM-FUSE संवाद आकृती.

बाह्य प्रणाली SAP ला शेवटच्या यशस्वी विनंतीची वेळ ठरवते.
टाइमर किंवा इतर इव्हेंटद्वारे प्रक्रिया सुरू केली जाऊ शकते, ज्यामध्ये SAP कडील डेटासह प्रतिसादाची प्रतीक्षा करण्यासाठी कालबाह्य सेट करणे आणि पुनरावृत्ती विनंती सुरू करणे समाविष्ट आहे. मग ते डेल्टा विनंती व्युत्पन्न करते आणि SAP ला पाठवते.

विनंती डेटा मुख्य भागावर json स्वरूपात पाठविला जातो.
पद्धत http: POST.
उदाहरण विनंती:

SAP सेवा विनंती पूर्णतेसाठी, सध्याच्या SAP संरचनेचे पालन आणि विनंती केलेल्या टेबलवर प्रवेश परवानगीच्या उपलब्धतेवर लक्ष ठेवते.

त्रुटी आढळल्यास, सेवा योग्य कोड आणि वर्णनासह प्रतिसाद देते. नियंत्रण यशस्वी झाल्यास, ते नमुना व्युत्पन्न करण्यासाठी पार्श्वभूमी प्रक्रिया तयार करते, व्युत्पन्न करते आणि समक्रमितपणे एक अद्वितीय सत्र आयडी परत करते.

त्रुटी आढळल्यास, बाह्य प्रणाली लॉगमध्ये रेकॉर्ड करते. यशस्वी प्रतिसादाच्या बाबतीत, ते सत्र आयडी आणि विनंती केलेल्या सारणीचे नाव प्रसारित करते.

बाह्य प्रणाली चालू सत्र खुल्या म्हणून नोंदणीकृत करते. या सारणीसाठी इतर सत्रे असल्यास, ते लॉग इन केलेल्या चेतावणीसह बंद केले जातात.

SAP बॅकग्राउंड जॉब निर्दिष्ट पॅरामीटर्सवर आधारित कर्सर आणि निर्दिष्ट आकाराचे डेटा पॅकेट तयार करते. बॅच आकार म्हणजे डेटाबेसमधून प्रोसेस वाचलेल्या रेकॉर्डची कमाल संख्या. डीफॉल्टनुसार, ते 2000 च्या बरोबरीचे आहे असे गृहीत धरले जाते. जर डेटाबेस नमुन्यात वापरलेल्या पॅकेटच्या आकारापेक्षा जास्त नोंदी असतील तर, पहिले पॅकेट प्रसारित केल्यानंतर, पुढील ब्लॉक संबंधित ऑफसेट आणि वाढीव पॅकेट क्रमांकासह तयार केला जातो. संख्या 1 ने वाढवली आहे आणि काटेकोरपणे क्रमाने पाठवली आहे.

पुढे, SAP बाह्य प्रणालीच्या वेब सेवेला इनपुट म्हणून पॅकेट पास करते. आणि सिस्टम इनकमिंग पॅकेटवर नियंत्रणे करते. प्राप्त आयडी सह सत्र प्रणालीमध्ये नोंदणीकृत असणे आवश्यक आहे आणि ते खुल्या स्थितीत असणे आवश्यक आहे. जर पॅकेज क्रमांक > 1 असेल, तर सिस्टमने मागील पॅकेजची यशस्वी पावती रेकॉर्ड केली पाहिजे (package_id-1).

नियंत्रण यशस्वी झाल्यास, बाह्य प्रणाली टेबल डेटाचे विश्लेषण करते आणि जतन करते.

याव्यतिरिक्त, जर पॅकेजमध्ये अंतिम ध्वज उपस्थित असेल आणि सीरियलायझेशन यशस्वी झाले असेल, तर एकीकरण मॉड्यूलला सत्र प्रक्रिया यशस्वीरित्या पूर्ण झाल्याबद्दल सूचित केले जाते आणि मॉड्यूल सत्र स्थिती अद्यतनित करते.

नियंत्रण/विश्लेषण त्रुटीच्या बाबतीत, त्रुटी लॉग केली जाते आणि या सत्रासाठी पॅकेट्स बाह्य प्रणालीद्वारे नाकारले जातील.

त्याचप्रमाणे, उलट परिस्थितीत, जेव्हा बाह्य प्रणाली त्रुटी परत करते, तेव्हा ते लॉग केले जाते आणि पॅकेट ट्रांसमिशन थांबते.

SAP HCM बाजूला डेटाची विनंती करण्यासाठी, एकीकरण सेवा लागू करण्यात आली. ही सेवा ICF फ्रेमवर्क (SAP इंटरनेट कम्युनिकेशन फ्रेमवर्क -) वर लागू केली आहे. help.sap.com/viewer/6da7259a6c4b1014b7d5e759cc76fd22/7.01.22/en-US/488d6e0ea6ed72d5e10000000a42189c.html). हे तुम्हाला विशिष्ट तक्त्यांचा वापर करून SAP HCM सिस्टीमवरून डेटाची क्वेरी करण्यास अनुमती देते. डेटा विनंती तयार करताना, आवश्यक डेटा प्राप्त करण्यासाठी विशिष्ट फील्ड आणि फिल्टरिंग पॅरामीटर्सची सूची निर्दिष्ट करणे शक्य आहे. त्याच वेळी, सेवेची अंमलबजावणी कोणत्याही व्यावसायिक तर्काला सूचित करत नाही. डेल्टा, क्वेरी पॅरामीटर्स, इंटिग्रिटी मॉनिटरिंग इत्यादींची गणना करण्यासाठी अल्गोरिदम देखील बाह्य प्रणालीच्या बाजूला लागू केले जातात.

ही यंत्रणा आपल्याला काही तासांत सर्व आवश्यक डेटा संकलित आणि प्रसारित करण्यास अनुमती देते. हा वेग स्वीकार्य होण्याच्या मार्गावर आहे, म्हणून आम्ही हा उपाय तात्पुरता मानतो, ज्यामुळे प्रकल्पावरील एक्स्ट्रॅक्शन टूलची आवश्यकता पूर्ण करणे शक्य झाले.
लक्ष्य चित्रात, डेटा काढण्याच्या समस्येचे निराकरण करण्यासाठी, Oracle गोल्डन गेट किंवा ETL टूल्स जसे की SAP DS सारख्या CDC सिस्टम वापरण्याचे पर्याय शोधले जात आहेत.

स्त्रोत: www.habr.com