एसएपी एचसीएम से गैर-एसएपी डेटा वेयरहाउस में डेटा निकालना

जैसा कि आप जानते हैं, एसएपी लेनदेन संबंधी डेटा को बनाए रखने और विश्लेषण और रिपोर्टिंग सिस्टम में इस डेटा को संसाधित करने के लिए सॉफ्टवेयर की एक पूरी श्रृंखला प्रदान करता है। विशेष रूप से, SAP बिजनेस वेयरहाउस (SAP BW) प्लेटफॉर्म व्यापक तकनीकी क्षमताओं के साथ डेटा को संग्रहीत और विश्लेषण करने के लिए एक टूलकिट है। अपने सभी वस्तुनिष्ठ लाभों के बावजूद, SAP BW प्रणाली में एक महत्वपूर्ण खामी है। यह डेटा भंडारण और प्रसंस्करण की उच्च लागत है, विशेष रूप से हाना पर क्लाउड-आधारित एसएपी बीडब्ल्यू का उपयोग करते समय ध्यान देने योग्य है।

यदि आप भंडारण के रूप में कुछ गैर-एसएपी और अधिमानतः एक ओपनसोर्स उत्पाद का उपयोग करना शुरू कर दें तो क्या होगा? हमने X5 रिटेल ग्रुप में ग्रीनप्लम को चुना। यह, निश्चित रूप से, लागत के मुद्दे को हल करता है, लेकिन साथ ही, ऐसे मुद्दे तुरंत उत्पन्न होते हैं जिन्हें SAP BW का उपयोग करते समय लगभग डिफ़ॉल्ट रूप से हल किया गया था।

विशेष रूप से, स्रोत सिस्टम से डेटा कैसे पुनर्प्राप्त करें, जो अधिकतर SAP समाधान हैं?

एचआर मेट्रिक्स पहला प्रोजेक्ट था जिसमें इस समस्या को हल करना जरूरी था। हमारा लक्ष्य मानव संसाधन डेटा का भंडार बनाना और कर्मचारियों के साथ काम करने के क्षेत्र में विश्लेषणात्मक रिपोर्टिंग बनाना था। इस मामले में, डेटा का मुख्य स्रोत एसएपी एचसीएम लेनदेन प्रणाली है, जिसमें सभी कार्मिक, संगठनात्मक और वेतन गतिविधियां की जाती हैं।

डेटा निकालना

SAP BW में SAP सिस्टम के लिए मानक डेटा एक्सट्रैक्टर हैं। ये एक्सट्रैक्टर स्वचालित रूप से आवश्यक डेटा एकत्र कर सकते हैं, इसकी अखंडता की निगरानी कर सकते हैं और परिवर्तन डेल्टा निर्धारित कर सकते हैं। उदाहरण के लिए, यहां कर्मचारी विशेषताओं 0EMPLOYEE_ATTR के लिए मानक डेटा स्रोत है:

एक कर्मचारी के लिए इससे डेटा निकालने का परिणाम:

यदि आवश्यक हो, तो ऐसे एक्सट्रैक्टर को आपकी अपनी आवश्यकताओं के अनुरूप संशोधित किया जा सकता है या आपका स्वयं का एक्सट्रैक्टर बनाया जा सकता है।

पहला विचार जो उत्पन्न हुआ वह उनका पुन: उपयोग करने की संभावना था। दुर्भाग्य से, यह एक असंभव कार्य साबित हुआ। अधिकांश तर्क एसएपी बीडब्ल्यू पक्ष पर लागू किया गया है, और एसएपी बीडब्ल्यू से स्रोत पर एक्सट्रैक्टर को दर्द रहित तरीके से अलग करना संभव नहीं था।

यह स्पष्ट हो गया कि हमें SAP सिस्टम से डेटा निकालने के लिए अपना स्वयं का तंत्र विकसित करने की आवश्यकता होगी।

SAP HCM में डेटा भंडारण संरचना

ऐसे तंत्र की आवश्यकताओं को समझने के लिए, हमें पहले यह निर्धारित करना होगा कि हमें किस डेटा की आवश्यकता है।

SAP HCM में अधिकांश डेटा फ्लैट SQL तालिकाओं में संग्रहीत होता है। इस डेटा के आधार पर, SAP एप्लिकेशन उपयोगकर्ता के लिए संगठनात्मक संरचनाओं, कर्मचारियों और अन्य HR जानकारी की कल्पना करते हैं। उदाहरण के लिए, SAP HCM में संगठनात्मक संरचना इस प्रकार दिखती है:

भौतिक रूप से, ऐसे पेड़ को दो तालिकाओं में संग्रहीत किया जाता है - hrp1000 ऑब्जेक्ट में और hrp1001 में इन ऑब्जेक्ट के बीच कनेक्शन।

वस्तुएँ "विभाग 1" और "कार्यालय 1":

वस्तुओं के बीच संबंध:

दोनों प्रकार की वस्तुएं और उनके बीच संबंध के प्रकार की एक बड़ी संख्या हो सकती है। वस्तुओं के बीच मानक कनेक्शन और आपकी अपनी विशिष्ट आवश्यकताओं के लिए अनुकूलित कनेक्शन दोनों होते हैं। उदाहरण के लिए, एक संगठनात्मक इकाई और पूर्णकालिक पद के बीच मानक B012 संबंध एक विभाग के प्रमुख को इंगित करता है।

SAP में प्रबंधक प्रदर्शन:

डेटाबेस तालिका में भंडारण:

कर्मचारी डेटा को pa* तालिकाओं में संग्रहीत किया जाता है। उदाहरण के लिए, किसी कर्मचारी के लिए कार्मिक घटनाओं का डेटा तालिका pa0000 में संग्रहीत किया जाता है

हमने तय किया कि ग्रीनप्लम "कच्चा" डेटा लेगा, यानी। बस उन्हें SAP तालिकाओं से कॉपी करें। और सीधे ग्रीनप्लम में उन्हें संसाधित किया जाएगा और भौतिक वस्तुओं (उदाहरण के लिए, विभाग या कर्मचारी) और मेट्रिक्स (उदाहरण के लिए, औसत हेडकाउंट) में परिवर्तित किया जाएगा।

लगभग 70 तालिकाएँ परिभाषित की गईं, जिनमें से डेटा को ग्रीनप्लम में स्थानांतरित किया जाना चाहिए। जिसके बाद हमने इस डेटा को प्रसारित करने की एक विधि पर काम करना शुरू किया।

SAP काफी बड़ी संख्या में एकीकरण तंत्र प्रदान करता है। लेकिन सबसे आसान तरीका यह है कि लाइसेंसिंग प्रतिबंधों के कारण डेटाबेस तक सीधी पहुंच निषिद्ध है। इस प्रकार, सभी एकीकरण प्रवाह को एप्लिकेशन सर्वर स्तर पर लागू किया जाना चाहिए।
अगली समस्या SAP डेटाबेस में हटाए गए रिकॉर्ड के बारे में डेटा की कमी थी। जब आप डेटाबेस में कोई पंक्ति हटाते हैं, तो वह भौतिक रूप से हटा दी जाती है। वे। परिवर्तन के समय के आधार पर परिवर्तन डेल्टा का निर्माण संभव नहीं था।

बेशक, SAP HCM में डेटा परिवर्तनों को रिकॉर्ड करने के लिए तंत्र हैं। उदाहरण के लिए, प्राप्तकर्ता सिस्टम में बाद के स्थानांतरण के लिए, परिवर्तन संकेतक होते हैं जो किसी भी परिवर्तन को रिकॉर्ड करते हैं और जिसके आधार पर एक Idoc बनता है (बाहरी सिस्टम में स्थानांतरण के लिए एक वस्तु)।

कार्मिक संख्या 0302 वाले कर्मचारी के लिए इन्फोटाइप 1251445 बदलने के लिए उदाहरण आईडीओसी:

या DBTABLOG तालिका में डेटा परिवर्तन के लॉग रखना।

hrp53216375 तालिका से कुंजी QK1000 के साथ रिकॉर्ड हटाने के लिए लॉग का एक उदाहरण:

लेकिन ये तंत्र सभी आवश्यक डेटा के लिए उपलब्ध नहीं हैं, और एप्लिकेशन सर्वर स्तर पर उनका प्रसंस्करण काफी संसाधनों का उपभोग कर सकता है। इसलिए, सभी आवश्यक तालिकाओं पर लॉगिंग को बड़े पैमाने पर सक्षम करने से सिस्टम प्रदर्शन में उल्लेखनीय गिरावट आ सकती है।

अगली बड़ी समस्या क्लस्टर्ड टेबल की थी। एसएपी एचसीएम के आरडीबीएमएस संस्करण में समय अनुमान और पेरोल डेटा प्रत्येक गणना के लिए प्रत्येक कर्मचारी के लिए तार्किक तालिकाओं के एक सेट के रूप में संग्रहीत किया जाता है। इन तार्किक तालिकाओं को तालिका pcl2 में बाइनरी डेटा के रूप में संग्रहीत किया जाता है।

पेरोल क्लस्टर:

क्लस्टर्ड तालिकाओं के डेटा को SQL कमांड के रूप में नहीं माना जा सकता है, लेकिन इसके लिए SAP HCM मैक्रोज़ या विशेष फ़ंक्शन मॉड्यूल के उपयोग की आवश्यकता होती है। तदनुसार, ऐसी तालिकाओं की पढ़ने की गति काफी कम होगी। दूसरी ओर, ऐसे क्लस्टर उस डेटा को संग्रहीत करते हैं जिसकी महीने में केवल एक बार आवश्यकता होती है - अंतिम पेरोल और समय का अनुमान। इसलिए इस मामले में गति इतनी महत्वपूर्ण नहीं है।

डेटा परिवर्तनों का डेल्टा बनाने के विकल्पों का मूल्यांकन करते हुए, हमने पूर्ण अनलोडिंग के विकल्प पर भी विचार करने का निर्णय लिया। हर दिन सिस्टम के बीच गीगाबाइट अपरिवर्तित डेटा स्थानांतरित करने का विकल्प अच्छा नहीं लग सकता है। हालाँकि, इसके कई फायदे भी हैं - स्रोत पक्ष पर डेल्टा को लागू करने और रिसीवर पक्ष पर इस डेल्टा के एम्बेडिंग को लागू करने की कोई आवश्यकता नहीं है। तदनुसार, लागत और कार्यान्वयन का समय कम हो जाता है, और एकीकरण की विश्वसनीयता बढ़ जाती है। साथ ही, यह निर्धारित किया गया कि एसएपी एचआर में लगभग सभी परिवर्तन वर्तमान तिथि से तीन महीने पहले के क्षितिज के भीतर होते हैं। इस प्रकार, वर्तमान तिथि से महीनों पहले एसएपी एचआर एन से डेटा के दैनिक पूर्ण डाउनलोड और मासिक पूर्ण डाउनलोड का विकल्प चुनने का निर्णय लिया गया। एन पैरामीटर विशिष्ट तालिका पर निर्भर करता है
और 1 से 15 तक है.

डेटा निष्कर्षण के लिए निम्नलिखित योजना प्रस्तावित की गई थी:

बाहरी सिस्टम एक अनुरोध उत्पन्न करता है और इसे एसएपी एचसीएम को भेजता है, जहां डेटा की पूर्णता और तालिकाओं तक पहुंचने की अनुमति के लिए इस अनुरोध की जांच की जाती है। यदि जाँच सफल होती है, तो SAP HCM एक प्रोग्राम चलाता है जो आवश्यक डेटा एकत्र करता है और इसे फ़्यूज़ एकीकरण समाधान में स्थानांतरित करता है। फ़्यूज़ काफ्का में आवश्यक विषय निर्धारित करता है और डेटा को वहां स्थानांतरित करता है। इसके बाद, काफ्का से डेटा स्टेज एरिया जीपी में स्थानांतरित किया जाता है।

इस श्रृंखला में, हम SAP HCM से डेटा निकालने के मुद्दे में रुचि रखते हैं। आइए इसे और अधिक विस्तार से देखें।

एसएपी एचसीएम-फ्यूज इंटरेक्शन आरेख।

बाहरी सिस्टम SAP को अंतिम सफल अनुरोध का समय निर्धारित करता है।
प्रक्रिया को टाइमर या अन्य ईवेंट द्वारा लॉन्च किया जा सकता है, जिसमें एसएपी से डेटा के साथ प्रतिक्रिया की प्रतीक्षा करने और दोबारा अनुरोध शुरू करने के लिए टाइमआउट सेट करना शामिल है। फिर यह एक डेल्टा अनुरोध उत्पन्न करता है और इसे SAP को भेजता है।

अनुरोध डेटा बॉडी को json प्रारूप में भेजा जाता है।
विधि http: पोस्ट.
उदाहरण अनुरोध:

SAP सेवा पूर्णता, वर्तमान SAP संरचना के अनुपालन और अनुरोधित तालिका तक पहुंच अनुमति की उपलब्धता के लिए अनुरोध की निगरानी करती है।

त्रुटियों के मामले में, सेवा उचित कोड और विवरण के साथ प्रतिक्रिया देती है। यदि नियंत्रण सफल होता है, तो यह एक नमूना उत्पन्न करने के लिए एक पृष्ठभूमि प्रक्रिया बनाता है, एक अद्वितीय सत्र आईडी उत्पन्न करता है और समकालिक रूप से लौटाता है।

किसी त्रुटि की स्थिति में, बाहरी सिस्टम इसे लॉग में रिकॉर्ड करता है। सफल प्रतिक्रिया के मामले में, यह सत्र आईडी और उस तालिका का नाम प्रसारित करता है जिसके लिए अनुरोध किया गया था।

बाहरी सिस्टम वर्तमान सत्र को खुले के रूप में पंजीकृत करता है। यदि इस तालिका के लिए अन्य सत्र हैं, तो उन्हें चेतावनी लॉग के साथ बंद कर दिया जाता है।

SAP बैकग्राउंड जॉब निर्दिष्ट मापदंडों और निर्दिष्ट आकार के डेटा पैकेट के आधार पर एक कर्सर उत्पन्न करता है। बैच आकार रिकॉर्ड्स की अधिकतम संख्या है जो एक प्रक्रिया डेटाबेस से पढ़ती है। डिफ़ॉल्ट रूप से, इसे 2000 के बराबर माना जाता है। यदि डेटाबेस नमूने में उपयोग किए गए पैकेट आकार से अधिक रिकॉर्ड हैं, तो पहले पैकेट को प्रसारित करने के बाद, अगला ब्लॉक संबंधित ऑफसेट और बढ़े हुए पैकेट नंबर के साथ बनता है। संख्याओं को 1 से बढ़ाया जाता है और कड़ाई से क्रमिक रूप से भेजा जाता है।

इसके बाद, SAP पैकेट को बाहरी सिस्टम की वेब सेवा में इनपुट के रूप में भेजता है। और सिस्टम आने वाले पैकेट पर नियंत्रण करता है। प्राप्त आईडी के साथ एक सत्र सिस्टम में पंजीकृत होना चाहिए और यह खुली स्थिति में होना चाहिए। यदि पैकेज संख्या > 1 है, तो सिस्टम को पिछले पैकेज (पैकेज_आईडी-1) की सफल प्राप्ति रिकॉर्ड करनी चाहिए।

यदि नियंत्रण सफल होता है, तो बाहरी सिस्टम तालिका डेटा को पार्स और सहेजता है।

इसके अतिरिक्त, यदि अंतिम ध्वज पैकेज में मौजूद है और क्रमांकन सफल रहा है, तो एकीकरण मॉड्यूल को सत्र प्रसंस्करण के सफल समापन के बारे में सूचित किया जाता है और मॉड्यूल सत्र स्थिति को अपडेट करता है।

नियंत्रण/पार्सिंग त्रुटि के मामले में, त्रुटि लॉग की जाती है और इस सत्र के पैकेट बाहरी सिस्टम द्वारा अस्वीकार कर दिए जाएंगे।

इसी तरह, विपरीत स्थिति में, जब बाहरी सिस्टम कोई त्रुटि लौटाता है, तो इसे लॉग किया जाता है और पैकेट ट्रांसमिशन बंद हो जाता है।

SAP HСM पक्ष पर डेटा का अनुरोध करने के लिए, एक एकीकरण सेवा लागू की गई थी। यह सेवा ICF फ्रेमवर्क (SAP इंटरनेट कम्युनिकेशन फ्रेमवर्क -) पर लागू की गई है help.sap.com/viewer/6da7259a6c4b1014b7d5e759cc76fd22/7.01.22/en-US/488d6e0ea6ed72d5e10000000a42189c.html). यह आपको विशिष्ट तालिकाओं का उपयोग करके SAP HCM सिस्टम से डेटा क्वेरी करने की अनुमति देता है। डेटा अनुरोध बनाते समय, आवश्यक डेटा प्राप्त करने के लिए विशिष्ट फ़ील्ड और फ़िल्टरिंग पैरामीटर की एक सूची निर्दिष्ट करना संभव है। साथ ही, सेवा के कार्यान्वयन में कोई व्यावसायिक तर्क शामिल नहीं है। डेल्टा, क्वेरी पैरामीटर, अखंडता निगरानी आदि की गणना के लिए एल्गोरिदम भी बाहरी सिस्टम के पक्ष में लागू किए जाते हैं।

यह तंत्र आपको कुछ ही घंटों में सभी आवश्यक डेटा एकत्र करने और प्रसारित करने की अनुमति देता है। यह गति स्वीकार्य होने के कगार पर है, इसलिए हम इस समाधान को अस्थायी मानते हैं, जिससे परियोजना पर निष्कर्षण उपकरण की आवश्यकता को पूरा करना संभव हो गया है।
लक्ष्य चित्र में, डेटा निष्कर्षण की समस्या को हल करने के लिए, ओरेकल गोल्डन गेट जैसे सीडीसी सिस्टम या एसएपी डीएस जैसे ईटीएल टूल का उपयोग करने के विकल्प तलाशे जा रहे हैं।

स्रोत: www.habr.com