এসএপি এইচসিএম থেকে নন-এসএপি ডেটা গুদামগুলিতে ডেটা বের করা হচ্ছে

আপনি জানেন যে, SAP লেনদেন সংক্রান্ত ডেটা বজায় রাখার জন্য এবং বিশ্লেষণ এবং রিপোর্টিং সিস্টেমে এই ডেটা প্রক্রিয়াকরণের জন্য একটি সম্পূর্ণ পরিসরের সফ্টওয়্যার সরবরাহ করে। বিশেষ করে, SAP বিজনেস ওয়ারহাউস (SAP BW) প্ল্যাটফর্মটি ব্যাপক প্রযুক্তিগত ক্ষমতা সহ ডেটা সংরক্ষণ এবং বিশ্লেষণ করার জন্য একটি টুলকিট। এর সমস্ত উদ্দেশ্যমূলক সুবিধার জন্য, SAP BW সিস্টেমের একটি উল্লেখযোগ্য ত্রুটি রয়েছে। এটি ডেটা সংরক্ষণ এবং প্রক্রিয়াকরণের একটি উচ্চ খরচ, বিশেষ করে হানায় ক্লাউড-ভিত্তিক SAP BW ব্যবহার করার সময় লক্ষণীয়।

আপনি যদি স্টোরেজ হিসাবে কিছু নন-এসএপি এবং পছন্দসই একটি ওপেনসোর্স পণ্য ব্যবহার করা শুরু করেন? আমরা X5 রিটেল গ্রুপে GreenPlum বেছে নিয়েছি। এটি অবশ্যই খরচের সমস্যা সমাধান করে, কিন্তু একই সময়ে, সমস্যাগুলি অবিলম্বে দেখা দেয় যা SAP BW ব্যবহার করার সময় প্রায় ডিফল্টভাবে সমাধান করা হয়েছিল।

বিশেষ করে, কীভাবে সোর্স সিস্টেম থেকে ডেটা পুনরুদ্ধার করা যায়, যা বেশিরভাগ SAP সমাধান?

এইচআর মেট্রিক্স ছিল প্রথম প্রকল্প যেখানে এই সমস্যাটি সমাধান করা প্রয়োজন ছিল। আমাদের লক্ষ্য ছিল এইচআর ডেটার একটি ভান্ডার তৈরি করা এবং কর্মীদের সাথে কাজ করার ক্ষেত্রে বিশ্লেষণাত্মক প্রতিবেদন তৈরি করা। এই ক্ষেত্রে, ডেটার প্রধান উৎস হল SAP HCM লেনদেন ব্যবস্থা, যেখানে সমস্ত কর্মী, সাংগঠনিক এবং বেতন কার্যক্রম পরিচালিত হয়।

তথ্য নিষ্কাশন

SAP BW-তে SAP সিস্টেমের জন্য স্ট্যান্ডার্ড ডেটা এক্সট্র্যাক্টর রয়েছে। এই এক্সট্র্যাক্টরগুলি স্বয়ংক্রিয়ভাবে প্রয়োজনীয় ডেটা সংগ্রহ করতে পারে, এর অখণ্ডতা নিরীক্ষণ করতে পারে এবং ডেল্টা পরিবর্তন করতে পারে। এখানে, উদাহরণস্বরূপ, কর্মচারী বৈশিষ্ট্য 0EMPLOYEE_ATTR-এর জন্য স্ট্যান্ডার্ড ডেটা উৎস:

একজন কর্মীর জন্য এটি থেকে ডেটা বের করার ফলাফল:

প্রয়োজনে, এই জাতীয় এক্সট্র্যাক্টর আপনার নিজের প্রয়োজনীয়তা অনুসারে পরিবর্তন করা যেতে পারে বা আপনার নিজস্ব এক্সট্র্যাক্টর তৈরি করা যেতে পারে।

উত্থাপিত প্রথম ধারণা ছিল তাদের পুনরায় ব্যবহার করার সম্ভাবনা। দুর্ভাগ্যবশত, এটি একটি অসম্ভব কাজ হতে পরিণত. বেশিরভাগ যুক্তি SAP BW দিকে প্রয়োগ করা হয়, এবং SAP BW থেকে উৎসে নিষ্কাশনকারীকে ব্যথাহীনভাবে আলাদা করা সম্ভব ছিল না।

এটা সুস্পষ্ট হয়ে উঠেছে যে SAP সিস্টেমগুলি থেকে ডেটা বের করার জন্য আমাদের নিজস্ব প্রক্রিয়া তৈরি করতে হবে।

SAP HCM-এ ডেটা স্টোরেজ স্ট্রাকচার

এই জাতীয় প্রক্রিয়ার প্রয়োজনীয়তা বোঝার জন্য, আমাদের প্রথমে আমাদের কী ডেটা প্রয়োজন তা নির্ধারণ করতে হবে।

SAP HCM-এর বেশিরভাগ ডেটা ফ্ল্যাট SQL টেবিলে সংরক্ষিত থাকে। এই ডেটার উপর ভিত্তি করে, SAP অ্যাপ্লিকেশনগুলি ব্যবহারকারীর কাছে সাংগঠনিক কাঠামো, কর্মচারী এবং অন্যান্য এইচআর তথ্য কল্পনা করে। উদাহরণস্বরূপ, এসএপি এইচসিএম-এ সাংগঠনিক কাঠামোটি দেখতে কেমন:

শারীরিকভাবে, এই জাতীয় গাছ দুটি টেবিলে সংরক্ষণ করা হয় - hrp1000 বস্তুতে এবং hrp1001 এ এই বস্তুগুলির মধ্যে সংযোগ।

বস্তু "বিভাগ 1" এবং "অফিস 1":

বস্তুর মধ্যে সম্পর্ক:

উভয় ধরণের বস্তু এবং তাদের মধ্যে সংযোগের প্রকারের বিপুল সংখ্যক হতে পারে। আপনার নিজস্ব নির্দিষ্ট প্রয়োজনের জন্য অবজেক্ট এবং কাস্টমাইজডের মধ্যে উভয়ই স্ট্যান্ডার্ড সংযোগ রয়েছে। উদাহরণস্বরূপ, একটি সাংগঠনিক ইউনিট এবং একটি পূর্ণ-সময় অবস্থানের মধ্যে আদর্শ B012 সম্পর্ক একটি বিভাগের প্রধানকে নির্দেশ করে।

SAP এ ম্যানেজার ডিসপ্লে:

একটি ডাটাবেস টেবিলে স্টোরেজ:

কর্মচারী ডেটা pa* টেবিলে সংরক্ষণ করা হয়। উদাহরণস্বরূপ, একজন কর্মচারীর জন্য কর্মীদের ইভেন্টের ডেটা টেবিল pa0000 এ সংরক্ষণ করা হয়

আমরা সিদ্ধান্ত নিয়েছি যে গ্রীনপ্লাম "কাঁচা" ডেটা নেবে, যেমন শুধু SAP টেবিল থেকে তাদের অনুলিপি. এবং সরাসরি GreenPlum-এ সেগুলি প্রক্রিয়া করা হবে এবং ভৌত বস্তুতে রূপান্তরিত হবে (উদাহরণস্বরূপ, বিভাগ বা কর্মচারী) এবং মেট্রিক্স (উদাহরণস্বরূপ, গড় হেডকাউন্ট)।

প্রায় 70টি টেবিল সংজ্ঞায়িত করা হয়েছিল, যেখান থেকে ডেটা গ্রীনপ্লামে স্থানান্তর করা আবশ্যক। এর পরে আমরা এই ডেটা প্রেরণের জন্য একটি পদ্ধতি তৈরি করতে শুরু করি।

SAP মোটামুটি বড় সংখ্যক ইন্টিগ্রেশন মেকানিজম অফার করে। কিন্তু সবচেয়ে সহজ উপায় হল লাইসেন্সিং বিধিনিষেধের কারণে ডাটাবেসে সরাসরি প্রবেশ নিষিদ্ধ। সুতরাং, সমস্ত ইন্টিগ্রেশন প্রবাহ অবশ্যই অ্যাপ্লিকেশন সার্ভার স্তরে প্রয়োগ করা উচিত।
পরবর্তী সমস্যাটি ছিল SAP ডাটাবেসে মুছে ফেলা রেকর্ড সম্পর্কে ডেটার অভাব। আপনি ডাটাবেসের একটি সারি মুছে ফেললে, এটি শারীরিকভাবে মুছে ফেলা হয়। সেগুলো. পরিবর্তনের সময়ের উপর ভিত্তি করে পরিবর্তন বদ্বীপ গঠন সম্ভব ছিল না।

অবশ্যই, এসএপি এইচসিএম-এর ডেটা পরিবর্তন রেকর্ড করার ব্যবস্থা রয়েছে। উদাহরণস্বরূপ, প্রাপক সিস্টেমে পরবর্তী স্থানান্তরের জন্য, এমন পরিবর্তন পয়েন্টার রয়েছে যা কোনও পরিবর্তন রেকর্ড করে এবং যার ভিত্তিতে একটি আইডক গঠিত হয় (বাহ্যিক সিস্টেমে স্থানান্তরের জন্য একটি বস্তু)।

কর্মী নম্বর 0302 সহ একজন কর্মচারীর জন্য ইনফোটাইপ 1251445 পরিবর্তন করার জন্য IDoc উদাহরণ:

অথবা DBTABLOG টেবিলে ডেটা পরিবর্তনের লগ রাখা।

hrp53216375 টেবিল থেকে QK1000 কী দিয়ে একটি রেকর্ড মুছে ফেলার জন্য একটি লগের উদাহরণ:

কিন্তু এই প্রক্রিয়াগুলি সমস্ত প্রয়োজনীয় ডেটার জন্য উপলব্ধ নয়, এবং অ্যাপ্লিকেশন সার্ভার স্তরে তাদের প্রক্রিয়াকরণ বেশ অনেক সংস্থান গ্রহণ করতে পারে। অতএব, সমস্ত প্রয়োজনীয় টেবিলে ব্যাপকভাবে লগিং সক্ষম করার ফলে সিস্টেমের কার্যক্ষমতার একটি লক্ষণীয় অবনতি ঘটতে পারে।

পরবর্তী প্রধান সমস্যা ছিল ক্লাস্টার টেবিল। SAP HCM-এর RDBMS সংস্করণে সময়ের অনুমান এবং বেতনের ডেটা প্রতিটি গণনার জন্য প্রতিটি কর্মীর জন্য যৌক্তিক টেবিলের একটি সেট হিসাবে সংরক্ষণ করা হয়। এই লজিক্যাল টেবিলগুলি pcl2 টেবিলে বাইনারি ডেটা হিসাবে সংরক্ষণ করা হয়।

বেতনের ক্লাস্টার:

ক্লাস্টার করা টেবিলের ডেটা SQL কমান্ড হিসাবে বিবেচনা করা যায় না, তবে SAP HCM ম্যাক্রো বা বিশেষ কার্যকরী মডিউল ব্যবহার করা প্রয়োজন। তদনুসারে, এই জাতীয় টেবিলগুলির পড়ার গতি বেশ কম হবে। অন্যদিকে, এই ধরনের ক্লাস্টারগুলি এমন ডেটা সঞ্চয় করে যা মাসে একবার প্রয়োজন হয় - চূড়ান্ত বেতন এবং সময় অনুমান। তাই এই ক্ষেত্রে গতি এত সমালোচনামূলক নয়।

ডেটা পরিবর্তনের একটি ডেল্টা গঠনের বিকল্পগুলি মূল্যায়ন করে, আমরা সম্পূর্ণ আনলোড করার বিকল্পটি বিবেচনা করার সিদ্ধান্ত নিয়েছি। প্রতিদিন সিস্টেমের মধ্যে অপরিবর্তিত ডেটার গিগাবাইট স্থানান্তর করার বিকল্পটি ভাল নাও লাগতে পারে। যাইহোক, এটির বেশ কয়েকটি সুবিধাও রয়েছে - উত্সের দিকে ডেল্টা প্রয়োগ করা এবং রিসিভারের দিকে এই ব-দ্বীপের এমবেডিং উভয়ই প্রয়োগ করার দরকার নেই। তদনুসারে, ব্যয় এবং বাস্তবায়নের সময় হ্রাস পায় এবং একীকরণের নির্ভরযোগ্যতা বৃদ্ধি পায়। একই সময়ে, এটি নির্ধারণ করা হয়েছিল যে SAP HR-এর প্রায় সমস্ত পরিবর্তন বর্তমান তারিখের তিন মাস আগে একটি দিগন্তের মধ্যে ঘটে। এইভাবে, বর্তমান তারিখের আগে SAP HR N থেকে দৈনিক সম্পূর্ণ ডেটা ডাউনলোড এবং একটি মাসিক সম্পূর্ণ ডাউনলোড করার সিদ্ধান্ত নেওয়া হয়েছিল। N প্যারামিটার নির্দিষ্ট টেবিলের উপর নির্ভর করে
এবং রেঞ্জ 1 থেকে 15 পর্যন্ত।

ডেটা নিষ্কাশনের জন্য নিম্নলিখিত স্কিমটি প্রস্তাব করা হয়েছিল:

বাহ্যিক সিস্টেম একটি অনুরোধ তৈরি করে এবং এটি SAP HCM-এ পাঠায়, যেখানে এই অনুরোধটি ডেটার সম্পূর্ণতা এবং টেবিল অ্যাক্সেস করার অনুমতিগুলির জন্য পরীক্ষা করা হয়। চেক সফল হলে, এসএপি এইচসিএম একটি প্রোগ্রাম চালায় যা প্রয়োজনীয় ডেটা সংগ্রহ করে এবং ফিউজ ইন্টিগ্রেশন সমাধানে স্থানান্তর করে। ফিউজ কাফকার প্রয়োজনীয় বিষয় নির্ধারণ করে এবং সেখানে ডেটা স্থানান্তর করে। এর পরে, কাফকার ডেটা স্টেজ এরিয়া জিপিতে স্থানান্তরিত হয়।

এই চেইনে, আমরা SAP HCM থেকে ডেটা বের করার বিষয়ে আগ্রহী। এর আরো বিস্তারিতভাবে তাকান করা যাক.

SAP HCM-FUSE ইন্টারঅ্যাকশন ডায়াগ্রাম।

বাহ্যিক সিস্টেম SAP কে শেষ সফল অনুরোধের সময় নির্ধারণ করে।
প্রক্রিয়াটি একটি টাইমার বা অন্যান্য ইভেন্ট দ্বারা চালু করা যেতে পারে, যার মধ্যে SAP থেকে ডেটা সহ একটি প্রতিক্রিয়ার জন্য অপেক্ষা করার জন্য একটি সময়সীমা সেট করা এবং একটি পুনরাবৃত্তি অনুরোধ শুরু করা সহ। তারপর এটি একটি ডেল্টা অনুরোধ তৈরি করে এবং এটি এসএপি-তে পাঠায়।

অনুরোধের ডেটা json ফর্ম্যাটে বডিতে পাঠানো হয়।
পদ্ধতি http: POST.
উদাহরণ অনুরোধ:

SAP পরিষেবা সম্পূর্ণতার জন্য অনুরোধ, বর্তমান SAP কাঠামোর সাথে সম্মতি এবং অনুরোধ করা টেবিলে অ্যাক্সেসের অনুমতির প্রাপ্যতা পর্যবেক্ষণ করে।

ত্রুটির ক্ষেত্রে, পরিষেবাটি উপযুক্ত কোড এবং বিবরণ সহ একটি প্রতিক্রিয়া প্রদান করে। নিয়ন্ত্রণ সফল হলে, এটি একটি নমুনা তৈরি করার জন্য একটি পটভূমি প্রক্রিয়া তৈরি করে, তৈরি করে এবং সিঙ্ক্রোনাসভাবে একটি অনন্য সেশন আইডি প্রদান করে।

একটি ত্রুটির ক্ষেত্রে, বহিরাগত সিস্টেম লগে এটি রেকর্ড করে। একটি সফল প্রতিক্রিয়ার ক্ষেত্রে, এটি সেশন আইডি এবং যে টেবিলের জন্য অনুরোধ করা হয়েছিল তার নাম প্রেরণ করে।

বাহ্যিক সিস্টেমটি বর্তমান সেশনটিকে খোলা হিসাবে নিবন্ধিত করে। যদি এই টেবিলের জন্য অন্য সেশন থাকে, সেগুলি একটি সতর্কতা লগ ইন করে বন্ধ করা হয়।

SAP ব্যাকগ্রাউন্ড কাজ নির্দিষ্ট প্যারামিটার এবং নির্দিষ্ট আকারের একটি ডেটা প্যাকেটের উপর ভিত্তি করে একটি কার্সার তৈরি করে। ব্যাচ সাইজ হল সর্বোচ্চ সংখ্যক রেকর্ড যা একটি প্রক্রিয়া ডাটাবেস থেকে পড়ে। ডিফল্টরূপে, এটি 2000 এর সমান বলে ধরে নেওয়া হয়। যদি ব্যবহৃত প্যাকেটের আকারের চেয়ে ডাটাবেস নমুনায় বেশি রেকর্ড থাকে, প্রথম প্যাকেট প্রেরণ করার পরে, পরবর্তী ব্লকটি সংশ্লিষ্ট অফসেট এবং বর্ধিত প্যাকেট নম্বর দিয়ে গঠিত হয়। সংখ্যাগুলি 1 দ্বারা বৃদ্ধি করা হয় এবং কঠোরভাবে ক্রমানুসারে পাঠানো হয়।

এর পরে, এসএপি প্যাকেটটিকে বাহ্যিক সিস্টেমের ওয়েব পরিষেবাতে ইনপুট হিসাবে পাস করে। এবং সিস্টেম ইনকামিং প্যাকেটের উপর নিয়ন্ত্রণ করে। প্রাপ্ত আইডি সহ একটি সেশন অবশ্যই সিস্টেমে নিবন্ধিত হতে হবে এবং এটি অবশ্যই খোলা অবস্থায় থাকতে হবে। যদি প্যাকেজ নম্বর > 1, সিস্টেমটি পূর্ববর্তী প্যাকেজের সফল প্রাপ্তি রেকর্ড করবে (package_id-1)।

নিয়ন্ত্রণ সফল হলে, বাহ্যিক সিস্টেম টেবিলের ডেটা পার্স করে এবং সংরক্ষণ করে।

অতিরিক্তভাবে, যদি প্যাকেজে চূড়ান্ত পতাকা উপস্থিত থাকে এবং সিরিয়ালাইজেশন সফল হয়, তাহলে ইন্টিগ্রেশন মডিউলটিকে সেশন প্রক্রিয়াকরণের সফল সমাপ্তির বিষয়ে অবহিত করা হয় এবং মডিউলটি সেশনের অবস্থা আপডেট করে।

একটি নিয়ন্ত্রণ/পার্সিং ত্রুটির ক্ষেত্রে, ত্রুটিটি লগ করা হয়েছে এবং এই সেশনের জন্য প্যাকেটগুলি বহিরাগত সিস্টেম দ্বারা প্রত্যাখ্যান করা হবে।

একইভাবে, বিপরীত ক্ষেত্রে, যখন বহিরাগত সিস্টেম একটি ত্রুটি ফেরত দেয়, তখন এটি লগ করা হয় এবং প্যাকেট ট্রান্সমিশন বন্ধ হয়ে যায়।

এসএপি এইচসিএম সাইডে ডেটা অনুরোধ করার জন্য, একটি ইন্টিগ্রেশন পরিষেবা কার্যকর করা হয়েছিল। পরিষেবাটি আইসিএফ ফ্রেমওয়ার্ক (এসএপি ইন্টারনেট কমিউনিকেশন ফ্রেমওয়ার্ক -) এ প্রয়োগ করা হয়েছে help.sap.com/viewer/6da7259a6c4b1014b7d5e759cc76fd22/7.01.22/en-US/488d6e0ea6ed72d5e10000000a42189c.html) এটি আপনাকে নির্দিষ্ট টেবিল ব্যবহার করে SAP HCM সিস্টেম থেকে ডেটা অনুসন্ধান করতে দেয়। একটি ডেটা অনুরোধ তৈরি করার সময়, প্রয়োজনীয় ডেটা প্রাপ্ত করার জন্য নির্দিষ্ট ক্ষেত্র এবং ফিল্টারিং পরামিতিগুলির একটি তালিকা নির্দিষ্ট করা সম্ভব। একই সময়ে, পরিষেবার বাস্তবায়ন কোনও ব্যবসায়িক যুক্তিকে বোঝায় না। ডেল্টা, ক্যোয়ারী প্যারামিটার, ইন্টিগ্রিটি মনিটরিং ইত্যাদি গণনার জন্য অ্যালগরিদমগুলিও বহিরাগত সিস্টেমের পাশে প্রয়োগ করা হয়।

এই প্রক্রিয়াটি আপনাকে কয়েক ঘন্টার মধ্যে সমস্ত প্রয়োজনীয় ডেটা সংগ্রহ এবং প্রেরণ করতে দেয়। এই গতিটি গ্রহণযোগ্য হওয়ার দ্বারপ্রান্তে, তাই আমরা এই সমাধানটিকে একটি অস্থায়ী হিসাবে বিবেচনা করি, যা প্রকল্পে একটি নিষ্কাশন সরঞ্জামের প্রয়োজনীয়তা পূরণ করা সম্ভব করেছে।
টার্গেট ছবিতে, ডেটা নিষ্কাশনের সমস্যা সমাধানের জন্য, ওরাকল গোল্ডেন গেট বা এসএপি ডিএসের মতো ইটিএল সরঞ্জামগুলির মতো সিডিসি সিস্টেমগুলি ব্যবহারের বিকল্পগুলি অন্বেষণ করা হচ্ছে।

উত্স: www.habr.com