DIY: हम गोदाम की निगरानी कैसे स्वचालित करते हैं

X5 43 वितरण केंद्रों और 4 स्वयं के ट्रकों का संचालन करता है, जिससे 029 दुकानों में उत्पादों की निर्बाध आपूर्ति सुनिश्चित होती है। इस लेख में मैं शुरुआत से ही गोदाम की घटनाओं की निगरानी के लिए एक इंटरैक्टिव सिस्टम बनाने का अपना अनुभव साझा करूंगा। यह जानकारी उत्पादों की एक विस्तृत श्रृंखला का प्रबंधन करने वाले कई दर्जन वितरण केंद्रों वाली व्यापारिक कंपनियों के लॉजिस्टिक्स के लिए उपयोगी होगी।

एक नियम के रूप में, निगरानी और व्यवसाय प्रक्रिया प्रबंधन प्रणालियों का निर्माण संदेशों और घटनाओं के प्रसंस्करण से शुरू होता है। साथ ही, व्यावसायिक घटनाओं के घटित होने और घटनाओं को रिकॉर्ड करने के तथ्य को स्वचालित करने की संभावना से संबंधित एक महत्वपूर्ण तकनीकी बिंदु छूट गया है। अधिकांश व्यावसायिक प्रणालियाँ जैसे WMS, TMS इत्यादि में अपनी प्रक्रियाओं की निगरानी के लिए अंतर्निहित उपकरण होते हैं। लेकिन, यदि ये विभिन्न निर्माताओं के सिस्टम हैं या मॉनिटरिंग कार्यक्षमता पर्याप्त रूप से विकसित नहीं है, तो आपको महंगे संशोधनों का ऑर्डर देना होगा या अतिरिक्त सेटिंग्स के लिए विशेष सलाहकारों को आकर्षित करना होगा।

आइए एक ऐसे दृष्टिकोण पर विचार करें जिसमें हमें सिस्टम से संकेतक प्राप्त करने के लिए स्रोतों (तालिकाओं) की पहचान करने से जुड़े परामर्श के केवल एक छोटे से हिस्से की आवश्यकता है।

हमारे गोदामों की विशिष्टता यह है कि कई गोदाम प्रबंधन प्रणालियाँ (डब्ल्यूएमएस एक्सीड) एक लॉजिस्टिक्स कॉम्प्लेक्स में काम करती हैं। गोदामों को न केवल तार्किक रूप से माल के भंडारण की श्रेणियों (सूखा, शराब, जमे हुए, आदि) के अनुसार विभाजित किया जाता है। एक लॉजिस्टिक्स कॉम्प्लेक्स के भीतर कई अलग-अलग गोदाम भवन हैं, जिनमें से प्रत्येक का प्रबंधन अपने स्वयं के WMS द्वारा किया जाता है।

गोदाम में होने वाली प्रक्रियाओं की एक सामान्य तस्वीर बनाने के लिए, प्रबंधक दिन में कई बार प्रत्येक WMS की रिपोर्टिंग का विश्लेषण करते हैं, गोदाम ऑपरेटरों (रिसीवर, पिकर, स्टेकर) से संदेशों को संसाधित करते हैं और सूचना बोर्ड पर प्रतिबिंब के लिए वास्तविक परिचालन संकेतकों को सारांशित करते हैं।

प्रबंधकों का समय बचाने के लिए, हमने गोदाम की घटनाओं के परिचालन नियंत्रण के लिए एक सस्ती प्रणाली विकसित करने का निर्णय लिया। नई प्रणाली, गोदाम प्रक्रियाओं के परिचालन प्रदर्शन के "हॉट" संकेतक प्रदर्शित करने के अलावा, प्रबंधकों को घटनाओं को रिकॉर्ड करने और दिए गए संकेतकों को प्रभावित करने वाले कारणों को खत्म करने के लिए कार्यों के कार्यान्वयन की निगरानी करने में भी मदद करनी चाहिए। कंपनी के आईटी आर्किटेक्चर का सामान्य ऑडिट करने के बाद, हमने महसूस किया कि आवश्यक सिस्टम के अलग-अलग हिस्से हमारे परिदृश्य में पहले से ही किसी न किसी तरह से मौजूद हैं और उनके लिए सेटिंग्स और आवश्यक समर्थन सेवाओं दोनों की जांच की जानी है। जो कुछ बचा है वह पूरी अवधारणा को एक ही वास्तुशिल्प समाधान में लाना और विकास के दायरे का अनुमान लगाना है।

एक नई प्रणाली के निर्माण के लिए किए जाने वाले कार्य की मात्रा का आकलन करने के बाद, परियोजना को कई चरणों में विभाजित करने का निर्णय लिया गया:

1. गोदाम प्रक्रियाओं के लिए संकेतकों का संग्रह, संकेतकों और विचलनों का दृश्य और नियंत्रण
2. प्रक्रिया मानकों का स्वचालन और विचलन के लिए व्यवसाय सेवा सेवा में अनुप्रयोगों का पंजीकरण
3. लोड पूर्वानुमान और प्रबंधकों के लिए अनुशंसाओं के निर्माण के साथ सक्रिय निगरानी।

पहले चरण में, सिस्टम को कॉम्प्लेक्स के सभी WMS से परिचालन डेटा के तैयार स्लाइस एकत्र करने होंगे। पढ़ना लगभग वास्तविक समय में होता है (5 मिनट से कम का अंतराल)। चाल यह है कि सिस्टम को पूरे नेटवर्क पर तैनात करते समय डेटा कई दर्जन गोदामों के डीबीएमएस से प्राप्त किया जाना चाहिए। प्राप्त परिचालन डेटा को नियोजित संकेतकों से विचलन की गणना करने और आंकड़ों की गणना करने के लिए सिस्टम कोर के तर्क द्वारा संसाधित किया जाता है। इस तरह से संसाधित डेटा को प्रबंधक के टैबलेट पर या गोदाम सूचना बोर्ड पर समझने योग्य ग्राफ़ और आरेख के रूप में प्रदर्शित किया जाना चाहिए।

पहले चरण के पायलट कार्यान्वयन के लिए उपयुक्त प्रणाली चुनते समय, हमने ज़ैबिक्स को चुना। इस प्रणाली का उपयोग गोदाम प्रणालियों के आईटी प्रदर्शन की निगरानी के लिए पहले से ही किया जाता है। गोदाम संचालन के व्यावसायिक मेट्रिक्स एकत्र करने के लिए एक अलग इंस्टॉलेशन जोड़कर, आप गोदाम के स्वास्थ्य की एक समग्र तस्वीर प्राप्त कर सकते हैं।

सिस्टम की सामान्य वास्तुकला चित्र के अनुसार निकली।

प्रत्येक WMS उदाहरण को निगरानी प्रणाली के लिए एक होस्ट के रूप में परिभाषित किया गया है। डेटा सेंटर नेटवर्क में एक केंद्रीय सर्वर द्वारा तैयार SQL क्वेरी के साथ एक स्क्रिप्ट चलाकर मेट्रिक्स एकत्र किए जाते हैं। यदि आपको ऐसे सिस्टम की निगरानी करने की आवश्यकता है जो डेटाबेस तक सीधी पहुंच की अनुशंसा नहीं करता है (उदाहरण के लिए, एसएपी ईडब्लूएम), तो आप संकेतक प्राप्त करने या पायथन/वीबीस्क्रिप्ट में एक सरल प्रोग्राम लिखने के लिए दस्तावेज़ित एपीआई फ़ंक्शन के लिए स्क्रिप्ट कॉल का उपयोग कर सकते हैं।

मुख्य सर्वर से लोड वितरित करने के लिए वेयरहाउस नेटवर्क में एक ज़ैबिक्स प्रॉक्सी इंस्टेंस तैनात किया गया है। प्रॉक्सी के माध्यम से, सभी स्थानीय WMS उदाहरणों के साथ काम सुनिश्चित किया जाता है। अगली बार जब ज़ैबिक्स सर्वर मापदंडों का अनुरोध करता है, तो WMS डेटाबेस से मेट्रिक्स का अनुरोध करने के लिए ज़ैबिक्स प्रॉक्सी के साथ होस्ट पर एक स्क्रिप्ट निष्पादित की जाती है।

केंद्रीय ज़ैबिक्स सर्वर पर ग्राफ़ और वेयरहाउस संकेतक प्रदर्शित करने के लिए, हम ग्राफाना तैनात करते हैं। गोदाम संचालन के इन्फोग्राफिक्स के साथ तैयार डैशबोर्ड प्रदर्शित करने के अलावा, ग्राफाना का उपयोग संकेतकों में विचलन की निगरानी करने और व्यावसायिक घटनाओं के साथ काम करने के लिए गोदाम सेवा प्रणाली को स्वचालित अलर्ट भेजने के लिए किया जाएगा।

उदाहरण के तौर पर, आइए गोदाम प्राप्त क्षेत्र में लोड नियंत्रण के कार्यान्वयन पर विचार करें। गोदाम के इस क्षेत्र में प्रक्रिया प्रदर्शन के मुख्य संकेतक के रूप में निम्नलिखित को चुना गया:

• स्वागत क्षेत्र में वाहनों की संख्या, स्थितियों को ध्यान में रखते हुए (योजनाबद्ध, आगमन, दस्तावेज़, उतराई, प्रस्थान;
• प्लेसमेंट और पुनःपूर्ति क्षेत्रों का कार्यभार (भंडारण शर्तों के अनुसार)।

सेटिंग्स

सिस्टम के मुख्य घटकों (SQLcl, Zabbix, Grafana) की स्थापना और कॉन्फ़िगरेशन का वर्णन विभिन्न स्रोतों में किया गया है और इसे यहां दोहराया नहीं जाएगा। SQLplus के बजाय SQLcl का उपयोग इस तथ्य के कारण है कि SQLcl (Oracle DBMS का कमांड लाइन इंटरफ़ेस, जावा में लिखा गया है) को Oracle क्लाइंट की अतिरिक्त स्थापना की आवश्यकता नहीं है और बॉक्स से बाहर काम करता है।

मैं उन मुख्य बिंदुओं का वर्णन करूंगा जिन पर वेयरहाउस व्यवसाय प्रक्रिया संकेतकों की निगरानी के लिए ज़ैबिक्स का उपयोग करते समय ध्यान दिया जाना चाहिए, और उन्हें लागू करने के संभावित तरीकों में से एक। साथ ही, यह सुरक्षा के बारे में पोस्ट नहीं है. कनेक्शन की सुरक्षा और प्रस्तुत विधियों के उपयोग के लिए पायलट समाधान को उत्पादक संचालन में स्थानांतरित करने की प्रक्रिया में अतिरिक्त अध्ययन की आवश्यकता होती है।

मुख्य बात यह है कि ऐसी प्रणाली को लागू करते समय, सिस्टम द्वारा प्रदान की गई सेटिंग्स का उपयोग करके प्रोग्रामिंग के बिना करना संभव है।

ज़ैबिक्स मॉनिटरिंग सिस्टम मॉनिटर किए गए सिस्टम से मेट्रिक्स एकत्र करने के लिए कई विकल्प प्रदान करता है। यह या तो सीधे मॉनिटर किए गए होस्ट को पोल करके, या होस्ट के zabbix_sender के माध्यम से सर्वर पर डेटा भेजने की अधिक उन्नत विधि द्वारा किया जा सकता है, जिसमें निम्न-स्तरीय खोज मापदंडों को कॉन्फ़िगर करने के तरीके भी शामिल हैं। हमारी समस्या को हल करने के लिए, केंद्रीय सर्वर द्वारा मेजबानों के सीधे मतदान की विधि काफी उपयुक्त है, क्योंकि यह आपको मेट्रिक्स अधिग्रहण के अनुक्रम पर पूर्ण नियंत्रण प्राप्त करने की अनुमति देता है और यह सुनिश्चित करता है कि आप प्रत्येक मॉनिटर किए गए होस्ट को वितरित करने की आवश्यकता के बिना सेटिंग्स/स्क्रिप्ट के एक सेट का उपयोग करते हैं।

डिबगिंग और सिस्टम की स्थापना के लिए "परीक्षण विषयों" के रूप में, हम स्वीकृति प्रबंधन के लिए WMS वर्कशीट का उपयोग करते हैं:

1. रिसेप्शन पर वाहन, वे सभी जो आ चुके हैं: "वर्तमान समय से 72 घंटे" की अवधि के लिए स्थिति वाले सभी वाहन - एसक्यूएल क्वेरी पहचानकर्ता: कारें प्राप्त करें.
2. सभी वाहनों की स्थिति का इतिहास: 72 घंटों के भीतर आने वाले सभी वाहनों की स्थिति - SQL क्वेरी पहचानकर्ता: कारों का इतिहास.
3. स्वीकृति के लिए अनुसूचित वाहन: "अनुसूचित" स्थिति में आने वाले सभी वाहनों की स्थिति, वर्तमान समय से समय अंतराल "- 24 घंटे" और "+24 घंटे" - एसक्यूएल क्वेरी पहचानकर्ता: कारों में.

इसलिए, वेयरहाउस प्रदर्शन मेट्रिक्स के एक सेट पर निर्णय लेने के बाद, हम WMS डेटाबेस के लिए SQL क्वेरी तैयार करेंगे। प्रश्नों को निष्पादित करने के लिए, मुख्य डेटाबेस का नहीं, बल्कि इसकी "हॉट" कॉपी - स्टैंडबाय का उपयोग करने की सलाह दी जाती है।

हम डेटा प्राप्त करने के लिए स्टैंडबाय Oracle DBMS से कनेक्ट होते हैं। परीक्षण डेटाबेस से जुड़ने के लिए आईपी पता 192.168.1.106. हम SQLcl कार्यशील फ़ोल्डर के TNSNames.ORA में Zabbix सर्वर पर कनेक्शन पैरामीटर सहेजते हैं:

# cat  /opt/sqlcl/bin/TNSNames.ORA
WH1_1=
  (DESCRIPTION =
    (ADDRESS = (PROTOCOL = TCP)(HOST = 192.168.1.106)(PORT = 1521))
    (CONNECT_DATA =
      (SERVER = DEDICATED)
      (SERVICE_NAME =  WH1_1)
    )
  )

यह हमें केवल लॉगिन/पासवर्ड और डेटाबेस नाम निर्दिष्ट करते हुए, EZconnect के माध्यम से प्रत्येक होस्ट पर SQL क्वेरी चलाने की अनुमति देगा:

# sql znew/Zabmon1@WH1_1

हम तैयार SQL क्वेरीज़ को Zabbix सर्वर पर कार्यशील फ़ोल्डर में सहेजते हैं:

/etc/zabbix/sql

और हमारे सर्वर के ज़ैबिक्स उपयोगकर्ता तक पहुंच की अनुमति दें:

# chown zabbix:zabbix -R /etc/zabbix/sql

अनुरोध वाली फ़ाइलों को ज़ैबिक्स सर्वर से पहुंच के लिए एक विशिष्ट पहचानकर्ता-नाम प्राप्त होता है। SQLcl के माध्यम से प्रत्येक डेटाबेस क्वेरी हमें कई पैरामीटर लौटाती है। ज़ैबिक्स की विशिष्टताओं को ध्यान में रखते हुए, जो प्रति अनुरोध केवल एक मीट्रिक को संसाधित कर सकता है, हम क्वेरी परिणामों को अलग-अलग मीट्रिक में पार्स करने के लिए अतिरिक्त स्क्रिप्ट का उपयोग करेंगे।

आइए मुख्य स्क्रिप्ट तैयार करें, आइए इसे wh_Metrics.sh कहते हैं, डेटाबेस में SQL क्वेरी को कॉल करने के लिए, परिणामों को सहेजें और डेटा पुनर्प्राप्ति की सफलता के संकेतकों के साथ एक तकनीकी मीट्रिक लौटाएं:

#!/bin/sh 
## настройка окружения</i>
export ORACLE_HOME=/usr/lib/oracle/11.2/client64
export PATH=$PATH:$ORACLE_HOME/bin
export LD_LIBRARY_PATH=$ORACLE_HOME/lib:/usr/lib64:/usr/lib:$ORACLE_HOME/bin
export TNS_ADMIN=$ORACLE_HOME/network/admin
export JAVA_HOME=/
alias sql="opt/sqlcl/bin/sql"
## задаём путь к файлу с sql-запросом и параметризованное имя файла
scriptLocation=/etc/zabbix/sql
sqlFile=$scriptLocation/sqlScript_"$2".sql
## задаём путь к файлу для хранения результатов
resultFile=/etc/zabbix/sql/mon_"$1"_main.log
## настраиваем строку подключения к БД
username="$3"
password="$4"
tnsname="$1"
## запрашиваем результат из БД
var=$(sql -s $username/$password@$tnsname < $sqlFile)
## форматируем результат запроса и записываем в файл
echo $var | cut -f5-18 -d " " > $resultFile
## проверяем наличие ошибок
if grep -q ora "$resultFile"; then
    echo null > $resultFile
    echo 0
else
    echo 1
fi

हम तैयार फ़ाइल को स्क्रिप्ट के साथ ज़ैबिक्स-प्रॉक्सी कॉन्फ़िगरेशन सेटिंग्स के अनुसार बाहरी स्क्रिप्ट संग्रहीत करने के लिए फ़ोल्डर में रखते हैं (डिफ़ॉल्ट रूप से - /usr/लोकल/शेयर/ज़ैबिक्स/एक्सटर्नलस्क्रिप्ट्स).

जिस डेटाबेस से स्क्रिप्ट परिणाम प्राप्त करेगी उसकी पहचान को स्क्रिप्ट पैरामीटर के रूप में पारित किया जाएगा। डेटाबेस आईडी को TNSNames.ORA फ़ाइल में सेटिंग लाइन से मेल खाना चाहिए।

SQL क्वेरी कॉल का परिणाम एक फ़ाइल में सहेजा जाता है mon_base_id_main.log जहां बेस_आईडी = डेटाबेस पहचानकर्ता को स्क्रिप्ट पैरामीटर के रूप में प्राप्त किया गया। सर्वर से एक साथ कई डेटाबेस के लिए अनुरोध के मामले में डेटाबेस पहचानकर्ताओं द्वारा परिणाम फ़ाइल का विभाजन प्रदान किया जाता है। क्वेरी मानों की एक क्रमबद्ध द्वि-आयामी सरणी लौटाती है।

निम्नलिखित स्क्रिप्ट, आइए इसे getMetrica.sh कहते हैं, अनुरोध के परिणाम के साथ फ़ाइल से एक निर्दिष्ट मीट्रिक प्राप्त करने के लिए आवश्यक है:

#!/bin/sh 
## определяем имя файла с результатом запроса
resultFile=/etc/zabbix/sql/mon_”$1”_main.log
## разбираем массив значений результата средствами скрипта:
## при работе со статусами, запрос возвращает нам двумерный массив (RSLT) в виде 
## {статус1 значение1 статус2 значение2…} разделённых пробелами (значение IFS)
## параметром запроса передаём код статуса и скрипт вернёт значение
IFS=’ ‘
str=$(cat $resultFile)
status_id=null
read –ra RSLT <<< “$str”
for i in “${RSLT[@]}”; do
if [[ “$status_id” == null ]]; then
status_id=”$I"
elif [[ “$status_id” == “$2” ]]; then
echo “$i”
break
else
status_id=null
fi
done

अब हम ज़ैबिक्स को कॉन्फ़िगर करने और गोदाम स्वीकृति प्रक्रियाओं के संकेतकों की निगरानी शुरू करने के लिए तैयार हैं।

प्रत्येक डेटाबेस नोड पर एक ज़ैबिक्स एजेंट स्थापित और कॉन्फ़िगर किया गया है।

На основном сервере определяем все сервера с Zabbix-прокси. Для настроек переходим по следующему пути:

प्रशासन → प्रॉक्सी → प्रॉक्सी बनाएं

हम नियंत्रित होस्ट को परिभाषित करते हैं:

सेटिंग्स → होस्ट → होस्ट बनाएं

होस्टनाम को एजेंट कॉन्फ़िगरेशन फ़ाइल में निर्दिष्ट होस्टनाम से मेल खाना चाहिए।

हम नोड के लिए समूह, साथ ही डेटाबेस के साथ नोड का आईपी पता या डीएनएस नाम निर्दिष्ट करते हैं।

हम मेट्रिक्स बनाते हैं और उनके गुण निर्दिष्ट करते हैं:

सेटिंग्स → नोड्स → 'नोड नाम' → डेटा आइटम> डेटा आइटम बनाएं

1) डेटाबेस से सभी मापदंडों को क्वेरी करने के लिए एक मुख्य मीट्रिक बनाएं

हम डेटा तत्व का नाम सेट करते हैं, "बाहरी सत्यापन" प्रकार का संकेत देते हैं। "कुंजी" फ़ील्ड में, हम एक स्क्रिप्ट को परिभाषित करते हैं जिसमें हम पैरामीटर के रूप में ओरेकल डेटाबेस का नाम, एसक्यूएल क्वेरी का नाम, डेटाबेस से कनेक्ट करने के लिए लॉगिन और पासवर्ड पास करते हैं। क्वेरी अद्यतन अंतराल को 5 मिनट (300 सेकंड) पर सेट करें।

2) प्रत्येक वाहन की स्थिति के लिए शेष मेट्रिक्स बनाएं। इन मेट्रिक्स के मान मुख्य मीट्रिक की जाँच के परिणाम के आधार पर उत्पन्न होंगे।

हम डेटा तत्व का नाम सेट करते हैं, "बाहरी सत्यापन" प्रकार का संकेत देते हैं। "कुंजी" फ़ील्ड में, हम एक स्क्रिप्ट को परिभाषित करते हैं जिसमें हम पैरामीटर के रूप में ओरेकल डेटाबेस का नाम और स्टेटस कोड पास करते हैं जिसका मान हम ट्रैक करना चाहते हैं। हमने क्वेरी अपडेट अंतराल को मुख्य मीट्रिक (10 सेकंड) से 310 सेकंड अधिक समय पर सेट किया है ताकि परिणामों को फ़ाइल में लिखे जाने का समय मिल सके।

मेट्रिक्स को सही ढंग से प्राप्त करने के लिए, चेक सक्रिय करने का क्रम महत्वपूर्ण है। डेटा प्राप्त करते समय टकराव से बचने के लिए, सबसे पहले हम स्क्रिप्ट - wh_Metrics.sh को कॉल करके मुख्य मीट्रिक GetCarsByStatus को सक्रिय करते हैं।

सेटिंग्स → नोड्स → 'नोड नाम' → डेटा तत्व → सबफ़िल्टर "बाहरी जाँच"। आवश्यक जांच को चिह्नित करें और "सक्रिय करें" पर क्लिक करें।

इसके बाद, हम शेष मेट्रिक्स को एक ऑपरेशन में सक्रिय करते हैं, उन सभी को एक साथ चुनते हैं:

अब ज़ैबिक्स ने वेयरहाउस बिजनेस मेट्रिक्स इकट्ठा करना शुरू कर दिया है।

निम्नलिखित लेखों में, हम ग्राफाना को जोड़ने और विभिन्न श्रेणियों के उपयोगकर्ताओं के लिए गोदाम संचालन के सूचना डैशबोर्ड बनाने पर करीब से नज़र डालेंगे। ग्राफाना का उपयोग गोदाम संचालन में विचलन की निगरानी करने और विचलन की सीमाओं और आवृत्ति के आधार पर, एपीआई के माध्यम से गोदाम प्रबंधन सेवा केंद्र प्रणाली में घटनाओं को दर्ज करने या बस ईमेल द्वारा प्रबंधक को सूचनाएं भेजने के लिए भी किया जाता है।

स्रोत: www.habr.com