DIY: हामी कसरी गोदाम निगरानी स्वचालित गर्छौं

X5 ले 43 स्टोरहरूमा उत्पादनहरूको निर्बाध आपूर्ति सुनिश्चित गर्दै 4 वितरण केन्द्रहरू र 029 आफ्नै ट्रकहरू सञ्चालन गर्दछ। यस लेखमा म स्क्र्याचबाट गोदाम घटनाहरूको निगरानीको लागि अन्तरक्रियात्मक प्रणाली सिर्जना गर्ने मेरो अनुभव साझा गर्नेछु। जानकारी धेरै दर्जन वितरण केन्द्रहरु को उत्पादनहरु को एक विस्तृत श्रृंखला को प्रबन्धन संग व्यापार कम्पनीहरु को रसद को लागी उपयोगी हुनेछ।

एक नियमको रूपमा, निगरानी र व्यापार प्रक्रिया व्यवस्थापन प्रणालीहरूको निर्माण सन्देशहरू र घटनाहरू प्रशोधन गर्न सुरु हुन्छ। एकै समयमा, व्यापार घटनाहरू र रेकर्डिङ घटनाहरूको घटनाको वास्तविक तथ्यलाई स्वचालित गर्ने सम्भावनासँग सम्बन्धित महत्त्वपूर्ण प्राविधिक बिन्दु छुटेको छ। धेरै जसो व्यापार प्रणालीहरू जस्तै WMS, TMS, इत्यादि, तिनीहरूको आफ्नै प्रक्रियाहरूको निगरानीको लागि निर्मित उपकरणहरू छन्। तर, यदि यी विभिन्न निर्माताहरूबाट प्रणालीहरू हुन् वा अनुगमन कार्यक्षमता पर्याप्त रूपमा विकसित गरिएको छैन भने, तपाईंले महँगो परिमार्जनहरू अर्डर गर्नुपर्छ वा अतिरिक्त सेटिङहरूको लागि विशेष सल्लाहकारहरूलाई आकर्षित गर्नुपर्छ।

प्रणालीबाट सूचकहरू प्राप्त गर्नका लागि स्रोतहरू (तालिकाहरू) पहिचान गर्नेसँग सम्बन्धित परामर्शको एउटा सानो अंश मात्र आवश्यक पर्ने दृष्टिकोणलाई विचार गरौं।

हाम्रो गोदामहरूको विशिष्टता यो हो कि धेरै गोदाम व्यवस्थापन प्रणालीहरू (WMS Exceed) एउटै रसद परिसरमा सञ्चालन हुन्छन्। गोदामहरू वस्तुहरूको भण्डारण (सुक्खा, मदिरा, जमेको, आदि) को कोटिहरू अनुसार मात्र तार्किक रूपमा विभाजित गरिएको छैन। एउटा रसद परिसर भित्र त्यहाँ धेरै अलग गोदाम भवनहरू छन्, जसमध्ये प्रत्येक आफ्नै WMS द्वारा व्यवस्थित गरिएको छ।

गोदाममा हुने प्रक्रियाहरूको सामान्य चित्र बनाउनको लागि, प्रबन्धकहरूले प्रत्येक WMS को रिपोर्टिङ दिनको धेरै पटक विश्लेषण गर्छन्, गोदाम अपरेटरहरू (रिसीभरहरू, पिकरहरू, स्ट्याकरहरू) बाट सन्देशहरू प्रक्रिया गर्छन् र सूचना बोर्डमा प्रतिबिम्बको लागि वास्तविक परिचालन सूचकहरू संक्षेप गर्नुहोस्।

प्रबन्धकहरूको समय बचत गर्न, हामीले गोदाम घटनाहरूको परिचालन नियन्त्रणको लागि सस्तो प्रणाली विकास गर्ने निर्णय गर्यौं। नयाँ प्रणाली, गोदाम प्रक्रियाहरूको परिचालन प्रदर्शनको "तातो" सूचकहरू प्रदर्शन गर्नुको अतिरिक्त, घटनाहरू रेकर्ड गर्न र दिइएको सूचकहरूलाई असर गर्ने कारणहरूलाई हटाउन कार्यहरूको कार्यान्वयनको अनुगमन गर्न प्रबन्धकहरूलाई मद्दत गर्नुपर्दछ। कम्पनीको IT आर्किटेक्चरको सामान्य लेखा परीक्षा सञ्चालन गरेपछि, हामीले महसुस गर्यौं कि आवश्यक प्रणालीका व्यक्तिगत भागहरू पहिले नै हाम्रो परिदृश्यमा कुनै न कुनै रूपमा अवस्थित छन् र तिनीहरूका लागि सेटिङहरूको परीक्षण र आवश्यक समर्थन सेवाहरू दुवै छन्। बाँकी रहेको सम्पूर्ण अवधारणालाई एकल वास्तु समाधानमा ल्याउने र विकासको दायरा अनुमान गर्ने हो।

नयाँ प्रणाली निर्माण गर्न आवश्यक कामको मात्रा मूल्याङ्कन गरेपछि, यो परियोजनालाई धेरै चरणहरूमा विभाजन गर्ने निर्णय गरियो:

1. गोदाम प्रक्रियाहरूको लागि सूचकहरूको सङ्कलन, दृश्यावलोकन र सूचकहरू र विचलनहरूको नियन्त्रण
2. प्रक्रिया मापदण्डहरूको स्वचालन र विचलनहरूको लागि व्यापार सेवा सेवामा आवेदनहरूको दर्ता
3. लोड पूर्वानुमान र प्रबन्धकहरूको लागि सिफारिसहरूको सिर्जनाको साथ सक्रिय निगरानी।

पहिलो चरणमा, प्रणालीले कम्प्लेक्सको सबै WMS बाट परिचालन डेटाको तयार स्लाइसहरू सङ्कलन गर्नुपर्छ। पढाइ लगभग वास्तविक समयमा हुन्छ (5 मिनेट भन्दा कमको अन्तराल)। चाल यो हो कि डाटा धेरै दर्जन गोदामहरूको DBMS बाट प्राप्त गर्नुपर्दछ जब सम्पूर्ण नेटवर्कमा प्रणाली तैनाती गर्दछ। प्राप्त परिचालन डेटा योजनाबद्ध संकेतकहरूबाट विचलनहरू गणना गर्न र तथ्याङ्कहरू गणना गर्न प्रणाली कोरको तर्कद्वारा प्रशोधन गरिन्छ। यसरी प्रशोधन गरिएको डाटा प्रबन्धकको ट्याब्लेट वा गोदाम जानकारी बोर्डमा बुझ्न योग्य ग्राफ र रेखाचित्रको रूपमा प्रदर्शित हुनुपर्छ।

पहिलो चरणको पायलट कार्यान्वयनको लागि उपयुक्त प्रणाली छनौट गर्दा, हामीले Zabbix रोज्यौं। यो प्रणाली पहिले नै गोदाम प्रणालीहरूको आईटी प्रदर्शन निगरानी गर्न प्रयोग गरिएको छ। गोदाम सञ्चालनको व्यापार मेट्रिक्स सङ्कलन गर्नको लागि छुट्टै स्थापना थपेर, तपाईंले गोदामको स्वास्थ्यको समग्र चित्र प्राप्त गर्न सक्नुहुन्छ।

प्रणालीको सामान्य वास्तुकला चित्रमा जस्तै बाहिर निस्कियो।

प्रत्येक WMS उदाहरणलाई निगरानी प्रणालीको लागि होस्टको रूपमा परिभाषित गरिएको छ। मेट्रिकहरू डेटा सेन्टर नेटवर्कमा केन्द्रीय सर्भरद्वारा तयार गरिएको SQL क्वेरीसँग लिपि चलाएर सङ्कलन गरिन्छ। यदि तपाइँलाई डाटाबेसमा प्रत्यक्ष पहुँचको सिफारिस नगर्ने प्रणालीको निगरानी गर्न आवश्यक छ (उदाहरणका लागि, SAP EWM), तपाइँ संकेतकहरू प्राप्त गर्न वा python/vbascript मा एक साधारण प्रोग्राम लेख्न कागजातित API कार्यहरूमा स्क्रिप्ट कलहरू प्रयोग गर्न सक्नुहुन्छ।

मुख्य सर्भरबाट लोड वितरण गर्न गोदाम नेटवर्कमा Zabbix प्रोक्सी उदाहरण तैनात गरिएको छ। प्रोक्सी मार्फत, सबै स्थानीय WMS उदाहरणहरूसँग काम सुनिश्चित गरिएको छ। अर्को पटक Zabbix सर्भरले प्यारामिटरहरू अनुरोध गर्दा, WMS डाटाबेसबाट मेट्रिक्स अनुरोध गर्न Zabbix प्रोक्सीको साथ होस्टमा स्क्रिप्ट कार्यान्वयन गरिन्छ।

केन्द्रीय Zabbix सर्भरमा ग्राफ र गोदाम सूचकहरू प्रदर्शन गर्न, हामी Grafana तैनात गर्छौं। गोदाम सञ्चालनको इन्फोग्राफिक्सको साथ तयार ड्यासबोर्डहरू प्रदर्शन गर्नुको साथै, ग्राफाना संकेतकहरूमा विचलनहरू निगरानी गर्न र व्यापार घटनाहरूसँग काम गर्न गोदाम सेवा प्रणालीमा स्वचालित अलर्टहरू पठाउन प्रयोग गरिनेछ।

उदाहरणको रूपमा, गोदाम प्राप्त क्षेत्रमा लोड नियन्त्रणको कार्यान्वयनलाई विचार गरौं। निम्न गोदाम को यस क्षेत्र मा प्रक्रिया प्रदर्शन को मुख्य संकेतक को रूप मा छनोट गरिएको थियो:

• रिसेप्शन क्षेत्रमा सवारी साधनहरूको संख्या, खाता स्थितिहरू (योजनाबद्ध, आइपुगेको, कागजातहरू, अनलोडिङ, प्रस्थान;
• नियुक्ति र पुनःपूर्ति क्षेत्रहरूको कार्यभार (भण्डारण अवस्थाहरू अनुसार)।

सेटिङ्हरू

प्रणालीको मुख्य कम्पोनेन्टहरू (SQLcl, Zabbix, Grafana) को स्थापना र कन्फिगरेसन विभिन्न स्रोतहरूमा वर्णन गरिएको छ र यहाँ दोहोर्याइने छैन। SQLplus को सट्टा SQLcl को प्रयोग SQLcl (Oracle DBMS को कमाण्ड लाइन इन्टरफेस, java मा लेखिएको) लाई Oracle क्लाइन्ट को अतिरिक्त स्थापना को आवश्यकता छैन र बक्स बाहिर काम गर्दछ भन्ने तथ्य को कारण हो।

म मुख्य बिन्दुहरू वर्णन गर्नेछु जुन Zabbix प्रयोग गर्दा गोदाम व्यापार प्रक्रिया संकेतकहरू निगरानी गर्न ध्यान दिनुपर्छ, र तिनीहरूलाई लागू गर्ने सम्भावित तरिकाहरू मध्ये एक। साथै, यो सुरक्षाको बारेमा पोस्ट होइन। जडानहरूको सुरक्षा र प्रस्तुत विधिहरूको प्रयोगलाई उत्पादनशील सञ्चालनमा पायलट समाधान स्थानान्तरण गर्ने प्रक्रियामा थप अध्ययन आवश्यक छ।

मुख्य कुरा यो हो कि यस्तो प्रणाली लागू गर्दा, यो प्रोग्रामिंग बिना गर्न सम्भव छ, प्रणाली द्वारा प्रदान सेटिङहरू प्रयोग गरेर।

Zabbix निगरानी प्रणालीले निगरानी प्रणालीबाट मेट्रिक्स सङ्कलन गर्न धेरै विकल्पहरू प्रदान गर्दछ। यो या त प्रत्यक्ष पोलिंग अनुगमन गरिएका होस्टहरूद्वारा गर्न सकिन्छ, वा होस्टको zabbix_sender मार्फत सर्भरमा डाटा पठाउने थप उन्नत विधिद्वारा, निम्न-स्तर खोज प्यारामिटरहरू कन्फिगर गर्ने विधिहरू सहित। हाम्रो समस्या समाधान गर्न, केन्द्रीय सर्भर द्वारा होस्टहरूको प्रत्यक्ष मतदानको विधि एकदम उपयुक्त छ, किनभने यसले तपाइँलाई मेट्रिक्स अधिग्रहणको अनुक्रममा पूर्ण नियन्त्रण प्राप्त गर्न अनुमति दिन्छ र तपाइँ प्रत्येक अनुगमन होस्टमा वितरण गर्न आवश्यक बिना सेटिङहरू/स्क्रिप्टहरूको एक सेट प्रयोग गर्नुहुन्छ भनेर सुनिश्चित गर्दछ।

डिबगिङ र प्रणाली सेटअपको लागि "परीक्षण विषयहरू" को रूपमा, हामी स्वीकृति व्यवस्थापनको लागि WMS कार्यपत्र प्रयोग गर्छौं:

1. रिसेप्शनमा रहेका सवारी साधनहरू, आइपुगेका सबै: "- हालको समयबाट ७२ घण्टा" अवधिका लागि स्थिति भएका सबै सवारी साधनहरू - SQL क्वेरी पहिचानकर्ता: कारहरू प्राप्त गर्नुहोस्.
2. सबै वाहन स्थितिहरूको इतिहास: 72 घण्टा भित्र आइपुगेका सबै सवारी साधनहरूको स्थिति - SQL क्वेरी पहिचानकर्ता: कार इतिहास.
3. स्वीकृतिको लागि अनुसूचित सवारी साधनहरू: "अनुसूचित" स्थिति, समय अन्तराल "- 24 घण्टा" र "+24 घण्टा" वर्तमान समयमा आगमन भएका सबै सवारी साधनहरूको स्थिति - SQL क्वेरी पहिचानकर्ता: कारहरू.

त्यसोभए, हामीले गोदाम प्रदर्शन मेट्रिक्सको सेटमा निर्णय गरेपछि, हामी WMS डाटाबेसको लागि SQL क्वेरीहरू तयार गर्नेछौं। प्रश्नहरू कार्यान्वयन गर्न, यो मुख्य डाटाबेस प्रयोग गर्न सल्लाह दिइन्छ, तर यसको "तातो" प्रतिलिपि - स्ट्यान्डबाइ।

हामी डेटा प्राप्त गर्न स्ट्यान्डबाइ Oracle DBMS मा जडान गर्छौं। आईपी ​​ठेगाना परीक्षण डाटाबेसमा जडानको लागि 192.168.1.106। हामीले SQLcl काम गर्ने फोल्डरको TNSNames.ORA मा Zabbix सर्भरमा जडान प्यारामिटरहरू बचत गर्छौं:

# cat  /opt/sqlcl/bin/TNSNames.ORA
WH1_1=
  (DESCRIPTION =
    (ADDRESS = (PROTOCOL = TCP)(HOST = 192.168.1.106)(PORT = 1521))
    (CONNECT_DATA =
      (SERVER = DEDICATED)
      (SERVICE_NAME =  WH1_1)
    )
  )

यसले हामीलाई EZconnect मार्फत प्रत्येक होस्टमा SQL क्वेरीहरू चलाउन अनुमति दिन्छ, केवल लगइन/पासवर्ड र डाटाबेस नाम निर्दिष्ट गर्दै:

# sql znew/Zabmon1@WH1_1

हामी Zabbix सर्भरमा कार्यरत फोल्डरमा तयार SQL प्रश्नहरू बचत गर्छौं:

/etc/zabbix/sql

र हाम्रो सर्भरको zabbix प्रयोगकर्तामा पहुँच अनुमति दिनुहोस्:

# chown zabbix:zabbix -R /etc/zabbix/sql

अनुरोधहरू भएका फाइलहरूले Zabbix सर्भरबाट पहुँचको लागि एक अद्वितीय पहिचानकर्ता-नाम प्राप्त गर्छन्। SQLcl मार्फत प्रत्येक डाटाबेस क्वेरीले हामीलाई धेरै प्यारामिटरहरू फर्काउँछ। Zabbix को विवरणहरूलाई ध्यानमा राख्दै, जसले प्रति अनुरोध मात्र एक मेट्रिक प्रक्रिया गर्न सक्छ, हामी क्वेरी परिणामहरूलाई व्यक्तिगत मेट्रिक्समा पार्स गर्न थप स्क्रिप्टहरू प्रयोग गर्नेछौं।

मुख्य स्क्रिप्ट तयार गरौं, यसलाई wh_Metrics.sh लाई कल गरौं, डाटाबेसमा SQL क्वेरी कल गर्न, नतिजाहरू बचत गर्नुहोस् र डेटा पुन: प्राप्तिको सफलताको सूचकहरूसँग प्राविधिक मेट्रिक फर्काउनुहोस्:

#!/bin/sh 
## настройка окружения</i>
export ORACLE_HOME=/usr/lib/oracle/11.2/client64
export PATH=$PATH:$ORACLE_HOME/bin
export LD_LIBRARY_PATH=$ORACLE_HOME/lib:/usr/lib64:/usr/lib:$ORACLE_HOME/bin
export TNS_ADMIN=$ORACLE_HOME/network/admin
export JAVA_HOME=/
alias sql="opt/sqlcl/bin/sql"
## задаём путь к файлу с sql-запросом и параметризованное имя файла
scriptLocation=/etc/zabbix/sql
sqlFile=$scriptLocation/sqlScript_"$2".sql
## задаём путь к файлу для хранения результатов
resultFile=/etc/zabbix/sql/mon_"$1"_main.log
## настраиваем строку подключения к БД
username="$3"
password="$4"
tnsname="$1"
## запрашиваем результат из БД
var=$(sql -s $username/$password@$tnsname < $sqlFile)
## форматируем результат запроса и записываем в файл
echo $var | cut -f5-18 -d " " > $resultFile
## проверяем наличие ошибок
if grep -q ora "$resultFile"; then
    echo null > $resultFile
    echo 0
else
    echo 1
fi

हामी Zabbix-प्रोक्सी कन्फिगरेसन सेटिङहरू (पूर्वनिर्धारित रूपमा - /usr/local/share/zabbix/externalscripts).

डाटाबेसको पहिचान जसबाट स्क्रिप्टले नतिजाहरू प्राप्त गर्नेछ स्क्रिप्ट प्यारामिटरको रूपमा पारित गरिनेछ। डाटाबेस ID TNSNames.ORA फाइलको सेटिङ लाइनसँग मेल खानुपर्छ।

SQL क्वेरी कलको नतिजा जस्तै फाइलमा बचत गरिएको छ mon_base_id_main.log जहाँ base_id = डाटाबेस पहिचानकर्तालाई स्क्रिप्ट प्यारामिटरको रूपमा प्राप्त भयो। डाटाबेस पहिचानकर्ताहरूद्वारा परिणाम फाइलको विभाजन सर्भरबाट एकै साथ धेरै डाटाबेसहरूमा अनुरोधको अवस्थामा प्रदान गरिन्छ। क्वेरीले मानहरूको क्रमबद्ध दुई-आयामी एरे फर्काउँछ।

निम्न लिपि, यसलाई getMetrica.sh कल गरौं, अनुरोधको परिणामको साथ फाइलबाट निर्दिष्ट मेट्रिक प्राप्त गर्न आवश्यक छ:

#!/bin/sh 
## определяем имя файла с результатом запроса
resultFile=/etc/zabbix/sql/mon_”$1”_main.log
## разбираем массив значений результата средствами скрипта:
## при работе со статусами, запрос возвращает нам двумерный массив (RSLT) в виде 
## {статус1 значение1 статус2 значение2…} разделённых пробелами (значение IFS)
## параметром запроса передаём код статуса и скрипт вернёт значение
IFS=’ ‘
str=$(cat $resultFile)
status_id=null
read –ra RSLT <<< “$str”
for i in “${RSLT[@]}”; do
if [[ “$status_id” == null ]]; then
status_id=”$I"
elif [[ “$status_id” == “$2” ]]; then
echo “$i”
break
else
status_id=null
fi
done

अब हामी Zabbix कन्फिगर गर्न र गोदाम स्वीकृति प्रक्रियाहरूको अनुगमन सूचकहरू सुरु गर्न तयार छौं।

प्रत्येक डाटाबेस नोडमा Zabbix एजेन्ट स्थापना र कन्फिगर गरिएको छ।

मुख्य सर्भरमा हामी Zabbix प्रोक्सीसँग सबै सर्भरहरू परिभाषित गर्छौं। सेटिङहरूको लागि, निम्न मार्गमा जानुहोस्:

प्रशासन → प्रोक्सी → प्रोक्सी सिर्जना गर्नुहोस्

हामी नियन्त्रित होस्टहरू परिभाषित गर्छौं:

सेटिङहरू → होस्टहरू → होस्ट सिर्जना गर्नुहोस्

होस्टनाम एजेन्ट कन्फिगरेसन फाइलमा निर्दिष्ट गरिएको होस्टनामसँग मेल खानुपर्छ।

हामी नोडको लागि समूह निर्दिष्ट गर्छौं, साथै डाटाबेसको साथ नोडको IP ठेगाना वा DNS नाम।

हामी मेट्रिक्स सिर्जना गर्छौं र तिनीहरूको गुणहरू निर्दिष्ट गर्छौं:

सेटिङहरू → नोडहरू → 'नोड नाम' → डाटा वस्तुहरू>डेटा वस्तु सिर्जना गर्नुहोस्

1) डाटाबेसबाट सबै प्यारामिटरहरू क्वेरी गर्न मुख्य मेट्रिक सिर्जना गर्नुहोस्

हामीले डेटा तत्वको नाम सेट गर्छौं, प्रकार "बाह्य प्रमाणिकरण" संकेत गर्नुहोस्। "कुञ्जी" फिल्डमा, हामी एक स्क्रिप्ट परिभाषित गर्छौं जसमा हामीले Oracle डाटाबेसको नाम, sql क्वेरीको नाम, लगइन र डाटाबेसमा जडान गर्नको लागि पासवर्डलाई प्यारामिटरहरूको रूपमा पास गर्छौं। क्वेरी अपडेट अन्तराल 5 मिनेट (300 सेकेन्ड) मा सेट गर्नुहोस्।

2) प्रत्येक वाहन स्थितिको लागि बाँकी मेट्रिक्स सिर्जना गर्नुहोस्। यी मेट्रिक्सका मानहरू मुख्य मेट्रिक जाँचको नतिजाको आधारमा उत्पन्न हुनेछन्।

हामीले डेटा तत्वको नाम सेट गर्छौं, प्रकार "बाह्य प्रमाणिकरण" संकेत गर्नुहोस्। "कुञ्जी" फिल्डमा, हामी एक स्क्रिप्ट परिभाषित गर्छौं जसमा हामी प्यारामिटरहरूको रूपमा ओरेकल डाटाबेसको नाम र स्थिति कोड जसको मान ट्र्याक गर्न चाहन्छौं। हामीले क्वेरी अपडेट अन्तराललाई मुख्य मेट्रिक (३१० सेकेन्ड) भन्दा १० सेकेन्ड लामोमा सेट गर्छौं ताकि परिणामहरू फाइलमा लेख्नको लागि समय होस्।

मेट्रिकहरू सही रूपमा प्राप्त गर्न, चेकहरू सक्रिय हुने क्रममा महत्त्वपूर्ण छ। डाटा प्राप्त गर्दा द्वन्द्वबाट बच्नको लागि, सबैभन्दा पहिले हामी स्क्रिप्ट - wh_Metrics.sh लाई कल गरेर मुख्य मेट्रिक GetCarsByStatus सक्रिय गर्छौं।

सेटिङहरू → नोडहरू → 'नोड नाम' → डेटा तत्वहरू → सबफिल्टर "बाह्य जाँचहरू"। आवश्यक जाँच चिन्ह लगाउनुहोस् र "सक्रिय गर्नुहोस्" मा क्लिक गर्नुहोस्।

अर्को, हामी एक अपरेसनमा बाँकी मेट्रिकहरू सक्रिय गर्छौं, ती सबै सँगै चयन गर्नुहोस्:

अब Zabbix ले गोदाम व्यापार मेट्रिक्स सङ्कलन सुरु गरेको छ।

निम्न लेखहरूमा, हामी Grafana जडान गर्न र प्रयोगकर्ताहरूको विभिन्न कोटीहरूको लागि गोदाम सञ्चालनको जानकारी ड्यासबोर्डहरू सिर्जना गर्ने बारे नजिकबाट हेर्नेछौं। साथै Grafana मा आधारित, गोदाम सञ्चालन मा विचलन को निगरानी लागू गरिएको छ र, सीमाहरु र विचलन को दोहोरिने योग्यता मा निर्भर गर्दछ, API मार्फत गोदाम व्यवस्थापन सेवा केन्द्र प्रणाली मा घटनाहरु को दर्ता वा ईमेल द्वारा प्रबन्धक लाई सूचनाहरु को सरल पठाउने।

स्रोत: www.habr.com