பதிவுகளை கண்காணிக்க கிபானாவில் டாஷ்போர்டை உருவாக்குதல்

வணக்கம், என் பெயர் யூஜின், நான் சிட்டிமொபிலில் B2B குழுத் தலைவர். எங்கள் குழுவின் பணிகளில் ஒன்று, கூட்டாளர்களிடமிருந்து ஒரு டாக்ஸியை ஆர்டர் செய்வதற்கான ஒருங்கிணைப்பை ஆதரிப்பதாகும், மேலும் நிலையான சேவையை உறுதிப்படுத்த, எங்கள் மைக்ரோ சர்வீஸில் என்ன நடக்கிறது என்பதை நாங்கள் எப்போதும் புரிந்து கொள்ள வேண்டும். இதற்காக நீங்கள் தொடர்ந்து பதிவுகளை கண்காணிக்க வேண்டும்.

சிட்டிமொபிலில், பதிவுகளுடன் பணிபுரிய ELK ஸ்டாக்கை (ElasticSearch, Logstash, Kibana) பயன்படுத்துகிறோம், மேலும் அங்கு வரும் தரவுகளின் அளவு மிகப்பெரியது. புதிய குறியீட்டைப் பயன்படுத்திய பிறகு தோன்றும் இந்தக் கோரிக்கைகளின் எண்ணிக்கையில் சிக்கல்களைக் கண்டறிவது மிகவும் கடினம். அவர்களின் காட்சி அடையாளத்திற்காக, கிபானா டாஷ்போர்டு பிரிவைக் கொண்டுள்ளது.

தரவைப் பெறுவதற்கும் சேமிப்பதற்கும் ELK அடுக்கை எவ்வாறு அமைப்பது என்பதற்கான எடுத்துக்காட்டுகளுடன் Habré இல் சில கட்டுரைகள் உள்ளன, ஆனால் டாஷ்போர்டை உருவாக்குவதில் பொருத்தமான பொருட்கள் எதுவும் இல்லை. எனவே, கிபானாவில் உள்வரும் பதிவுகளின் அடிப்படையில் தரவின் காட்சிப் பிரதிநிதித்துவத்தை எவ்வாறு உருவாக்குவது என்பதைக் காட்ட விரும்புகிறேன்.

சரிசெய்தல்

அதை தெளிவுபடுத்த, ELK மற்றும் Filebeat உடன் டோக்கர் படத்தை உருவாக்கினேன். மற்றும் ஒரு சிறிய கொள்கலனில் வைக்கப்படுகிறது நிரல் Go இல், இது எங்கள் உதாரணத்திற்கு சோதனை பதிவுகளை உருவாக்கும். ELK இன் உள்ளமைவை நான் விரிவாக விவரிக்க மாட்டேன், அதைப் பற்றி Habré இல் போதுமான அளவு எழுதப்பட்டுள்ளது.

கட்டமைப்பு களஞ்சியத்தை குளோன் செய்யவும் docker-compose மற்றும் ELK அமைப்புகளை, கட்டளையுடன் துவக்கவும் docker-compose up. வேண்டுமென்றே ஒரு விசையைச் சேர்க்கவில்லை -dELK அடுக்கின் முன்னேற்றத்தைக் காண.

git clone https://github.com/et-soft/habr-elk
cd habr-elk
docker-compose up

எல்லாம் சரியாக உள்ளமைக்கப்பட்டிருந்தால், பதிவுகளில் ஒரு உள்ளீட்டைக் காண்போம் (ஒருவேளை உடனடியாக இல்லை, முழு அடுக்குடனும் ஒரு கொள்கலனைத் தொடங்கும் செயல்முறை பல நிமிடங்கள் ஆகலாம்):

{"type":"log","@timestamp":"2020-09-20T05:55:14Z","tags":["info","http","server","Kibana"],"pid":6,"message":"http server running at http://0:5601"}

முகவரி மூலம் localhost:5061 கிபானா திறக்க வேண்டும்.

நாம் கட்டமைக்க வேண்டிய ஒரே விஷயம், கிபானாவுக்கான குறியீட்டு வடிவத்தை உருவாக்குவது, எந்தத் தரவைக் காண்பிக்க வேண்டும் என்பது பற்றிய தகவலுடன். இதைச் செய்ய, நாம் ஒரு சுருட்டை கோரிக்கையை இயக்குவோம் அல்லது வரைகலை இடைமுகத்தில் தொடர்ச்சியான செயல்களைச் செய்வோம்.

$ curl -XPOST -D- 'http://localhost:5601/api/saved_objects/index-pattern'
    -H 'Content-Type: application/json'
    -H 'kbn-xsrf: true'
    -d '{"attributes":{"title":"logstash-*","timeFieldName":"@timestamp"}}'

GUI வழியாக ஒரு குறியீட்டு வடிவத்தை உருவாக்குதல்
கட்டமைக்க, இடது மெனுவில் டிஸ்கவர் பகுதியைத் தேர்ந்தெடுத்து, குறியீட்டு வடிவ உருவாக்கம் பக்கத்திற்குச் செல்லவும்.

"குறியீட்டு வடிவத்தை உருவாக்கு" பொத்தானைக் கிளிக் செய்வதன் மூலம், குறியீட்டு உருவாக்கப் பக்கத்தைப் பெறுவோம். "இண்டெக்ஸ் பேட்டர்ன் பெயர்" புலத்தில், "logstash-*" ஐ உள்ளிடவும். எல்லாம் சரியாக உள்ளமைக்கப்பட்டால், கீழே கிபானா விதியின் கீழ் வரும் குறியீடுகளைக் காண்பிக்கும்.

அடுத்த பக்கத்தில், நேர முத்திரையுடன் முக்கிய புலத்தைத் தேர்ந்தெடுக்கவும், எங்கள் விஷயத்தில் அது @timestamp.

இது குறியீட்டு அமைப்புகள் பக்கத்தைக் கொண்டு வரும், ஆனால் இந்த நேரத்தில் எங்களிடமிருந்து எந்த நடவடிக்கையும் தேவையில்லை.

இப்போது நாம் மீண்டும் டிஸ்கவர் பகுதிக்குச் செல்லலாம், அங்கு பதிவு உள்ளீடுகளைக் காண்போம்.

கட்டுப்பாட்டகம்

இடதுபுற மெனுவில், டாஷ்போர்டு உருவாக்கம் பிரிவில் கிளிக் செய்து தொடர்புடைய பக்கத்திற்குச் செல்லவும்.

"புதிய டாஷ்போர்டை உருவாக்கு" என்பதைக் கிளிக் செய்து, டாஷ்போர்டில் பொருட்களைச் சேர்ப்பதற்கான பக்கத்திற்குச் செல்லவும்.

"புதிய உருவாக்கு" பொத்தானைக் கிளிக் செய்யவும், மேலும் தரவு காட்சி வகையைத் தேர்ந்தெடுக்க கணினி உங்களைத் தூண்டும். கிபானா அவற்றில் அதிக எண்ணிக்கையில் உள்ளது, ஆனால் "செங்குத்து பட்டை" மற்றும் அட்டவணை "தரவு அட்டவணை" ஆகியவற்றின் வரைகலை பிரதிநிதித்துவத்தை உருவாக்குவதைப் பார்ப்போம். மற்ற வகையான விளக்கக்காட்சிகளும் இதே வழியில் கட்டமைக்கப்பட்டுள்ளன. 

கிடைக்கக்கூடிய சில பொருள்கள் B மற்றும் E என பெயரிடப்பட்டுள்ளன, அதாவது வடிவம் சோதனை அல்லது பீட்டா சோதனையில் உள்ளது. காலப்போக்கில், வடிவம் மாறலாம் அல்லது கிபானாவிலிருந்து முற்றிலும் மறைந்து போகலாம்.

செங்குத்து பட்டை

"செங்குத்து பட்டை" உதாரணத்திற்கு, எங்கள் சேவையின் வெற்றிகரமான மற்றும் தோல்வியுற்ற மறுமொழி நிலைகளின் விகிதத்தின் வரைபடத்தை உருவாக்குவோம். அமைப்புகளின் முடிவில், பின்வரும் வரைபடத்தைப் பெறுகிறோம்:

பதில் நிலை < 400 வெற்றிகரமானது மற்றும் >= 400 பிரச்சனைக்குரியது என அனைத்து கோரிக்கைகளையும் வகைப்படுத்துவோம்.

"செங்குத்து பட்டை" விளக்கப்படத்தை உருவாக்க, தரவு மூலத்தைத் தேர்ந்தெடுக்க வேண்டும். நாம் முன்பு உருவாக்கிய குறியீட்டு வடிவத்தைத் தேர்ந்தெடுக்கவும்.

இயல்பாக, தரவு மூலத்தைத் தேர்ந்தெடுத்த பிறகு ஒரு திட வரைபடம் தோன்றும். அமைக்கலாம்.

"பக்கெட்ஸ்" பிளாக்கில், "சேர்" பொத்தானை அழுத்தி, "எக்ஸ்-ஆசிஸ்" என்பதைத் தேர்ந்தெடுத்து, எக்ஸ் அச்சை அமைக்கவும். பதிவில் உள்ளீடுகளின் ரசீதுக்கான நேர முத்திரைகளை ஒதுக்கி வைப்போம். "ஒருங்கிணைத்தல்" புலத்தில், "தேதி ஹிஸ்டோகிராம்" என்பதைத் தேர்ந்தெடுக்கவும், மேலும் "புலம்" இல் "@ டைம்ஸ்டாம்ப்" என்பதைத் தேர்ந்தெடுக்கவும், இது நேர புலத்தைக் குறிக்கிறது. "குறைந்தபட்ச இடைவெளியை" "தானியங்கு" நிலையில் விட்டுவிடுவோம், அது தானாகவே நமது காட்சிக்கு ஏற்ப மாறும். 

"புதுப்பிப்பு" பொத்தானைக் கிளிக் செய்வதன் மூலம், ஒவ்வொரு 30 வினாடிகளுக்கும் கோரிக்கைகளின் எண்ணிக்கையுடன் ஒரு வரைபடத்தைக் காண்போம்.

இப்போது Y- அச்சில் நெடுவரிசைகளை அமைப்போம். இப்போது தேர்ந்தெடுக்கப்பட்ட நேர இடைவெளியில் மொத்த கோரிக்கைகளின் எண்ணிக்கையைக் காட்டுகிறோம்.

"ஒருங்கிணைத்தல்" மதிப்பை "சம் பக்கெட்" ஆக மாற்றுவோம், இது வெற்றிகரமான மற்றும் தோல்வியுற்ற கோரிக்கைகளுக்கான தரவை இணைக்க அனுமதிக்கும். பக்கெட் -> திரட்டல் தொகுதியில், "வடிப்பான்கள்" மூலம் திரட்டலைத் தேர்ந்தெடுத்து, வடிகட்டலை "statusCode >= 400" மூலம் அமைக்கவும். மேலும் "தனிப்பயன் லேபிள்" புலத்தில், விளக்கப்படத்திலும் பொதுப் பட்டியலிலும் உள்ள லெஜண்டில் மிகவும் புரிந்துகொள்ளக்கூடிய காட்சிக்கான குறிகாட்டியின் பெயரை நாங்கள் குறிப்பிடுகிறோம்.

அமைப்புகள் தொகுதியின் கீழ் உள்ள "புதுப்பிப்பு" பொத்தானைக் கிளிக் செய்வதன் மூலம், சிக்கல் கோரிக்கைகளுடன் ஒரு வரைபடத்தைப் பெறுவோம்.

புராணத்திற்கு அடுத்துள்ள வட்டத்தில் கிளிக் செய்தால், ஒரு சாளரம் தோன்றும், அதில் நீங்கள் நெடுவரிசைகளின் நிறத்தை மாற்றலாம்.

இப்போது வெற்றிகரமான கோரிக்கைகளின் தரவை விளக்கப்படத்தில் சேர்ப்போம். "மெட்ரிக்ஸ்" பிரிவில், "சேர்" பொத்தானைக் கிளிக் செய்து, "Y-axis" என்பதைத் தேர்ந்தெடுக்கவும்.

உருவாக்கப்பட்ட மெட்ரிக்கில், பிழையான கோரிக்கைகளுக்கான அதே அமைப்புகளை நாங்கள் செய்கிறோம். வடிகட்டியில் மட்டுமே "statusCode <400" ஐக் குறிப்பிடுகிறோம்.

புதிய நெடுவரிசையின் நிறத்தை மாற்றுவதன் மூலம், சிக்கல் மற்றும் வெற்றிகரமான கோரிக்கைகளின் விகிதத்தின் காட்சியைப் பெறுகிறோம்.

திரையின் மேற்புறத்தில் உள்ள "சேமி" பொத்தானைக் கிளிக் செய்து பெயரைக் குறிப்பிடுவதன் மூலம், டாஷ்போர்டில் முதல் விளக்கப்படத்தைக் காண்போம்.

தரவு அட்டவணை

இப்போது அட்டவணைக் காட்சி "தரவு அட்டவணை" என்பதைக் கவனியுங்கள். கோரப்பட்ட அனைத்து URLகளின் பட்டியல் மற்றும் அந்த கோரிக்கைகளின் எண்ணிக்கையுடன் அட்டவணையை உருவாக்குவோம். செங்குத்து பட்டை உதாரணத்தைப் போலவே, முதலில் தரவு மூலத்தைத் தேர்ந்தெடுக்கிறோம்.

அதன் பிறகு, ஒரு நெடுவரிசையுடன் ஒரு அட்டவணை திரையில் காட்டப்படும், இது தேர்ந்தெடுக்கப்பட்ட நேர இடைவெளிக்கான கோரிக்கைகளின் மொத்த எண்ணிக்கையைக் காட்டுகிறது.

நாங்கள் "பக்கெட்ஸ்" தொகுதியை மட்டுமே மாற்றுவோம். "சேர்" பொத்தானைக் கிளிக் செய்து, "வரிசைகளைப் பிரி" என்பதைத் தேர்ந்தெடுக்கவும்.

"ஒருங்கிணைத்தல்" புலத்தில், "விதிமுறைகள்" என்பதைத் தேர்ந்தெடுக்கவும். தோன்றிய "புலம்" புலத்தில் "url.keyword" என்பதைத் தேர்ந்தெடுக்கவும்.

"தனிப்பயன் லேபிள்" புலத்தில் "Url" மதிப்பைக் குறிப்பிட்டு, "புதுப்பி" என்பதைக் கிளிக் செய்வதன் மூலம், தேர்ந்தெடுக்கப்பட்ட காலத்திற்கான ஒவ்வொரு URLகளுக்கான கோரிக்கைகளின் எண்ணிக்கையுடன் தேவையான அட்டவணையைப் பெறுவோம்.

திரையின் மேற்புறத்தில், "சேமி" பொத்தானை மீண்டும் கிளிக் செய்து, அட்டவணையின் பெயரைக் குறிப்பிடவும், எடுத்துக்காட்டாக Urls. டாஷ்போர்டிற்குச் சென்று இரண்டு காட்சிகளும் உருவாக்கப்பட்டதைப் பார்ப்போம்.

டாஷ்போர்டுடன் பணிபுரிதல்

டாஷ்போர்டை உருவாக்கும் போது, ​​காட்சி பொருள் அமைப்புகளில் முக்கிய காட்சி அளவுருக்களை மட்டுமே அமைக்கிறோம். பொருள்களில் உள்ள வடிப்பான்களுக்கான தரவைக் குறிப்பிடுவதில் எந்த அர்த்தமும் இல்லை, எடுத்துக்காட்டாக, "தேதி வரம்பு", "பயனர் மூலம் வடிகட்டுதல்", "கோரிக்கை நாடு மூலம் வடிகட்டுதல்" போன்றவை. விரும்பிய கால அளவைக் குறிப்பிடுவது அல்லது வினவல் குழுவில் தேவையான வடிகட்டலை அமைப்பது மிகவும் வசதியானது, இது பொருள்களுக்கு மேலே அமைந்துள்ளது.

இந்த பேனலில் சேர்க்கப்பட்டுள்ள வடிப்பான்கள் முழு டாஷ்போர்டிலும் பயன்படுத்தப்படும், மேலும் அனைத்து காட்சிப் பொருட்களும் உண்மையான வடிகட்டப்பட்ட தரவுக்கு ஏற்ப மீண்டும் கட்டமைக்கப்படும்.

முடிவுக்கு

கிபானா ஒரு சக்திவாய்ந்த கருவியாகும், இது எந்தவொரு தரவையும் வசதியான முறையில் காட்சிப்படுத்த உங்களை அனுமதிக்கிறது. இரண்டு முக்கிய வகை காட்சிகளின் அமைப்பைக் காட்ட முயற்சித்தேன். ஆனால் மற்ற வகைகளும் இதே வழியில் கட்டமைக்கப்பட்டுள்ளன. நான் "திரைக்குப் பின்னால்" விட்டுச் சென்ற ஏராளமான அமைப்புகள், உங்கள் தேவைகளுக்கு ஏற்றவாறு விளக்கப்படங்களை மிகவும் நெகிழ்வாகத் தனிப்பயனாக்க உங்களை அனுமதிக்கும்.

ஆதாரம்: www.habr.com