ምዝግብ ማስታወሻዎችን ለመከታተል በኪባና ውስጥ ዳሽቦርድ መፍጠር

ሰላም፣ ስሜ ዩጂን ነው፣ እኔ በሲቲሞቢል የB2B ቡድን መሪ ነኝ። የቡድናችን አንዱ ተግባር ከባልደረባዎች ታክሲ ለማዘዝ ውህደትን መደገፍ እና የተረጋጋ አገልግሎትን ለማረጋገጥ በጥቃቅን አገልግሎታችን ውስጥ ምን እየተከናወነ እንደሆነ ሁልጊዜ መረዳት አለብን። እና ለዚህም የምዝግብ ማስታወሻዎችን ያለማቋረጥ መከታተል ያስፈልግዎታል.

በሲቲሞቢል ከሎግዎች ጋር ለመስራት የኤልኬ ቁልል (ElasticSearch፣ Logstash፣ Kibana) እንጠቀማለን፣ እና ወደዚያ የሚመጣው የውሂብ መጠን በጣም ትልቅ ነው። አዲስ ኮድ ከተጫነ በኋላ ሊታዩ በሚችሉ ብዙ ጥያቄዎች ውስጥ ችግሮችን መፈለግ በጣም ከባድ ነው። እና ለእይታ መታወቂያቸው ኪባና ዳሽቦርድ ክፍል አላቸው።

መረጃን ለመቀበል እና ለማከማቸት የ ELK ቁልል እንዴት ማዋቀር እንደሚቻል የሚያሳዩ ምሳሌዎች በ Habré ላይ በጣም ጥቂት ጽሑፎች አሉ ነገር ግን ዳሽቦርድ ለመፍጠር ምንም ተዛማጅ ቁሳቁሶች የሉም። ስለዚህ, በኪባና ውስጥ በሚገቡ ምዝግብ ማስታወሻዎች ላይ በመመስረት የውሂብ ምስላዊ ውክልና እንዴት መፍጠር እንደሚቻል ማሳየት እፈልጋለሁ.

በደንብ ማድረግ

የበለጠ ግልጽ ለማድረግ፣ በኤልኬ እና በፋይልቢት የዶከር ምስል ፈጠርኩ። እና በትንሽ ማጠራቀሚያ ውስጥ ያስቀምጡ ፕሮግራሙ በ Go ውስጥ, ይህም ለእኛ ምሳሌ የሙከራ ምዝግብ ማስታወሻዎችን ይፈጥራል. የኤልኬን ውቅር በዝርዝር አልገልጽም ፣ ስለ እሱ በቂ የተጻፈው በ Habré ላይ ነው።

የውቅር ማከማቻውን ዝጋ docker-compose እና ELK ቅንብሮች, እና በትእዛዙ ያስጀምሩት docker-compose up. ሆን ተብሎ ቁልፍ አለመጨመር -dየ ELK ቁልል እድገትን ለማየት.

git clone https://github.com/et-soft/habr-elk
cd habr-elk
docker-compose up

ሁሉም ነገር በትክክል ከተዋቀረ በምዝግብ ማስታወሻዎች ውስጥ ግቤትን እናያለን (ምናልባት ወዲያውኑ አይደለም ፣ መያዣውን ከጠቅላላው ቁልል ጋር የማስጀመር ሂደት ብዙ ደቂቃዎችን ሊወስድ ይችላል)

{"type":"log","@timestamp":"2020-09-20T05:55:14Z","tags":["info","http","server","Kibana"],"pid":6,"message":"http server running at http://0:5601"}

በአድራሻው localhost:5061 ኪባና መከፈት አለበት.

እኛ ማዋቀር ያለብን ብቸኛው ነገር ምን ውሂብ ማሳየት እንዳለበት መረጃ ያለው ለኪባና ማውጫ ንድፍ መፍጠር ነው። ይህንን ለማድረግ የክብ ጥያቄን እንፈጽማለን ወይም በግራፊክ በይነገጽ ውስጥ ተከታታይ እርምጃዎችን እንፈጽማለን።

$ curl -XPOST -D- 'http://localhost:5601/api/saved_objects/index-pattern'
    -H 'Content-Type: application/json'
    -H 'kbn-xsrf: true'
    -d '{"attributes":{"title":"logstash-*","timeFieldName":"@timestamp"}}'

በ GUI በኩል የመረጃ ጠቋሚ ንድፍ መፍጠር
ለማዋቀር በግራ ምናሌው ውስጥ ያለውን የግኝት ክፍል ይምረጡ እና ወደ ማውጫ ጥለት ፈጠራ ገጽ ይሂዱ።

"የጠቋሚ ስርዓተ-ጥለት ፍጠር" ቁልፍን ጠቅ በማድረግ ወደ ጠቋሚ ፈጠራ ገጽ እንሄዳለን. በ "ኢንዴክስ ጥለት ስም" መስክ ውስጥ "logstash-*" ያስገቡ. ሁሉም ነገር በትክክል ከተዋቀረ ከኪባና በታች በደንቡ ስር የሚወድቁትን ኢንዴክሶች ያሳያል።

በሚቀጥለው ገጽ ላይ የጊዜ ማህተም ያለው ቁልፍ መስክ ይምረጡ, በእኛ ሁኔታ ነው @timestamp.

ይህ የመረጃ ጠቋሚ ቅንብሮች ገጽን ያመጣል, ነገር ግን በዚህ ጊዜ ምንም ተጨማሪ እርምጃ ከእኛ አያስፈልግም.

አሁን እንደገና ወደ Discover ክፍል መሄድ እንችላለን, እዚያም የምዝግብ ማስታወሻዎችን እናያለን.

ዳሽቦርድ

በግራ ምናሌው ውስጥ የዳሽቦርድ ፈጠራ ክፍልን ጠቅ ያድርጉ እና ወደ ተጓዳኝ ገጽ ይሂዱ።

"አዲስ ዳሽቦርድ ፍጠር" ላይ ጠቅ ያድርጉ እና ነገሮችን ወደ ዳሽቦርዱ ለማከል ወደ ገጹ ይሂዱ።

"አዲስ ፍጠር" ቁልፍን ጠቅ ያድርጉ እና ስርዓቱ የውሂብ ማሳያውን አይነት እንዲመርጡ ይጠይቅዎታል. ኪባና በጣም ብዙ ቁጥር አለው, ነገር ግን የ "ቋሚ ባር" እና የ "ዳታ ሠንጠረዥ" ስዕላዊ መግለጫ መፍጠርን እንመለከታለን. ሌሎች የዝግጅት አቀራረብ ዓይነቶች በተመሳሳይ መንገድ ተዋቅረዋል። 

አንዳንድ የሚገኙ ነገሮች B እና E የሚል ስያሜ ተሰጥቷቸዋል፣ ይህ ማለት ቅርጸቱ የሙከራ ወይም በቅድመ-ይሁንታ ሙከራ ላይ ነው። ከጊዜ በኋላ, ቅርጸቱ ከኪባና ሊለወጥ ወይም ሙሉ በሙሉ ሊጠፋ ይችላል.

አቀባዊ ባር

ለ“ቋሚ አሞሌ” ምሳሌ፣ የአገልግሎታችን የተሳካ እና ያልተሳኩ የምላሽ ሁኔታዎች ጥምርታ ሂስቶግራም እንፍጠር። በቅንብሮች መጨረሻ ላይ የሚከተለውን ግራፍ እናገኛለን:

ሁሉንም ጥያቄዎች የምላሽ ሁኔታ < 400 በተሳካ ሁኔታ እና > = 400 እንደ ችግር እንመድባቸዋለን።

"ቋሚ ባር" ገበታ ለመፍጠር የውሂብ ምንጭ መምረጥ አለብን. ቀደም ብለን የፈጠርነውን የኢንዴክስ ንድፍ ይምረጡ።

በነባሪ የውሂብ ምንጭ ከመረጡ በኋላ አንድ ነጠላ ድፍን ግራፍ ይታያል. እናዋቅር።

በ "ባልዲዎች" ብሎክ ውስጥ "አክል" የሚለውን ቁልፍ ተጭነው "X-asis" ን ምረጥ እና የ X ዘንግ አዋቅር።በሎግ ውስጥ ያሉትን የጊዜ ማህተሞች ወደ ጎን እናስቀምጥ። በ"ውህደት" መስክ "Date Histogram" የሚለውን ይምረጡ እና በ "መስክ" ውስጥ "@timestamp" የሚለውን ይምረጡ, ይህም የሰዓት መስኩን ያመለክታል. በ"ራስ-ሰር" ሁኔታ ውስጥ "ትንሹን ክፍተት" እንተወውና በራስ ሰር ወደ ማሳያችን ይስተካከላል። 

"አዘምን" የሚለውን ቁልፍ ጠቅ በማድረግ በየ 30 ሰከንድ የጥያቄዎች ብዛት ያለው ግራፍ እናያለን።

አሁን ዓምዶቹን በ Y ዘንግ በኩል እናዘጋጃቸው ። አሁን በተመረጠው የጊዜ ክፍተት ውስጥ አጠቃላይ የጥያቄዎችን ብዛት እናሳያለን።

ለተሳካ እና ላልተሳካላቸው ጥያቄዎች ዳታ ለማጣመር የሚያስችለንን የ"ስብስብ" እሴትን ወደ "Sum Bucket" እንለውጠው። በ Bucket -> Aggregation block ውህደቱን በ"Filters" ምረጥ እና ማጣሪያውን በ"statusCode>= 400" አዘጋጅ። እና በ "ብጁ መለያ" መስክ ውስጥ በገበታው ላይ ባለው አፈ ታሪክ እና በአጠቃላይ ዝርዝር ውስጥ የበለጠ ለመረዳት ለሚቻል ማሳያ የአመልካች ስማችንን እናሳያለን።

በቅንብሮች እገዳ ስር ያለውን "አዘምን" ቁልፍን ጠቅ በማድረግ የችግር ጥያቄዎችን የያዘ ግራፍ እናገኛለን.

ከአፈ ታሪክ ቀጥሎ ባለው ክበብ ላይ ጠቅ ካደረጉ, የአምዶችን ቀለም መቀየር የሚችሉበት መስኮት ይታያል.

አሁን በተሳካላቸው ጥያቄዎች ላይ ውሂብ ወደ ገበታ እንጨምር። በ "መለኪያዎች" ክፍል ውስጥ "አክል" ቁልፍን ጠቅ ያድርጉ እና "Y-axis" የሚለውን ይምረጡ.

በተፈጠረው መለኪያ ውስጥ ልክ እንደ የተሳሳቱ ጥያቄዎች ተመሳሳይ ቅንብሮችን እናደርጋለን. በማጣሪያው ውስጥ ብቻ "statusCode <400" እንገልፃለን።

የአዲሱን ዓምድ ቀለም በመቀየር ችግር ያለባቸው እና የተሳካላቸው ጥያቄዎች ጥምርታ ማሳያ እናገኛለን።

በማያ ገጹ ላይኛው ክፍል ላይ ያለውን "አስቀምጥ" ቁልፍን ጠቅ በማድረግ እና ስሙን በመግለጽ በዳሽቦርዱ ላይ የመጀመሪያውን ሰንጠረዥ እናያለን.

የውሂብ ሰንጠረዥ

አሁን የሰንጠረዡን እይታ "የውሂብ ሰንጠረዥ" አስቡበት. ሁሉንም የተጠየቁ ዩአርኤሎች ዝርዝር እና የጥያቄዎቹ ብዛት ያለው ሠንጠረዥ እንፍጠር። እንደ የቋሚ ባር ምሳሌ መጀመሪያ የምንመርጠው የውሂብ ምንጭ ነው።

ከዚያ በኋላ, አንድ አምድ ያለው ጠረጴዛ በስክሪኑ ላይ ይታያል, ይህም ለተመረጠው የጊዜ ክፍተት አጠቃላይ የጥያቄዎች ብዛት ያሳያል.

"ባልዲዎች" ብሎክን ብቻ እንለውጣለን. "አክል" ቁልፍን ጠቅ ያድርጉ እና "ረድፎችን ይከፋፍሉ" ን ይምረጡ።

በ "ስብስብ" መስክ "ውሎች" የሚለውን ይምረጡ. እና በሚታየው መስክ "መስክ" "url.keyword" ን ይምረጡ.

በ"ብጁ መለያ" መስክ ውስጥ "Url" እሴትን በመግለጽ እና "አዘምን" የሚለውን ጠቅ በማድረግ ለተመረጠው ጊዜ ለእያንዳንዱ የዩአርኤሎች የጥያቄዎች ብዛት የተፈለገውን ሰንጠረዥ እናገኛለን።

በማያ ገጹ ላይኛው ክፍል ላይ "አስቀምጥ" የሚለውን ቁልፍ እንደገና ጠቅ ያድርጉ እና የሰንጠረዡን ስም ይግለጹ, ለምሳሌ ዩአርኤል. ወደ ዳሽቦርዱ እንመለስና ሁለቱንም እይታዎች እንደተፈጠሩ እንይ።

ከዳሽቦርድ ጋር በመስራት ላይ

ዳሽቦርዱን በሚፈጥሩበት ጊዜ, በማሳያ ነገር ቅንጅቶች ውስጥ ዋናውን የእይታ መለኪያዎችን ብቻ እናዘጋጃለን. በእቃዎች ውስጥ ለማጣሪያዎች ውሂብን መግለጽ ምንም ትርጉም የለውም ፣ ለምሳሌ ፣ “የቀን ክልል” ፣ “በተጠቃሚ ማጣራት” ፣ “በጥያቄ ሀገር ማጣራት” ፣ ወዘተ. የሚፈለገውን ጊዜ ለመጥቀስ ወይም በጥያቄው ፓነል ውስጥ አስፈላጊውን ማጣሪያ ለማዘጋጀት በጣም ምቹ ነው, ይህም ከእቃዎቹ በላይ ነው.

በዚህ ፓነል ላይ የተጨመሩት ማጣሪያዎች በመላው ዳሽቦርድ ላይ ይተገበራሉ, እና ሁሉም የማሳያ እቃዎች በትክክለኛው የተጣራ መረጃ መሰረት እንደገና ይገነባሉ.

መደምደሚያ

ኪባና ማንኛውንም ውሂብ ምቹ በሆነ መንገድ እንዲመለከቱ የሚያስችልዎ ኃይለኛ መሳሪያ ነው። የሁለቱን ዋና ዋና የማሳያ ዓይነቶች መቼት ለማሳየት ሞከርኩ። ነገር ግን ሌሎች ዓይነቶች በተመሳሳይ መንገድ የተዋቀሩ ናቸው. እና እኔ “ከመድረክ በስተጀርባ” የተውኳቸው ቅንጅቶች ብዛት ለፍላጎቶችዎ ቻርቶችን በተለዋዋጭ እንዲያበጁ ይፈቅድልዎታል።

ምንጭ: hab.com