ការបង្កើតផ្ទាំងគ្រប់គ្រងនៅក្នុង Kibana ដើម្បីត្រួតពិនិត្យកំណត់ហេតុ

សួស្តី ខ្ញុំឈ្មោះ Eugene ខ្ញុំជាប្រធានក្រុម B2B នៅ Citymobil។ ភារកិច្ចមួយរបស់ក្រុមរបស់យើងគឺគាំទ្រការរួមបញ្ចូលសម្រាប់ការបញ្ជាតាក់ស៊ីពីដៃគូ ហើយដើម្បីធានាបាននូវសេវាកម្មដែលមានស្ថេរភាព យើងត្រូវតែយល់អំពីអ្វីដែលកំពុងកើតឡើងនៅក្នុងសេវាកម្មមីក្រូរបស់យើង។ ហើយសម្រាប់ការនេះអ្នកត្រូវតាមដានកំណត់ហេតុជាប្រចាំ។

នៅក្នុង Citymobil យើងប្រើជង់ ELK (ElasticSearch, Logstash, Kibana) ដើម្បីធ្វើការជាមួយកំណត់ហេតុ ហើយចំនួនទិន្នន័យដែលមកទីនោះមានច្រើនណាស់។ ការស្វែងរកបញ្ហានៅក្នុងសំណើដ៏ធំនេះ ដែលអាចលេចឡើងបន្ទាប់ពីការដាក់ពង្រាយលេខកូដថ្មីគឺពិបាកណាស់។ ហើយសម្រាប់ការកំណត់អត្តសញ្ញាណដែលមើលឃើញរបស់ពួកគេ Kibana មានផ្នែក Dashboard ។

មានអត្ថបទមួយចំនួននៅលើHabre ជាមួយនឹងឧទាហរណ៍អំពីរបៀបរៀបចំ ELK stack ដើម្បីទទួល និងរក្សាទុកទិន្នន័យ ប៉ុន្តែមិនមានឯកសារពាក់ព័ន្ធក្នុងការបង្កើត Dashboard ទេ។ ដូច្នេះហើយ ខ្ញុំចង់បង្ហាញពីរបៀបបង្កើតការតំណាងដែលមើលឃើញនៃទិន្នន័យដោយផ្អែកលើកំណត់ហេតុដែលចូលមកក្នុង Kibana។

ការលៃតម្រូវ

ដើម្បីធ្វើឱ្យវាកាន់តែច្បាស់ ខ្ញុំបានបង្កើតរូបភាព Docker ជាមួយ ELK និង Filebeat ។ ហើយដាក់ក្នុងធុងតូចមួយ កម្មវិធី នៅក្នុង Go ដែលសម្រាប់ឧទាហរណ៍របស់យើងនឹងបង្កើតកំណត់ហេតុសាកល្បង។ ខ្ញុំនឹងមិនរៀបរាប់លម្អិតអំពីការកំណត់រចនាសម្ព័ន្ធរបស់ ELK ទេ វាមានសរសេរគ្រប់គ្រាន់អំពីវានៅលើ Habre ។

ក្លូន​ឃ្លាំង​កំណត់​រចនាសម្ព័ន្ធ docker-compose និងការកំណត់ ELK ហើយបើកដំណើរការវាដោយប្រើពាក្យបញ្ជា docker-compose up. ដោយចេតនាមិនបន្ថែមសោ -dដើម្បីមើលវឌ្ឍនភាពនៃជង់ ELK ។

git clone https://github.com/et-soft/habr-elk
cd habr-elk
docker-compose up

ប្រសិនបើអ្វីៗត្រូវបានរៀបចំយ៉ាងត្រឹមត្រូវ នោះយើងនឹងឃើញធាតុនៅក្នុងកំណត់ហេតុ (ប្រហែលជាមិនមែនភ្លាមៗទេ ដំណើរការនៃការបើកដំណើរការកុងតឺន័រជាមួយជង់ទាំងមូលអាចចំណាយពេលច្រើននាទី)៖

{"type":"log","@timestamp":"2020-09-20T05:55:14Z","tags":["info","http","server","Kibana"],"pid":6,"message":"http server running at http://0:5601"}

តាមអាសយដ្ឋាន localhost:5061 គីបាណាគួរតែបើក។

រឿងតែមួយគត់ដែលយើងត្រូវកំណត់រចនាសម្ព័ន្ធគឺបង្កើតលំនាំសន្ទស្សន៍សម្រាប់ Kibana ជាមួយនឹងព័ត៌មានអំពីទិន្នន័យដែលត្រូវបង្ហាញ។ ដើម្បីធ្វើដូច្នេះ យើងនឹងប្រតិបត្តិសំណើរ curl ឬអនុវត្តសកម្មភាពជាបន្តបន្ទាប់នៅក្នុងចំណុចប្រទាក់ក្រាហ្វិក។

$ curl -XPOST -D- 'http://localhost:5601/api/saved_objects/index-pattern'
    -H 'Content-Type: application/json'
    -H 'kbn-xsrf: true'
    -d '{"attributes":{"title":"logstash-*","timeFieldName":"@timestamp"}}'

ការបង្កើតលំនាំសន្ទស្សន៍តាមរយៈ GUI
ដើម្បីកំណត់រចនាសម្ព័ន្ធ សូមជ្រើសរើសផ្នែក Discover នៅក្នុងម៉ឺនុយខាងឆ្វេង ហើយចូលទៅកាន់ទំព័របង្កើតលំនាំសន្ទស្សន៍។

ដោយចុចលើប៊ូតុង "បង្កើតគំរូលិបិក្រម" យើងទៅដល់ទំព័របង្កើតលិបិក្រម។ នៅក្នុងវាល "ឈ្មោះលំនាំសន្ទស្សន៍" បញ្ចូល "logstash-*" ។ ប្រសិនបើអ្វីៗត្រូវបានតំឡើងត្រឹមត្រូវ ខាងក្រោម Kibana នឹងបង្ហាញលិបិក្រមដែលស្ថិតនៅក្រោមច្បាប់។

នៅទំព័របន្ទាប់ សូមជ្រើសរើសវាលគន្លឹះដែលមានត្រាពេលវេលា ក្នុងករណីរបស់យើងវាជា @timestamp.

វា​នឹង​បង្ហាញ​ទំព័រ​កំណត់​លិបិក្រម ប៉ុន្តែ​មិន​ចាំបាច់​មាន​សកម្មភាព​បន្ថែម​ទៀត​ពី​យើង​នៅ​ពេល​នេះ​ទេ។

ឥឡូវនេះយើងអាចទៅផ្នែក Discover ម្តងទៀត ដែលយើងនឹងឃើញធាតុកំណត់ហេតុ។

Dashboard

នៅក្នុងម៉ឺនុយខាងឆ្វេង ចុចលើផ្នែកបង្កើតផ្ទាំងគ្រប់គ្រង ហើយចូលទៅកាន់ទំព័រដែលត្រូវគ្នា។

ចុចលើ "បង្កើតផ្ទាំងគ្រប់គ្រងថ្មី" ហើយចូលទៅកាន់ទំព័រសម្រាប់ការបន្ថែមវត្ថុទៅផ្ទាំងគ្រប់គ្រង។

ចុចលើប៊ូតុង "បង្កើតថ្មី" ហើយប្រព័ន្ធនឹងប្រាប់អ្នកឱ្យជ្រើសរើសប្រភេទនៃការបង្ហាញទិន្នន័យ។ Kibana មានពួកវាមួយចំនួនធំ ប៉ុន្តែយើងនឹងពិនិត្យមើលការបង្កើតតំណាងក្រាហ្វិកនៃ "របារបញ្ឈរ" និងតារាង "តារាងទិន្នន័យ" ។ ប្រភេទនៃការបង្ហាញផ្សេងទៀតត្រូវបានកំណត់រចនាសម្ព័ន្ធតាមរបៀបស្រដៀងគ្នា។ 

វត្ថុដែលមានមួយចំនួនត្រូវបានដាក់ស្លាក B និង E ដែលមានន័យថាទម្រង់គឺពិសោធន៍ ឬនៅក្នុងការធ្វើតេស្តបេតា។ យូរៗទៅ ទម្រង់អាចផ្លាស់ប្តូរ ឬបាត់ទាំងស្រុងពី Kibana។

របារបញ្ឈរ

សម្រាប់ឧទាហរណ៍ "របារបញ្ឈរ" ចូរយើងបង្កើតអ៊ីស្តូក្រាមនៃសមាមាត្រនៃស្ថានភាពឆ្លើយតបដែលជោគជ័យ និងមិនជោគជ័យនៃសេវាកម្មរបស់យើង។ នៅចុងបញ្ចប់នៃការកំណត់ យើងទទួលបានក្រាហ្វខាងក្រោម៖

យើងនឹងចាត់ថ្នាក់សំណើទាំងអស់ដែលមានស្ថានភាពឆ្លើយតប < 400 ជាជោគជ័យ ហើយ >= 400 ជាបញ្ហា។

ដើម្បីបង្កើតគំនូសតាង "របារបញ្ឈរ" យើងត្រូវជ្រើសរើសប្រភពទិន្នន័យ។ ជ្រើសរើសលំនាំសន្ទស្សន៍ដែលយើងបានបង្កើតមុន។

តាមលំនាំដើម ក្រាហ្វរឹងតែមួយនឹងលេចឡើងបន្ទាប់ពីជ្រើសរើសប្រភពទិន្នន័យ។ តោះរៀបចំវា។

នៅក្នុងប្លុក "Buckets" ចុចប៊ូតុង "Add" ជ្រើសរើស "X-asis" ហើយរៀបចំអ័ក្ស X។ ចូរយើងកំណត់ពេលវេលានៃធាតុនៅក្នុងកំណត់ហេតុនៅតាមបណ្តោយវា។ នៅក្នុងវាល "Aggregation" ជ្រើសរើស "Date Histogram" ហើយនៅក្នុង "Field" សូមជ្រើសរើស "@timestamp" ដែលបង្ហាញពីវាលពេលវេលា។ ចូរទុក "ចន្លោះពេលអប្បបរមា" នៅក្នុងស្ថានភាព "ស្វ័យប្រវត្តិ" ហើយវានឹងកែតម្រូវដោយស្វ័យប្រវត្តិចំពោះការបង្ហាញរបស់យើង។ 

ដោយចុចលើប៊ូតុង "ធ្វើបច្ចុប្បន្នភាព" យើងនឹងឃើញក្រាហ្វដែលមានចំនួនសំណើរៀងរាល់ 30 វិនាទី។

ឥឡូវ​យើង​រៀបចំ​ជួរ​ឈរ​តាម​អ័ក្ស Y។ ឥឡូវ​យើង​កំពុង​បង្ហាញ​ចំនួន​សំណើ​សរុប​ក្នុង​ចន្លោះ​ពេល​ដែល​បាន​ជ្រើសរើស។

តោះប្តូរតម្លៃ "Aggregation" ទៅ "Sum Bucket" ដែលនឹងអនុញ្ញាតឱ្យយើងបញ្ចូលគ្នានូវទិន្នន័យសម្រាប់សំណើដែលជោគជ័យ និងមិនបានជោគជ័យ។ នៅក្នុង Bucket -> Aggregation block ជ្រើសរើសការប្រមូលផ្តុំដោយ "Filters" ហើយកំណត់ការត្រងដោយ "statusCode >= 400"។ ហើយនៅក្នុងវាល "ស្លាកផ្ទាល់ខ្លួន" យើងបង្ហាញឈ្មោះរបស់យើងនៃសូចនាករសម្រាប់ការបង្ហាញដែលអាចយល់បានកាន់តែច្រើននៅក្នុងរឿងព្រេងនៅលើតារាង និងក្នុងបញ្ជីទូទៅ។

ដោយចុចប៊ូតុង "ធ្វើបច្ចុប្បន្នភាព" នៅក្រោមប្លុកការកំណត់ យើងនឹងទទួលបានក្រាហ្វដែលមានសំណើបញ្ហា។

ប្រសិនបើអ្នកចុចលើរង្វង់នៅជាប់នឹងរឿងព្រេងនោះ បង្អួចនឹងលេចឡើងដែលអ្នកអាចផ្លាស់ប្តូរពណ៌នៃជួរឈរ។

ឥឡូវនេះ ចូរយើងបន្ថែមទិន្នន័យលើសំណើដែលទទួលបានជោគជ័យទៅក្នុងតារាង។ នៅក្នុងផ្នែក "ម៉ែត្រ" ចុចប៊ូតុង "បន្ថែម" ហើយជ្រើសរើស "អ័ក្ស Y" ។

ក្នុង​ម៉ែត្រ​ដែល​បាន​បង្កើត យើង​ធ្វើ​ការ​កំណត់​ដូច​គ្នា​នឹង​សំណើ​ដែល​មាន​កំហុស។ មានតែនៅក្នុងតម្រងដែលយើងបញ្ជាក់ "លេខកូដស្ថានភាព < 400" ។

តាមរយៈការផ្លាស់ប្តូរពណ៌នៃជួរឈរថ្មី យើងទទួលបានការបង្ហាញសមាមាត្រនៃសំណើដែលមានបញ្ហា និងជោគជ័យ។

ដោយចុចប៊ូតុង "រក្សាទុក" នៅផ្នែកខាងលើនៃអេក្រង់ ហើយបញ្ជាក់ឈ្មោះ យើងនឹងឃើញតារាងទីមួយនៅលើផ្ទាំងគ្រប់គ្រង។

តារាងទិន្នន័យ

ឥឡូវពិចារណាទិដ្ឋភាពតារាង "តារាងទិន្នន័យ" ។ ចូរបង្កើតតារាងមួយដែលមានបញ្ជី URLs ទាំងអស់ដែលត្រូវបានស្នើសុំ និងចំនួននៃសំណើទាំងនោះ។ ដូចនឹងឧទាហរណ៍របារបញ្ឈរ យើងជ្រើសរើសប្រភពទិន្នន័យជាមុនសិន។

បន្ទាប់ពីនោះ តារាងដែលមានជួរឈរមួយនឹងត្រូវបានបង្ហាញនៅលើអេក្រង់ ដែលបង្ហាញចំនួនសរុបនៃសំណើសម្រាប់ចន្លោះពេលដែលបានជ្រើសរើស។

យើងនឹងផ្លាស់ប្តូរតែប្លុក "ធុង" ប៉ុណ្ណោះ។ ចុចប៊ូតុង "បន្ថែម" ហើយជ្រើសរើស "បំបែកជួរ" ។

នៅក្នុងវាល "ការប្រមូលផ្តុំ" ជ្រើសរើស "លក្ខខណ្ឌ" ។ ហើយនៅក្នុងវាលដែលបានបង្ហាញខ្លួន "វាល" ជ្រើសរើស "url.keyword" ។

ដោយបញ្ជាក់តម្លៃ "Url" នៅក្នុងវាល "ស្លាកផ្ទាល់ខ្លួន" ហើយចុច "ធ្វើបច្ចុប្បន្នភាព" យើងនឹងទទួលបានតារាងដែលចង់បានជាមួយនឹងចំនួនសំណើសម្រាប់ URLs នីមួយៗសម្រាប់រយៈពេលដែលបានជ្រើសរើស។

នៅផ្នែកខាងលើនៃអេក្រង់ ចុចប៊ូតុង "រក្សាទុក" ម្តងទៀត ហើយបញ្ជាក់ឈ្មោះតារាង ឧទាហរណ៍ Urls ។ តោះត្រឡប់ទៅផ្ទាំងគ្រប់គ្រង ហើយមើលទិដ្ឋភាពទាំងពីរដែលបានបង្កើត។

ធ្វើការជាមួយ Dashboard

នៅពេលបង្កើតផ្ទាំងគ្រប់គ្រង យើងកំណត់តែប៉ារ៉ាម៉ែត្រទិដ្ឋភាពសំខាន់នៅក្នុងការកំណត់វត្ថុបង្ហាញប៉ុណ្ណោះ។ វាគ្មានន័យទេក្នុងការបញ្ជាក់ទិន្នន័យសម្រាប់តម្រងក្នុងវត្ថុ ឧទាហរណ៍ "ជួរកាលបរិច្ឆេទ", "ត្រងដោយអ្នកប្រើប្រាស់", "ការត្រងតាមប្រទេសដែលស្នើសុំ" ជាដើម។ វាងាយស្រួលជាងក្នុងការបញ្ជាក់រយៈពេលដែលចង់បាន ឬកំណត់ការត្រងចាំបាច់នៅក្នុងបន្ទះសំណួរ ដែលមានទីតាំងនៅខាងលើវត្ថុ។

តម្រងដែលបានបន្ថែមនៅលើបន្ទះនេះនឹងត្រូវបានអនុវត្តទៅផ្ទាំងគ្រប់គ្រងទាំងមូល ហើយវត្ថុបង្ហាញទាំងអស់នឹងត្រូវបានបង្កើតឡើងវិញដោយអនុលោមតាមទិន្នន័យដែលបានត្រងពិតប្រាកដ។

សេចក្តីសន្និដ្ឋាន

Kibana គឺជាឧបករណ៍ដ៏មានអានុភាពដែលអនុញ្ញាតឱ្យអ្នកមើលឃើញទិន្នន័យណាមួយតាមរបៀបដ៏ងាយស្រួល។ ខ្ញុំបានព្យាយាមបង្ហាញការកំណត់នៃប្រភេទសំខាន់ពីរនៃការបង្ហាញ។ ប៉ុន្តែប្រភេទផ្សេងទៀតត្រូវបានកំណត់រចនាសម្ព័ន្ធតាមរបៀបស្រដៀងគ្នា។ ហើយការកំណត់ច្រើនក្រៃលែងដែលខ្ញុំបានទុក "នៅពីក្រោយឆាក" នឹងអនុញ្ញាតឱ្យអ្នកកែសម្រួលតារាងតាមបំណងយ៉ាងបត់បែនតាមតម្រូវការរបស់អ្នក។

ប្រភព: www.habr.com