લોગ મોનિટર કરવા માટે કિબાનામાં ડેશબોર્ડ બનાવવું

હેલો, મારું નામ યુજેન છે, હું સિટીમોબિલમાં B2B ટીમ લીડર છું. અમારી ટીમનું એક કાર્ય ભાગીદારો પાસેથી ટેક્સી મંગાવવા માટે એકીકરણને સમર્થન આપવાનું છે અને સ્થિર સેવા સુનિશ્ચિત કરવા માટે, અમારે હંમેશા સમજવું જોઈએ કે અમારી માઇક્રોસર્વિસિસમાં શું થઈ રહ્યું છે. અને આ માટે તમારે લોગ્સનું સતત નિરીક્ષણ કરવાની જરૂર છે.

સિટીમોબિલમાં, અમે લોગ સાથે કામ કરવા માટે ELK સ્ટેક (ElasticSearch, Logstash, Kibana) નો ઉપયોગ કરીએ છીએ, અને ત્યાં આવતા ડેટાની સંખ્યા ઘણી મોટી છે. વિનંતીઓના આ સમૂહમાં સમસ્યાઓ શોધવી જે નવા કોડની જમાવટ પછી દેખાઈ શકે છે તે ખૂબ મુશ્કેલ છે. અને તેમની દ્રશ્ય ઓળખ માટે, કિબાના પાસે ડેશબોર્ડ વિભાગ છે.

ડેટા મેળવવા અને સ્ટોર કરવા માટે ELK સ્ટેક કેવી રીતે સેટ કરવું તેના ઉદાહરણો સાથે હેબ્રે પર ઘણા બધા લેખો છે, પરંતુ ડેશબોર્ડ બનાવવા માટે કોઈ સંબંધિત સામગ્રી નથી. તેથી, હું કિબાનામાં ઇનકમિંગ લોગના આધારે ડેટાનું વિઝ્યુઅલ પ્રતિનિધિત્વ કેવી રીતે બનાવવું તે બતાવવા માંગુ છું.

ગોઠવણ

તેને સ્પષ્ટ કરવા માટે, મેં ELK અને Filebeat સાથે ડોકર ઇમેજ બનાવી છે. અને એક નાના પાત્રમાં મૂકવામાં આવે છે કાર્યક્રમ Go માં, જે અમારા ઉદાહરણ માટે ટેસ્ટ લોગ જનરેટ કરશે. હું ELK ની ગોઠવણીનું વિગતવાર વર્ણન કરીશ નહીં, Habré પર તેના વિશે પૂરતું લખ્યું છે.

રૂપરેખા રીપોઝીટરીને ક્લોન કરો docker-compose અને ELK સેટિંગ્સ, અને તેને આદેશ સાથે લોન્ચ કરો docker-compose up. ઇરાદાપૂર્વક કી ઉમેરી નથી -dELK સ્ટેકની પ્રગતિ જોવા માટે.

git clone https://github.com/et-soft/habr-elk
cd habr-elk
docker-compose up

જો બધું યોગ્ય રીતે ગોઠવેલું હોય, તો અમે લોગમાં એન્ટ્રી જોશું (કદાચ તરત જ નહીં, સમગ્ર સ્ટેક સાથે કન્ટેનર શરૂ કરવાની પ્રક્રિયામાં થોડી મિનિટો લાગી શકે છે):

{"type":"log","@timestamp":"2020-09-20T05:55:14Z","tags":["info","http","server","Kibana"],"pid":6,"message":"http server running at http://0:5601"}

સરનામા દ્વારા localhost:5061 કિબાના ખોલવી જોઈએ.

આપણે માત્ર એક જ વસ્તુને રૂપરેખાંકિત કરવાની જરૂર છે કે કયા ડેટા પ્રદર્શિત કરવા તે વિશેની માહિતી સાથે કિબાના માટે ઇન્ડેક્સ પેટર્ન બનાવવી. આ કરવા માટે, અમે કર્લ વિનંતીને એક્ઝિક્યુટ કરીશું અથવા ગ્રાફિકલ ઇન્ટરફેસમાં શ્રેણીબદ્ધ ક્રિયાઓ કરીશું.

$ curl -XPOST -D- 'http://localhost:5601/api/saved_objects/index-pattern'
    -H 'Content-Type: application/json'
    -H 'kbn-xsrf: true'
    -d '{"attributes":{"title":"logstash-*","timeFieldName":"@timestamp"}}'

GUI દ્વારા ઇન્ડેક્સ પેટર્ન બનાવવી
રૂપરેખાંકિત કરવા માટે, ડાબા મેનૂમાં ડિસ્કવર વિભાગ પસંદ કરો અને ઇન્ડેક્સ પેટર્ન બનાવટ પૃષ્ઠ પર જાઓ.

"ઇન્ડેક્સ પેટર્ન બનાવો" બટન પર ક્લિક કરીને, અમે ઇન્ડેક્સ બનાવવાના પૃષ્ઠ પર પહોંચીએ છીએ. "ઇન્ડેક્સ પેટર્ન નામ" ફીલ્ડમાં, "લોગસ્ટેશ-*" દાખલ કરો. જો બધું યોગ્ય રીતે ગોઠવેલું હોય, તો નીચે કિબાના નિયમ હેઠળ આવતા અનુક્રમણિકાઓ બતાવશે.

આગલા પૃષ્ઠ પર, ટાઇમસ્ટેમ્પ સાથે કી ફીલ્ડ પસંદ કરો, અમારા કિસ્સામાં તે છે @timestamp.

આ અનુક્રમણિકા સેટિંગ્સ પૃષ્ઠ લાવશે, પરંતુ આ સમયે અમારા તરફથી કોઈ વધુ પગલાંની જરૂર નથી.

હવે આપણે ફરીથી ડિસ્કવર વિભાગમાં જઈ શકીએ છીએ, જ્યાં આપણે લોગ એન્ટ્રીઓ જોઈશું.

ડેશબોર્ડ

ડાબી બાજુના મેનૂમાં, ડેશબોર્ડ બનાવટ વિભાગ પર ક્લિક કરો અને અનુરૂપ પૃષ્ઠ પર જાઓ.

"નવું ડેશબોર્ડ બનાવો" પર ક્લિક કરો અને ડેશબોર્ડમાં ઑબ્જેક્ટ ઉમેરવા માટે પૃષ્ઠ પર જાઓ.

"નવું બનાવો" બટન પર ક્લિક કરો, અને સિસ્ટમ તમને ડેટા ડિસ્પ્લેનો પ્રકાર પસંદ કરવા માટે સંકેત આપશે. કિબાના પાસે તેમાંથી મોટી સંખ્યામાં છે, પરંતુ અમે "વર્ટિકલ બાર" અને ટેબ્યુલર "ડેટા ટેબલ" ની ગ્રાફિકલ રજૂઆત બનાવવાનું જોઈશું. પ્રસ્તુતિના અન્ય પ્રકારો સમાન રીતે ગોઠવેલ છે. 

કેટલીક ઉપલબ્ધ વસ્તુઓને B અને E લેબલ કરવામાં આવે છે, જેનો અર્થ છે કે ફોર્મેટ પ્રાયોગિક અથવા બીટા પરીક્ષણમાં છે. સમય જતાં, ફોર્મેટ બદલાઈ શકે છે અથવા કિબાનામાંથી સંપૂર્ણપણે અદૃશ્ય થઈ શકે છે.

વર્ટિકલ બાર

"વર્ટિકલ બાર" ઉદાહરણ માટે, ચાલો અમારી સેવાના સફળ અને અસફળ પ્રતિભાવ સ્થિતિના ગુણોત્તરનો હિસ્ટોગ્રામ બનાવીએ. સેટિંગ્સના અંતે, અમને નીચેનો ગ્રાફ મળે છે:

અમે તમામ વિનંતીઓને પ્રતિસાદ સ્થિતિ < 400 સફળ તરીકે અને >= 400 સમસ્યારૂપ તરીકે વર્ગીકૃત કરીશું.

"વર્ટિકલ બાર" ચાર્ટ બનાવવા માટે, અમારે ડેટા સ્ત્રોત પસંદ કરવાની જરૂર છે. અમે અગાઉ બનાવેલ ઈન્ડેક્સ પેટર્ન પસંદ કરો.

મૂળભૂત રીતે, ડેટા સ્ત્રોત પસંદ કર્યા પછી એક જ નક્કર ગ્રાફ દેખાશે. ચાલો તેને સેટ કરીએ.

"Buckets" બ્લોકમાં, "Add" બટન દબાવો, "X-asis" પસંદ કરો અને X અક્ષ સેટ કરો. ચાલો તેની સાથે લોગમાં એન્ટ્રીઓના ટાઇમસ્ટેમ્પને બાજુ પર રાખીએ. "એગ્રિગેશન" ફીલ્ડમાં, "તારીખ હિસ્ટોગ્રામ" પસંદ કરો અને "ફીલ્ડ" માં "@timestamp" પસંદ કરો, જે સમય ફીલ્ડ દર્શાવે છે. ચાલો "ઓટો" સ્થિતિમાં "લઘુત્તમ અંતરાલ" છોડીએ, અને તે આપમેળે અમારા પ્રદર્શનમાં સમાયોજિત થઈ જશે. 

"અપડેટ" બટન પર ક્લિક કરીને, અમે દર 30 સેકન્ડે વિનંતીઓની સંખ્યા સાથેનો ગ્રાફ જોશું.

હવે ચાલો Y-અક્ષ સાથે કૉલમ સેટ કરીએ. હવે અમે પસંદ કરેલ સમય અંતરાલમાં વિનંતીઓની કુલ સંખ્યા દર્શાવી રહ્યા છીએ.

ચાલો "એગ્રિગેશન" મૂલ્યને "સમ બકેટ" માં બદલીએ, જે અમને સફળ અને અસફળ વિનંતીઓ માટે ડેટાને જોડવાની મંજૂરી આપશે. બકેટ -> એકત્રીકરણ બ્લોકમાં, "ફિલ્ટર્સ" દ્વારા એકત્રીકરણ પસંદ કરો અને "statusCode >= 400" દ્વારા ફિલ્ટરિંગ સેટ કરો. અને "કસ્ટમ લેબલ" ફીલ્ડમાં, અમે ચાર્ટ પર અને સામાન્ય સૂચિમાં દંતકથામાં વધુ સમજી શકાય તેવા પ્રદર્શન માટે સૂચકનું નામ સૂચવીએ છીએ.

સેટિંગ્સ બ્લોક હેઠળ "અપડેટ" બટનને ક્લિક કરીને, અમને સમસ્યાની વિનંતીઓ સાથેનો ગ્રાફ મળશે.

જો તમે દંતકથાની બાજુના વર્તુળ પર ક્લિક કરો છો, તો એક વિંડો દેખાશે જેમાં તમે કૉલમનો રંગ બદલી શકો છો.

ચાલો હવે ચાર્ટમાં સફળ વિનંતીઓનો ડેટા ઉમેરીએ. "મેટ્રિક્સ" વિભાગમાં, "ઉમેરો" બટનને ક્લિક કરો અને "Y-axis" પસંદ કરો.

બનાવેલ મેટ્રિકમાં, અમે ભૂલભરેલી વિનંતીઓ માટે સમાન સેટિંગ્સ બનાવીએ છીએ. ફક્ત ફિલ્ટરમાં આપણે "statusCode < 400" નો ઉલ્લેખ કરીએ છીએ.

નવી કૉલમનો રંગ બદલીને, અમને સમસ્યારૂપ અને સફળ વિનંતીઓના ગુણોત્તરનું પ્રદર્શન મળે છે.

સ્ક્રીનની ટોચ પર "સાચવો" બટન પર ક્લિક કરીને અને નામ સ્પષ્ટ કરીને, આપણે ડેશબોર્ડ પર પ્રથમ ચાર્ટ જોશું.

ડેટા ટેબલ

હવે ટેબ્યુલર વ્યુ "ડેટા ટેબલ" ને ધ્યાનમાં લો. ચાલો વિનંતી કરેલ તમામ URL ની યાદી અને તે વિનંતીઓની સંખ્યા સાથે કોષ્ટક બનાવીએ. વર્ટિકલ બારના ઉદાહરણની જેમ, આપણે સૌ પ્રથમ ડેટા સ્ત્રોત પસંદ કરીએ છીએ.

તે પછી, સ્ક્રીન પર એક કૉલમ સાથેનું ટેબલ પ્રદર્શિત થશે, જે પસંદ કરેલ સમય અંતરાલ માટે વિનંતીઓની કુલ સંખ્યા દર્શાવે છે.

અમે ફક્ત "બકેટ્સ" બ્લોક બદલીશું. "ઉમેરો" બટનને ક્લિક કરો અને "પંક્તિઓ વિભાજિત કરો" પસંદ કરો.

"એગ્રિગેશન" ફીલ્ડમાં, "શરતો" પસંદ કરો. અને દેખાતા ફીલ્ડ "ફીલ્ડ" માં "url.keyword" પસંદ કરો.

"કસ્ટમ લેબલ" ફીલ્ડમાં "Url" મૂલ્યનો ઉલ્લેખ કરીને અને "અપડેટ" પર ક્લિક કરીને, અમે પસંદ કરેલા સમયગાળા માટે દરેક URL માટે વિનંતીઓની સંખ્યા સાથે ઇચ્છિત કોષ્ટક મેળવીશું.

સ્ક્રીનની ટોચ પર, ફરીથી "સાચવો" બટનને ક્લિક કરો અને કોષ્ટકનું નામ સ્પષ્ટ કરો, ઉદાહરણ તરીકે Urls. ચાલો ડેશબોર્ડ પર પાછા જઈએ અને બનાવેલ બંને દૃશ્યો જોઈએ.

ડેશબોર્ડ સાથે કામ કરવું

ડેશબોર્ડ બનાવતી વખતે, અમે ડિસ્પ્લે ઑબ્જેક્ટ સેટિંગ્સમાં ફક્ત મુખ્ય દૃશ્ય પરિમાણો સેટ કરીએ છીએ. ઑબ્જેક્ટ્સમાં ફિલ્ટર્સ માટે ડેટાનો ઉલ્લેખ કરવામાં કોઈ અર્થ નથી, ઉદાહરણ તરીકે, "તારીખ શ્રેણી", "ઉપયોગકર્તા દ્વારા ફિલ્ટરિંગ", "વિનંતી દેશ દ્વારા ફિલ્ટરિંગ", વગેરે. ઇચ્છિત સમયગાળો નિર્દિષ્ટ કરવા અથવા ઑબ્જેક્ટ્સની ઉપર સ્થિત ક્વેરી પેનલમાં જરૂરી ફિલ્ટરિંગ સેટ કરવું વધુ અનુકૂળ છે.

આ પેનલ પર ઉમેરેલા ફિલ્ટર્સ સમગ્ર ડેશબોર્ડ પર લાગુ કરવામાં આવશે, અને તમામ ડિસ્પ્લે ઑબ્જેક્ટ્સ વાસ્તવિક ફિલ્ટર કરેલા ડેટા અનુસાર ફરીથી બનાવવામાં આવશે.

નિષ્કર્ષ

કિબાના એ એક શક્તિશાળી સાધન છે જે તમને કોઈપણ ડેટાને અનુકૂળ રીતે વિઝ્યુઅલાઈઝ કરવાની મંજૂરી આપે છે. મેં બે મુખ્ય પ્રકારના ડિસ્પ્લેની સેટિંગ બતાવવાનો પ્રયાસ કર્યો. પરંતુ અન્ય પ્રકારો સમાન રીતે ગોઠવેલ છે. અને સેટિંગ્સની વિપુલતા જે મેં "પડદા પાછળ" છોડી દીધી છે તે તમને તમારી જરૂરિયાતોને અનુરૂપ ચાર્ટ્સને ખૂબ જ લવચીક રીતે કસ્ટમાઇઝ કરવાની મંજૂરી આપશે.

સોર્સ: www.habr.com