વાસ્તવિક સમયમાં PHP સ્ક્રિપ્ટ્સના આંકડા અને દેખરેખ. ક્લિકહાઉસ અને ગ્રાફના પિનબાની મદદ માટે આવે છે

આ લેખમાં હું તમને કહીશ કે પિનબા_એન્જિન અને પિનબોર્ડને બદલે ક્લિકહાઉસ અને ગ્રાફના સાથે પિનબાનો ઉપયોગ કેવી રીતે કરવો.

PHP પ્રોજેક્ટ પર, પ્રભાવ સાથે શું થઈ રહ્યું છે તે સમજવા માટે પિનબા એ કદાચ એકમાત્ર વિશ્વસનીય માર્ગ છે. સાચું, પિનબા સામાન્ય રીતે ત્યારે જ લાગુ કરવામાં આવે છે જ્યારે સમસ્યાઓ પહેલેથી જ જોવામાં આવે છે અને તે સ્પષ્ટ નથી કે "ક્યાં ખોદવું."

ઘણી વાર કોઈને કોઈ ખ્યાલ હોતો નથી કે આ અથવા તે સ્ક્રિપ્ટને પ્રતિ સેકન્ડ/મિનિટમાં કેટલી વાર બોલાવવામાં આવે છે અને તેઓ "સ્પર્શ દ્વારા" ઑપ્ટિમાઇઝ કરવાનું શરૂ કરે છે, જે તે સ્થાનોથી શરૂ થાય છે જે વધુ તાર્કિક લાગે છે.

કેટલાક nginx લોગનું વિશ્લેષણ કરે છે, જ્યારે અન્ય ધીમા ડેટાબેઝ પ્રશ્નોનું વિશ્લેષણ કરે છે.

અલબત્ત, પિનબા અનાવશ્યક હશે નહીં, પરંતુ દરેક પ્રોજેક્ટમાં તે ન હોવાના ઘણા કારણો છે.

અને પ્રથમ કારણ સ્થાપન છે.

પિનબાના અમલીકરણથી અમુક પ્રકારનું "એક્ઝોસ્ટ" મેળવવા માટે, માત્ર છેલ્લી મિનિટો માટે જ નહીં, પણ લાંબા સમય સુધી (દિવસોથી મહિનાઓ સુધી) મેટ્રિક્સ જોવાનું ખૂબ જ ઇચ્છનીય છે.

આ કરવા માટે, તમારે આની જરૂર છે:

• php માટે એક્સ્ટેંશન ઇન્સ્ટોલ કરો (અને તમને nginx માટે મોડ્યુલ જોઈએ છે)
• mysql માટે એક્સ્ટેંશન કમ્પાઇલ કરો
• પિનબોર્ડ ઇન્સ્ટોલ કરો અને ક્રોન ગોઠવો

પિનબા વિશેની માહિતીની થોડી માત્રાને લીધે, ઘણા લોકો એવી છાપ ધરાવે છે કે તે ફક્ત PHP5 પર કામ કરે છે અને તે લાંબા સમયથી ભૂતકાળની વાત છે, પરંતુ આપણે પછી જોઈશું તેમ, આ કેસ નથી.

પ્રથમ પગલું સૌથી સરળ છે, તમારે ફક્ત આદેશ ચલાવવાની જરૂર છે:

apt install php-pinba

આ એક્સ્ટેંશન php 7.3 સુધીના રીપોઝીટરીઝમાં ઉપલબ્ધ છે અને તમારે કંઈપણ કમ્પાઈલ કરવાની જરૂર નથી.

ઇન્સ્ટોલેશન આદેશનો અમલ કર્યા પછી, અમને તરત જ એક કાર્યકારી એક્સ્ટેંશન પ્રાપ્ત થાય છે જે ફોર્મેટમાં દરેક સ્ક્રિપ્ટ (ચાલવાનો સમય, મેમરી, વગેરે) માટે મેટ્રિક્સ એકત્રિત કરે છે અને મોકલે છે. પ્રોટોબુફ 127.0.0.1:30002 પર udp દ્વારા.

અત્યાર સુધી કોઈએ આ UDP પેકેટોને પકડ્યા નથી અથવા તેની પ્રક્રિયા કરી નથી, પરંતુ આ કોઈપણ રીતે તમારી PHP સ્ક્રિપ્ટ્સની ગતિ અથવા સ્થિરતાને નકારાત્મક રીતે અસર કરતું નથી.

તાજેતરમાં સુધી, એકમાત્ર એપ્લિકેશન જે આ UDP પેકેટોને પકડી અને પ્રક્રિયા કરી શકતી હતી pinba_engine. વર્ણન "સરળ અને સંક્ષિપ્ત" ઇન્સ્ટોલેશન એ ક્યારેય વાંચવાની અને તેને ફરીથી શોધવાની ઇચ્છાને નિરાશ કરે છે. નિર્ભરતાઓની કિલોમીટર-લાંબી સૂચિમાં પેકેજોના નામ અને પ્રોગ્રામના નામ અને તેમના ઇન્સ્ટોલેશન સાથેના વ્યક્તિગત પૃષ્ઠોની લિંક્સ બંને હોય છે, અને તે અન્ય નિર્ભરતાઓ સાથે તેમની પોતાની લિંક્સ ધરાવે છે. આ બકવાસનો સામનો કરવા માટે કોઈની પાસે સમય કે ઈચ્છા નથી.

સ્થાપન પ્રક્રિયા પિનબા2 નથી કર્યું ખાસ કરીને સરળ.

કદાચ કોઈ દિવસ એક અથવા બે આદેશો સાથે pinba10 ઇન્સ્ટોલ કરવું શક્ય બનશે અને તે કેવી રીતે કરવું તે સમજવા માટે સામગ્રીનો સમૂહ વાંચવો પડશે નહીં, પરંતુ હમણાં માટે આ કેસ નથી.

જો તમે pinba_engine ઇન્સ્ટોલ કરો છો, તો આ ફક્ત અડધી લડાઈ છે. છેવટે, વિના પિનબોર્ડ તમારે તમારી જાતને માત્ર છેલ્લી થોડી મિનિટોના ડેટા સુધી મર્યાદિત કરવી પડશે, અથવા તમારે જાતે જ ડેટાને એકત્ર કરવો પડશે, સંગ્રહ કરવો પડશે અને વિઝ્યુઅલાઈઝ કરવો પડશે. તે સારું છે કે પિનબોર્ડ વાપરવા માટે એકદમ સરળ છે સ્થાપન.

એવું લાગે છે કે, જો php ના તમામ મેટ્રિક્સ પહેલાથી જ પ્રોટોબફ ફોર્મેટમાં યુડીપી પોર્ટ પર મોકલવામાં આવ્યા હોય અને તમારે ફક્ત એક એપ્લિકેશન લખવાની જરૂર છે જે તેમને પકડીને અમુક પ્રકારના સ્ટોરેજમાં મૂકશે તો આવી વેદના શા માટે? દેખીતી રીતે, જે વિકાસકર્તાઓ આ વિચાર સાથે આવ્યા હતા તેઓ તરત જ તેમના પોતાના વિચારો લખવા બેઠા, જેમાંથી કેટલાક GitHub પર સમાપ્ત થયા.

નીચેના ચાર ઓપન સોર્સ પ્રોજેક્ટ્સનું વિહંગાવલોકન છે જે સ્ટોરેજમાં મેટ્રિક્સને સાચવે છે, જેમાંથી આ ડેટા સરળતાથી મેળવી શકાય છે અને વિઝ્યુઅલાઈઝ કરી શકાય છે, ઉદાહરણ તરીકે, ગ્રાફનાનો ઉપયોગ કરીને.

ઓલેગફેડોસીવ/પીનબા-સર્વર (નવેમ્બર 2017)

udp સર્વર ચાલુ છે જે OpenTSDB પર મેટ્રિક્સ સાચવે છે. કદાચ જો તમે પહેલાથી જ તમારા પ્રોજેક્ટમાં OpenTSDB નો ઉપયોગ કરી રહ્યાં છો, તો આ સોલ્યુશન તમને અનુકૂળ રહેશે, અન્યથા હું તેને પસાર કરવાની ભલામણ કરું છું.

olegfedoseev/pinba-influxdb (જૂન 2018)

udp સર્વર ચાલુ છે, તે જ થી હેબ્રાઉઝર, જે આ વખતે મેટ્રિક્સને InfluxDB માં સ્ટોર કરે છે. ઘણા પ્રોજેક્ટ્સ પહેલેથી જ મોનિટરિંગ માટે InfluxDB નો ઉપયોગ કરી રહ્યાં છે, તેથી આ ઉકેલ તેમના માટે યોગ્ય હોઈ શકે છે.

ગુણ:

• InfluxDB તે માટે પરવાનગી આપે છે પ્રાપ્ત મેટ્રિક્સને એકત્રિત કરો, અને ચોક્કસ સમય પછી મૂળ કાઢી નાખો.

વિપક્ષ:

• આ સોલ્યુશન ટાઈમર પરની માહિતી સાચવતું નથી.
• InfluxDB સાઇટના પૃષ્ઠ સરનામાંને ટૅગ્સ તરીકે સંગ્રહિત કરશે અને જો તમારી પાસે ઘણા અનન્ય પૃષ્ઠ સરનામાંઓ છે, તો આ તરફ દોરી જશે વપરાશમાં વધારો રેન્ડમ ઍક્સેસ મેમરી. ચોક્કસ ક્ષણથી તે "ઉન્મત્તની જેમ યાદશક્તિને ખાવાનું શરૂ કરશે. (સ્રોત)

ક્લિકહાઉસ-નીન્જા/પ્રોટોન (જાન્યુઆરી 2019)

udp સર્વર ચાલુ છે, જે ક્લિકહાઉસમાં મેટ્રિક્સ સાચવે છે. આ મારા મિત્રનો ઉકેલ છે. તેની સાથે પરિચિત થયા પછી જ મેં નક્કી કર્યું કે પિનબુ અને ક્લિકહાઉસનો સામનો કરવાનો સમય આવી ગયો છે.

ગુણ:

• ક્લિકહાઉસ આવા કાર્યો માટે આદર્શ છે; તે તમને ડેટાને એટલો સંકુચિત કરવાની મંજૂરી આપે છે કે તમે એકત્રીકરણ વિના પણ તમામ કાચા ડેટાને સંગ્રહિત કરી શકો.
• જો જરૂરી હોય, તો તમે પરિણામી મેટ્રિક્સને સરળતાથી એકત્ર કરી શકો છો
• grafana માટે તૈયાર નમૂનો
• ટાઈમર પર માહિતી સાચવે છે

વિપક્ષ:

• જીવલેણ ખામી
• ત્યાં કોઈ રૂપરેખા નથી કે જેમાં તમે ડેટાબેઝ અને કોષ્ટકોનું નામ, સર્વરનું સરનામું અને પોર્ટ ગોઠવી શકો.
• કાચો ડેટા સ્ટોર કરતી વખતે, સહાયક શબ્દકોશ કોષ્ટકનો ઉપયોગ પૃષ્ઠ અને ડોમેન સરનામાંને સંગ્રહિત કરવા માટે થાય છે, જે અનુગામી પ્રશ્નોને જટિલ બનાવે છે.
• અન્ય નાની વસ્તુઓ જે પ્રથમ બાદબાકીથી અનુસરે છે

pinba-server/pinba-server (એપ્રિલ 2019)

php માં udp સર્વર, જે ક્લિકહાઉસમાં મેટ્રિક્સ સાચવે છે. આ મારો ઉકેલ છે, જે પિનબા, ક્લિકહાઉસ અને પ્રોટોબફને જાણવાનું પરિણામ છે. જ્યારે હું આ સમગ્ર સમૂહને છટણી કરી રહ્યો હતો, ત્યારે મેં એક "વિભાવનાનો પુરાવો" લખ્યો, જે મારા માટે અણધારી રીતે, નોંધપાત્ર સંસાધનો (30 MB RAM અને આઠ પ્રોસેસર કોરોમાંથી 1% કરતા ઓછા) નો ઉપયોગ કરતા નથી, તેથી હું જાહેર જનતા સાથે શેર કરવાનું નક્કી કર્યું.

ફાયદા અગાઉના સોલ્યુશન જેવા જ છે, મેં મૂળ પિનબા_એન્જિનમાંથી સામાન્ય નામોનો પણ ઉપયોગ કર્યો છે. મેં એક રૂપરેખા પણ ઉમેર્યું છે જે તમને વિવિધ કોષ્ટકોમાં મેટ્રિક્સને સાચવવા માટે એક સાથે અનેક પિનબેઝ સર્વર દાખલાઓ શરૂ કરવાની મંજૂરી આપે છે - જો તમે માત્ર php માંથી જ નહીં, પણ nginx માંથી પણ ડેટા એકત્રિત કરવા માંગતા હોવ તો આ ઉપયોગી છે.
ગેરફાયદા - "જીવલેણ ખામી" અને તે નાની વસ્તુઓ જે તમને વ્યક્તિગત રૂપે અનુકૂળ નહીં આવે, પરંતુ મારો ઉકેલ "ચંપલ જેટલો સરળ" છે અને તેમાં કોડની માત્ર 100 લાઇનનો સમાવેશ થાય છે, તેથી કોઈપણ PHP વિકાસકર્તા તેને જે ન ગમતું હોય તે બદલી શકે છે. થોડી મિનિટોમાં.

તે કેવી રીતે કામ કરે છે

UDP પોર્ટ 30002 સાંભળવામાં આવે છે. તમામ ઇનકમિંગ પેકેટ્સ પ્રોટોબફ સ્કીમ અનુસાર ડીકોડ કરવામાં આવે છે અને એકત્ર કરવામાં આવે છે. મિનિટમાં એકવાર, ક્લિકહાઉસમાં pinba.requests કોષ્ટકમાં એક પેકેટ દાખલ કરવામાં આવે છે. (બધા પરિમાણો આમાં ગોઠવેલ છે રૂપરેખા)

ક્લિકહાઉસ વિશે થોડું

ક્લિકહાઉસ વિવિધ ડેટા સ્ટોરેજ એન્જિનને સપોર્ટ કરે છે. સૌથી વધુ ઉપયોગમાં લેવાતી એક છે MergeTree.

જો કોઈ સમયે તમે બધા સમય માટે એકીકૃત ડેટા સંગ્રહિત કરવાનું નક્કી કરો છો, અને માત્ર છેલ્લા એક માટે કાચો ડેટા, તો પછી તમે જૂથીકરણ સાથે એક ભૌતિક દૃશ્ય બનાવી શકો છો, અને સમયાંતરે મુખ્ય pinba.requests કોષ્ટકને સાફ કરી શકો છો, જ્યારે તમામ ડેટા આમાં રહેશે. ભૌતિક દૃષ્ટિકોણ. વધુમાં, pinba.requests કોષ્ટક બનાવતી વખતે, તમે "engine = Null" નો ઉલ્લેખ કરી શકો છો, પછી કાચો ડેટા ડિસ્કમાં બિલકુલ સાચવવામાં આવશે નહીં, અને તે જ સમયે તે હજી પણ મટિરિયલાઇઝ્ડ વ્યુમાં સમાપ્ત થશે અને એકીકૃત રીતે સાચવવામાં આવશે. . હું આ યોજનાનો ઉપયોગ nginx મેટ્રિક્સ માટે કરું છું, કારણ કે nginx પર મારી પાસે php કરતાં 50 ગણી વધુ વિનંતીઓ છે.

તેથી, તમે ઘણો લાંબો રસ્તો કાઢ્યો છે અને હું તમને અધવચ્ચે છોડીને જવા માંગતો નથી, તેથી નીચે પ્રમાણે મારા સોલ્યુશનના ઇન્સ્ટોલેશન અને રૂપરેખાંકન અને તમને જોઈતી દરેક વસ્તુનું વિગતવાર વર્ણન છે, તેમજ એક કરતા વધુ જહાજને કારણે થયેલી મુશ્કેલીઓ. તોડવું. ઉબુન્ટુ 18.04 LTS અને Centos 7 માટે સમગ્ર ઇન્સ્ટોલેશન પ્રક્રિયાનું વર્ણન કરવામાં આવ્યું છે; પ્રક્રિયા અન્ય વિતરણો અને સંસ્કરણો પર થોડી અલગ હોઈ શકે છે.

સ્થાપન

મેં તમામ જરૂરી આદેશો મૂક્યા છે ડોકરફાઇલ સૂચનાઓની પુનઃઉત્પાદનક્ષમતાને સરળ બનાવવા માટે. ફક્ત મુશ્કેલીઓ નીચે વર્ણવવામાં આવશે.

php-pinba

ઇન્સ્ટોલેશન પછી, ખાતરી કરો કે /etc/php/7.2/fpm/conf.d/20-pinba.ini ફાઇલમાં તમે બધા વિકલ્પોની ટિપ્પણી કરી નથી. કેટલાક વિતરણો (દા.ત. સેન્ટોસ) પર તેમની ટિપ્પણી કરી શકાય છે.

extension=pinba.so
pinba.enabled=1
pinba.server=127.0.0.1:30002

ક્લિકહાઉસ

ઇન્સ્ટોલેશન દરમિયાન, ક્લિકહાઉસ તમને ડિફોલ્ટ વપરાશકર્તા માટે પાસવર્ડ સેટ કરવાનું કહેશે. ડિફૉલ્ટ રૂપે, આ ​​વપરાશકર્તા બધા IP માંથી ઍક્સેસિબલ છે, તેથી જો તમારી પાસે તમારા સર્વર પર ફાયરવોલ નથી, તો તેના માટે પાસવર્ડ સેટ કરવાની ખાતરી કરો. આ /etc/clickhouse-server/users.xml ફાઇલમાં ઇન્સ્ટોલેશન પછી પણ કરી શકાય છે.

એ નોંધવું પણ યોગ્ય છે કે ક્લિકહાઉસ 9000 સહિત અનેક પોર્ટનો ઉપયોગ કરે છે. આ પોર્ટનો ઉપયોગ કેટલાક વિતરણોમાં php-fpm માટે પણ થાય છે (ઉદાહરણ તરીકે, સેન્ટોસ). જો તમે પહેલાથી જ આ પોર્ટનો ઉપયોગ કરો છો, તો તમે તેને /etc/clickhouse-server/config.xml ફાઇલમાં બીજામાં બદલી શકો છો.

ક્લિકહાઉસ પ્લગઇન સાથે grafana

Grafana ઇન્સ્ટોલ કર્યા પછી, લોગિન એડમિન અને પાસવર્ડ એડમિનનો ઉપયોગ કરો. જ્યારે તમે પ્રથમ વખત લોગ ઇન કરશો, ત્યારે ગ્રાફના તમને નવો પાસવર્ડ સેટ કરવા માટે કહેશે.

આગળ, “+” -> આયાત મેનૂ પર જાઓ અને આયાત માટે ડેશબોર્ડ નંબર સૂચવો 10011. મેં આ ડેશબોર્ડ તૈયાર અને અપલોડ કર્યું છે જેથી તમારે તેને ફરીથી જાતે કરવું ન પડે.

Grafana તૃતીય-પક્ષ પ્લગઇન દ્વારા ક્લિકહાઉસ સાથે કામ કરવાનું સમર્થન કરે છે, પરંતુ Grafana પાસે તૃતીય-પક્ષ પ્લગિન્સ માટે ચેતવણીઓ નથી (કેટલાક વર્ષોથી આ માટે ટિકિટ છે).

પિનબા-સર્વર

પ્રોટોબફ અને લિબેવેન્ટ ઇન્સ્ટોલ કરવું વૈકલ્પિક છે, પરંતુ પિનબા-સર્વર પ્રદર્શનને સુધારે છે. જો તમે /opt સિવાયના ફોલ્ડરમાં પિનબા-સર્વર ઇન્સ્ટોલ કરો છો, તો તમારે તેને સુધારવાની પણ જરૂર પડશે systemd સ્ક્રિપ્ટ ફાઇલ.

nginx માટે પિનબા મોડ્યુલ

મોડ્યુલને કમ્પાઈલ કરવા માટે, તમારે તમારા સર્વર પર પહેલાથી જ ઇન્સ્ટોલ કરેલ nginx ના સમાન સંસ્કરણના સ્રોત કોડની જરૂર છે, તેમજ તે જ સંકલન વિકલ્પોની જરૂર છે, અન્યથા બિલ્ડ સફળ થશે, પરંતુ મોડ્યુલને કનેક્ટ કરતી વખતે, એક ભૂલ ફેંકવામાં આવશે જે "મોડ્યુલ દ્વિસંગી સુસંગત નથી." nginx -V આદેશનો ઉપયોગ કરીને સંકલન વિકલ્પો જોઈ શકાય છે

લાઇફ હેક્સ

મારી બધી સાઇટ્સ ફક્ત https પર જ કામ કરે છે. સ્કીમા ફીલ્ડ અર્થહીન બની જાય છે, તેથી હું તેનો ઉપયોગ વેબ/કન્સોલને અલગ કરવા માટે કરું છું.

હું ઉપયોગ કરું છું તે વેબ પરથી ઍક્સેસિબલ હોય તેવી સ્ક્રિપ્ટ્સમાં:

if (ini_get('pinba.enabled')) {
    pinba_schema_set('web');
}

અને કન્સોલ સ્ક્રિપ્ટ્સમાં (ઉદાહરણ તરીકે, ક્રોન સ્ક્રિપ્ટો):

if (ini_get('pinba.enabled')) {
    pinba_schema_set('console');
}

Grafana માં મારા ડેશબોર્ડમાં અલગથી આંકડા જોવા માટે વેબ/કન્સોલ સ્વીચ છે.

તમે તમારા ટૅગ્સ પિનબાને પણ મોકલી શકો છો, ઉદાહરણ તરીકે:

pinba_tag_set('country', $countryCode);

બસ.

કૃપા કરીને લેખની નીચે મતદાનનો જવાબ આપો.

હંમેશની જેમ, હું તમને ચેતવણી આપું છું કે હું Habr અને સામાજિક નેટવર્ક્સ પર વ્યક્તિગત સંદેશાઓ દ્વારા સલાહ અથવા મદદ કરતો નથી.

ગીથબ પર ટિકિટ બનાવો.

તેમજ લાઈક્સ સાથે સપોર્ટ કરો અંગ્રેજી સંસ્કરણ આ લેખ reddit પર.

ફક્ત નોંધાયેલા વપરાશકર્તાઓ જ સર્વેમાં ભાગ લઈ શકે છે. સાઇન ઇન કરો, મહેરબાની કરીને.

તમે સર્વર પર કયા OS નો ઉપયોગ કરો છો?

• ઉબુન્ટુ

• CentOS

• ડેબિયન

• જેન્ટૂ

• લાલ ટોપી

• Fedora

• ઓપનસેસ

• સુસે

• યુનિક્સ

• વિન્ડોઝ

• અન્ય

114 વપરાશકર્તાઓએ મતદાન કર્યું. 11 વપરાશકર્તાઓ દૂર રહ્યા.

તમે સર્વર પર php નું કયું સંસ્કરણ વાપરો છો?

• 7.3

• 7.2

• 7.1

• 7.0

• 5

• અન્ય

105 વપરાશકર્તાઓએ મતદાન કર્યું. 17 વપરાશકર્તાઓ દૂર રહ્યા.

શું તમે ક્યારેય પિનબાનો ઉપયોગ કર્યો છે?

• હા

• ના, પણ હું ઈચ્છું છું

• ના અને હું ઈચ્છતો નથી

• ના અને તેના વિશે સાંભળ્યું નથી

100 વપરાશકર્તાઓએ મતદાન કર્યું. 14 વપરાશકર્તાઓ દૂર રહ્યા.

તમે પિનબા સર્વરનું કયું સંસ્કરણ અજમાવવા માંગો છો?

• pinba_engine (mysql એન્જિન)

• pinba2 (mysql એન્જિન)

• પિનબોર્ડ (php + mysql)

• olegfedoseev/pinba-server (go + OpenTSDB)

• olegfedoseev/pinba-influxdb (go + influxdb)

• pinba-server/pinba-server (ગો + ક્લિકહાઉસ)

• pinba-server/pinba-server (php + clickhouse)

• હું મારી જાતે લખીશ

• અન્ય

39 વપરાશકર્તાઓએ મતદાન કર્યું. 47 વપરાશકર્તાઓ દૂર રહ્યા.

સોર્સ: www.habr.com