🥇Dili lang Bag-ong Relic: usa ka pagtan-aw sa Datadog ug Atatus

Sa palibot sa mga inhenyero sa SRE/DevOps, dili ikatingala ni bisan kinsa nga sa usa ka adlaw ang usa ka kliyente (o usa ka sistema sa pag-monitor) nagpakita ug nagtaho nga "nawala ang tanan": ang site dili molihok, ang mga pagbayad dili moagi, ang kinabuhi nagkadunot. ... Bisan unsa ka dako ang imong gusto nga motabang sa ingon nga sitwasyon , mahimong lisud kaayo ang pagbuhat niini nga walay yano ug masabtan nga himan. Kasagaran ang problema gitago sa code sa aplikasyon mismo; kinahanglan nimo nga i-localize kini.

Ug sa kasubo ug sa kalipay...

Nahitabo nga dugay na kami ug lalom nga nahigugma sa Bag-ong Relic. Kaniadto ug nagpabilin nga usa ka maayo kaayo nga himan alang sa pag-monitor sa pasundayag sa aplikasyon, ug gitugotan ka usab nga magamit ang arkitektura sa microservice (gamit ang ahente niini) ug daghan pa. Ug ang tanan mahimo’g maayo kung dili alang sa mga pagbag-o sa palisiya sa pagpresyo sa serbisyo: kini gasto gikan sa 2013 tuig mitubo 3+ ka beses. Dugang pa, sukad sa miaging tuig, ang pagkuha sa usa ka pagsulay nga account nanginahanglan komunikasyon sa usa ka personal nga manedyer, nga nagpalisud sa pagpresentar sa produkto sa usa ka potensyal nga kustomer.

Ang naandan nga kahimtang: Ang Bag-ong Relic wala kinahanglana sa usa ka "permanente nga sukaranan"; mahinumduman lang nila kini sa higayon nga magsugod ang mga problema. Apan kinahanglan ka gihapon nga magbayad kanunay (140 USD matag server matag bulan), ug sa usa ka awtomatik nga pag-scale sa imprastraktura sa panganod ang mga kantidad nagdugang labi ka dako. Bisan kung adunay kapilian nga Pay-As-You-Go, ang pagpagana sa Bag-ong Relic manginahanglan kanimo nga i-restart ang aplikasyon, nga mahimong mosangput sa pagkawala sa problema nga kahimtang kung diin nagsugod ang tanan. Dili pa lang dugay, gipaila sa Bag-ong Relic ang usa ka bag-ong plano sa taripa - Kinahanglanon, - nga sa unang pagtan-aw morag usa ka makatarunganon nga alternatibo sa Propesyonal... apan sa mas duol nga pagsusi nahimo nga pipila ka importante nga mga gimbuhaton ang nawala (sa partikular, kini wala Pangunang mga Transaksyon, Pagsubay sa Cross Application, Giapod-apod nga Pagsubay).

Ingon nga resulta, nagsugod kami sa paghunahuna mahitungod sa pagpangita sa usa ka mas barato nga alternatibo, ug ang among gipili nahulog sa duha ka serbisyo: Datadog ug Atatus. Ngano sa kanila?

Bahin sa mga kakompetensya

Tugoti ako nga isulti dayon nga adunay ubang mga solusyon sa merkado. Gikonsiderar pa gani namo ang mga opsyon sa Open Source, apan dili tanang kliyente adunay libre nga kapasidad sa pag-host sa mga solusyon nga gi-host sa kaugalingon... - dugang pa, magkinahanglan sila og dugang nga pagmentinar. Ang magtiayon nga among gipili mao nay pinakasuod atong mga panginahanglan:

built-in ug naugmad nga suporta alang sa mga aplikasyon sa PHP (ang stack sa among mga kliyente lainlain kaayo, apan kini usa ka tin-aw nga lider sa konteksto sa pagpangita og alternatibo sa New Relic);
barato nga gasto (ubos sa 100 USD matag bulan matag host);
awtomatik nga instrumento;
integrasyon sa Kubernetes;
Ang pagkaparehas sa New Relic interface usa ka mamatikdan nga dugang (tungod kay ang among mga inhenyero naanad niini).

Busa, sa una nga yugto sa pagpili, giwagtang namon ang daghang uban pang mga tanyag nga solusyon, ug labi na:

Tideways, AppDynamics ug Dynatrace - alang sa gasto;
Ang Stackify gibabagan sa Russian Federation ug nagpakita og gamay ra nga datos.

Ang nahabilin sa artikulo gi-istruktura sa paagi nga ang mga solusyon nga gipangutana una nga ipresentar sa daklit, pagkahuman akong hisgutan ang among naandan nga interaksyon sa New Relic ug kasinatian / mga impresyon gikan sa paghimo sa parehas nga mga operasyon sa ubang mga serbisyo.

Presentasyon sa pinili nga mga kakompetensya

sa Bag-ong Relik, basin nakadungog na ang tanan? Kini nga serbisyo nagsugod sa pagpalambo niini labaw pa sa 10 ka tuig ang milabay, sa 2008. Aktibo namong gigamit kini sukad sa 2012 ug walay problema sa pag-integrate sa daghan kaayong mga aplikasyon sa PHP, Ruby ug Python, ug aduna usab kami kasinatian sa pag-integrate sa C# ug Go. Ang mga tagsulat sa serbisyo adunay mga solusyon alang sa pag-monitor sa mga aplikasyon, imprastraktura, pagsubay sa mga imprastraktura sa microservice, paghimo mga dali nga aplikasyon alang sa mga aparato sa gumagamit, ug daghan pa.

Bisan pa, ang ahente sa Bag-ong Relic nagdagan sa mga proprietary protocol ug wala nagsuporta sa OpenTracing. Ang advanced instrumentation nanginahanglan mga pag-edit labi na alang sa Bag-ong Relic. Sa katapusan, ang suporta sa Kubernetes eksperimento gihapon.

Nagsugod ang pag-uswag niini kaniadtong 2010 datadog tan-awon nga labi ka makapaikag kaysa Bag-ong Relic nga tukma sa mga termino sa paggamit sa mga palibot sa Kubernetes. Sa partikular, gisuportahan niini ang pag-integrate sa NGINX Ingress, pagkolekta sa log, statsd ug OpenTracing nga mga protocol, nga nagtugot kanimo sa pagsubay sa usa ka hangyo sa user gikan sa higayon nga kini konektado ngadto sa pagkompleto, ingon man usab sa pagpangita sa mga log alang niini nga hangyo (pareho sa web server nga bahin. ug sa konsumidor).

Kung gigamit ang Datadog, nahibal-an namon nga usahay dili husto ang paghimo sa mapa sa microservice, ug pipila ka mga kakulangan sa teknikal. Pananglitan, nasayop kini sa pag-ila sa matang sa serbisyo (nasayop sa Django nga usa ka serbisyo sa pag-cache) ug hinungdan sa 500 ka mga sayop sa usa ka PHP nga aplikasyon gamit ang sikat nga Predis library.

Atatus - ang pinakabata nga instrumento; Ang serbisyo gilunsad sa 2014. Ang badyet sa pagpamaligya niini klaro nga ubos sa nalista nga mga kakompetensya, ang mga paghisgot dili kaayo komon. Bisan pa, ang himan mismo susama kaayo sa New Relic, dili lamang sa mga kapabilidad niini (APM, pag-monitor sa Browser, ug uban pa), apan usab sa hitsura.

Usa ka mahinungdanong disbentaha mao nga kini nagsuporta lamang sa Node.js ug PHP. Sa laing bahin, kini gipatuman mas maayo kay sa Datadog. Dili sama sa naulahi, ang Atatus wala magkinahanglan og mga aplikasyon sa paghimo og mga pagbag-o o pagdugang og dugang nga mga label sa code.

Giunsa namo pagtrabaho ang New Relic

Karon atong mahibal-an kung giunsa naton gigamit ang New Relic. Ingnon ta nga naa tay problema nga nanginahanglan solusyon:

Sayon ra nga makita sa graph pagdagan - Atong analisahon kini. Sa Bag-ong Relic, ang mga transaksyon sa web gipili dayon alang sa usa ka web application, ang tanan nga mga sangkap gipakita sa performance graph, adunay mga error-rate, request-rate nga mga panel... Unsa ang labing importante mao nga direkta gikan niini nga mga panel nga imong mahimo sa paglihok tali sa lain-laing mga bahin sa aplikasyon (pananglitan, ang pag-klik sa MySQL motultol sa seksyon sa database).

Tungod kay sa pananglitan nga gikonsiderar nakita namon ang pagdagsang sa kalihokan PHP, i-klik kini nga tsart ug awtomatikong adto sa Mga transaksyon:

Ang lista sa mga transaksyon, nga hinungdanon nga mga tigkontrol gikan sa MVC nga modelo, nahan-ay na sa Labing ubus sa panahon, nga sayon kaayo: makita dayon namo kung unsa ang gibuhat sa aplikasyon. Ania ang mga pananglitan sa taas nga mga pangutana nga awtomatiko nga nakolekta sa New Relic. Pinaagi sa pagbalhin sa paghan-ay, dali nga makit-an:

ang labing gikarga nga controller sa aplikasyon;
labing kanunay nga gipangayo controller;
ang pinakahinay sa mga controller.

Dugang pa, mahimo nimong mapalapad ang matag transaksyon ug tan-awa kung unsa ang gibuhat sa aplikasyon sa panahon nga gipatuman ang code:

Sa katapusan, ang aplikasyon nagtipig mga panig-ingnan sa mga pagsubay sa taas nga mga hangyo (kadtong molungtad labaw pa sa 2 segundos). Ania ang panel alang sa taas nga transaksyon:

Makita nga ang duha ka mga pamaagi nagkinahanglan og daghang panahon, ug sa samang higayon sa dihang ang hangyo gipatuman, ang URI ug domain niini gipakita usab. Kasagaran kini makatabang sa pagpangita sa hangyo sa mga troso. Pag-adto sa Pagsubay sa mga detalye, imong makita kung diin gikan kini nga mga pamaagi:

Ug sa Mga pangutana sa database - pagtimbang-timbang sa mga pangutana sa mga database nga gipatuman samtang ang aplikasyon nagdagan:

Gamit ang kini nga kahibalo, mahimo naton mahibal-an kung ngano nga naghinay ang aplikasyon ug nagtrabaho kauban ang developer aron makahimo usa ka estratehiya aron masulbad ang problema. Sa tinuud, ang New Relic dili kanunay naghatag usa ka tin-aw nga litrato, apan makatabang kini sa pagpili sa vector sa imbestigasyon:

dugay PDO::Construct mitultol kanamo ngadto sa katingad-an nga paglihok sa pgpoll;
instability sa paglabay sa panahon Memcache::Get misugyot nga ang virtual machine sayop nga gi-configure;
ang usa ka kadudahan nga pagtaas sa oras alang sa pagproseso sa template nagdala sa usa ka nested loop nga nagsusi sa presensya sa 500 nga mga avatar sa pagtipig sa butang;
ug uban pa…

Nahitabo usab nga imbis nga ipatuman ang code, adunay usa ka butang nga may kalabutan sa pagtipig sa gawas nga datos nga motubo sa main screen - ug dili igsapayan kung unsa kini: Redis o PostgreSQL - silang tanan gitago sa tab. mga database.

Makapili ka ug espesipikong base para sa panukiduki ug paghan-ay sa mga pangutana - susama sa kung giunsa kini pagbuhat sa Mga Transaksyon. Ug pinaagi sa pag-adto sa tab sa hangyo, imong makita kung pila ka beses nga kini nga hangyo mahitabo sa matag usa sa mga tigkontrol sa aplikasyon, ug gibanabana usab kung unsa ka sagad kini gitawag. Kini komportable kaayo:

Ang tab adunay parehas nga datos Mga Serbisyo sa gawas, nga nagtago sa mga hangyo sa mga eksternal nga serbisyo sa HTTP, sama sa pag-access sa pagtipig sa butang, pagpadala sa mga panghitabo sa guwardiya, o uban pa. Ang sulud sa tab hingpit nga parehas sa mga Database:

Mga kakompetensya: mga oportunidad ug mga impresyon

Karon ang labing makapaikag nga butang mao ang pagtandi sa mga kapabilidad sa New Relic sa kung unsa ang gitanyag sa mga kakompetensya. Ikasubo, wala namo masulayan ang tanang tulo ka himan sa usa ka bersyon sa usa ka aplikasyon nga nagdagan sa produksyon. Bisan pa, gisulayan namon nga itandi ang mga sitwasyon / mga pag-configure nga parehas nga mahimo.

1.Datadog

Ang Datadog nangumusta kanamo sa usa ka panel nga adunay dingding sa mga serbisyo:

Gisulayan niini ang pagbungkag sa mga aplikasyon sa mga sangkap / microservice, mao nga sa pananglitan nga aplikasyon sa Django makita namon ang 2 nga koneksyon sa PostgreSQL (defaultdb и postgres), ingon man sa Celery, Redis. Ang pagtrabaho kauban ang Datadog nanginahanglan kanimo nga adunay gamay nga kahibalo sa mga prinsipyo sa MVC: kinahanglan nimo nga masabtan kung diin gikan ang mga hangyo sa tiggamit. Kini kasagaran makatabang mapa sa serbisyo:

Pinaagi sa dalan, adunay susama sa New Relic:

... ug ang ilang mapa, sa akong opinyon, gihimo nga mas simple ug mas klaro: wala kini magpakita sa mga sangkap sa usa ka aplikasyon (nga maghimo niini nga sobra ka detalyado, sama sa kaso sa Datadog), apan mga piho nga serbisyo o microservices lamang.

Mobalik kita sa Datadog: gikan sa mapa sa serbisyo atong makita nga ang mga hangyo sa tiggamit moabut sa Django. Adto ta sa serbisyo sa Django ug sa katapusan tan-awon kung unsa ang among gipaabut:

Ikasubo, walay graph dinhi pinaagi sa default Panahon sa transaksyon sa web, susama sa atong makita sa main New Relic panel. Bisan pa, mahimo kini i-configure puli sa iskedyul % sa Panahon nga gigahin. Igo na nga ibalhin kini sa Avg nga oras kada hangyo pinaagi sa Type... ug karon ang pamilyar nga graph nagtan-aw kanamo!

Ngano nga gipili ni Datadog ang usa ka lahi nga tsart usa ka misteryo alang kanamo. Ang laing makapahigawad nga butang mao nga ang sistema wala makahinumdom sa pagpili sa user (dili sama sa duha ka mga kakompetensya), ug busa ang bugtong solusyon mao ang paghimo og custom panels.

Apan nalipay ko sa abilidad sa Datadog sa pagbalhin gikan niini nga mga graph ngadto sa metrics sa may kalabutan nga mga server, pagbasa sa mga log ug pagtimbang-timbang sa load sa mga web server handler (Gunicorn). Ang tanan halos parehas sa New Relic... ug bisan gamay pa (mga troso)!

Ubos sa mga graph mao ang mga transaksyon nga hingpit nga susama sa New Relic:

Sa Datadog, gitawag ang mga transaksyon kahinguhaan. Mahimo nimong maihap ang mga controller pinaagi sa gidaghanon sa mga hangyo, sa kasagaran nga oras sa pagtubag, ug sa labing taas nga oras nga gigugol sa usa ka gipili nga yugto sa panahon.

Mahimo nimong mapalapad ang kapanguhaan ug makita ang tanan nga among naobserbahan sa Bag-ong Relic:

Adunay mga estadistika sa kapanguhaan, usa ka kinatibuk-an nga lista sa mga internal nga tawag, ug mga pananglitan sa mga hangyo nga mahimong ihan-ay pinaagi sa tubag nga kodigo ... Pinaagi sa dalan, ang among mga inhenyero ganahan kaayo niini nga paghan-ay.

Ang bisan unsang pananglitan nga kapanguhaan sa Datadog mahimong maablihan ug tun-an:

Gipresentar ang mga parameter, usa ka summary chart sa oras nga gigugol sa matag component, ug usa ka waterfall chart nga nagpakita sa han-ay sa mga tawag nga gipresentar. Mahimo ka usab nga mobalhin sa usa ka pagtan-aw sa kahoy sa tsart sa talon:

Ug ang labing makapaikag nga butang mao ang pagtan-aw sa load sa host diin gipatuman ang hangyo ug pagtan-aw sa mga log sa hangyo.

Nindot nga panagsama!

Mahimong maghunahuna ka kung asa ang mga tab mga database и Mga Serbisyo sa gawas, sama sa New Relic. Wala dinhi: tungod kay ang Datadog nag-decompose sa aplikasyon ngadto sa mga component, ang PostgreSQL pagaisipon lahi nga serbisyo, ug imbes sa External Services kini angayan pangitaon aws.storage (mahisama kini sa matag uban pang serbisyo sa gawas nga ma-access sa aplikasyon).

Ania ang usa ka pananglitan sa postgres:

Sa tinuud adunay tanan nga gusto namon:

Makita nimo kung asa nga "serbisyo" gikan ang hangyo.

Dili sayop ang pagpahinumdom kanimo nga ang Datadog hingpit nga nahiusa sa NGINX Ingress ug nagtugot kanimo sa paghimo sa end-to-end nga pagsubay gikan sa higayon nga ang usa ka hangyo moabut sa cluster, ug nagtugot usab kanimo sa pagdawat sa statsd metrics, pagkolekta og mga log ug host metrics .

Ang usa ka dako nga plus sa Datadog mao ang presyo niini molambo gikan sa pag-monitor sa imprastraktura, APM, Pagdumala sa Log ug pagsulay sa Synthetics, i.e. Makapili ka sa imong plano nga flexible.

2.Atatus

Giangkon sa grupo sa Atatus nga ang ilang serbisyo "parehas sa New Relic, apan mas maayo." Tan-awon nato kon tinuod ba kini.

Ang panguna nga panel parehas nga hitsura, apan dili posible nga mahibal-an ang Redis ug memcached nga gigamit sa aplikasyon.

Gipili sa APM ang tanan nga mga transaksyon sa default, bisan kung kasagaran nga mga transaksyon sa Web ang gikinahanglan. Sama sa Datadog, walay paagi sa pag-navigate sa gusto nga serbisyo gikan sa main panel. Dugang pa, ang mga transaksyon gilista human sa mga kasaypanan, nga dili kaayo makatarunganon alang sa APM.

Sa mga transaksyon sa Atatus, ang tanan susama kutob sa mahimo sa New Relic. Ang downside mao nga ang dynamics alang sa matag controller dili dayon makita. Kinahanglan nimo nga pangitaon kini sa lamesa sa controller, pagsunud-sunod Labing Gikonsumo sa Panahon:

Ang naandan nga lista sa mga controller anaa sa tab Susiha ang:

Sa pipila ka mga paagi, kini nga lamesa nagpahinumdom sa Datadog ug mas gusto nako kini kaysa sa parehas sa Bag-ong Relic.

Mahimo nimong palapdan ang matag transaksyon ug tan-awa kung unsa ang gibuhat sa aplikasyon:

Ang panel usab mas makapahinumdom sa Datadog: adunay daghang mga hangyo, usa ka kinatibuk-ang hulagway sa mga tawag. Ang ibabaw nga panel naghatag usa ka tab nga sayup Mga Kapakyasan sa HTTP ug mga pananglitan sa hinay nga mga pangutana Mga Pagsubay sa Sesyon:

Kung moadto ka sa usa ka transaksyon, mahimo nimong makita ang usa ka pananglitan sa usa ka pagsubay, makakuha ka usa ka lista sa mga hangyo sa database ug tan-awa ang mga ulohan sa hangyo. Ang tanan susama sa New Relic:

Sa kinatibuk-an, si Atatus nalipay sa detalyado nga mga pagsubay - nga wala ang tipikal nga Bag-ong Relic gluing sa mga tawag sa usa ka block sa pahinumdom:

Bisan pa, kini kulang sa usa ka filter nga (sama sa Bag-ong Relic) magputol sa mga ultra-paspas nga hangyo (<5ms). Sa laing bahin, ganahan ko sa pagpakita sa katapusang tubag sa transaksyon (kalampusan o sayop).

Panel mga database makatabang kanimo sa pagtuon sa mga hangyo sa mga eksternal nga database nga gihimo sa aplikasyon. Pahinumdumi ko nimo nga ang Atatus nakit-an ra ang PostgreSQL ug MySQL, bisan kung ang Redis ug memcached naapil usab sa proyekto.

Gihan-ay ang mga hangyo sumala sa naandan nga pamatasan: frequency sa pagtubag, kasagaran nga oras sa pagtubag, ug uban pa. Gusto ko usab nga hisgutan ang tab nga adunay labing hinay nga mga pangutana - kini sayon kaayo. Dugang pa, ang datos sa kini nga tab alang sa PostgreSQL nahiuyon sa datos gikan sa extension pg_stat_nga mga pahayag - maayo kaayo nga resulta!

Tab Panggawas nga mga hangyo hingpit nga parehas sa mga Database.

kaplag

Ang duha nga gipresentar nga mga himan maayo nga nahimo sa papel sa APM. Bisan kinsa kanila makatanyag sa gikinahanglan nga minimum. Ang atong mga impresyon mahimong ma-summarize sa mubo sama sa mosunod:

datadog

Mga Pro:

kombenyente nga iskedyul sa taripa (APM nagkantidad og 31 USD kada host);
nagtrabaho og maayo sa Python;
Posibilidad sa paghiusa sa OpenTracing
integrasyon sa Kubernetes;
panagsama sa NGINX Ingress.

Kahinumduman:

ang bugtong APM nga hinungdan nga ang aplikasyon dili magamit tungod sa usa ka sayup sa module (predis);
huyang nga PHP auto-instrumentation;
usa ka katingad-an nga kahulugan sa mga serbisyo ug ang ilang katuyoan.

Atatus