{"id":83188,"date":"2020-05-29T07:43:02","date_gmt":"2020-05-29T05:43:02","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/kak-my-perezhili-rezkij-rost-nagruzki-x10-na-udalenke-i-kakie-vyvody-sdelali"},"modified":"2020-05-29T07:43:02","modified_gmt":"2020-05-29T05:43:02","slug":"kak-my-perezhili-rezkij-rost-nagruzki-x10-na-udalenke-i-kakie-vyvody-sdelali","status":"publish","type":"post","link":"https:\/\/prohoster.info\/hu\/blog\/administrirovanie\/kak-my-perezhili-rezkij-rost-nagruzki-x10-na-udalenke-i-kakie-vyvody-sdelali","title":{"rendered":"Hogyan \u00e9lt\u00fck meg a t\u00e1volban x10-es terhel\u00e9sn\u00f6veked\u00e9st \u00e9s milyen tanuls\u00e1gokat vontunk le?","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Hell\u00f3, Habr! Az elm\u00falt p\u00e1r h\u00f3nap \u00e9rdekes helyzetben telt, \u00e9s szeretn\u00e9m megosztani a t\u00f6rt\u00e9net\u00fcnket az infrastrukt\u00fara sk\u00e1l\u00e1z\u00e1s\u00e1r\u00f3l. Ez id\u0151 alatt a SberMarket megrendel\u00e9sei n\u00e9gyszeres\u00e9re n\u0151ttek, \u00e9s 17 \u00faj v\u00e1rosban ind\u00edtottunk szolg\u00e1ltat\u00e1st. A term\u00e9kek ir\u00e1nti kereslet robban\u00e1sszer\u0171 n\u00f6veked\u00e9se megk\u00f6vetelte t\u0151l\u00fcnk az infrastrukt\u00fara sk\u00e1l\u00e1z\u00e1s\u00e1t. A leg\u00e9rdekesebb \u00e9s leghasznosabb tanuls\u00e1gokr\u00f3l a folytat\u00e1sban olvashatsz.<\/p>\n

\"Hogyan
\n<\/a><\/noindex>
\nSzervusz, Dima Bobylev vagyok, a SberMarket m\u0171szaki igazgat\u00f3ja. Mivel ez az els\u0151 bejegyz\u00e9s\u00fcnk a blogunkban, szeretn\u00e9k n\u00e9h\u00e1ny sz\u00f3t mondani magamr\u00f3l \u00e9s a c\u00e9gr\u0151l. Tavaly \u0151sszel r\u00e9szt vettem az orosz internet fiatal vezet\u0151inek verseny\u00e9n. A versenyhez \u00edrtam egy r\u00f6vid t\u00f6rt\u00e9netet<\/a><\/noindex> arr\u00f3l, hogyan l\u00e1tjuk a SberMarketn\u00e9l a bels\u0151 kult\u00far\u00e1t \u00e9s a szolg\u00e1ltat\u00e1s fejleszt\u00e9s\u00e9hez val\u00f3 hozz\u00e1\u00e1ll\u00e1st. B\u00e1r a versenyt nem nyertem meg, m\u00e9gis megfogalmaztam magam sz\u00e1m\u00e1ra az IT-\u00f6vezet fejleszt\u00e9s\u00e9nek alapelveit. <\/p>\n

A csapat ir\u00e1ny\u00edt\u00e1sa sor\u00e1n fontos meg\u00e9rteni \u00e9s megtal\u00e1lni az egyens\u00falyt a v\u00e1llalkoz\u00e1s sz\u00fcks\u00e9gletei \u00e9s az egyes fejleszt\u0151k ig\u00e9nyei k\u00f6z\u00f6tt. Jelenleg a SberMarket \u00e9vi 13-szoros n\u00f6veked\u00e9st mutat, ami hat\u00e1ssal van a term\u00e9kre, folyamatosan n\u00f6velve a fejleszt\u00e9si mennyis\u00e9get \u00e9s \u00fctemet. Ennek ellen\u00e9re elegend\u0151 id\u0151t biztos\u00edtunk a fejleszt\u0151k sz\u00e1m\u00e1ra a prec\u00edz elemz\u00e9sre \u00e9s a min\u0151s\u00e9gi k\u00f3d\u00edr\u00e1sra. Az \u00edgy kialak\u00edtott megk\u00f6zel\u00edt\u00e9s nemcsak a m\u0171k\u00f6d\u0151 term\u00e9k l\u00e9trehoz\u00e1s\u00e1ban seg\u00edt, hanem annak tov\u00e1bbi sk\u00e1l\u00e1z\u00e1s\u00e1ban \u00e9s fejleszt\u00e9s\u00e9ben is. Ennek a n\u00f6veked\u00e9snek k\u00f6sz\u00f6nhet\u0151en a SberMarket m\u00e1r a term\u00e9kek h\u00e1zhoz sz\u00e1ll\u00edt\u00e1s\u00e1nak vezet\u0151 szolg\u00e1ltat\u00f3j\u00e1v\u00e1 v\u00e1lt: naponta k\u00f6r\u00fclbel\u00fcl 18 ezer megrendel\u00e9st teljes\u00edt\u00fcnk, holott febru\u00e1r elej\u00e9n m\u00e9g csak k\u00f6r\u00fclbel\u00fcl 3500 volt.<\/p>\n

\"Hogyan
\nEgyszer a SberMarket egyik \u00fcgyfele azt k\u00e9rte, hogy a fut\u00e1r \u00e9rint\u00e9smentesen vigye el neki a term\u00e9keket - k\u00f6zvetlen\u00fcl az erk\u00e9lyre.<\/i><\/p>\n

De l\u00e9pj\u00fcnk a konkr\u00e9tumokhoz. Az utols\u00f3 n\u00e9h\u00e1ny h\u00f3napban akt\u00edvan dolgoztunk a c\u00e9g\u00fcnk infrastrukt\u00far\u00e1j\u00e1nak sk\u00e1l\u00e1z\u00e1s\u00e1n. Ezt a sz\u00fcks\u00e9gletet k\u00fcls\u0151 \u00e9s bels\u0151 t\u00e9nyez\u0151k indokolt\u00e1k. A vev\u0151i b\u00e1zis b\u0151v\u00fcl\u00e9s\u00e9vel egyidej\u0171leg a csatlakoztatott boltok sz\u00e1ma a \u00e9v eleji 90-r\u0151l t\u00f6bb mint 200-ra n\u0151tt m\u00e1jus k\u00f6zep\u00e9re. Term\u00e9szetesen felk\u00e9sz\u00fclt\u00fcnk, lefoglaltuk a f\u0151 infrastrukt\u00far\u00e1t, plusz sz\u00e1moltunk az \u00f6sszes virtu\u00e1lis g\u00e9p f\u00fcgg\u0151leges \u00e9s v\u00edzszintes sk\u00e1l\u00e1z\u00e1s\u00e1nak lehet\u0151s\u00e9g\u00e9vel, amely a Yandex felh\u0151j\u00e9ben tal\u00e1lhat\u00f3. A gyakorlat azonban megmutatta: \u201eMinden, ami rosszul s\u00fclhet el, el is romlik.\u201d Ma szeretn\u00e9m megosztani a leg\u00e9rdekesebb helyzeteket, amelyek ezekben a hetekben t\u00f6rt\u00e9ntek. Rem\u00e9lem, tapasztalatunk hasznos lesz az \u00d6n sz\u00e1m\u00e1ra.<\/p>\n

A Slave teljes harci k\u00e9sz\u00fclts\u00e9gben van<\/h3>\n

\nM\u00e1r a vil\u00e1gj\u00e1rv\u00e1ny el\u0151tt is n\u00f6vekv\u0151 sz\u00e1m\u00fa k\u00e9r\u00e9ssel szembes\u00fclt\u00fcnk backend szervereink ir\u00e1nt. A h\u00e1zhoz sz\u00e1ll\u00edtott term\u00e9kek rendel\u00e9s\u00e9nek tendenci\u00e1ja kezdet\u00e9t vette, \u00e9s a COVID-19 miatt bevezetett els\u0151 \u00f6nizol\u00e1ci\u00f3s int\u00e9zked\u00e9sek bevezet\u00e9s\u00e9vel a terhel\u00e9s dr\u00e1maian n\u0151tt eg\u00e9sz nap. Sz\u00fcks\u00e9gess\u00e9 v\u00e1lt a master szerverek f\u0151 adatb\u00e1zis\u00e1nak gyors leterhel\u00e9se \u00e9s a r\u00e9szben olvas\u00e1si k\u00e9r\u00e9sek \u00e1thelyez\u00e9se a replika szerverekre (slave).<\/p>\n

El\u0151re k\u00e9sz\u00fclt\u00fcnk erre a l\u00e9p\u00e9sre, \u00e9s m\u00e1r elind\u00edtottunk 2 slave szervert az ilyen man\u0151verhez. Ezeken f\u0151k\u00e9nt a partnerekkel val\u00f3 adatcsere inform\u00e1ci\u00f3s feedjeinek gener\u00e1l\u00e1s\u00e1val kapcsolatos batch feladatok futottak. Ezek a folyamatok felesleges terhel\u00e9st okoztak, \u00e9s teljesen jogosan ki lettek vonva a 'k\u00e9pletb\u0151l' n\u00e9h\u00e1ny h\u00f3nappal kor\u00e1bban.\u00a0<\/p>\n

Mivel a Slave-en replik\u00e1ci\u00f3 t\u00f6rt\u00e9nt, ragaszkodtunk ahhoz a koncepci\u00f3hoz, hogy az alkalmaz\u00e1sok csak read only m\u00f3dban dolgozhatnak vel\u00fck. A Disaster Recovery Plan azt felt\u00e9telezte, hogy katasztr\u00f3fa eset\u00e9n egyszer\u0171en a Slave-t a Master hely\u00e9re tudjuk csatlakoztatni, \u00e9s a write \u00e9s read k\u00e9r\u00e9seket a Slave-ra ir\u00e1ny\u00edtani. Ugyanakkor a marketing oszt\u00e1ly ig\u00e9nyeire is szerett\u00fck volna haszn\u00e1lni a replik\u00e1kat, ez\u00e9rt a szerverek nem teljesen ker\u00fcltek \u00e1t read only st\u00e1tuszba, \u00e9s minden hoszton volt egy saj\u00e1t felhaszn\u00e1l\u00f3i k\u00e9szlet, \u00e9s n\u00e9h\u00e1nyan \u00edr\u00e1si jogokkal rendelkeztek, hogy meg\u0151rizz\u00e9k a sz\u00e1m\u00edt\u00e1sok k\u00f6zbens\u0151 eredm\u00e9nyeit.<\/p>\n

Egy bizonyos terhel\u00e9si szintig elegend\u0151 volt a mester mind az \u00edr\u00e1sra, mind az olvas\u00e1sra a http-k\u00e9r\u00e9sek kezel\u00e9s\u00e9n\u00e9l. M\u00e1rcius k\u00f6zep\u00e9n, \u00e9ppen akkor, amikor a Sbermarket \u00fagy d\u00f6nt\u00f6tt, hogy teljesen \u00e1t\u00e1ll a t\u00e1voli munkav\u00e9gz\u00e9sre, hirtelen n\u00f6vekedni kezdett az RPS. \u00dcgyfeleink egyre nagyobb ar\u00e1nyban mentek \u00f6nizol\u00e1ci\u00f3ba vagy kezdtek otthon dolgozni, ami a terhel\u00e9si mutat\u00f3kra is kihatott.<\/p>\n

A \u201emester\u201d teljes\u00edtm\u00e9nye m\u00e1r nem volt elegend\u0151, ez\u00e9rt elkezdt\u00fck a legnehezebb olvas\u00e1si k\u00e9r\u00e9seket a replik\u00e1ra \u00e1thelyezni. Az \u00edr\u00e1si k\u00e9r\u00e9sek \u00e1tl\u00e1that\u00f3 ir\u00e1ny\u00edt\u00e1sa a mesterhez \u00e9s az olvas\u00e1s a slave-hez \u00e9rdek\u00e9ben a ruby gem \u201eOctopus<\/a><\/noindex>\u201e-t haszn\u00e1ltuk. K\u00e9sz\u00edtett\u00fcnk egy speci\u00e1lis felhaszn\u00e1l\u00f3t _readonly v\u00e9gz\u0151d\u00e9ssel, \u00edr\u00e1si jogok n\u00e9lk\u00fcl. Azonban egy a konfigur\u00e1ci\u00f3s hib\u00e1b\u00f3l kifoly\u00f3lag az egyik hoston egyes \u00edr\u00e1si k\u00e9relmek a slave-szerverre mentek a felhaszn\u00e1l\u00f3 nev\u00e9ben, akinek megvoltak a megfelel\u0151 jogai.<\/p>\n

A probl\u00e9ma nem azonnal jelentkezett, mivel a megn\u00f6vekedett terhel\u00e9s megn\u00f6velte a slave-ek k\u00e9sleked\u00e9s\u00e9t. Az adatok inkonzisztenci\u00e1j\u00e1t reggel fedezt\u00fck fel, amikor az \u00e9jszakai import ut\u00e1n a slave-ek nem \u201e\u00e9rt\u00e9k utol\u201d a mestert. Ezt a magas terhel\u00e9snek a szolg\u00e1ltat\u00e1sra \u00e9s az \u00faj bolt megnyit\u00e1s\u00e1val kapcsolatos importra \u00edrtuk le. De az adatok t\u00f6bb \u00f3r\u00e1s k\u00e9sleked\u00e9ssel t\u00f6rt\u00e9n\u0151 \u00e1tad\u00e1sa elfogadhatatlan volt, ez\u00e9rt a folyamatokat a m\u00e1sodik analitikai slave-re v\u00e1ltottuk, mert annak t\u00f6bb forr\u00e1sa volt \u00e9s nem volt terhelve olvas\u00e1si k\u00e9relmekkel (ezt magyar\u00e1ztuk a replik\u00e1ci\u00f3s k\u00e9sleked\u00e9s hi\u00e1ny\u00e1nak).\u00f3<\/strong>Amikor a f\u0151 slave \u201esz\u00e9tterjed\u00e9s\u00e9nek\u201d okait kielemezt\u00fck, az analitikai m\u00e1r szint\u00e9n le\u00e1llt ugyanazon okb\u00f3l. Annak ellen\u00e9re, hogy k\u00e9t tov\u00e1bbi szerver\u00fcnk volt, amelyre a terhel\u00e9st \u00e1t akartuk vinni a mester le\u00e1ll\u00e1sa eset\u00e9n, a kellemetlen hiba miatt kritikus pillanatban nem volt egy sem.<\/p>\n

\u00c1m mivel nemcsak a DB dump-ot k\u00e9sz\u00edtett\u00fck el (a restore k\u00f6r\u00fclbel\u00fcl 5 \u00f3r\u00e1t vett ig\u00e9nybe), hanem a mester szerver pillanatk\u00e9p\u00e9t is, a replik\u00e1t 2 \u00f3r\u00e1n bel\u00fcl siker\u00fclt elind\u00edtani. Az igazs\u00e1g azonban az, hogy ezut\u00e1n hossz\u00fa ideig tart\u00f3 replik\u00e1ci\u00f3s napl\u00f3 forgat\u00e1s v\u00e1rt r\u00e1nk (mivel a folyamat egysz\u00e1l\u00fa m\u00f3dban zajlik, de ez m\u00e1r egy teljesen m\u00e1s t\u00f6rt\u00e9net).<\/p>\n

K\u00f6vetkeztet\u00e9s:<\/p>\n

K\u00f6vetkeztet\u00e9s:<\/strong> Ezek ut\u00e1n egy\u00e9rtelm\u0171v\u00e9 v\u00e1lt, hogy fel kellene adni a felhaszn\u00e1l\u00f3k \u00edr\u00e1si korl\u00e1toz\u00e1s\u00e1nak gyakorlat\u00e1t, \u00e9s az eg\u00e9sz szervert readonly-ra kellene \u00e1ll\u00edtani. Ezzel a megk\u00f6zel\u00edt\u00e9ssel biztosak lehet\u00fcnk abban, hogy a replik\u00e1k rendelkez\u00e9sre \u00e1llnak kritikus pillanatokban.<\/p><\/blockquote>\n

<\/p>\n

M\u00e1r egy neh\u00e9z lek\u00e9rdez\u00e9s optimaliz\u00e1l\u00e1sa is k\u00e9pes \"\u00faj \u00e9letet lehelni\" az adatb\u00e1zisba.<\/h3>\n

\nB\u00e1r folyamatosan friss\u00edtj\u00fck a weboldal katal\u00f3gus\u00e1t, a lek\u00e9rdez\u00e9sek, amelyeket Slave-szerverekre ir\u00e1ny\u00edtottunk, kiss\u00e9 lemaradtak a Mastert\u0151l. Az id\u0151, amely alatt felfedezt\u00fck \u00e9s megoldottuk a \"hirtelen el\u00e9rhetetlenn\u00e9 v\u00e1lt\" slave probl\u00e9m\u00e1j\u00e1t, hosszabb volt, mint a \"pszichol\u00f3giai hat\u00e1r\" (ez alatt az id\u0151 alatt \u00e1rv\u00e1ltoz\u00e1s t\u00f6rt\u00e9nhetett, \u00e9s az \u00fcgyfelek elavult adatokat l\u00e1thattak), ez\u00e9rt k\u00e9nytelenek voltunk minden lek\u00e9rdez\u00e9st a f\u0151 DB szerverre ir\u00e1ny\u00edtani. Ennek eredm\u00e9nyek\u00e9nt a weboldal lassan m\u0171k\u00f6d\u00f6tt... de legal\u00e1bb m\u0171k\u00f6d\u00f6tt. Am\u00edg a Slave helyre\u00e1llt, nem volt m\u00e1s v\u00e1laszt\u00e1sunk, mint optimaliz\u00e1lni.\u00a0<\/p>\n

Am\u00edg a Slave-szerverek helyre\u00e1lltak, a percek lassan teltek, a Master t\u00faltel\u00edt\u0151d\u00f6tt, \u00e9s minden er\u0151nket az akt\u00edv feladatok optimaliz\u00e1l\u00e1s\u00e1ra ford\u00edtottuk a \"Pareto-elv\" alapj\u00e1n: kiv\u00e1lasztottuk a TOP lek\u00e9rdez\u00e9seket, amelyek a legnagyobb terhel\u00e9st adt\u00e1k, \u00e9s elkezdt\u00fck a finomhangol\u00e1st. Ezt k\u00f6zvetlen\u00fcl a \"fut\u00e1s\" sor\u00e1n v\u00e9gezt\u00fck.<\/p>\n

\u00c9rdekes hat\u00e1s volt, hogy a teljesen leterhelt MySQL m\u00e9g a legkev\u00e9sb\u00e9 jelent\u0151s folyamatjav\u00edt\u00e1sokra is reag\u00e1lt. K\u00e9t lek\u00e9rdez\u00e9s optimaliz\u00e1l\u00e1sa, amelyek mind\u00f6ssze 5%-\u00e1t adt\u00e1k az \u00f6sszes terhel\u00e9snek, m\u00e1r \u00e9rezhet\u0151en cs\u00f6kkentette a CPU terhel\u00e9st. Ennek eredm\u00e9nyek\u00e9nt siker\u00fclt elfogadhat\u00f3 er\u0151forr\u00e1st biztos\u00edtanunk a Master adatb\u00e1zis kezel\u00e9s\u00e9re, \u00e9s elegend\u0151 id\u0151t nyert\u00fcnk a replik\u00e1k helyre\u00e1ll\u00edt\u00e1s\u00e1hoz.\u00a0<\/p>\n

K\u00f6vetkeztet\u00e9s:<\/strong> M\u00e9g egy kis optimaliz\u00e1l\u00e1s is lehet\u0151v\u00e9 teszi a \"t\u00fal\u00e9l\u00e9s\" a terhel\u00e9s alatt t\u00f6bb \u00f3r\u00e1n kereszt\u00fcl. Ez \u00e9ppen elegend\u0151 volt a replik\u00e1kkal rendelkez\u0151 szerverek helyre\u00e1ll\u00edt\u00e1s\u00e1hoz. Egy\u00e9bk\u00e9nt a lek\u00e9rdez\u00e9sek optimaliz\u00e1l\u00e1s\u00e1nak technikai oldal\u00e1t egy k\u00f6vetkez\u0151 bejegyz\u00e9sben fogjuk megvitatni. Teh\u00e1t iratkozzanak fel a blogunkra, ha ez hasznos lehet az \u00d6n\u00f6k sz\u00e1m\u00e1ra.<\/p><\/blockquote>\n

<\/p>\n

Szervezze meg a partnerek szolg\u00e1ltat\u00e1sainak m\u0171k\u00f6d\u00e9s\u00e9nek nyomon k\u00f6vet\u00e9s\u00e9t.<\/h3>\n

\n\u00dcgyfeleinkt\u0151l \u00e9rkez\u0151 megrendel\u00e9sek feldolgoz\u00e1s\u00e1val foglalkozunk, ez\u00e9rt szolg\u00e1ltat\u00e1saink folyamatosan kommunik\u00e1lnak k\u00fcls\u0151 API-kkal \u2014 ezek SMS-k\u00fcld\u0151 \u00e1tj\u00e1r\u00f3k, fizet\u00e9si platformok, \u00fatvonal-szolg\u00e1ltat\u00e1sok, geok\u00f3dol\u00f3k, az ad\u00f3hat\u00f3s\u00e1g nyilv\u00e1ntart\u00e1sa \u00e9s sok m\u00e1s rendszer. Amikor a terhel\u00e9s hirtelen megn\u00f6vekedett, a partnereink API-jainak korl\u00e1tjaiba \u00fctk\u00f6zt\u00fcnk, amelyeket kor\u00e1bban m\u00e9g figyelembe sem vett\u00fcnk.<\/p>\n

A partneri szolg\u00e1ltat\u00e1sok v\u00e1ratlan kv\u00f3ta t\u00fall\u00e9p\u00e9se a saj\u00e1t rendszer\u00fcnk le\u00e1ll\u00e1s\u00e1hoz vezethet. Sok API blokkolja azokat az \u00fcgyfeleket, akik t\u00fall\u00e9pik a hat\u00e1r\u00e9rt\u00e9keket, \u00e9s egyes esetekben a t\u00fal sok k\u00e9r\u00e9s t\u00falterhelheti a partnert a termel\u00e9s sor\u00e1n.\u00a0<\/p>\n

P\u00e9ld\u00e1ul, amikor a kisz\u00e1ll\u00edt\u00e1sok sz\u00e1ma n\u00f6vekedett, a k\u00eds\u00e9r\u0151 szolg\u00e1ltat\u00e1sok nem tudt\u00e1k kezelni a feladatok kioszt\u00e1s\u00e1t \u00e9s az \u00fatvonalak meghat\u00e1roz\u00e1s\u00e1t. Ennek eredm\u00e9nyek\u00e9nt el\u0151fordult, hogy a rendel\u00e9seket megtett\u00e9k, de az \u00fatvonal-gener\u00e1l\u00f3 szolg\u00e1ltat\u00e1s nem m\u0171k\u00f6d\u00f6tt. Meg kell jegyeznem, hogy logisztikai csapatunk szinte lehetetlent vitt v\u00e9ghez ezekben a k\u00f6r\u00fclm\u00e9nyek k\u00f6z\u00f6tt, \u00e9s a csapat szoros egy\u00fcttm\u0171k\u00f6d\u00e9se seg\u00edtett kompenz\u00e1lni a szolg\u00e1ltat\u00e1sok ideiglenes le\u00e1ll\u00e1s\u00e1t. De az ilyen mennyis\u00e9g\u0171 ig\u00e9ny folyamatos manu\u00e1lis feldolgoz\u00e1sa lehetetlen, \u00e9s egy id\u0151 ut\u00e1n elviselhetetlen szakad\u00e9kot tapasztaln\u00e1nk a rendel\u00e9sek \u00e9s a teljes\u00edt\u00e9sek k\u00f6z\u00f6tt.\u00a0<\/p>\n

Sz\u00e1mos szervez\u00e9si int\u00e9zked\u00e9st hoztunk, \u00e9s a csapat z\u00f6kken\u0151mentes munk\u00e1ja id\u0151t nyert, mik\u00f6zben \u00faj felt\u00e9telekr\u0151l t\u00e1rgyaltunk \u00e9s v\u00e1rtuk a szolg\u00e1ltat\u00e1sok moderniz\u00e1l\u00e1s\u00e1t n\u00e9h\u00e1ny partner\u00fcnkt\u0151l. Vannak m\u00e1s API-k is, amelyek magas ellen\u00e1ll\u00f3k\u00e9pess\u00e9ggel \u00e9s rendk\u00edv\u00fcli tarif\u00e1kkal b\u00fcszk\u00e9lkednek a nagy forgalom eset\u00e9n. P\u00e9ld\u00e1ul kezdetben egy ismert t\u00e9rk\u00e9pszolg\u00e1ltat\u00e1s API-j\u00e1t haszn\u00e1ltuk a kisz\u00e1ll\u00edt\u00e1si c\u00edmek meghat\u00e1roz\u00e1s\u00e1hoz. De a h\u00f3nap v\u00e9g\u00e9n k\u00f6zel 2 milli\u00f3 rubeles sz\u00e1ml\u00e1t kaptunk. Ezt k\u00f6vet\u0151en gyorsan \u00fagy d\u00f6nt\u00f6tt\u00fcnk, hogy lecser\u00e9lj\u00fck. Nem szeretn\u00e9k rekl\u00e1mozni, de azt mondhatom, hogy a k\u00f6lts\u00e9geink jelent\u0151sen cs\u00f6kkentek.
\n\"Hogyan<\/p>\n

K\u00f6vetkeztet\u00e9s: <\/strong>Mindenk\u00e9ppen monitorozni kell az \u00f6sszes partneri szolg\u00e1ltat\u00e1s m\u0171k\u00f6d\u00e9si felt\u00e9teleit, \u00e9s figyelembe kell venni \u0151ket. M\u00e9g ha ma \u00fagy t\u0171nik is, hogy \u201enagy tartal\u00e9kkal\u201d rendelkeznek, ez nem jelenti azt, hogy holnap ne v\u00e1ln\u00e1nak a n\u00f6veked\u00e9s akad\u00e1ly\u00e1v\u00e1. \u00c9s term\u00e9szetesen jobb, ha el\u0151re egyeztetj\u00fck a megn\u00f6vekedett kereslet p\u00e9nz\u00fcgyi felt\u00e9teleit.\u00a0<\/p><\/blockquote>\n

<\/p>\n

N\u00e9ha kider\u00fcl, hogy \u201et\u00f6bb aranyra van sz\u00fcks\u00e9g<\/a><\/noindex>\u201d (id\u00e9zet) nem seg\u00edt<\/h3>\n

\nMegszoktuk, hogy a f\u0151 adatb\u00e1zisban vagy az alkalmaz\u00e1sszervereken ad\u00f3dnak \"sz\u0171k keresztmetszetek\", de a m\u00e9retez\u00e9s sor\u00e1n a probl\u00e9m\u00e1k ott is megjelenhetnek, ahol nem v\u00e1rtuk. A webhely\u00fcnk teljes sz\u00f6veges keres\u00e9s\u00e9hez az Apache Solr motort haszn\u00e1ljuk. A terhel\u00e9s n\u00f6veked\u00e9s\u00e9vel \u00e9szlelt\u00fck a v\u00e1laszid\u0151 cs\u00f6kken\u00e9s\u00e9t, \u00e9s a szerver CPU terhel\u00e9se el\u00e9rte a 100%-ot. Mi lehetne egyszer\u0171bb \u2014 adunk a Solr kont\u00e9nernek t\u00f6bb er\u0151forr\u00e1st.<\/p>\n

A v\u00e1rt teljes\u00edtm\u00e9nyn\u00f6veked\u00e9s helyett a szerver egyszer\u0171en \"meghalt\". Azonnal 100%-on terhel\u0151d\u00f6tt, \u00e9s m\u00e9g lassabban v\u00e1laszolt. Eredetileg 2 maggal \u00e9s 2 GB RAM-mal indultunk. \u00dagy d\u00f6nt\u00f6tt\u00fcnk, hogy megtesz\u00fcnk valamit, ami \u00e1ltal\u00e1ban seg\u00edt \u2014 a szervernek 8 magot \u00e9s 32 GB RAM-ot adtunk. Minden sokkal rosszabb lett (hogy pontosan hogyan \u00e9s mi\u00e9rt \u2014 err\u0151l egy k\u00fcl\u00f6n bejegyz\u00e9sben sz\u00e1molunk be).\u00a0<\/p>\n

N\u00e9h\u00e1ny nap alatt alaposan meg\u00e9rtett\u00fck a k\u00e9rd\u00e9s finoms\u00e1gait, \u00e9s 8 mag \u00e9s 32 GB RAM mellett optim\u00e1lis teljes\u00edtm\u00e9nyt \u00e9rt\u00fcnk el. Ez a konfigur\u00e1ci\u00f3 lehet\u0151v\u00e9 teszi sz\u00e1munkra, hogy tov\u00e1bb n\u00f6velj\u00fck a terhel\u00e9st, ami nagyon fontos, mert nemcsak az \u00fcgyfelek sz\u00e1ma, hanem az \u00f6sszekapcsolt boltok sz\u00e1ma is n\u00f6vekszik \u2014 k\u00e9t h\u00f3nap alatt megdupl\u00e1z\u00f3dott a sz\u00e1muk.\u00a0<\/p>\n

K\u00f6vetkeztet\u00e9s: <\/strong>A standard m\u00f3dszerek, mint p\u00e9ld\u00e1ul a \"t\u00f6bb hardver hozz\u00e1ad\u00e1sa\", nem mindig m\u0171k\u00f6dnek. Teh\u00e1t b\u00e1rmely szolg\u00e1ltat\u00e1s m\u00e9retez\u00e9sekor j\u00f3l meg kell \u00e9rteni, hogyan haszn\u00e1lja az er\u0151forr\u00e1sokat, \u00e9s el\u0151re tesztelni kell, hogy hogyan m\u0171k\u00f6dik \u00faj k\u00f6rnyezetben.\u00a0\n<\/p><\/blockquote>\n

<\/p>\n

A stateless \u2014 kulcs a egyszer\u0171 v\u00edzszintes m\u00e9retez\u00e9shez<\/h3>\n

\nCsapatunk alapvet\u0151en a j\u00f3l ismert megk\u00f6zel\u00edt\u00e9st k\u00f6veti: a szolg\u00e1ltat\u00e1soknak nem szabad bels\u0151 \u00e1llapotot (stateless) tartalmazniuk, \u00e9s f\u00fcggetlenek kell lenni\u00fck a v\u00e9grehajt\u00e1si k\u00f6rnyezett\u0151l. Ez lehet\u0151v\u00e9 tette sz\u00e1munkra, hogy a n\u00f6vekv\u0151 terhel\u00e9st egyszer\u0171 v\u00edzszintes m\u00e9retez\u00e9ssel kik\u00fcsz\u00f6b\u00f6lj\u00fck. De volt egy kiv\u00e9teles szolg\u00e1ltat\u00e1sunk \u2014 a hossz\u00fa h\u00e1tt\u00e9rfeladatok kezel\u0151je. Ez foglalkozott az e-mailek \u00e9s SMS-ek k\u00fcld\u00e9s\u00e9vel, esem\u00e9nyek feldolgoz\u00e1s\u00e1val, feed-gener\u00e1l\u00e1ssal, \u00e1rak \u00e9s k\u00e9szletek import\u00e1l\u00e1s\u00e1val, k\u00e9pfeldolgoz\u00e1ssal. Valahogy \u00fagy alakult, hogy f\u00fcgg\u00f6tt a helyi f\u00e1jl t\u00e1rol\u00f3t\u00f3l, \u00e9s egy p\u00e9ld\u00e1nyban volt jelen.\u00a0<\/p>\n

Amikor a feldolgoz\u00f3 sor\u00e1ban l\u00e9v\u0151 feladatok sz\u00e1ma megn\u00f6vekedett (ami term\u00e9szetesen t\u00f6rt\u00e9nt a megrendel\u00e9sek sz\u00e1m\u00e1nak n\u00f6veked\u00e9s\u00e9vel), a gazda teljes\u00edtm\u00e9nye, ahol a feldolgoz\u00f3 \u00e9s a f\u00e1jl t\u00e1rol\u00f3 elhelyezkedett, lett a korl\u00e1toz\u00f3 t\u00e9nyez\u0151. Ennek k\u00f6vetkezt\u00e9ben le\u00e1llt a k\u00e9szlet \u00e9s az \u00e1rak friss\u00edt\u00e9se, a felhaszn\u00e1l\u00f3knak k\u00fcld\u00f6tt \u00e9rtes\u00edt\u00e9sek tov\u00e1bb\u00edt\u00e1sa \u00e9s sok m\u00e1s kritikus funkci\u00f3, amelyek a sorban akadtak meg. Az Ops csapat gyorsan \u00e1tk\u00f6lt\u00f6ztette a f\u00e1jl t\u00e1rol\u00f3t egy S3-szer\u0171 h\u00e1l\u00f3zati t\u00e1rol\u00f3ba, \u00e9s ez lehet\u0151v\u00e9 tette sz\u00e1munkra, hogy t\u00f6bb er\u0151teljes g\u00e9pet ind\u00edtsunk, hogy sk\u00e1l\u00e1zzuk a h\u00e1tt\u00e9r feladatok feldolgoz\u00f3j\u00e1t.<\/p>\n

K\u00f6vetkeztet\u00e9s: <\/strong>A Stateless szab\u00e1lyt minden \u00f6sszetev\u0151re vonatkoz\u00f3an be kell tartani, kiv\u00e9tel n\u00e9lk\u00fcl, m\u00e9g akkor is, ha \u00fagy t\u0171nik, hogy \"itt biztosan nem \u00fctk\u00f6z\u00fcnk bele\". Jobb egy kicsit id\u0151t t\u00f6lteni a rendszerek megfelel\u0151 megszervez\u00e9s\u00e9vel, mint ut\u00e1na sietve \u00fajra\u00edrni a k\u00f3dot \u00e9s jav\u00edtani a t\u00falterhelt szolg\u00e1ltat\u00e1st.<\/p><\/blockquote>\n

<\/p>\n

7 elv az intenz\u00edv n\u00f6veked\u00e9shez<\/h2>\n

\nAnnak ellen\u00e9re, hogy plusz kapacit\u00e1sok \u00e1lltak rendelkez\u00e9sre, a n\u00f6veked\u00e9s folyam\u00e1n t\u00f6bb buktat\u00f3ba \u00fctk\u00f6zt\u00fcnk. Ez id\u0151 alatt a megrendel\u00e9sek sz\u00e1ma t\u00f6bb mint 4-szeres\u00e9re n\u0151tt. Jelenleg naponta m\u00e1r t\u00f6bb mint 17 000 megrendel\u00e9st k\u00e9zbes\u00edt\u00fcnk 62 v\u00e1rosban, \u00e9s tervezz\u00fck, hogy m\u00e9g ink\u00e1bb kiterjesztj\u00fck a tev\u00e9kenys\u00e9gi ter\u00fclet\u00fcnket \u2014 2020 els\u0151 fel\u00e9ben az eg\u00e9sz Oroszorsz\u00e1gban v\u00e1rhat\u00f3an elindul a szolg\u00e1ltat\u00e1s. Annak \u00e9rdek\u00e9ben, hogy megbirk\u00f3zzunk a n\u00f6vekv\u0151 terhel\u00e9ssel, figyelembe v\u00e9ve a m\u00e1r szerzett tapasztalatokat, 7 alapelvet dolgoztunk ki a folyamatos n\u00f6veked\u00e9s k\u00f6r\u00fcli munk\u00e1hoz:<\/p>\n

    \n
  1. Incidens-menedzsment<\/strong>. L\u00e9trehoztunk egy t\u00e1bl\u00e1t a Jir\u00e1ban, ahol minden incidens jegyk\u00e9nt jelenik meg. Ez seg\u00edt l\u00e9nyeg\u00e9ben prioriz\u00e1lni \u00e9s elv\u00e9gezni az incidenshez kapcsol\u00f3d\u00f3 feladatokat. Mert l\u00e9nyeg\u00e9ben nem vesz\u00e9lyes hib\u00e1zni \u2014 a k\u00e9tszer hib\u00e1zni ugyanabban az \u00fcgyben m\u00e1r vesz\u00e9lyes. Azokban az esetekben, amikor az incidensek el\u0151bb ism\u00e9tl\u0151dnek, mint ahogy a probl\u00e9m\u00e1t meg tudjuk jav\u00edtani, k\u00e9szen kell lennie egy cselekv\u00e9si \u00fatmutat\u00f3nak, mert nagy terhel\u00e9s alatt fontos, hogy azonnal reag\u00e1ljunk.<\/li>\n
  2. Monitoroz\u00e1s <\/strong>minden infrastrukt\u00faraelemhez sz\u00fcks\u00e9ges, kiv\u00e9tel n\u00e9lk\u00fcl. \u00c9ppen ennek k\u00f6sz\u00f6nhet\u0151en tudtuk el\u0151re jelezni a terhel\u00e9s n\u00f6veked\u00e9s\u00e9t, \u00e9s helyesen kiv\u00e1lasztani a \u201esz\u0171k keresztmetszeteket\u201d a priorit\u00e1sok kijel\u00f6l\u00e9s\u00e9hez. Val\u00f3sz\u00edn\u0171, hogy nagy terhel\u00e9s eset\u00e9n minden elromlik vagy elkezd lelassulni, amir\u0151l nem is gondolt\u00e1l. \u00c9ppen ez\u00e9rt a leg\u00fajabb riaszt\u00e1sokat a legjobb az els\u0151 incidensek bek\u00f6vetkezte ut\u00e1n azonnal l\u00e9trehozni, hogy nyomon k\u00f6vethess\u00fck \u00e9s megel\u0151zhess\u00fck \u0151ket.<\/li>\n
  3. Helyes riaszt\u00e1sok<\/strong> elengedhetetlenek a hirtelen terhel\u00e9sn\u00f6veked\u00e9sn\u00e9l. El\u0151sz\u00f6r is, pontosan arr\u00f3l kell \u00e9rtes\u00edteni\u00fck, ami elromlott. M\u00e1sodszor, nem lehet sok riaszt\u00e1s, mert a sok nem kritikus riaszt\u00e1s figyelmen k\u00edv\u00fcl hagy\u00e1s\u00e1hoz vezethet.<\/li>\n
  4. Az alkalmaz\u00e1soknak stateless-nek kell lenni\u00fck. <\/strong>Meggy\u0151z\u0151dt\u00fcnk arr\u00f3l, hogy ennek a szab\u00e1lynak nem lehetnek kiv\u00e9telei. Teljes f\u00fcggetlens\u00e9g sz\u00fcks\u00e9ges a futtat\u00e1si k\u00f6rnyezett\u0151l. Ehhez megosztott adatokat t\u00e1rolhatsz adatb\u00e1zisban, vagy p\u00e9ld\u00e1ul k\u00f6zvetlen\u00fcl az S3-ban. M\u00e9g jobb, ha betartod a szab\u00e1lyokat. https:\/\/12factor.net<\/a><\/noindex>Hirtelen terhel\u00e9sn\u00e9l egy\u00e1ltal\u00e1n nincs id\u0151 a k\u00f3d optimaliz\u00e1l\u00e1s\u00e1ra, ez\u00e9rt a terhel\u00e9ssel a sz\u00e1m\u00edt\u00e1si er\u0151forr\u00e1sok k\u00f6zvetlen n\u00f6vel\u00e9s\u00e9vel \u00e9s a v\u00edzszintes sk\u00e1l\u00e1z\u00e1ssal kell megbirk\u00f3zni.<\/li>\n
  5. K\u00fcls\u0151 szolg\u00e1ltat\u00e1sok kv\u00f3t\u00e1i \u00e9s teljes\u00edtm\u00e9nye. <\/strong>Gyors n\u00f6veked\u00e9s eset\u00e9n a probl\u00e9ma nemcsak a te infrastrukt\u00far\u00e1dban, hanem a k\u00fcls\u0151 szolg\u00e1ltat\u00e1sokban is bek\u00f6vetkezhet. A legfrusztr\u00e1l\u00f3bb, amikor ez nem hiba miatt t\u00f6rt\u00e9nik, hanem a kv\u00f3t\u00e1k vagy limitek el\u00e9r\u00e9se miatt. Teh\u00e1t a k\u00fcls\u0151 szolg\u00e1ltat\u00e1soknak ugyanolyan j\u00f3l kell sk\u00e1l\u00e1z\u00f3dniuk, mint neked.\u00a0<\/li>\n
  6. Ossza sz\u00e9t a folyamatokat \u00e9s a sorokat. <\/strong>Ez nagyon seg\u00edt, amikor az egyik \u00e1tj\u00e1r\u00f3n\u00e1l dug\u00f3 keletkezik. Nem tapasztaln\u00e1nk adat\u00e1tviteli k\u00e9sleked\u00e9seket, ha a tel\u00edtett SMS k\u00fcld\u00e9si sorok nem zavarn\u00e1k az inform\u00e1ci\u00f3s rendszerek k\u00f6z\u00f6tti \u00e9rtes\u00edt\u00e9sek cser\u00e9j\u00e9t. R\u00e1ad\u00e1sul a munk\u00e1sok sz\u00e1m\u00e1t is k\u00f6nnyebb lenne n\u00f6velni, ha k\u00fcl\u00f6n dolgozn\u00e1nak.<\/li>\n
  7. P\u00e9nz\u00fcgyi realit\u00e1sok.<\/strong> Amikor robban\u00e1sszer\u0171 n\u00f6veked\u00e9s zajlik az adatok \u00e1raml\u00e1s\u00e1ban, nincs id\u0151 a tarif\u00e1kra \u00e9s el\u0151fizet\u00e9sekre gondolni. De eml\u00e9kezni kell r\u00e1juk, k\u00fcl\u00f6n\u00f6sen, ha kisv\u00e1llalkoz\u00e1s vagy. Nagy sz\u00e1ml\u00e1t b\u00e1rmely API tulajdonosa, valamint a te hosting szolg\u00e1ltat\u00f3d is ki\u00e1ll\u00edthat. Ez\u00e9rt a szerz\u0151d\u00e9seket alaposan el kell olvasni.<\/li>\n<\/ol>\n

    <\/p>\n

    Z\u00e1r\u00e1s<\/h2>\n

    \nNem vesztes\u00e9gek n\u00e9lk\u00fcl, de t\u00fal\u00e9lt\u00fck ezt a szakaszt, \u00e9s ma pr\u00f3b\u00e1lunk ragaszkodni az \u00f6sszes felfedezett elvhez, \u00e9s minden g\u00e9pnek lehet\u0151s\u00e9ge van a teljes\u00edtm\u00e9ny\u00e9nek 4-szeres n\u00f6vel\u00e9s\u00e9re, hogy megbirk\u00f3zzon a v\u00e1ratlan helyzetekkel.\u00a0<\/p>\n

    A k\u00f6vetkez\u0151 bejegyz\u00e9sekben megosztjuk tapasztalatainkat az Apache Solr teljes\u00edtm\u00e9nycs\u00f6kken\u00e9s\u00e9nek vizsg\u00e1lat\u00e1r\u00f3l, \u00e9s besz\u00e1molunk a lek\u00e9rdez\u00e9sek optimaliz\u00e1l\u00e1s\u00e1r\u00f3l, valamint arr\u00f3l, hogy a NAV-val val\u00f3 egy\u00fcttm\u0171k\u00f6d\u00e9s hogyan seg\u00edt a c\u00e9gnek p\u00e9nzt megtakar\u00edtani. Iratkozzon fel blogunkra, hogy semmir\u0151l se maradjon le, \u00e9s mes\u00e9lje el a hozz\u00e1sz\u00f3l\u00e1sokban, hogy tapasztalt-e hasonl\u00f3 kellemetlens\u00e9geket a forgalom n\u00f6veked\u00e9se k\u00f6zben.<\/p>\n

    \"Hogyan<\/p>\n

    Csak a regisztr\u00e1lt felhaszn\u00e1l\u00f3k vehetnek r\u00e9szt a szavaz\u00e1son. K\u00e9rem, jelentkezzen be.<\/a><\/noindex>, k\u00e9rem.<\/p>\n

    Volt valaha lassul\u00e1sod\/lesz\u00e1ll\u00e1sod a szolg\u00e1ltat\u00e1sban hirtelen terhel\u00e9sn\u00f6veked\u00e9s miatt?<\/h2>\n