<\/a><\/noindex>Sprev\u00e1dzali sme presun, objavili sa \u010fal\u0161ie \u00falohy \u2014 nastavi\u0165 z\u00e1lohovanie a monitorovanie. V ten ist\u00fd okamih sa CTO tejto spolo\u010dnosti presunul na in\u00fd projekt, pri\u010dom n\u00e1m za velite\u013ea zostal jeden z jeho \u013eud\u00ed \u2014 Leonid. L\u00e9\u0148a bol menej nadan\u00fd chalan. Obvykl\u00fd v\u00fdvoj\u00e1r, ktor\u00e9ho zrazu ur\u010dili za ved\u00faceho pre ClickHouse. Zd\u00e1 sa, \u017ee to bolo jeho prv\u00e9 menovanie nie\u010d\u00edm vies\u0165, a z n\u00e1hl\u00e9ho ocenenia sa mu prejavila hviezdna choroba. <\/p>\n
Spolo\u010dne sme sa pustili do z\u00e1lohovania. Navrhol som, aby sme z\u00e1lohovali hne\u010f po\u010diato\u010dn\u00e9 \u00fadaje. Jednoducho ich zobra\u0165, zipsova\u0165 a elegantne hodi\u0165 do nejak\u00e9ho S3. Po\u010diato\u010dn\u00e9 \u00fadaje s\u00fa zlato. Bol aj in\u00fd variant \u2014 z\u00e1lohova\u0165 samotn\u00e9 tabu\u013eky v ClickHouse, pomocou freeze a kop\u00edrovania. Ale L\u00e9\u0148a pri\u0161iel s vlastn\u00fdm rie\u0161en\u00edm.<\/p>\n
Vyhl\u00e1sil, \u017ee potrebujeme druh\u00fd klaster ClickHouse. A odteraz budeme zapisova\u0165 \u00fadaje do dvoch klastrov \u2014 hlavn\u00e9ho a z\u00e1lohov\u00e9ho. Hovor\u00edm mu, hovor\u00edm, L\u00e9\u0148a, nebude to z\u00e1loha \u2014 ale akt\u00edvna replika. A ak sa \u00fadaje za\u010dn\u00fa str\u00e1ca\u0165 na produ, na tvojej z\u00e1lohe bude to ist\u00e9. <\/p>\n
Ale L\u00e9\u0148a pevne uchopil kormidlo a odmietol po\u010d\u00fava\u0165 moje argumenty. Dlho sme si p\u00edsali v chatike, ale nebolo \u010do robi\u0165 \u2014 L\u00e9\u0148a riadil projekt, my sme boli len najat\u00ed chlapci z ulice.<\/p>\n
Sledovali sme za stavom klastrov a \u00fa\u010dtovali sme iba za pr\u00e1cu administr\u00e1torov. \u010cist\u00e1 administr\u00e1cia Clickhouse bez zasahovania do \u00fadajov. Klastre boli pr\u00edstupn\u00e9, disky boli v poriadku, nody boli v poriadku. <\/p>\n
E\u0161te sme netu\u0161ili, \u017ee sme dostali t\u00fato objedn\u00e1vku kv\u00f4li hrozn\u00e9mu nedorozumeniu v ich t\u00edme.<\/h3>\n \nVed\u00faci bol nespokojn\u00fd, \u017ee Clickhouse pracuje pomaly a niekedy sa str\u00e1caj\u00fa \u00fadaje. Ulo\u017eil svojmu CTO \u00falohu zisti\u0165, \u010do sa deje. Ten zistil, ako mohol, a dospel k z\u00e1veru, \u017ee je potrebn\u00e9 jednoducho automatizova\u0165 Clickhouse \u2014 a hotovo. Ale ako sa \u010doskoro uk\u00e1zalo \u2014 potrebovali \u00faplne in\u00fd t\u00edm devops.<\/p>\n
V\u0161etko to vy\u0161lo na svetlo ve\u013emi, ve\u013emi bolestne. A najviac mrzelo, \u017ee to bolo v m\u00f4j de\u0148 narodenia.<\/p>\n
\nPiatok ve\u010der. Zarezervoval som si st\u00f4l v ob\u013e\u00fabenom vin\u00e1rni a zavolal kamar\u00e1tov. <\/p>\n
Tesne pred odchodom dost\u00e1vame \u00falohu spravi\u0165 alternat\u00edvu, my ju spln\u00edme, v\u0161etko je v poriadku. Alternat\u00edva pre\u0161la, Clickhouse potvrdil. U\u017e sme sa chystali do baru, a potom n\u00e1m p\u00ed\u0161u, \u017ee ch\u00fdbaj\u00fa \u00fadaje. Spo\u010d\u00edtali sme \u2014 vyzeralo, \u017ee je v\u0161etko v poriadku. A odi\u0161li sme oslavova\u0165.<\/p>\n
V re\u0161taur\u00e1cii bolo tradi\u010dne hlu\u010dno. Objednali sme si n\u00e1poje, jedlo, a rozvalili sme sa na pohovk\u00e1ch. Cel\u00fd ten \u010das mi Slack pomaly zaplavovali spr\u00e1vy. P\u00edsali nie\u010do o nedostatku \u00fadajov. Pomyslel som si \u2014 r\u00e1no je m\u00fadrej\u0161ie ve\u010dera. Obzvl\u00e1\u0161\u0165 dne\u0161n\u00e9.<\/p>\n
K \u0161trn\u00e1stim za\u010dali telefonova\u0165. Bol to ved\u00faci firmy\u2026 \u201eAsi sa rozhodol ma zablaho\u017eela\u0165\u201c, \u2014 ve\u013emi neist\u00fd som si pomyslel a zdvihol telef\u00f3n.<\/p>\n
A po\u010dul som nie\u010do v duchu: \u201ePokazili ste na\u0161e d\u00e1ta! Platil som v\u00e1m, ale ni\u010d nefunguje! Zodpovedali ste za z\u00e1lohy a neurobili ste ni\u010d! Opravi\u0165 to!\u201c \u2014 len e\u0161te hrub\u0161ie.<\/p>\n
\u2014 Vie\u0161 \u010do, cho\u010f do riti! Dnes m\u00e1m narodeniny, a teraz sa ideme bavi\u0165, nie rie\u0161i\u0165 va\u0161e amat\u00e9rske triky z hnoja a pal\u00edc!<\/p>\n
Takto som to nepovedal. Namiesto toho som vytiahol notebook a pustil sa do pr\u00e1ce.<\/p>\n
Nie, fakt som bol na\u0161tvan\u00fd, bol som hrozne na\u0161tvan\u00fd! Posielal som do chatu jedovat\u00e9 \"ve\u010f som hovoril\" \u2014 preto\u017ee z\u00e1loha, ktor\u00e1 nebola \u017eiadnou z\u00e1lohou, samozrejme, ni\u010d nezachr\u00e1nila. <\/p>\n
S chlapcami sme vymysleli, ako ru\u010dne zastavi\u0165 z\u00e1znam a v\u0161etko skontrolova\u0165. Naozaj sme sa uistili, \u017ee \u010das\u0165 \u00fadajov nie je zapisovan\u00e1.<\/p>\n
Zastavili sme z\u00e1znam, spo\u010d\u00edtali sme po\u010det udalost\u00ed, ktor\u00e9 tam le\u017eia za de\u0148. Nahodili sme e\u0161te \u00fadaje, z ktor\u00fdch sa nezaznamenala iba tretina. Tri shard-y so 2 replikami. Vlo\u017e\u00edte 100 000 riadkov \u2014 33 000 sa nezaznamenalo.<\/p>\n
Bola \u00fapln\u00e1 chaotick\u00e1 situ\u00e1cia. V\u0161etci si navz\u00e1jom nad\u00e1vali, kto vie, prv\u00fdm tam poslal Le\u0148a, za n\u00edm som nasledoval ja a zakladate\u013e spolo\u010dnosti. Iba novoprist\u00fapen\u00fd CTO sa sna\u017eil udr\u017ea\u0165 na\u0161e konferen\u010dn\u00e9 hovory a kore\u0161pondenciu smerom k h\u013eadaniu rie\u0161enia probl\u00e9mu. <\/p>\n
Nikto nevedel, \u010do sa vlastne deje.<\/h3>\n \nS chalanmi sme len neveriacky pozerali, ke\u010f sme si uvedomili, \u017ee tretina v\u0161etk\u00fdch \u00fadajov sa nielen\u017ee nezaznamen\u00e1vala \u2014 ona sa stratila! Uk\u00e1zalo sa, \u017ee poriadok v spolo\u010dnosti bol tak\u00fd: po vlo\u017een\u00ed sa \u00fadaje nezvratne vymaz\u00e1vali, udalosti sa str\u00e1cali po bal\u00edkoch. Predstavoval som si, ako Sergey konvertuje v\u0161etko toto na zme\u0161kan\u00e9 ruble.<\/p>\n
Moje narodeniny tie\u017e i\u0161li do ko\u0161a. Sedeli sme v bare a generovali n\u00e1pady, sna\u017eiac sa vyrie\u0161i\u0165 zadan\u00fd r\u00e9bus. D\u00f4vod p\u00e1du Clickhouse nebol zrejm\u00fd. Mo\u017eno to bola sie\u0165, mo\u017eno i\u0161lo o nastavenia linuxu. Mohlo to by\u0165 \u010doko\u013evek, zaznelo dostatok hypot\u00e9z.<\/p>\n
Ned\u00e1val som s\u013eub program\u00e1tora, ale nebolo by v poriadku necha\u0165 chalanov na druhej strane dr\u00f4tu. Aj ke\u010f n\u00e1s vo v\u0161etkom obvi\u0148ovali. Bol som si na 99% ist\u00fd, \u017ee probl\u00e9m nebol na na\u0161ej strane. 1% \u0161anca, \u017ee sme to predsa len pohnojili, ma stresovalo. Ale bez oh\u013eadu na to, na \u010dej strane sa probl\u00e9m nach\u00e1dzal \u2014 trebalo to opravi\u0165. Necha\u0165 klientov, ak\u00edko\u013evek boli, s tak\u00fdm hrozn\u00fdm \u00fanikom \u00fadajov \u2014 to je pr\u00edli\u0161 krut\u00e9.<\/p>\n
Do tretej r\u00e1no sme pracovali za stoli\u010dkou v re\u0161taur\u00e1cii. Dod\u00e1vali sme udalosti, insert select \u2014 a i\u0161li sme vyplni\u0165 medzery. Ke\u010f ste pri\u0161li o \u00fadaje, rob\u00ed sa to tak \u2014 vezmete priemern\u00e9 \u00fadaje za predch\u00e1dzaj\u00face dni a vlo\u017e\u00edte ich do straten\u00fdch.<\/p>\n
Po tretej r\u00e1no sme s kamo\u0161om i\u0161li ku mne domov, objednali sme si pivo z alkoholu. Sedel som s notebookom a probl\u00e9mami Clickhouse, kamar\u00e1t mi nie\u010do rozpr\u00e1val. Nakoniec, po hodine sa urazil, \u017ee pracujem a nepijem pivo s n\u00edm, a odi\u0161iel. Klasika \u2014 bol som chv\u00ed\u013eu priate\u013eom DevOps.<\/p>\n
K 6 r\u00e1no som znova vytvoril tabu\u013eku a \u00fadaje sa za\u010dali nahr\u00e1va\u0165. V\u0161etko fungovalo bez str\u00e1t.<\/p>\n
<\/p>\n
\u010ealej to bolo \u0165a\u017ek\u00e9. V\u0161etci sa navz\u00e1jom obvi\u0148ovali zo straty \u00fadajov. Keby sa objavil nov\u00fd bug, som si ist\u00fd, \u017ee by sa za\u010dala prestrelka.<\/h3>\n \nV t\u00fdchto sra\u010dk\u00e1ch sme kone\u010dne za\u010dali ch\u00e1pa\u0165 \u2014 vo firme si mysleli, \u017ee sme t\u00ed chlapci, ktor\u00ed pracuj\u00fa s d\u00e1tami a sleduj\u00fa \u0161trukt\u00faru tabuliek. Pom\u00fdlili adminov s DB administr\u00e1tormi. A pri\u0161li sa p\u00fdta\u0165 na n\u00e1s akosi nie ako na adminov.<\/p>\n
Ich hlavn\u00e1 obava bola \u2014 ak\u00e9ho \u010derta, vy ste zodpovedali za z\u00e1lohy a nespravili ste ich poriadne, prep\u00e1sli ste d\u00e1ta. A v\u0161etko to s nad\u00e1vkami.<\/p>\n
Chcel som spravodlivos\u0165. Vyhrabal som komunik\u00e1ciu a pripojil v\u0161etky screenshoty, kde Leonid so v\u0161etkou silou n\u00fatil robi\u0165 tak\u00fa z\u00e1lohu, ak\u00e1 bola uroben\u00e1. Ich CTO st\u00e1l na na\u0161ej strane po mojom telefon\u00e1te. Nakoniec svoju vinu uznal aj Leonid.<\/p>\n
\u0160\u00e9f firmy, naopak, nechcel vini\u0165 svojich. Screenshots a slov\u00e1 na neho ne\u00fa\u010dinkovali. Myslel si, \u017ee ke\u010f sme tu experti, mali sme presved\u010di\u0165 v\u0161etk\u00fdch a st\u00e1\u0165 si za svojim rozhodnut\u00edm. Zjavne, na\u0161ou \u00falohou bolo nau\u010di\u0165 Leonida a okrem neho, menovan\u00e9ho ved\u00faceho projektu, dosiahnu\u0165 k hlavn\u00e9mu a jemu osobne vylia\u0165 v\u0161etky na\u0161e pochybnosti o koncepcii z\u00e1loh. <\/p>\n
Chat bol pre\u0161pikovan\u00fd nen\u00e1vis\u0165ou, skrytou aj neskr\u00fdvanou agresiou. Nevedel som, \u010do robi\u0165. V\u0161etko uviazlo v slepej uli\u010dke. A tu mi poradili najjednoduch\u0161\u00ed sp\u00f4sob \u2014 nap\u00edsa\u0165 do s\u00fakromnej spr\u00e1vy ved\u00facemu a dohodn\u00fa\u0165 si s n\u00edm stretnutie. Va\u0161ek, \u013eudia v skuto\u010dnosti nie s\u00fa tak\u00ed drz\u00fd, ako v chate. Na moju spr\u00e1vu \u0161\u00e9f odpovedal: pr\u00ed\u010f, nie je probl\u00e9m.<\/p>\n
\nTo bolo najstra\u0161nej\u0161ie stretnutie v mojej kari\u00e9re. M\u00f4j spojenec od klienta \u2014 CTO \u2014 nemohol n\u00e1js\u0165 \u010das. Na stretnutie som i\u0161iel k \u0161\u00e9fovi a Leonidovi.<\/p>\n
Znovu a znovu som si prehr\u00e1val v hlave n\u00e1\u0161 mo\u017en\u00fd dial\u00f3g. Podarilo sa mi pr\u00eds\u0165 s ve\u013ek\u00fdm predstihom, hodinu predt\u00fdm. Za\u010dal sa nerv\u00e1k, vyfaj\u010dil som 10 cigariet. Vedel som, v\u0161etko \u2014 som, do kelu, s\u00e1m. Nebudem ich vedie\u0165 presved\u010di\u0165. A vkro\u010dil som do v\u00fd\u0165ahu.<\/p>\n
K\u00fdm som sa dv\u00edhal, tak som ma\u010dkal zapa\u013eova\u010d, \u017ee som ho zlomil.<\/p>\n
Nakoniec Leonida na stretnut\u00ed nebolo. A my sme si skvele porozpr\u00e1vali s hlavn\u00fdm! Sergej mi rozpr\u00e1val o svojej bolesti. Chcel nie, aby \u201eautomatizoval ClickHouse\u201c \u2014 chcel, \u201eaby dopyty fungovali\u201c.<\/p>\n
Nevidel som v \u0148om kozu, ale dobr\u00e9ho chlapa, ktor\u00fd sa star\u00e1 o svoj biznis, ponoren\u00e9ho do pr\u00e1ce 24\/7. Chat \u010dasto zobrazuje dareb\u00e1kov, podvodn\u00edkov a hlup\u00e1kov. Ale v skuto\u010dnosti s\u00fa to rovnak\u00ed \u013eudia ako ty. <\/p>\n
Sergej potreboval nie dve devops po najat\u00ed. Probl\u00e9m, ktor\u00fd sa u nich objavil, sa uk\u00e1zal by\u0165 ove\u013ea v\u00e4\u010d\u0161\u00ed. <\/p>\n
Povedal som, \u017ee m\u00f4\u017eem vyrie\u0161i\u0165 jeho probl\u00e9my \u2014 to v\u0161ak bola \u00faplne in\u00e1 pr\u00e1ca a pre \u0148u som mal zn\u00e1meho DBA. Keby sme sa na za\u010diatku dozvedeli, \u017ee ide o tak\u00fdto projekt pre nich, u\u0161etrili by sme si ve\u013ea tr\u00e1penia. Niekedy neskoro, ale pochopili sme, \u017ee probl\u00e9m bol v zlej pr\u00e1ci s d\u00e1tami, nie v infra\u0161trukt\u00fare. <\/p>\n
Podali sme si ruky, cena n\u00e1m vzr\u00e1stla na dvojn\u00e1sobok, ale s podmienkou \u2014 preber\u00e1m cel\u00fd chaos s ich d\u00e1tami a ClickHouse na seba. V insane som nap\u00edsal tomu DBA Maxovi a zapojil ho do pr\u00e1ce. Muselo sa prepracova\u0165 cel\u00e9 klaster.<\/p>\n
\nV prijatom projekte bolo ve\u013ea zbyto\u010dnost\u00ed. Za\u010d\u00ednaj\u00fac spom\u00ednanou \u201ez\u00e1lohou\u201c. Uk\u00e1zalo sa, \u017ee tento \u201ez\u00e1lo\u017en\u00fd\u201c klaster nebol izolovan\u00fd. Testovali tam v\u0161etko mo\u017en\u00e9, ob\u010das to posielali do produkcie.<\/p>\n
Intern\u00ed v\u00fdvoj\u00e1ri vytvorili svoj vlastn\u00fd prisp\u00f4soben\u00fd \u201evkladac\u00ed\u201c n\u00e1stroj na d\u00e1ta. Fungoval takto: d\u00e1vkoval s\u00fabory, sp\u00fa\u0161\u0165al skript a vkladal d\u00e1ta do tabu\u013eky. Ale hlavn\u00fd probl\u00e9m bol, \u017ee obrovsk\u00e9 mno\u017estvo d\u00e1t bolo spracov\u00e1van\u00e9 pre jeden jednoduch\u00fd dopyt. Dopyt sp\u00e1jal d\u00e1ta po sekund\u00e1ch. V\u0161etko to kv\u00f4li jednej cifre \u2014 s\u00fa\u010dtu za de\u0148.<\/p>\n
Intern\u00ed v\u00fdvoj\u00e1ri nespr\u00e1vne pou\u017e\u00edvali analytick\u00fd n\u00e1stroj. Chodili do Grafany, p\u00edsali svoj kr\u00e1\u013eovsk\u00fd dopyt. Vytv\u00e1ral kr\u00e1sny graf za 2 t\u00fd\u017edne. Ale v skuto\u010dnosti sa dopyt d\u00e1t posielal ka\u017ed\u00fdch 10 sek\u00fand. V\u0161etko sa to hromadilo v rade, preto\u017ee ClickHouse jednoducho nezvl\u00e1dal spracovanie. Tu bola skryt\u00e1 hlavn\u00e1 pr\u00ed\u010dina. V Grafane ni\u010d nefungovalo, dopyty st\u00e1ly v rade, neust\u00e1le prich\u00e1dzali star\u00e9, neaktu\u00e1lne d\u00e1ta.<\/p>\n
Prekonfigurovali sme klaster, prepracovali vkladanie. Intern\u00ed v\u00fdvoj\u00e1ri prep\u00edsali svoj \u201evkladac\u00ed\u201c n\u00e1stroj a za\u010dal spr\u00e1vne shardova\u0165 d\u00e1ta.<\/p>\n
Max vykonal kompletn\u00fd audit infra\u0161trukt\u00fary. Rozpracoval pl\u00e1n prechodu na plnohodnotn\u00fd backend. Ale to spolo\u010dnosti nesta\u010dilo. \u010cakali od Maxa magick\u00e9 tajomstvo, ktor\u00e9 by im umo\u017enilo fungova\u0165 po starom, ale efekt\u00edvne. Za projekt na\u010falej zodpovedal Ljo\u0148a, ktor\u00fd sa ni\u010d nov\u00e9 nenau\u010dil. Z cel\u00e9ho navrhnut\u00e9ho sa op\u00e4\u0165 rozhodol pre svoju alternat\u00edvu. Ako v\u017edy, bolo to to najvyberanej\u0161ie\u2026 smel\u00e9 rozhodnutie. Ljo\u0148a pova\u017eoval, \u017ee jeho spolo\u010dnos\u0165 m\u00e1 svoju vlastn\u00fa cestu. Trnite a pln\u00fa \u013eadovcov.<\/p>\n
Vlastne, na tom sme sa aj rozl\u00fa\u010dili \u2014 urobili sme, \u010do sme mohli.<\/p>\n
\nS bohat\u00fdmi sk\u00fasenos\u0165ami, obohaten\u00ed touto hist\u00f3riou, sme otvorili svoj podnik a vytvorili sme pre seba nieko\u013eko z\u00e1sad. Teraz nikdy neza\u010d\u00edname pr\u00e1cu tak, ako vtedy.<\/p>\n
Dibi\u00e8\u00e1k Max sa po tomto projekte pripojil k n\u00e1m a dodnes spolu skvele pracujeme. Pr\u00edpad s ClickHouse n\u00e1s nau\u010dil vykona\u0165 pred za\u010diatkom pr\u00e1ce d\u00f4kladn\u00fd a \u00fapln\u00fd audit infra\u0161trukt\u00fary. D\u00f4kladne sa zaober\u00e1me t\u00fdm, ako v\u0161etko funguje, a a\u017e potom prij\u00edmame \u00falohy. A keby sme sk\u00f4r hne\u010f sko\u010dili do spr\u00e1vy infra\u0161trukt\u00fary, teraz najprv vykon\u00e1vame jednor\u00e1zov\u00fd projekt, ktor\u00fd n\u00e1m pom\u00e1ha pochopi\u0165, ako ju uvies\u0165 do prev\u00e1dzky. <\/p>\n
A \u00e1no, vyh\u00fdbame sa projektom so zle nastavenou infra\u0161trukt\u00farou. Aj ke\u010f za ve\u013ek\u00e9 peniaze, aj ke\u010f z priate\u013estva. Spravova\u0165 nemocn\u00e9 projekty je neefekt\u00edvne. Uvedomenie si toho n\u00e1m pomohlo r\u00e1s\u0165. Bu\u010f jednor\u00e1zov\u00fd projekt na \u00fapravu infra\u0161trukt\u00fary a potom zmluva na spr\u00e1vu, alebo jednoducho prelet\u00edme okolo. Okolo \u010fal\u0161ieho \u013eadovca.<\/p>\n
P.S. Tak\u017ee, ak m\u00e1te ot\u00e1zky oh\u013eadom va\u0161ej infra\u0161trukt\u00fary, nev\u00e1hajte a zanechajte \u017eiados\u0165<\/b><\/a><\/noindex>.<\/p>\n M\u00e1me 2 bezplatn\u00e9 audity za mesiac, mo\u017eno pr\u00e1ve v\u00e1\u0161 projekt bude v ich po\u010dte.<\/i>habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"\u0412\u043e\u0442 \u0438\u0441\u0442\u043e\u0440\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043d\u0430\u0432\u0441\u0435\u0433\u0434\u0430 \u043f\u0435\u0440\u0435\u0432\u0435\u0440\u043d\u0443\u043b\u0430 \u043c\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u043a \u0440\u0430\u0431\u043e\u0442\u0435 \u0434\u0435\u0432\u043e\u043f\u0441\u0430. \u0415\u0449\u0435 \u0432 \u0434\u043e\u043a\u043e\u0432\u0438\u0434\u043d\u044b\u0435 \u0432\u0440\u0435\u043c\u0435\u043d\u0430, \u0437\u0430\u0434\u043e\u043b\u0433\u043e-\u0437\u0430\u0434\u043e\u043b\u0433\u043e \u0434\u043e \u043d\u0438\u0445, \u043a\u043e\u0433\u0434\u0430 \u043c\u044b \u0441 \u043f\u0430\u0440\u043d\u044f\u043c\u0438 \u0442\u043e\u043b\u044c\u043a\u043e \u0437\u0430\u0434\u0443\u043c\u044b\u0432\u0430\u043b\u0438 \u0441\u0432\u043e\u0435 \u0434\u0435\u043b\u043e \u0438 \u0444\u0440\u0438\u043b\u0430\u043d\u0441\u0438\u043b\u0438 \u043d\u0430 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u0437\u0430\u043a\u0430\u0437\u0430\u0445, \u043c\u043d\u0435 \u0432 \u0442\u0435\u043b\u0435\u0433\u0443 \u0443\u043f\u0430\u043b\u043e \u043e\u0434\u043d\u043e \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0435. \u041a\u043e\u043c\u043f\u0430\u043d\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043d\u0430\u043f\u0438\u0441\u0430\u043b\u0430, \u0437\u0430\u043d\u0438\u043c\u0430\u043b\u0430\u0441\u044c \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u043a\u043e\u0439 \u0434\u0430\u043d\u043d\u044b\u0445. \u0415\u0436\u0435\u0434\u043d\u0435\u0432\u043d\u043e \u043e\u043d\u0430 \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u043b\u0430 \u0442\u044b\u0441\u044f\u0447\u0438 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432. \u041a \u043d\u0430\u043c \u043e\u043d\u0438 \u043f\u0440\u0438\u0448\u043b\u0438 \u0441\u043e \u0441\u043b\u043e\u0432\u0430\u043c\u0438: \u0440\u0435\u0431\u044f\u0442, \u0443 […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":96000,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-95999","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t
![\"K\u00fdm](\"\/wp-content\/uploads\/2020\/10\/f67882cb5b565cb2efef20f68bbef1d5.jpeg\")