artiklit Badushka'st<\/a><\/noindex>, mis sellest kirjutati. Aga on \u00fcks moment. Selle kutsumise \u00fcmber oli l\u00f5putu ts\u00fckkel, milles pidevalt ettev\u00f5teti proovida s\u00f5numit soketi panna. Seda me ei m\u00e4rganud. Ainus lahendus oli raamatukogu \u00fcmber kirjutamine. Sel ajal on see paar korda muutunud, kuid n\u00fc\u00fcd oleme eemaldanud k\u00f5ik lukud k\u00f5ikides alam\u00fcsteemides. Seet\u00f5ttu saab rsyslogi peatada ja midagi ei juhtu.<\/p>\n<\/p>\n
On vaja j\u00e4lgida j\u00e4rjekordade suurust, mis aitab v\u00e4ltida nende l\u00f5ksude sisse astumist. Esiteks, saame j\u00e4lgida, millal hakkame s\u00f5numeid kaotama. Teiseks, saame j\u00e4lgida, et meil on \u00fcldiselt probleemid kohaletoimetamisega.<\/p>\n
<\/p>\n
Ja veel \u00fcks ebameeldiv moment \u2014 amplifikatsioon 10 korda mikroteenuste arhitektuuris \u2014 see on v\u00e4ga lihtne. Meil ei ole palju sissetulevaid p\u00e4ringuid, kuid nende s\u00f5numite edasiviimise t\u00f5ttu graafikus, access-logide t\u00f5ttu, t\u00f5stame me logide koormust tegelikult umbes k\u00fcmme korda. Kahjuks ei j\u00f5udnud ma t\u00e4psed numbrid v\u00e4lja arvutada, kuid mikroteenused \u2014 need ongi sellised. Seda tuleb silmas pidada. Tundub, et hetkel on logide kogumise alam\u00fcsteem Lazadas k\u00f5ige koormatud. <\/p>\n
<\/p>\n
<\/p>\n
Kuidas lahendada elasticsearchi probleem? Kui on vaja kiiresti saada logid \u00fchte kohta, et mitte joosta k\u00f5ikide masinate vahel ja neid sealt kokku koguda, kasutage failide salvestust. See t\u00f6\u00f6tab garanteeritult. Seda saab teha mistahes serverist. Tuleb lihtsalt sinna kettaid paigutada ja syslog paigaldada. P\u00e4rast seda on teil \u00fches kohas k\u00f5ik logid olemas. Edasi saab juba rahulikult seadistada elasticsearchi, graylogi, midagi muud. Kuid teil on juba k\u00f5ik logid ja lisaks saate neid hoida nii kaua, kui ketta mahtudest piisab.<\/p>\n
<\/p>\n
<\/p>\n
Minu ettekande hetkel n\u00e4gi skeem v\u00e4lja selline. Faili ei kirjutanud me praktiliselt enam. Praegu toimetame t\u00f5en\u00e4oliselt viimased osad v\u00e4lja. Kohalikud masinad, millel API-d k\u00e4ivitatakse, enam failidesse ei kirjuta. Esiteks, on olemas failide salvestus, mis t\u00f6\u00f6tab v\u00e4ga h\u00e4sti. Teiseks, nendel masinatel l\u00f5peb pidevalt ruum, seda tuleb pidevalt j\u00e4lgida.<\/p>\n
<\/p>\n
See osa Logstashi ja Graylogi kohta t\u00f5epoolest h\u00e4irib. Seet\u00f5ttu tuleb sellest vabaneda. Tuleb valida midagi \u00fchte.<\/p>\n
<\/p>\n
<\/p>\n
Oleme otsustanud loobuda Logstashist ja Kibanast. Kaheks, et meil on turbedo. Mis seos on? Seos on selles, et Kibana ilma X-Packi ja Shieldita ei v\u00f5imalda p\u00e4\u00e4s \u00f5igusi logidele. Seet\u00f5ttu valisime Graylogi. Seal on k\u00f5ik olemas. Ta mulle ei meeldi, aga ta t\u00f6\u00f6tab. Ostisime uut riistvara, installisime sinna v\u00e4rske Graylogi ja t\u00f5stsime k\u00f5ik logid rangete formaatidega eraldi Graylogi. Me lahendasime sama t\u00fc\u00fcpi v\u00e4ljade korralduse probleemi.<\/p>\n
<\/p>\n
<\/p>\n
Mis siis uude Graylogi kuulub? Kirjutasime k\u00f5ik Dockerisse. V\u00f5tsime palju servereid, paigaldasime kolm Kafka instantsi, 7 serverit Graylog versiooniga 2.3 (sest tahtsime Elasticsearch versiooni 5). K\u00f5ik see t\u00f5steti HDD RAID-ide peale. N\u00e4gime indekseerimise kiirusena kuni 100 tuhat s\u00f5numit sekundis. N\u00e4gime numbrit, et 140 terabaiti andmeid n\u00e4dalas. <\/p>\n
<\/p>\n
<\/p>\n
Ja j\u00e4lle komistus! Meil on tulekul kaks m\u00fc\u00fcki. Meie suurus on \u00fcle 6 miljoni s\u00f5numi. Graylog ei suuda enam t\u00f6\u00f6tada. Peame kuidagi ellu j\u00e4\u00e4ma. <\/p>\n
<\/p>\n
<\/p>\n
J\u00f5udsime ellu nii. Lisame veel paar serverit ja SSD-d. Hetkel elame sellisel moel. Praegu suudame juba t\u00f6\u00f6delda 160 tuhat s\u00f5numit sekundis. Me pole veel latti tabanud, seega pole selge, kui palju me sellest tegelikult v\u00e4lja saame. <\/p>\n
<\/p>\n
<\/p>\n
Sellised on meie tulevikuplaanid. Neist on t\u00f5en\u00e4oliselt k\u00f5ige olulisem k\u00f5rge saadavus. Meil seda veel pole. Mitmed masinad on seadistatud sama moodi, aga k\u00f5ik l\u00e4heb \u00fche masina kaudu. Peame kulutama aega, et seadistada vahepealset varundust nende vahel.<\/p>\n
<\/p>\n
Koguda m\u00f5\u00f5dikud Graylogist.<\/p>\n
<\/p>\n
K\u00e4ivitada kiiruspiirang, et \u00fcks hull API meilt ribalaiust ja k\u00f5ike muud ei tapaks.<\/p>\n
<\/p>\n
Ja l\u00f5puks, kirjutada m\u00f5ni SLA arendajatega, et saame teenindada nii palju. Kui saadate rohkem, siis vabandust.<\/p>\n
<\/p>\n
Ja kirjutada dokumentatsioon.<\/p>\n
<\/p>\n
<\/p>\n
Kokkuv\u00f5ttes, mida me oleme kogenud. Esiteks, standardid. Teiseks, syslog - kook. Kolmandaks, rsyslog t\u00f6\u00f6tab just nii, nagu slaidil \u00f6eldud. Ja liigume k\u00fcsimustele \u00fcle.<\/p>\n
<\/p>\n
K\u00fcsimused<\/strong>.<\/p>\n<\/p>\n
K\u00fcsimus<\/strong>: Miks siis ikkagi ei otsustanud v\u00f5tta... (filebeat?)<\/p>\n<\/p>\n
Vastus<\/strong>: Tuleb kirjutada faili. V\u00e4ga ei tahtnud. Kui sul on API, mis kirjutab tuhandeid s\u00f5numeid sekundis, siis isegi kui sa kord tunni jooksul keerad, pole see ikkagi variant. Sa saad kirjutada torusse. Mida arendajad mulle k\u00fcsisid: \"Ja mis juhtub, kui protsess, kuhu me kirjutame, kukub?\" Ma lihtsalt ei leidnud, mida vastata, ja \u00fctlesin: \"Noh, okei, \u00e4rme tee siis nii.\"<\/p>\n<\/p>\n
K\u00fcsimus<\/strong>: Miks te ei kirjuta logisid lihtsalt HDFS-i?<\/p>\n<\/p>\n
Vastus<\/strong>: See on j\u00e4rgmine etapp. Me oleme selle \u00fcle m\u00f5elnud alguses, aga kuna praegu pole ressursse sellega tegeleda, j\u00e4\u00e4b see meie pikaajalisse lahendusse.<\/p>\n<\/p>\n
K\u00fcsimus<\/strong>: Veergude formaat oleks sobivam.<\/p>\n<\/p>\n
Vastus<\/strong>: I understand everything. We are \"for\" it with both hands. <\/p>\n<\/p>\n
K\u00fcsimus<\/strong>: Te kirjutate rsyslog-i. Seal saab kasutada nii TCP-d kui ka UDP-d. Aga kui kasutate UDP-d, siis kuidas te garanteerite kohaletoimetamise?<\/p>\n<\/p>\n
Vastus<\/strong>: On kaks momenti. Esiteks, ma \u00fctlen kohe k\u00f5igile, et me ei garanteeri logide kohaletoimetamist. Sest kui arendajad tulevad ja \u00fctlevad: \u201eAga \u00e4kki hakkame sinna kirjutama finantsandmeid ja teie hoiustate need kuskile, juhuks kui midagi juhtub\u201d, siis me vastame neile \u201eSuurep\u00e4rane! Laske teil alustada soketisse kirjutamise blokkeerimist ja teha seda tehingutes, et me tagaksime, et te panete meile need soketti ja veenduge, et me saime need sealt.\u201d Ja selle hetkel ei ole kellelgi enam soovi seda teha. Kui ei ole soovi, siis millised on meie k\u00fcsimused? Kui te ei taha garanteerida kirjutamist soketti, siis miks peaksime meie garantii andma kohaletoimetamiseks? Me teeme parima pingutuse. Me t\u00f5esti p\u00fc\u00fcame kohaletoimetada nii palju ja nii h\u00e4sti kui v\u00f5imalik, kuid me ei anna 100% garantiisid. Seet\u00f5ttu \u00e4rge kirjutage sinna finantsandmeid. Selle jaoks on andmebaasid tehingutega.<\/p>\n<\/p>\n
K\u00fcsimus<\/strong>: Kui API genereerib m\u00f5ne teate logis ja edastab juhtimise mikroteenustele, siis kas te ei ole kokku puutunud probleemiga, et erinevatelt mikroteenustelt saavate teadete j\u00e4rjekord on vale? Selle t\u00f5ttu tekib segadus.<\/p>\n<\/p>\n
Vastus<\/strong>: On normaalne, et nad tulevad erinevas j\u00e4rjekorras. Sellega tuleb valmis olla. Sest \u00fckski v\u00f5rgu kohaletoimetamine ei garanteeri j\u00e4rjekorda v\u00f5i tuleb sellele spetsiaalselt ressursse kulutada. Kui v\u00f5tta failihoiustused, siis iga API salvestab logid oma faili. Tegelikult jagab rsyslog need kataloogidesse. Igal API-l on seal oma logid, kuhu saab minna ja vaadata, ja siis timestampi p\u00f5hjal saab neid omavahel seostada. Kui nad otsivad Graylog-st, siis seal nad sorteeritakse timestampi j\u00e4rgi. Seal on k\u00f5ik h\u00e4sti.<\/p>\n<\/p>\n
K\u00fcsimus<\/strong>: Timestamp v\u00f5ib erineda millisekundite kaupa.<\/p>\n<\/p>\n
Vastus<\/strong>: Timestamp genereerib ise API. Selles ongi kogu asi. Meil on NTP. API genereerib timestampi juba ise s\u00f5numis. Seda ei lisa rsyslog.<\/p>\n<\/p>\n
K\u00fcsimus<\/strong>: Ei ole v\u00e4ga selge, kuidas and keskkonnad omavahel suhtlevad. Andmekeskuse sees on selge, kuidas logisid koguti ja t\u00f6\u00f6deldi. Kuidas toimub suhtlemine andmekeskuste vahel? Kas iga andmekeskus elab oma elu?<\/p>\n<\/p>\n
Vastus<\/strong>: Peaaegu. Igal riigil on oma andmekeskus. Meil ei ole praegu jaotust, et sama riik oleks erinevates andmekeskustes. Seet\u00f5ttu ei pea neid \u00fchendama. Igas keskuses on Log Relay. See on Rsyslog server. Tegelikult on kaks haldust\u00f6\u00f6d masinat. Need on \u00fchetaoliselt seadistatud. Kuid hetkel l\u00e4heb liiklus l\u00e4bi ainult \u00fche neist. See kogub k\u00f5iki logisid. Sellel on ketta j\u00e4rjekord igaks juhuks. See tihendab logisid ja saadab need keskmisse andmekeskusesse (Singapur), kus need saadetakse edasi Graylogi. Ja igas andmekeskuses on oma failide salvestus. Juhul, kui \u00fchendus kaob, on meil k\u00f5ik logid seal. Need j\u00e4\u00e4vad sinna. Need salvestatakse.<\/p>\n<\/p>\n
K\u00fcsimus<\/strong>: Kas sa saad sealt ekstreemsetes olukordades logisid?<\/p>\n<\/p>\n
Vastus<\/strong>: Saab minna sinna (failide salvestusse) ja vaadata.<\/p>\n<\/p>\n
K\u00fcsimus<\/strong>: Kuidas te j\u00e4lgite, et te ei kaota logisid?<\/p>\n<\/p>\n
Vastus<\/strong>: Me tegelikult kaotame neid ja me j\u00e4lgime seda. J\u00e4lgimist alustati kuu aega tagasi. Raamatukogus, mida kasutab Go API, on m\u00f5\u00f5dikud. See oskab lugeda, mitu korda ta ei saanud socketisse kirjutada. Seal on hetkel nutikas heuristika. Seal on puhver. See proovib kirjutada sellest s\u00f5numit socketisse. Kui puhver t\u00e4itub, hakkab see neid loobuma. Ja loendab, kui palju ta on loobunud. Kui loendurid hakkavad t\u00e4ituma, saame sellest teada. Need saadetakse ka Prometheusesse, ja Grafanas saab vaadata graafikuid. Saate seadistada teateid. Kuid hetkel ei ole selge, kellele need saata.<\/p>\n<\/p>\n
K\u00fcsimus<\/strong>: Kas Elasticsearchis hoiate logisid koos varundamisega? Kui palju teil on koopiaid?<\/p>\n<\/p>\n
Vastus<\/strong>: \u00dcks koopiate.<\/p>\n<\/p>\n
K\u00fcsimus<\/strong>: See on ainult \u00fcks koopia?<\/p>\n<\/p>\n
Vastus<\/strong>: See on master ja koopia. Andmed on hoitud kahes eksemplaris.<\/p>\n<\/p>\n
K\u00fcsimus<\/strong>: Oled sa kuidagi Rsyslogi puhvri suurust seadistanud? <\/p>\n<\/p>\n
Vastus<\/strong>: Me kirjutame andmegramme kohandatud unix socketisse. See seab meile kohe piiranguks 128 kilobaiti. Me ei saa sinna rohkem kirjutada. Oleme selle standardisse kirja pannud. Kes tahab salvestustesse j\u00f5uda, need kirjutavad 128 kilobaiti. Raamatukogud k\u00e4rbivad, ja panevad lipu, et s\u00f5num on k\u00e4rbitud. Meie s\u00f5numi standardis on eriline v\u00e4li, mis n\u00e4itab, kas see on kirjutamise k\u00e4igus k\u00e4rbitud v\u00f5i mitte. Seega on meil v\u00f5imalik j\u00e4lgida ka seda hetke.<\/p>\n<\/p>\n
K\u00fcsimus<\/strong>: Kas kirjutate vigaseid JSON-e? <\/p>\n<\/p>\n
Vastus<\/strong>: Vigane JSON j\u00e4etakse k\u00f5rvale kas relay ajal, sest pakett on liiga suur. V\u00f5i viskab Graylog selle k\u00f5rvale, sest ei suuda JSON-i parsida. Kuid siin on n\u00fcansse, mida tuleb fikseerida, ja need on enamikul juhtudel seotud rsyslog-iga. Olen juba esitanud seal mitu probleemi, millega tuleb veel t\u00f6\u00f6tada.<\/p>\n<\/p>\n
K\u00fcsimus<\/strong>: Miks Kafka? Kas olete proovinud RabbitMQ-d? Kas Graylog ei toimi selliste koormuste juures?<\/p>\n<\/p>\n
Vastus<\/strong>: Meie jaoks ei toimi Graylog. Aga Graylog meie jaoks toimib. Sellega on t\u00f5eliselt probleeme. See on \u00fcsna eriline asi. Ja tegelikult pole seda vaja. Eelistaksin kirjutada rsyslogist otse Elasticsearchi ja vaadata siis Kibana't. Kuid peame sedalaadi k\u00fcsimuse turvaekspertidega klaarima. See on v\u00f5imalik variant meie arenguks, kui viskame Graylogi v\u00e4lja ja kasutame Kibana't. Logstash'i kasutamine pole m\u00f5tet. Sest ma saan sama asja teha rsyslogiga. Ja sellel on moodul Elasticsearchi kirjutamiseks. Graylogiga proovime kuidagi edasi elada. Oleme seda isegi natuke optimeerinud. Kuid seal on veel ruumi paranemiseks.<\/p>\n<\/p>\n
Kafkast. Ajalooliselt on see nii v\u00e4lja kujunenud. Kui ma tulin, oli see juba olemas ja logisid kirjutati sinna juba. Me lihtsalt t\u00f5ime oma klastrisse ja kolisime sinna logid. Me haldame seda, me teame, kuidas tal l\u00e4heb. RabbitMQ kohta... meil ei l\u00e4he RabbitMQ h\u00e4sti. Aga RabbitMQ meile sobib. Meil on see tootmises ja seal on olnud probleeme. Praegu me uuendasime seda enne kampaaniat ja see hakkas normaalselt t\u00f6\u00f6le. Aga enne seda ma ei olnud valmis seda tootmisesse laskma. On veel \u00fcks moment. Graylog oskab lugeda AMQP 0.9 versiooni, kuid rsyslog oskab kirjutada AMQP 1.0 versiooni. Ja ei ole \u00fchtegi lahendust, mis oskaks m\u00f5lemat. On kas \u00fcks v\u00f5i teine. Seega sellel hetkel ainult Kafka. Aga seal on ka omad n\u00fcansid. Kuna omkafka selle rsyslog versiooni puhul, mida me kasutame, v\u00f5ib kaotada kogu s\u00f5numite puhvri, mille ta rsyslogist v\u00e4lja v\u00f5ttis. Seni oleme sellega leppinud. <\/p>\n
<\/p>\n
K\u00fcsimus<\/strong>: Kas te kasutate Kafkat, kuna see oli teil olemas? Kas seda kasutatakse veel millegi muu jaoks?<\/p>\n<\/p>\n
Vastus<\/strong>: Kafkat, mis meil oli, kasutab Data Science'i meeskond. See on t\u00e4iesti eraldi projekt, millest ma, kahjuks, midagi rohkem ei tea. Ta oli Data Science'i meeskonna halduses. Kui logid s\u00fcsteemi toodi, otsustati seda kasutada, et mitte installida veel \u00fchte. N\u00fc\u00fcd, kui me oleme Graylogi uuendanud, kaotasime \u00fchilduvuse, kuna seal on vana Kafka versioon. Me pidime oma looma. Samuti saime lahti nendest neljast teema kohta iga API kohta. Me tegime \u00fche laia teema k\u00f5igi live'i jaoks, \u00fche laia teema k\u00f5igi stagingute jaoks ja lihtsalt saame sinna k\u00f5ik logid. Graylog korjab k\u00f5ike paralleelselt.<\/p>\n<\/p>\n
K\u00fcsimus<\/strong>: Miks on vajalik see soketiga tegelemine? Kas olete proovinud kasutada konteineritele log-draiverit syslog.<\/p>\n<\/p>\n
Vastus<\/strong>: Kui me selle k\u00fcsimusega tegelema hakkasime, olid meie suhted Dockeriga pingelised. Tookord oli see Docker 1.0 v\u00f5i 0.9. Docker ise oli kummaline. Teiseks, kui veel logisid ka sinna panna... Mul on kontrollimatu kahtlus, et ta laseb k\u00f5ik logid end l\u00e4bi, l\u00e4bi Docker daemon'i. Kui meil \u00fcks API n\u00e4ssu l\u00e4heb, siis teised API-d j\u00e4\u00e4vad kinni, kuna nad ei saa saata stdout ja stderr-i. Ma ei tea, kuhu see viib. Tunne \u00fctleb, et ei ole vaja syslog-draiverit Dockeris sellistes olukordades kasutada. Meie funktsionaalse testimise osakonnal on oma v\u00e4ike Graylog klaster logide jaoks. Nad kasutavad Docker'i log-draivereid ja seal tundub isegi k\u00f5ik toimivat h\u00e4sti. Kuid nad kirjutavad GELF-i kohe Graylogi. Tookord, kui me k\u00f5ike seda korraldasime, vajasime, et see lihtsalt t\u00f6\u00f6taks. V\u00f5ib-olla hiljem, kui keegi \u00fctleb, et see on sada aastat kenasti t\u00f6\u00f6tanud, siis proovime uuesti.<\/p>\n<\/p>\n
K\u00fcsimus<\/strong>: Te teete andmekeskuste vahel kohaletoimetamist rsyslogi kaudu. Miks mitte Kafka kaudu?<\/p>\n<\/p>\n
Vastus<\/strong>: Me teeme tegelikult nii \u00fcht kui teist. Kahes p\u00f5hjusest. Kui kanal on t\u00e4ielikult purustatud, siis ei p\u00e4\u00e4se meie logid isegi kokku surutud kujul sellest l\u00e4bi. Kafka v\u00f5imaldab neid protsessis lihtsalt kaotada. Selle meetodi abil vabaneme logide kinni j\u00e4\u00e4misest. Kui kasutame lihtsalt Kafka-d otse. Kui meie kanal on hea ja soovime seda vabastada, siis kasutame rsyslogi. Aga tegelikult v\u00f5ib selle seadistada nii, et ta ise viskab \u00e4ra, mis ei p\u00e4\u00e4se l\u00e4bi. Praeguseks kasutame m\u00f5nes kohas otse rsyslogi kohaletoimetamist, m\u00f5nes Kafka-d.<\/p>\nAllikas: habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"\u041b\u043e\u0433\u0438 \u2014 \u0432\u0430\u0436\u043d\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u0441\u0438\u0441\u0442\u0435\u043c\u044b, \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044e\u0449\u0430\u044f \u043f\u043e\u043d\u044f\u0442\u044c, \u0447\u0442\u043e \u043e\u043d\u0430 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 (\u043b\u0438\u0431\u043e \u043d\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442), \u043a\u0430\u043a \u043e\u0436\u0438\u0434\u0430\u0435\u0442\u0441\u044f. \u0412 \u0443\u0441\u043b\u043e\u0432\u0438\u044f\u0445 \u043c\u0438\u043a\u0440\u043e\u0441\u0435\u0440\u0432\u0438\u0441\u043d\u043e\u0439 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b \u0440\u0430\u0431\u043e\u0442\u0430 \u0441 \u043b\u043e\u0433\u0430\u043c\u0438 \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0439 \u0434\u0438\u0441\u0446\u0438\u043f\u043b\u0438\u043d\u043e\u0439 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u0439 \u043e\u043b\u0438\u043c\u043f\u0438\u0430\u0434\u044b. \u041d\u0443\u0436\u043d\u043e \u0440\u0435\u0448\u0438\u0442\u044c \u0441\u0440\u0430\u0437\u0443 \u043a\u0443\u0447\u0443 \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u0432: \u043a\u0430\u043a \u043f\u0438\u0441\u0430\u0442\u044c \u043b\u043e\u0433\u0438 \u0438\u0437 \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u044f; \u043a\u0443\u0434\u0430 \u043f\u0438\u0441\u0430\u0442\u044c \u043b\u043e\u0433\u0438; \u043a\u0430\u043a \u0434\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0442\u044c \u043b\u043e\u0433\u0438 \u0434\u043b\u044f \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u0438 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438; \u043a\u0430\u043a \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0442\u044c \u0438 \u0445\u0440\u0430\u043d\u0438\u0442\u044c \u043b\u043e\u0433\u0438. \u041f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0445 \u043d\u044b\u043d\u0435 […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":24507,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-32723","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t
![\"M\u00e4ngi](\"https:\/\/img.youtube.com\/vi\/NAeedJv-S3I\/hqdefault.jpg\")
\r\n