artikeln om Badushchka<\/a><\/noindex>, som skrev om detta. Men det finns en punkt. Rundt detta anrop var det ocks\u00e5 en o\u00e4ndlig slinga d\u00e4r vi st\u00e4ndigt f\u00f6rs\u00f6kte trycka meddelandet i socketen. Det m\u00e4rkte vi inte. Vi fick skriva om biblioteket. Sedan dess har det f\u00f6r\u00e4ndrats flera g\u00e5nger, men nu har vi blivit av med l\u00e5sningar i alla delsystem. D\u00e4rf\u00f6r kan vi stoppa rsyslog utan att n\u00e5got kommer att falla.<\/p>\n<\/p>\n
Vi m\u00e5ste \u00f6vervaka storleken p\u00e5 k\u00f6erna, vilket hj\u00e4lper oss att undvika dessa problem. F\u00f6r det f\u00f6rsta kan vi \u00f6vervaka n\u00e4r vi b\u00f6rjar f\u00f6rlora meddelanden. F\u00f6r det andra kan vi \u00f6vervaka att vi har problem med leveransen i allm\u00e4nhet.<\/p>\n
<\/p>\n
Och ytterligare ett obehagligt problem \u2013 f\u00f6rst\u00e4rkning med 10 g\u00e5nger i mikrotj\u00e4narkitekturen \u2013 det \u00e4r extremt enkelt. Vi har inte s\u00e5 m\u00e5nga inkommande f\u00f6rfr\u00e5gningar, men p\u00e5 grund av grafen som dessa meddelanden senare l\u00f6per p\u00e5, p\u00e5 grund av access-loggar, \u00f6kar vi verkligen belastningen p\u00e5 loggarna med ungef\u00e4r tio g\u00e5nger. Jag har tyv\u00e4rr inte haft tid att r\u00e4kna ut de exakta siffrorna, men mikrotj\u00e4nster \u00e4r s\u00e5. Det \u00e4r n\u00e5got man m\u00e5ste ha i \u00e5tanke. Just nu \u00e4r loggsamlingssystemet det mest belastade i Lazada. <\/p>\n
<\/p>\n
<\/p>\n
Hur l\u00f6ser man problemet med elasticsearch? Om man snabbt beh\u00f6ver f\u00e5 loggar p\u00e5 ett st\u00e4lle, s\u00e5 att man inte beh\u00f6ver springa runt p\u00e5 alla maskiner och samla dem d\u00e4r, anv\u00e4nd en filbaserad lagring. Det fungerar garanterat. Det g\u00f6rs fr\u00e5n vilken server som helst. Man beh\u00f6ver bara stoppa dit diskar och s\u00e4tta upp syslog. Efter det har ni garanterat alla loggar p\u00e5 ett st\u00e4lle. Sedan kan man i lugn och ro konfigurera elasticsearch, graylog eller n\u00e5got annat. Men ni kommer redan att ha alla loggar, och dessutom kan ni lagra dem s\u00e5 l\u00e4nge lagringskapaciteten r\u00e4cker.<\/p>\n
<\/p>\n
<\/p>\n
Vid tiden f\u00f6r min presentation s\u00e5g schemat ut s\u00e5 h\u00e4r. Vi har praktiskt taget slutat skriva till fil. Nu kommer vi f\u00f6rmodligen att st\u00e4nga av de sista resterna. P\u00e5 de lokala maskiner d\u00e4r API:erna k\u00f6rs kommer vi att sluta skriva till filer. F\u00f6r det f\u00f6rsta finns det en filbaserad lagringsl\u00f6sning som fungerar mycket bra. F\u00f6r det andra tar det slut p\u00e5 utrymme p\u00e5 dessa maskiner st\u00e4ndigt, och vi beh\u00f6ver \u00f6vervaka det hela tiden.<\/p>\n
<\/p>\n
Den h\u00e4r delen med Logstash och Graylog \u00e4r verkligen besv\u00e4rlig. D\u00e4rf\u00f6r m\u00e5ste vi bli av med den. Vi m\u00e5ste v\u00e4lja n\u00e5got av det.<\/p>\n
<\/p>\n
<\/p>\n
Vi har best\u00e4mt oss f\u00f6r att avveckla Logstash och Kibana. F\u00f6r vi har en s\u00e4kerhetsavdelning. Vad har det med saken att g\u00f6ra? Sambandet \u00e4r att Kibana utan X-Pack och utan Shield inte till\u00e5ter \u00e5tkomstkontroll f\u00f6r loggar. D\u00e4rf\u00f6r valde vi Graylog. Det \u00e4r inte min favorit, men det fungerar. Vi k\u00f6pte ny h\u00e5rdvara, installerade en ny version av Graylog och flyttade alla loggar med strikta format till en separat Graylog. Vi har l\u00f6st problemet med olika typer av identiska f\u00e4lt organisatoriskt.<\/p>\n
<\/p>\n
<\/p>\n
Vad ing\u00e5r egentligen i den nya Graylog? Vi skrev helt enkelt allt i Docker. Vi tog en massa servrar, distribuerade tre instanser av Kafka, 7 servrar av Graylog version 2.3 (eftersom vi ville ha Elasticsearch version 5). Allt detta k\u00f6rdes p\u00e5 RAID med HDD. Vi s\u00e5g en indexeringshastighet p\u00e5 upp till 100 000 meddelanden per sekund. Vi s\u00e5g siffran att 140 terabyte data per vecka. <\/p>\n
<\/p>\n
<\/p>\n
Och s\u00e5 kom motg\u00e5ngarna igen! Vi har tv\u00e5 utf\u00f6rs\u00e4ljningar p\u00e5 g\u00e5ng. Vi har flyttat \u00f6ver 6 miljoner meddelanden. V\u00e5r Graylog hinner inte med. Vi m\u00e5ste p\u00e5 n\u00e5got s\u00e4tt \u00f6verleva igen. <\/p>\n
<\/p>\n
<\/p>\n
Vi \u00f6verlevde p\u00e5 f\u00f6ljande s\u00e4tt. Vi lade till n\u00e5gra fler servrar och SSD. F\u00f6r tillf\u00e4llet lever vi p\u00e5 det h\u00e4r s\u00e4ttet. Nu bearbetar vi redan 160 000 meddelanden per sekund. Vi har inte n\u00e5tt gr\u00e4nsen \u00e4n, s\u00e5 det \u00e4r oklart hur mycket vi verkligen kan dra fr\u00e5n detta. <\/p>\n
<\/p>\n
<\/p>\n
S\u00e5 h\u00e4r ser v\u00e5ra framtidsplaner ut. Av dem \u00e4r det sannolikt mest viktiga, h\u00f6g tillg\u00e4nglighet. Vi har inte det \u00e4nnu. N\u00e5gra maskiner \u00e4r konfigurerade lika, men allt g\u00e5r fortfarande via en maskin. Vi m\u00e5ste ta oss tid att st\u00e4lla in failover mellan dem.<\/p>\n
<\/p>\n
Samla in metrik fr\u00e5n Graylog.<\/p>\n
<\/p>\n
S\u00e4tta upp en rate limit s\u00e5 att en \u00f6verbelastad API inte d\u00f6dar v\u00e5r bandbredd och allt annat.<\/p>\n
<\/p>\n
Och slutligen, skriva ett SLA med utvecklarna som anger hur mycket vi kan hantera. Om ni skriver mer, s\u00e5 beklagar jag.<\/p>\n
<\/p>\n
Och skriva dokumentation.<\/p>\n
<\/p>\n
<\/p>\n
Sammanfattningsvis, resultaten av allt vi har g\u00e5tt igenom. F\u00f6r det f\u00f6rsta, standarder. F\u00f6r det andra, syslog - en t\u00e5rta. F\u00f6r det tredje, rsyslog fungerar precis s\u00e5 h\u00e4r som det st\u00e5r p\u00e5 sliden. L\u00e5t oss g\u00e5 vidare till fr\u00e5gorna.<\/p>\n
<\/p>\n
Fr\u00e5gor<\/strong>.<\/p>\n<\/p>\n
Fr\u00e5ga<\/strong>: Varf\u00f6r beslutade ni att inte anv\u00e4nda\u2026 (filebeat?)<\/p>\n<\/p>\n
Svar<\/strong>: Vi m\u00e5ste skriva till en fil. Det ville jag verkligen undvika. N\u00e4r du har en API som skriver tusentals meddelanden per sekund, \u00e4ven om du roterar varje timme, \u00e4r det fortfarande inte en l\u00f6sning. Du kan skriva till en pipe. P\u00e5 vilket utvecklarna fr\u00e5gade: \"Vad h\u00e4nder om processen vi skriver till kraschar\"? Jag kunde helt enkelt inte hitta ett svar och sa: \"Okej, l\u00e5t oss inte g\u00f6ra s\u00e5.\"<\/p>\n<\/p>\n
Fr\u00e5ga<\/strong>: Varf\u00f6r skriver ni inte loggar direkt i HDFS?<\/p>\n<\/p>\n
Svar<\/strong>: Det \u00e4r n\u00e4sta steg. Vi t\u00e4nkte p\u00e5 det i b\u00f6rjan, men eftersom vi f\u00f6r n\u00e4rvarande inte har resurser att arbeta med det s\u00e5 ligger det som en l\u00e5ngsiktig l\u00f6sning.<\/p>\n<\/p>\n
Fr\u00e5ga<\/strong>: Kolumnformatet skulle vara mer l\u00e4mpligt.<\/p>\n<\/p>\n
Svar<\/strong>: Jag f\u00f6rst\u00e5r allt. Vi \u00e4r \"f\u00f6r\" med b\u00e5da h\u00e4nderna. <\/p>\n<\/p>\n
Fr\u00e5ga<\/strong>: Ni skriver i rsyslog. D\u00e4r kan man anv\u00e4nda b\u00e5de TCP och UDP. Men om ni anv\u00e4nder UDP, hur garanterar ni d\u00e5 leveransen?<\/p>\n<\/p>\n
Svar<\/strong>: Det finns tv\u00e5 aspekter. F\u00f6r det f\u00f6rsta, jag s\u00e4ger alltid till alla att vi inte garanterar loggar levereras. F\u00f6r n\u00e4r utvecklarna kommer och s\u00e4ger: 'L\u00e5t oss b\u00f6rja skriva finansiella data dit, och ni kommer att lagra dem n\u00e5gonstans i fall n\u00e5got h\u00e4nder', svarar vi: 'Utm\u00e4rkt! L\u00e5t oss blockera skrivningen till socket och g\u00f6ra detta i transaktioner s\u00e5 att ni garanterat skriver till v\u00e5r socket och ser till att vi f\u00e5r det fr\u00e5n er sida.' Just i det \u00f6gonblicket blir det pl\u00f6tsligt mindre intressant f\u00f6r dem. Och eftersom det inte \u00e4r intressant, varf\u00f6r skulle vi d\u00e5 ha n\u00e5gra fr\u00e5gor? Om ni inte vill garantera skrivning i socket, varf\u00f6r ska vi garantera leverans? Vi g\u00f6r v\u00e5rt b\u00e4sta. Vi f\u00f6rs\u00f6ker verkligen leverera s\u00e5 mycket som m\u00f6jligt och s\u00e5 bra som m\u00f6jligt, men vi ger inte 100% garanti. S\u00e5 f\u00f6r detta, skriv inte finansiella data d\u00e4r. F\u00f6r det finns databaser med transaktioner.<\/p>\n<\/p>\n
Fr\u00e5ga<\/strong>: N\u00e4r API:t genererar ett meddelande i loggen och \u00f6verl\u00e4mnar kontrollen till mikrotj\u00e4nsterna, har ni d\u00e5 st\u00f6tt p\u00e5 problem med att meddelanden fr\u00e5n olika mikrotj\u00e4nster kommer i fel ordning? Detta kan leda till f\u00f6rvirring.<\/p>\n<\/p>\n
Svar<\/strong>: Det \u00e4r normalt att de kommer i olika ordningar. Man m\u00e5ste vara beredd p\u00e5 det. Eftersom vilken n\u00e4tverksleverans som helst garanterar inte ordningen, eller s\u00e5 m\u00e5ste man avs\u00e4tta speciella resurser f\u00f6r det. Om vi tar filsystem, s\u00e5 sparar varje API loggar i sin egen fil. R\u00e4ttare sagt, rsyslog sorterar dem i mappar. Varje API har sina egna loggar, som man kan g\u00e5 till och se, och sedan kan man matcha dem efter tidsst\u00e4mpel i den loggen. Om de tittar i Graylog, s\u00e5 sorteras det d\u00e4r efter tidsst\u00e4mpel. Allt kommer att se bra ut d\u00e4r.<\/p>\n<\/p>\n
Fr\u00e5ga<\/strong>: Tidsst\u00e4mpeln kan skilja sig med millisekunder.<\/p>\n<\/p>\n
Svar<\/strong>: Tidsst\u00e4mpeln genereras av API:t sj\u00e4lvt. Det \u00e4r egentligen hela grejen. Vi har NTP. API:t genererar tidsst\u00e4mpeln redan i meddelandet. Det \u00e4r inte rsyslog som l\u00e4gger till den.<\/p>\n<\/p>\n
Fr\u00e5ga<\/strong>: Det \u00e4r inte helt klart hur interaktionen mellan datacentren fungerar. Inom datacentret \u00e4r det klart hur loggarna samlades och bearbetades. Hur g\u00e5r interaktionen mellan datacentren till? Eller lever varje datacenter sitt eget liv?<\/p>\n<\/p>\n
Svar<\/strong>: N\u00e4stan. Vi har varje land i ett specifikt datacenter. Just nu har vi inget utspritt system, s\u00e5 ett land \u00e4r inte placerat i olika datacenter. S\u00e5 det beh\u00f6ver inte kombineras. Inom varje center finns det en Log Relay. Det \u00e4r en Rsyslog-server. Faktiskt finns det tv\u00e5 hanteringsmaskiner. De \u00e4r konfigurerade p\u00e5 samma s\u00e4tt. Men just nu g\u00e5r bara trafiken genom en av dem. Den aggregaterar alla loggar. Den har en disk-k\u00f6 f\u00f6r s\u00e4kerhets skull. Den komprimerar loggarna och skickar dem till det centrala datacentret (i Singapore), d\u00e4r de sedan skickas till Graylog. Och i varje datacenter finns sin egen fil-lagring. Om vi f\u00f6rlorar kontakten har vi alla loggar d\u00e4r. De stannar d\u00e4r. De kommer att sparas.<\/p>\n<\/p>\n
Fr\u00e5ga<\/strong>: F\u00e5r du loggar d\u00e4rifr\u00e5n vid onormala situationer?<\/p>\n<\/p>\n
Svar<\/strong>: Man kan g\u00e5 dit (till fil-lagringen) och kolla.<\/p>\n<\/p>\n
Fr\u00e5ga<\/strong>: Hur \u00f6vervakar ni att ni inte f\u00f6rlorar loggar?<\/p>\n<\/p>\n
Svar<\/strong>: Vi f\u00f6rlorar dem faktiskt, och vi \u00f6vervakar det. \u00d6vervakningen startade f\u00f6r en m\u00e5nad sedan. I biblioteket som anv\u00e4nds av Go API finns det m\u00e4tv\u00e4rden. Den kan r\u00e4kna hur m\u00e5nga g\u00e5nger den inte kunde skriva till socketen. Just nu finns det en smart heuristik. Det finns en buffert. Den f\u00f6rs\u00f6ker skriva meddelandet fr\u00e5n den till socketen. Om bufferten blir full b\u00f6rjar den droppa dem. Och r\u00e4knar hur m\u00e5nga den har droppat. Om r\u00e4knarna b\u00f6rjar bli fulla f\u00e5r vi veta det. De \u00e5ker nu ocks\u00e5 till Prometheus, och i Grafana kan man se grafer. Man kan st\u00e4lla in aviseringar. Men \u00e4n s\u00e5 l\u00e4nge \u00e4r det oklart vem man ska skicka dem till.<\/p>\n<\/p>\n
Fr\u00e5ga<\/strong>: I Elasticsearch lagrar ni loggar med replikering. Hur m\u00e5nga repliker har ni?<\/p>\n<\/p>\n
Svar<\/strong>: En replik.<\/p>\n<\/p>\n
Fr\u00e5ga<\/strong>: Det \u00e4r endast en replik?<\/p>\n<\/p>\n
Svar<\/strong>: Det \u00e4r en master och en replik. Data lagras i tv\u00e5 exemplar.<\/p>\n<\/p>\n
Fr\u00e5ga<\/strong>: Har ni justerat storleken p\u00e5 rsyslog-bufferten p\u00e5 n\u00e5got s\u00e4tt? <\/p>\n<\/p>\n
Svar<\/strong>: Vi skriver datagram till en anpassad unix socket. Detta begr\u00e4nsar oss till 128 kilobyte. Vi kan inte skriva mer \u00e4n s\u00e5. Vi har specificerat detta i standarden. Den som vill lagra data skriver 128 kilobyte. Biblioteken klipper faktiskt och s\u00e4tter en flagga f\u00f6r att ange att meddelandet har klippts. I v\u00e5r standard f\u00f6r meddelandet finns det ett speciellt f\u00e4lt som visar om det har klippts vid skrivning eller inte. S\u00e5 vi har m\u00f6jlighet att sp\u00e5ra den aspekten ocks\u00e5.<\/p>\n<\/p>\n
Fr\u00e5ga<\/strong>: Skriver du trasig JSON? <\/p>\n<\/p>\n
Svar<\/strong>: Trasig JSON kommer att kasseras antingen under relay, eftersom paketet \u00e4r f\u00f6r stort. Eller s\u00e5 kommer Graylog att kassera det eftersom den inte kan parsa JSON. Men det finns nyanser som beh\u00f6ver \u00e5tg\u00e4rdas, och de \u00e4r mestadels kopplade till rsyslog. Jag har redan fyllt i n\u00e5gra problem d\u00e4r som fortfarande beh\u00f6ver arbete.<\/p>\n<\/p>\n
Fr\u00e5ga<\/strong>: Varf\u00f6r Kafka? Har du provat RabbitMQ? Fungerar inte Graylog under s\u00e5dana belastningar?<\/p>\n<\/p>\n
Svar<\/strong>: Vi f\u00e5r inte det att fungera med Graylog. Men Graylog fungerar f\u00f6r oss. Det \u00e4r verkligen problematiskt. Det \u00e4r en speciell typ av sak. Och i sj\u00e4lva verket beh\u00f6vs den inte. Jag skulle f\u00f6redra att skriva direkt fr\u00e5n rsyslog till elasticsearch och sedan titta p\u00e5 Kibana. Men vi beh\u00f6ver klara upp fr\u00e5gan med s\u00e4kerhetsansvariga. Det \u00e4r ett m\u00f6jligt utvecklingsalternativ f\u00f6r oss, n\u00e4r vi kastar bort Graylog och b\u00f6rjar anv\u00e4nda Kibana. Det finns ingen mening med att anv\u00e4nda Logstash. F\u00f6r jag kan g\u00f6ra allt detsamma med rsyslog. Och den har en modul f\u00f6r att skriva till elasticsearch. Med Graylog f\u00f6rs\u00f6ker vi p\u00e5 n\u00e5got s\u00e4tt klara oss. Vi har till och med optimerat den lite. Men det finns fortfarande utrymme f\u00f6r f\u00f6rb\u00e4ttringar d\u00e4r.<\/p>\n<\/p>\n
Om Kafka. Det har historiskt sett blivit s\u00e5. N\u00e4r jag kom, fanns den redan, och loggar skrevs redan till den. Vi installerade bara v\u00e5r kluster och flyttade loggarna dit. Vi hanterar den, vi vet hur den m\u00e5r. N\u00e4r det g\u00e4ller RabbitMQ\u2026 det fungerar inte riktigt f\u00f6r oss. Men RabbitMQ fungerar f\u00f6r oss. Vi har det i produktion och hade problem med det. Nu skulle vi ha fixat det innan f\u00f6rs\u00e4ljningen, och det b\u00f6rjade fungera ordentligt. Men innan det var jag inte redo att lansera det i produktion. Det finns ytterligare en punkt. Graylog kan l\u00e4sa version AMQP 0.9, medan rsyslog kan skriva version AMQP 1.0. Det finns inget l\u00f6sning som kan b\u00e5de och. Antingen det ena eller det andra. S\u00e5 just nu \u00e4r det bara Kafka. Men d\u00e4r finns ocks\u00e5 sina nuanser. F\u00f6r omkafka av den versionen av rsyslog som vi anv\u00e4nder kan f\u00f6rlora hela meddelandebufferten som den har f\u00e5tt fr\u00e5n rsyslog. F\u00f6r tillf\u00e4llet f\u00e5r vi leva med det. <\/p>\n
<\/p>\n
Fr\u00e5ga<\/strong>: Anv\u00e4nder ni Kafka f\u00f6r att den redan fanns hos er? Anv\u00e4nds den inte till n\u00e5gra andra syften?<\/p>\n<\/p>\n
Svar<\/strong>: Kafka som fanns, anv\u00e4nds av Data Science-teamet. Det \u00e4r ett helt eget projekt som jag tyv\u00e4rr inte kan s\u00e4ga n\u00e5got om. Jag \u00e4r inte insatt. Den var under Data Science-teamets ansvar. N\u00e4r loggarna startades s\u00e5 beslutades det att anv\u00e4nda den f\u00f6r att inte beh\u00f6va installera en egen. Nu har vi uppdaterat Graylog, och vi har f\u00f6rlorat kompatibiliteten eftersom det \u00e4r en gammal version av Kafka. Vi var tvungna att skapa v\u00e5r egen. Samtidigt blev vi av med de fyra \u00e4mnena f\u00f6r varje API. Vi gjorde ett brett \u00e4mne f\u00f6r alla live, ett brett \u00e4mne f\u00f6r alla staging och skickade allt dit. Graylog extraherar allt detta parallellt.<\/p>\n<\/p>\n
Fr\u00e5ga<\/strong>: Varf\u00f6r beh\u00f6vs detta trixande med sockets? Har ni f\u00f6rs\u00f6kt anv\u00e4nda syslog-loggdrivrutinen f\u00f6r containrar?<\/p>\n<\/p>\n
Svar<\/strong>: Vid den tidpunkten n\u00e4r vi st\u00e4llde oss fr\u00e5gan var v\u00e5r relation till Docker anstr\u00e4ngd. Det var Docker 1.0 eller 0.9. Docker var i sig sj\u00e4lv m\u00e4rkligt. F\u00f6r det andra, om man dessutom skulle f\u00e5 in loggar... Jag har en obekr\u00e4ftad misstanke om att den sl\u00e4pper igenom alla loggar via Docker-demonen. Om ett API f\u00e5r problem st\u00f6tter de andra API:erna p\u00e5 att de inte kan skicka stdout och stderr. Jag vet inte vart detta leder. Jag har en k\u00e4nslom\u00e4ssig misstanke om att vi inte borde anv\u00e4nda Docker-syslog-drivrutinen just h\u00e4r. V\u00e5r avdelning f\u00f6r funktionell testning har sin egna lille Graylog-kluster med loggar. De anv\u00e4nder Docker-loggdrivrutiner och de verkar ha det ganska bra. Men de skriver direkt till Graylog i GELF-format. Vid den tidpunkten n\u00e4r vi startade allt detta beh\u00f6vde vi att det helt enkelt skulle fungera. Kanske senare, n\u00e4r n\u00e5gon kommer och s\u00e4ger att det har fungerat bra i hundra \u00e5r, kommer vi att prova.<\/p>\n<\/p>\n
Fr\u00e5ga<\/strong>: G\u00f6r ni leverans mellan datacentren med rsyslog? Varf\u00f6r inte med Kafka?<\/p>\n<\/p>\n
Svar<\/strong>: Vi g\u00f6r faktiskt b\u00e5de och. Av tv\u00e5 sk\u00e4l. Om kanalen \u00e4r helt f\u00f6rst\u00f6rd g\u00e5r inte ens alla loggar i komprimerad form igenom den. Och Kafka till\u00e5ter oss att f\u00f6rlora dem under processen. P\u00e5 s\u00e5 s\u00e4tt slipper vi fastna i dessa loggar. I det h\u00e4r fallet anv\u00e4nder vi Kafka direkt. Om vi har en bra kanal och vill frig\u00f6ra den anv\u00e4nder vi rsyslog. Men man kan faktiskt konfigurera det s\u00e5 att det sj\u00e4lv sl\u00e4pper det som inte g\u00e5r igenom. F\u00f6r tillf\u00e4llet anv\u00e4nder vi p\u00e5 vissa st\u00e4llen leverans med rsyslog direkt och p\u00e5 andra st\u00e4llen Kafka.<\/p>\nK\u00e4lla: habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"\u041b\u043e\u0433\u0438 \u2014 \u0432\u0430\u0436\u043d\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u0441\u0438\u0441\u0442\u0435\u043c\u044b, \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044e\u0449\u0430\u044f \u043f\u043e\u043d\u044f\u0442\u044c, \u0447\u0442\u043e \u043e\u043d\u0430 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 (\u043b\u0438\u0431\u043e \u043d\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442), \u043a\u0430\u043a \u043e\u0436\u0438\u0434\u0430\u0435\u0442\u0441\u044f. \u0412 \u0443\u0441\u043b\u043e\u0432\u0438\u044f\u0445 \u043c\u0438\u043a\u0440\u043e\u0441\u0435\u0440\u0432\u0438\u0441\u043d\u043e\u0439 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b \u0440\u0430\u0431\u043e\u0442\u0430 \u0441 \u043b\u043e\u0433\u0430\u043c\u0438 \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0439 \u0434\u0438\u0441\u0446\u0438\u043f\u043b\u0438\u043d\u043e\u0439 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u0439 \u043e\u043b\u0438\u043c\u043f\u0438\u0430\u0434\u044b. \u041d\u0443\u0436\u043d\u043e \u0440\u0435\u0448\u0438\u0442\u044c \u0441\u0440\u0430\u0437\u0443 \u043a\u0443\u0447\u0443 \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u0432: \u043a\u0430\u043a \u043f\u0438\u0441\u0430\u0442\u044c \u043b\u043e\u0433\u0438 \u0438\u0437 \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u044f; \u043a\u0443\u0434\u0430 \u043f\u0438\u0441\u0430\u0442\u044c \u043b\u043e\u0433\u0438; \u043a\u0430\u043a \u0434\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0442\u044c \u043b\u043e\u0433\u0438 \u0434\u043b\u044f \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u0438 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438; \u043a\u0430\u043a \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0442\u044c \u0438 \u0445\u0440\u0430\u043d\u0438\u0442\u044c \u043b\u043e\u0433\u0438. \u041f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0445 \u043d\u044b\u043d\u0435 […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":24507,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-32723","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t
![\"Spela](\"https:\/\/img.youtube.com\/vi\/NAeedJv-S3I\/hqdefault.jpg\")
\r\n