{"id":95999,"date":"2020-10-06T13:41:58","date_gmt":"2020-10-06T11:41:58","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/poka-vse-prazdnovali-moj-den-rozhdeniya-ya-do-utra-chinil-klaster-a-razraby-valili-na-menya-svoi-oshibki"},"modified":"2020-10-06T13:41:58","modified_gmt":"2020-10-06T11:41:58","slug":"poka-vse-prazdnovali-moj-den-rozhdeniya-ya-do-utra-chinil-klaster-a-razraby-valili-na-menya-svoi-oshibki","status":"publish","type":"post","link":"https:\/\/prohoster.info\/hr\/blog\/administrirovanie\/poka-vse-prazdnovali-moj-den-rozhdeniya-ya-do-utra-chinil-klaster-a-razraby-valili-na-menya-svoi-oshibki","title":{"rendered":"Dok su svi slavili moj ro\u0111endan, ja sam do jutra popravljao klaster \u2014 a programeri su mi slali svoje gre\u0161ke","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"Dok
\n
\nOvo je pri\u010da koja je zauvijek promenila moj pristup devops poslu. Jo\u0161 u pre-kovidnim vremenima, dugo pre njih, kada smo s ekipom tek razmi\u0161ljali o svom poslu i radili kao frilenseri na slu\u010dajnim projektima, dobio sam jedan predlog na Telegramu. <\/p>\n

Firma koja ga je napisala bavila se analizom podataka. Svakodnevno su obra\u0111ivali hiljade zahteva. Do\u0161li su kod nas s re\u010dima: 'momci, imamo ClickHouse i \u017eelimo da automatizujemo njegovu konfiguraciju i instalaciju. \u017delimo Ansible, Terraform, Docker i da sve to bude u gitu. \u017delimo klaster od \u010detiri nodova sa po dve replike u svakoj.' <\/p>\n

Standardna molba, kakvih ima desetine, i potrebno je isto tako dobro standardno re\u0161enje. Rekli smo 'u redu', i za 2-3 nedelje sve je bilo spremno. Rad su prihvatili i po\u010deli da se prebacuju na novi klaster ClickHouse-a pomo\u0107u na\u0161e alatke.
\n<\/a><\/noindex>
\nNiko u njihovoj firmi nije \u017eeleo niti umeo da se bavi ClickHouse-om. Tada smo mislili da je to njihov glavni problem, pa je CTO firme jednostavno dao znak mom timu da maksimalno automatizuje rad, kako ne bi vi\u0161e nikada morali da se me\u0161aju.<\/p>\n

Pratili smo preseljenje, pojavili su se drugi zadaci \u2014 postavljanje bekapa i monitora. U tom trenutku CTO ove firme se povukao na drugi projekat, ostavljaju\u0107i nas pod komandom jednog od svojih \u2014 Leonida. Leony je bio mladi\u0107 koji nije bio naro\u010dito nadaren. Obi\u010dni programer, koga su iznenada postavili za vo\u0111u ClickHouse-a. \u010cini se da je to bila njegova prva dodela da ne\u0161to vodi, i od nagomilane po\u010dasti dobio je zvezdastu bolest. <\/p>\n

Zajedno smo se uhvatili u ko\u0161tac sa bekapima. Predlo\u017eio sam da bekapujemo odmah izvorne podatke. Samo ih uzeti, zipovati i elegantno smestiti u neki S3. Izvorni podaci \u2014 to je zlato. Postojala je i druga opcija \u2014 bekapovati same tabele u ClickHouse-u, pomo\u0107u zamrzavanja i kopiranja. Ali Leony je smislio svoje re\u0161enje.<\/p>\n

Objavio je da nam je potreban drugi klaster ClickHouse-a. I od sada \u0107emo pisati podatke na dva klastera \u2014 glavni i bekapni. Ka\u017eem mu, Leony, to ne\u0107e biti bekap \u2014 ve\u0107 aktivna replika. I ako podaci po\u010dnu da se gube na produkciji, na tvom bekapu \u0107e biti isto. <\/p>\n

Ali Leony je \u010dvrsto dr\u017eao kormilo i odbio je da slu\u0161a moje argumente. Dugo smo se prepirali u \u010detu, ali nismo imali izbora \u2014 Leony je vodio projekat, a mi smo bili samo anga\u017eovani mladi\u0107i s ulice.<\/p>\n

Pratili smo stanje klastera i napla\u0107ivali samo rad administratora. \u010cisto administriranje Clickhouse-a bez zadiranja u podatke. Klaster je bio dostupan, diskovi u redu, \u010dvorovi u normi. <\/p>\n

Jo\u0161 nismo sumnjali da smo dobili ovu narud\u017ebu zbog stra\u0161nog nesporazuma unutar njihove ekipe.<\/h3>\n

\nVoditelj je bio nezadovoljan \u0161to Clickhouse radi sporo i povremeno gubi podatke. Postavio je svom CTO-u zadatak da to istra\u017ei. On je istra\u017eio koliko je mogao i do\u0161ao do zaklju\u010dka da jednostavno treba automatizirati Clickhouse \u2014 i to je to. No, kako se ubrzo ispostavilo \u2014 potrebna im je bila sasvim druga ekipa devova.<\/p>\n

Sve je to otkriveno vrlo, vrlo bolno. A najtu\u017enije je \u0161to se dogodilo na moj ro\u0111endan.<\/p>\n

\nPetak, ve\u010der. Rezervirao sam stol u svom omiljenom vinskom baru i pozvao prijatelje. <\/p>\n

Skoro pred izlazak pojavila nam se zada\u0107a da napravimo alteraciju, izvr\u0161ili smo je, sve je bilo u redu. Alteracija je pro\u0161la, Clickhouse je potvrdio. Ve\u0107 smo se pripremali za bar, kada su nam javili da nedostaju podaci. Izgledalo je da je sve tu. Oti\u0161li smo slaviti.<\/p>\n

U restoranu je u petak bilo bu\u010dno. Naru\u010dili smo pi\u0107e, hranu i slegli se na kau\u010d. Celo to vreme moj Slack je polako bio prepun poruka. Pisali su ne\u0161to o nedostatku podataka. Pomislio sam \u2014 jutro je pametnije od ve\u010deri. Pogotovo dana\u0161njeg.<\/p>\n

Oko jedanaest po\u010deli su me ve\u0107 zvati. Bio je to direktor kompanije\u2026 'Sigurno me zove da me \u010destita', pomislio sam vrlo nesigurno i javio se.<\/p>\n

I \u010duo sam ne\u0161to u stilu: 'Uni\u0161tili ste na\u0161e podatke! Pla\u0107am vas, ali ni\u0161ta ne radi! Vi ste odgovarali za backup, i niste napravili ni\u0161ta! Hajde popravite to!' \u2014 samo mnogo grublje.<\/p>\n

\u2014 Zna\u0161 \u0161ta, idi do \u0111avola! Danas mi je ro\u0111endan, i sada \u0107u piti, a ne se baviti va\u0161im amatetskim glupostima od sme\u0107a i \u0161tapi\u0107a!<\/p>\n

Ali to nisam rekao. Umesto toga, uzeo sam laptop i po\u010deo raditi.<\/p>\n

Ne, ludovao sam, ludovao sam stra\u0161no! Sipao sam u chat otrovne 'rek'o sam' \u2014 jer backup, koji nije bio backup, naravno da nije spasio ni\u0161ta. <\/p>\n

Sa de\u010dkima smo smislili kako ru\u010dno zaustaviti zapisivanje i sve provjeriti. Zaista smo se uvjerili da dio podataka nije zabilje\u017een.<\/p>\n

Prekinuli smo snimanje, izbrojali broj doga\u0111aja koji se tamo nalaze tijekom dana. Dodali smo jo\u0161 podataka, od kojih se samo tre\u0107ina nije snimila. Tri shard-a s 2 replike. Ubacuje\u0161 100.000 redaka \u2014 33.000 se ne snimaju.<\/p>\n

Vladala je potpuna zbrka. Svi su se me\u0111usobno povremeno uvredljivo pona\u0161ali: prvi je oti\u0161ao Ljonja, a zatim su i\u0161li ja i osniva\u010d kompanije. Samo novopristigli CTO poku\u0161avao je izvu\u0107i na\u0161e pozive s vikanjem i prepisivati prema rje\u0161enju problema. <\/p>\n

\u0160to se zapravo de\u0161avalo \u2014 nitko nije razumio.<\/h3>\n

\nS de\u010dkima smo se jednostavno \u0161okirali kada smo shvatili da tre\u0107ina svih podataka nije samo da se nije snimala \u2014 ona se gubila! Ispostavilo se da je u kompaniji red bio takav: nakon umetanja podaci su se trajno brisali, doga\u0111aji su se gubili u paketima. Zamislio sam kako Sergej pretvara sve to u izgubljene ruble.<\/p>\n

Moj ro\u0111endan tako\u0111er je oti\u0161ao u sme\u0107e. Sjedili smo u baru i generirali ideje, poku\u0161avaju\u0107i rije\u0161iti postavljeni zagonet. Uzrok pada ClickHouse-a nije bio o\u010dit. Mo\u017eda je to mre\u017ea, mo\u017eda su u pitanju postavke Linuxa. Sve \u0161to se moglo pretpostaviti, izre\u010dene su brojne hipoteze.<\/p>\n

Nisam dao developersku zakletvu, ali bilo bi nepristojno napustiti de\u010dke na drugom kraju \u017eice \u2014 \u010dak i ako su nas za sve krivili. Bio sam 99% siguran da problem nije bio u na\u0161im rje\u0161enjima, nije na na\u0161oj strani. 1% \u0161anse da smo ipak pogrije\u0161ili palilo je tjeskobu. Ali bez obzira na to \u010dija je strana imala problem \u2014 to se moralo popraviti. Ostavljati klijente, ma kakvi bili, s takvom stra\u0161nom curenjem podataka \u2014 to je previ\u0161e okrutno.<\/p>\n

Radili smo do tri ujutro za stolom u restoranu. Dodavali smo doga\u0111aje, insert select \u2014 i krenuli popunjavati praznine. Kada izgubi\u0161 podatke, radi se ovako \u2014 uzme\u0161 prosje\u010dne podatke za prethodne dane i ubaci\u0161 ih u izgubljene.<\/p>\n

Nakon tri ujutro, ja i prijatelj oti\u0161li smo kod mene, naru\u010dili pivo iz prodavaonice. Sjedio sam s laptopom i problemima ClickHouse-a, prijatelj mi je ne\u0161to pri\u010dao. Na kraju, nakon sat vremena, uvrijedio se zbog toga \u0161to radim, a ne pijem pivo s njim, i oti\u0161ao. Klasi\u010dna situacija \u2014 bio sam prijatelj devopsa.<\/p>\n

Do 6 ujutro ponovno sam kreirao tablicu, a podaci su po\u010deli dolaziti. Sve je po\u010delo raditi bez gubitaka.<\/p>\n

<\/p>\n

Dalje je bilo te\u0161ko. Svi su se me\u0111usobno optu\u017eivali za gubitak podataka. Da se dogodila nova gre\u0161ka, siguran sam da bi po\u010dela me\u0111usobna prepucavanja.<\/h3>\n

\nU tim sukobima napokon smo po\u010deli shva\u0107ati - u kompaniji su mislili da smo mi ti tipovi koji rade s podacima i nadziru strukturu tablica. Pomije\u0161ali su administratore s DB administratorima. I do\u0161li su nas pitati, ne kako bi pitali administratore.<\/p>\n

Njihova glavna primjedba - kakva glupost, vi ste odgovarali za backupove i niste ih napravili kako treba, izgubili ste podatke. I sve to u uvredama.<\/p>\n

\u017delio sam pravdu. Iskopao sam prepisku i prilo\u017eio sve snimke ekrana gdje Leonid svim snagama zahtijeva da se napravi backup kakav je bio napravljen. Njihov CTO je stao na na\u0161u stranu nakon mog telefonskog poziva. Na kraju je i Lenja priznao svoju krivicu.<\/p>\n

Vo\u0111a kompanije s druge strane nije \u017eelio kriviti svoje. Snimke i rije\u010di na njega nisu djelovale. Smatrao je da, buduci da smo mi ovdje stru\u010dnjaci, trebali smo sve uvjeriti i ustanoviti svoje rje\u0161enje. O\u010digledno, u na\u0161oj zadatku bilo je podu\u010diti Lenju i izvan njega, odre\u0111enog vo\u0111u projekta, do\u0107i do glavnog i iznijeti mu sve na\u0161e sumnje u koncept backupova. <\/p>\n

Chat je isijavao mr\u017enju, skrivenu i otvorenu agresiju. Nisam znao \u0161to da radim. Sve je zapelo. I onda su mi savjetovali najjednostavniji na\u010din - napisati osobno vo\u0111i i dogovoriti se s njim za sastanak. Vasa, ljudi u \u017eivotu nisu tako drski kao u chatu. Na moju poruku \u0161ef je odgovorio: do\u0111i, nema problema.<\/p>\n

\nTo je bio najneugodniji sastanak u mojoj karijeri. Moj saveznik s klijenta - CTO - nije mogao prona\u0107i vrijeme. Na sastanak sam i\u0161ao \u0161efu i Ljoni.<\/p>\n

Iznova i iznova sam u glavi vrtio na\u0161 mogu\u0107i dijalog. Uspio sam do\u0107i zna\u010dajno unaprijed, pola sata prije. Po\u010dela je nervoza, popu\u0161io sam 10 cigareta. Shvatio sam, sve - ja sam, prokletstvo, sam. Ne\u0107u ih mo\u0107i uvjeriti. I zakora\u010dio sam u lift.<\/p>\n

Dok sam se penjao, toliko sam \u0161kripao upalja\u010dem da sam ga slomio.<\/p>\n

Na kraju na sastanku nije bilo Ljene. I mi smo savr\u0161eno razgovarali sa glavnim! Sergey mi je ispri\u010dao o svojoj boli. Nije htio \"automatizirati ClickHouse\" - \u017eelio je \"da upiti rade\".<\/p>\n

Nisam vidio kozu, ve\u0107 dobrog tipa koji brine o svom poslu, uronjenom u rad 24\/7. Chat \u010desto oslikava zlikovce, podla\u010dine i glupane. No u \u017eivotu su to isti ljudi kao i ti. <\/p>\n

Sergeju nije trebala samo dva devopsa na najam. Problem s kojim su se suo\u010dili bio je mnogo ve\u0107i. <\/p>\n

Rekao sam da mogu rije\u0161iti njihove probleme \u2014 jednostavno, to je potpuno druga\u010diji posao, a poznajem jednog DB stru\u010dnjaka za to. Da smo na po\u010detku znali da je to za njih, izbjegli bismo mnogo. Kasno, ali shvatili smo da je problem bio u lo\u0161em radu s podacima, a ne u infrastrukturi. <\/p>\n

\u010cvrsto smo se rukovali, naknada nam je pove\u0107ana dva i pol puta, ali pod uvjetom \u2014 uzimam sav posao s njihovim podacima i ClickHouse-om na sebe. U liftu sam se povezao s onim DB stru\u010dnjakom Maxom i uklju\u010dio ga u posao. Trebalo je preurediti cijeli klaster.<\/p>\n

\nBilo je puno sme\u0107a u prihva\u0107enom projektu. Po\u010dev\u0161i od spomenutog 'backup-a'. Ispostavilo se da taj 'backup' klaster nije bio izoliran. Na njemu su testirali sve mogu\u0107e stvari, \u010dak su ponekad pokretali u produkciji.<\/p>\n

Interni programeri su osmislili svoj prilago\u0111eni 'ubaciva\u010d' podataka. Radio je ovako: batch-ao je datoteke, pokretao skriptu i slijevao podatke u tablicu. No glavni problem bio je u tome \u0161to se ogroman broj podataka prikupljao za jedan jednostavan upit. Upit je spajao podatke po sekundama. Sve zbog jedne brojke \u2014 zbroj za dan.<\/p>\n

Interni programeri su pogre\u0161no koristili alat za analizu. Odnosili su se u Grafanu, pisali svoj luksuzni upit. Isporu\u010dio bi podatke za 2 tjedna. Dobivao se lijep grafikon. No u stvarnosti, upit podataka bio je svake 10 sekundi. Sve se to gomilalo u redu, budu\u0107i da ClickHouse jednostavno nije mogao obraditi podatke. Tu je bila i glavna razlog. U Grafani ni\u0161ta nije radilo, upiti su stajali u redu, stalno su stizali stari, neaktualni podaci.<\/p>\n

Prekonfigurirali smo klaster, prepravili uplatu. Interni programeri su prepisali svoj 'ubaciva\u010d', i on je po\u010deo pravilno shardirati podatke.<\/p>\n

Max je proveo punu reviziju infrastrukture. Izradio je plan prijelaza na cjeloviti backend. No to nije zadovoljilo tvrtku. O\u010dekivali su od Maxa neki magi\u010dni recept koji \u0107e omogu\u0107iti da rade po starom, ali efikasno. Projekt je i dalje vodio Leonja, koji nije nau\u010dio ni\u0161ta. Od svega \u0161to je ponu\u0111eno ponovo je izabrao svoju alternativu. Kao i uvijek, to je bila najizvrsnija... hrabra odluka. Leonja je smatrao da njegova tvrtka ima poseban put. Trnovit i pun sante leda.<\/p>\n

U biti, tu smo se i rastali \u2014 u\u010dinili smo \u0161to smo mogli.<\/p>\n

\nSa iskustvima koja smo stekli, otvorili smo vlastiti posao i formirali nekoliko principa. Danas nikada ne zapo\u010dinjemo rad kao nekada.<\/p>\n

Dibiay\u0161\u010di\u0107 Max nakon ovog projekta pridru\u017eio se nama, i jo\u0161 uvijek odli\u010dno radimo zajedno. Slu\u010daj s Clickhouseom nau\u010dio nas je kako provesti temeljitu reviziju infrastrukture prije nego \u0161to po\u010dnemo raditi. Uzimamo si vremena da razumijemo kako sve funkcionira, a tek onda prihva\u0107amo zadatke. I da smo ranije odmah krenuli odr\u017eavati infrastrukturu, sada prvo radimo jednorazni projekt koji nam poma\u017ee da shvatimo kako je dovesti u radno stanje. <\/p>\n

Da, izbjegavamo projekte s lo\u0161om infrastrukturom. \u010cak i za velike novce, \u010dak i iz prijateljskih razloga. Odr\u017eavanje problemati\u010dnih projekata nije isplativo. Svijest o tome pomogla nam je da napredujemo. Ili jednorazni projekt za dovo\u0111enje infrastrukture u red, a zatim ugovor o odr\u017eavanju, ili jednostavno prolazimo dalje. Prolazimo pored jo\u0161 jednog iceberg-a.<\/p>\n

P.S. Ako imate pitanja o va\u0161oj infrastrukturi, slobodno po\u0161aljite zahtjev<\/b><\/a><\/noindex>.<\/p>\n

Imamo 2 besplatna audita mjese\u010dno, mo\u017eda \u0107e va\u0161 projekt biti me\u0111u njima.<\/i>
\n
Izvor: habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"

\u0412\u043e\u0442 \u0438\u0441\u0442\u043e\u0440\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043d\u0430\u0432\u0441\u0435\u0433\u0434\u0430 \u043f\u0435\u0440\u0435\u0432\u0435\u0440\u043d\u0443\u043b\u0430 \u043c\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u043a \u0440\u0430\u0431\u043e\u0442\u0435 \u0434\u0435\u0432\u043e\u043f\u0441\u0430. \u0415\u0449\u0435 \u0432 \u0434\u043e\u043a\u043e\u0432\u0438\u0434\u043d\u044b\u0435 \u0432\u0440\u0435\u043c\u0435\u043d\u0430, \u0437\u0430\u0434\u043e\u043b\u0433\u043e-\u0437\u0430\u0434\u043e\u043b\u0433\u043e \u0434\u043e \u043d\u0438\u0445, \u043a\u043e\u0433\u0434\u0430 \u043c\u044b \u0441 \u043f\u0430\u0440\u043d\u044f\u043c\u0438 \u0442\u043e\u043b\u044c\u043a\u043e \u0437\u0430\u0434\u0443\u043c\u044b\u0432\u0430\u043b\u0438 \u0441\u0432\u043e\u0435 \u0434\u0435\u043b\u043e \u0438 \u0444\u0440\u0438\u043b\u0430\u043d\u0441\u0438\u043b\u0438 \u043d\u0430 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u0437\u0430\u043a\u0430\u0437\u0430\u0445, \u043c\u043d\u0435 \u0432 \u0442\u0435\u043b\u0435\u0433\u0443 \u0443\u043f\u0430\u043b\u043e \u043e\u0434\u043d\u043e \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0435. \u041a\u043e\u043c\u043f\u0430\u043d\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043d\u0430\u043f\u0438\u0441\u0430\u043b\u0430, \u0437\u0430\u043d\u0438\u043c\u0430\u043b\u0430\u0441\u044c \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u043a\u043e\u0439 \u0434\u0430\u043d\u043d\u044b\u0445. \u0415\u0436\u0435\u0434\u043d\u0435\u0432\u043d\u043e \u043e\u043d\u0430 \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u043b\u0430 \u0442\u044b\u0441\u044f\u0447\u0438 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432. \u041a \u043d\u0430\u043c \u043e\u043d\u0438 \u043f\u0440\u0438\u0448\u043b\u0438 \u0441\u043e \u0441\u043b\u043e\u0432\u0430\u043c\u0438: \u0440\u0435\u0431\u044f\u0442, \u0443 […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":96000,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-95999","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd47Dok su svi slavili moj ro\u0111endan, ja sam do jutra popravljao klaster \u2014 a developeri su mi slali svoje gre\u0161ke | ProHoster","description":"","canonical_url":"https:\/\/prohoster.info\/hr\/blog\/administrirovanie\/poka-vse-prazdnovali-moj-den-rozhdeniya-ya-do-utra-chinil-klaster-a-razraby-valili-na-menya-svoi-oshibki","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"hr_HR","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041f\u043e\u043a\u0430 \u0432\u0441\u0435 \u043f\u0440\u0430\u0437\u0434\u043d\u043e\u0432\u0430\u043b\u0438 \u043c\u043e\u0439 \u0434\u0435\u043d\u044c \u0440\u043e\u0436\u0434\u0435\u043d\u0438\u044f, \u044f \u0434\u043e \u0443\u0442\u0440\u0430 \u0447\u0438\u043d\u0438\u043b \u043a\u043b\u0430\u0441\u0442\u0435\u0440 \u2014 \u0430 \u0440\u0430\u0437\u0440\u0430\u0431\u044b \u0432\u0430\u043b\u0438\u043b\u0438 \u043d\u0430 \u043c\u0435\u043d\u044f \u0441\u0432\u043e\u0438 \u043e\u0448\u0438\u0431\u043a\u0438 | ProHoster","og:url":"https:\/\/prohoster.info\/hr\/blog\/administrirovanie\/poka-vse-prazdnovali-moj-den-rozhdeniya-ya-do-utra-chinil-klaster-a-razraby-valili-na-menya-svoi-oshibki","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2020-10-06T11:41:58+00:00","article:modified_time":"2020-10-06T11:41:58+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"95999","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":null,"breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 10:53:26","updated":"2022-10-01 11:21:07","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/hr\/wp-json\/wp\/v2\/posts\/95999","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/hr\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/hr\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/hr\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/hr\/wp-json\/wp\/v2\/comments?post=95999"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/hr\/wp-json\/wp\/v2\/posts\/95999\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/hr\/wp-json\/wp\/v2\/media\/96000"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/hr\/wp-json\/wp\/v2\/media?parent=95999"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/hr\/wp-json\/wp\/v2\/categories?post=95999"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/hr\/wp-json\/wp\/v2\/tags?post=95999"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}