{"id":95999,"date":"2020-10-06T13:41:58","date_gmt":"2020-10-06T11:41:58","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/poka-vse-prazdnovali-moj-den-rozhdeniya-ya-do-utra-chinil-klaster-a-razraby-valili-na-menya-svoi-oshibki"},"modified":"2020-10-06T13:41:58","modified_gmt":"2020-10-06T11:41:58","slug":"poka-vse-prazdnovali-moj-den-rozhdeniya-ya-do-utra-chinil-klaster-a-razraby-valili-na-menya-svoi-oshibki","status":"publish","type":"post","link":"https:\/\/prohoster.info\/it\/blog\/administrirovanie\/poka-vse-prazdnovali-moj-den-rozhdeniya-ya-do-utra-chinil-klaster-a-razraby-valili-na-menya-svoi-oshibki","title":{"rendered":"Mentre tutti festeggiavano il mio compleanno, io ho riparato il cluster fino al mattino \u2014 e gli sviluppatori hanno riversato su di me i loro errori.","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"Mentre
\n
\nQuesta \u00e8 la storia che ha cambiato per sempre il mio approccio al lavoro di DevOps. Ancora nei tempi pre-COVID, molto prima di tutto questo, quando io e i ragazzi stavamo appena iniziando la nostra attivit\u00e0 e lavoravamo come freelance su progetti casuali, mi \u00e8 arrivata una proposta su Telegram. <\/p>\n

L'azienda che ce l'ha inviata si occupava di analisi dei dati. Loro elaboravano ogni giorno migliaia di richieste. Ci hanno contattato dicendo: ragazzi, abbiamo ClickHouse e vogliamo automatizzare la sua configurazione e installazione. Vogliamo Ansible, Terraform, Docker e che tutto questo sia ospitato su Git. Vogliamo un cluster di quattro nodi con due repliche in ciascuno. <\/p>\n

Una richiesta standard, di quelle che se ne vedono a decine, e serve una soluzione standard altrettanto valida. Abbiamo detto 'ok' e dopo 2-3 settimane tutto era pronto. Hanno approvato il lavoro e hanno iniziato a migrare sul nuovo cluster di ClickHouse con il nostro strumento.
\n<\/a><\/noindex>
\nNessuno di loro voleva e sapeva come gestire ClickHouse. All'epoca pensavamo che questo fosse il loro problema principale, e quindi il CTO dell\u2019azienda ha dato il via libera al mio team per automatizzare il pi\u00f9 possibile il lavoro, in modo da non doverci pi\u00f9 mettere le mani.<\/p>\n

Abbiamo assistito nel trasferimento e sono emerse altre necessit\u00e0: impostare backup e monitoraggio. In quel momento, il CTO di questa azienda ha lasciato per un altro progetto, affidandoci come comandante uno dei suoi \u2014 Leonid. Leonid non era un ragazzo particolarmente brillante. Un semplice sviluppatore a cui era stata improvvisamente assegnata la responsabilit\u00e0 di ClickHouse. Sembra che questo fosse il suo primo incarico di guida e, davanti a tale onore, gli \u00e8 venuta la sindrome da star. <\/p>\n

Insieme ci siamo messi a lavorare sui backup. Ho suggerito di eseguire immediatamente il backup dei dati di origine. Semplicemente prendere, comprimere e caricare elegantemente su qualche S3. I dati di origine sono oro. C\u2019era anche un\u2019altra opzione: eseguire il backup delle tabelle in ClickHouse, utilizzando il freeze e la copia. Ma Leonid ha concepito la sua soluzione.<\/p>\n

Ha dichiarato che avevamo bisogno di un secondo cluster di ClickHouse. E d\u2019ora in poi scriveremo i dati su due cluster: quello principale e quello di backup. Gli ho detto, Leonid, questo non sar\u00e0 un backup \u2014 ma una replica attiva. E se i dati cominciano a andare persi in produzione, anche nel tuo backup succeder\u00e0 la stessa cosa. <\/p>\n

Ma Leonid si \u00e8 aggrappato saldamente al volante e ha rifiutato di ascoltare le mie argomentazioni. Abbiamo a lungo litigato in chat, ma non c'era nulla da fare: Leonid gestiva il progetto e noi eravamo solo dei ragazzi assunti dalla strada.<\/p>\n

Noi monitoravamo lo stato del cluster e addebitavamo solo il lavoro degli amministratori. Solo amministrazione di ClickHouse senza intrometterci nei dati. Il cluster era accessibile, i dischi erano in ordine, i nodi andavano bene. <\/p>\n

Non sospettavamo ancora di aver ricevuto questo incarico a causa di un terribile malinteso all'interno del loro team.<\/h3>\n

\nIl responsabile era insoddisfatto del fatto che ClickHouse funzionasse lentamente e che a volte i dati andassero persi. Ha assegnato al suo CTO il compito di risolvere la questione. Quest'ultimo ha fatto del suo meglio e ha concluso che dovevano semplicemente automatizzare ClickHouse \u2014 e tutto sarebbe andato bene. Ma come si scopr\u00ec poco dopo \u2014 avevano bisogno di tutt'altro che di un team DevOps.<\/p>\n

Tutto questo \u00e8 emerso in modo molto, molto doloroso. E la cosa pi\u00f9 frustrante \u00e8 che \u00e8 successo nel giorno del mio compleanno.<\/p>\n

\nVenerd\u00ec sera. Ho prenotato un tavolo nel mio bar di vini preferito e ho chiamato gli amici. <\/p>\n

Pochi minuti prima della scadenza, ci \u00e8 arrivata la richiesta di creare un'alternativa, l'abbiamo fatta, tutto ok. L'alternativa \u00e8 passata, ClickHouse ha confermato. Eravamo gi\u00e0 pronti per andare al bar e ci scrivono che mancano dei dati. Abbiamo controllato: sembrava ci fosse tutto. E siamo andati a festeggiare.<\/p>\n

Al ristorante c'era un gran rumore, tipico del venerd\u00ec. Dopo aver ordinato da bere e da mangiare, ci siamo buttati sui divani. Per tutto il tempo, il mio Slack veniva inondato di messaggi. Scrivevano qualcosa sulla mancanza di dati. Ho pensato che 'domani \u00e8 un altro giorno'. Specialmente oggi.<\/p>\n

Verso le undici hanno iniziato a telefonare. Era il direttore dell'azienda... 'Probabilmente vuole congratularsi con me', ho pensato con poca certezza, rispondendo al telefono.<\/p>\n

E ho sentito qualcosa del tipo: 'Avete perso i nostri dati! Vi pago, ma non funziona nulla! Eravate responsabili dei backup e non avete fatto niente! Dovete sistemare tutto!' \u2014 solo in modo ancora pi\u00f9 brusco.<\/p>\n

\u2014 Sai che ti dico, vai a quel paese! Oggi \u00e8 il mio compleanno e ora berr\u00f2, non mi occupo delle vostre creazioni dilettantesche di cartone!<\/p>\n

Non ho detto cos\u00ec. Invece, ho preso il laptop e sono tornato al lavoro.<\/p>\n

No, ho bombardato, ho bombardato tantissimo! Ho riempito la chat di pungenti \"te l'avevo detto\" \u2014 perch\u00e9 il backup, che non era affatto un backup, ovviamente non ha salvato nulla. <\/p>\n

Con i ragazzi abbiamo trovato il modo di fermare manualmente la registrazione e controllare tutto. Ci siamo veramente accertati che parte dei dati non venisse registrata.<\/p>\n

Abbiamo fermato la registrazione, conteggiato il numero di eventi che erano l\u00ec per un giorno. Abbiamo aggiunto altri dati, di cui solo un terzo non \u00e8 stato registrato. Tre shard con 2 repliche. Inserendo 100.000 righe \u2014 33.000 non vengono registrate.<\/p>\n

C'era una completa confusione. Tutti si mandavano a quel paese a turno: il primo ad andarci \u00e8 stato Lenya, seguito da me e dal fondatore dell'azienda. Solo il nuovo CTO cercava di farci allontanare dalle chiamate con urla e di risolvere il problema. <\/p>\n

Cosa stesse succedendo realmente \u2014 nessuno lo capiva.<\/h3>\n

\nIo e i ragazzi siamo rimasti senza parole quando abbiamo capito che un terzo di tutti i dati non solo non veniva registrato \u2014 andava perso! Si \u00e8 scoperto che l'ordine in azienda era tale: dopo l'inserimento, i dati venivano cancellati senza possibilit\u00e0 di recupero, e gli eventi si perdevano a grappoli. Ho immaginato come Sergey trasforma tutto questo in rubli non guadagnati.<\/p>\n

Anche il mio compleanno \u00e8 stato spedito nella spazzatura. Eravamo seduti al bar a generare idee, cercando di risolvere un rebus lanciato. La causa della caduta di ClickHouse non era ovvia. Forse era la rete, forse le impostazioni di Linux. Qualsiasi cosa, le ipotesi erano state piuttosto numerose.<\/p>\n

Non avevo prestato giuramento come sviluppatore, ma abbandonare i ragazzi dall'altra parte del filo era scorretto, anche se ci incolpavano di tutto. Ero sicuro al 99% che il problema non fosse nelle nostre soluzioni, ma dalla nostra parte. L'1% di possibilit\u00e0 che avessimo effettivamente sbagliato mi divorava d'ansia. Ma indipendentemente da dove si trovasse il guaio, dovevamo risolverlo. Lasciare i clienti, qualunque fossero, con una cos\u00ec grave perdita di dati era troppo crudele.<\/p>\n

Fino alle tre del mattino abbiamo lavorato al tavolino del ristorante. Aggiungevamo eventi, insert select \u2013 e via a riempire i vuoti. Quando perdi i dati, si agisce cos\u00ec: prendi i dati medi dei giorni precedenti e li inserisci nei dati persi.<\/p>\n

Dopo le tre del mattino, io e un amico siamo andati da me, abbiamo ordinato una birra dal negozio di alcolici. Io ero seduto con il laptop e i problemi di ClickHouse, mentre l'amico mi raccontava qualcosa. Alla fine, dopo un'ora, si \u00e8 offeso perch\u00e9 stavo lavorando e non bevevo birra con lui, e se n'\u00e8 andato. Classico: essere l'amico del DevOps.<\/p>\n

Entro le 6 del mattino avevo ricreato la tabella da zero e i dati hanno iniziato a fluire. Tutto ha funzionato senza perdite.<\/p>\n

<\/p>\n

Poi \u00e8 stato difficile. Tutti si accusavano a vicenda per la perdita di dati. Se fosse successo un nuovo bug, sono sicuro che sarebbe iniziata una sparatoria.<\/h3>\n

\nIn queste discussioni abbiamo finalmente cominciato a capire: in azienda pensavano che fossimo quelli che lavoravano con i dati e si occupavano della struttura delle tabelle. Hanno scambiato gli amministratori con i DBA. E sono venuti a chiederci cose senza trattarci come amministratori.<\/p>\n

La loro principale accusa era: che diavolo, voi eravate responsabili dei backup e non li avete fatti correttamente, avete perso i dati. E tutto questo con insulti a non finire.<\/p>\n

Volevo giustizia. Ho ritrovato la corrispondenza e ho allegato screenshot dove Leonid ci spinge a fare il backup in modo corretto, come era stato fatto. Il loro CTO si \u00e8 schierato dalla nostra parte dopo la mia telefonata. Anche Leonid ha poi riconosciuto il suo errore.<\/p>\n

Il capo dell'azienda, al contrario, non voleva incolpare i suoi. Schermate e parole non avevano effetto su di lui. Credeva che, dato che eravamo esperti, dovessimo convincere tutti e insistere sulla nostra decisione. A quanto pare, il nostro compito era insegnare a Lenya e, in pi\u00f9, bypassarlo, dato che era stato designato come responsabile del progetto, per arrivare al principale e fargli personalmente sapere tutti i nostri dubbi sulla concezione dei backup. <\/p>\n

Il chat si permeava di odio, aggressivit\u00e0 nascosta e palese. Non sapevo come comportarmi. Eravamo arrivati a un punto morto. E qui mi \u00e8 stato consigliato il modo pi\u00f9 semplice: scrivere in privato al responsabile e organizzare un incontro con lui. Vasya, le persone nella vita reale non sono cos\u00ec sfacciate come in chat. Il mio messaggio ha ricevuto una risposta dal capo: vieni, nessun problema.<\/p>\n

\n\u00c8 stato l'incontro pi\u00f9 scomodo della mia carriera. Il mio alleato dal cliente \u2014 il CTO \u2014 non \u00e8 riuscito a trovare tempo. Stavo andando all'incontro con il capo e Lenya.<\/p>\n

Ripetevo nella mia testa il possibile dialogo pi\u00f9 e pi\u00f9 volte. Riuscii ad arrivare con largo anticipo, mezz'ora prima. \u00c8 iniziata l'ansia, ho fumato 10 sigarette. Capivo, tutto \u2014 ero, cazzo, solo. Non sarei riuscito a convincerli. E ho fatto un passo nell'ascensore.<\/p>\n

Mentre saliva, grattando con l'accendino, l'ho rotto.<\/p>\n

Alla fine, Leon non era presente all'incontro. E abbiamo parlato alla grande di tutto con il principale! Sergey mi ha raccontato del suo problema. Non voleva \"automatizzare ClickHouse\" \u2014 voleva che le query funzionassero.<\/p>\n

Non ho visto un capro espiatorio, ma un bravo ragazzo che si preoccupa per la sua attivit\u00e0, immerso nel lavoro 24\/7. Spesso le chat ci dipingono dei villain, dei cattivi e degli scemi. Ma nella vita sono persone come te. <\/p>\n

Sergey non aveva bisogno di un paio di devops a noleggio. Il problema che avevano si \u00e8 rivelato molto pi\u00f9 grande. <\/p>\n

Ho detto che potevo risolvere i suoi problemi, ma era un lavoro completamente diverso e avevo un DBA di fiducia per quello. Se solo avessimo saputo inizialmente che questo affare era per loro, avremmo evitato molte cose. \u00c8 tardi, ma abbiamo capito che il problema era nella scarsa gestione dei dati, non nell'infrastruttura. <\/p>\n

Ci siamo stretti la mano, la nostra tariffa \u00e8 stata aumentata di due volte e mezzo, ma con la condizione che io mi occupi assolutamente di tutto il loro lavoro con i dati e ClickHouse. In ascensore ho contattato quel DBA, Max, e l'ho coinvolto nel lavoro. Dovevamo ristrutturare completamente il cluster.<\/p>\n

\nC'erano un sacco di problemi nel progetto accettato, a partire dal menzionato \"backup\". Si \u00e8 scoperto che quel \"cluster di backup\" non era isolato. Era usato per testare di tutto, a volte addirittura in produzione.<\/p>\n

Gli sviluppatori interni hanno creato il loro \"inseritore\" di dati personalizzato. Funzionava cos\u00ec: raggruppava i file, eseguiva uno script e univa i dati in una tabella. Ma il problema principale era che una quantit\u00e0 enorme di dati veniva elaborata per una semplice richiesta. La richiesta univa i dati per ogni secondo. Tutto per ottenere un numero \u2014 il totale della giornata.<\/p>\n

Gli sviluppatori interni hanno utilizzato in modo errato lo strumento di analisi. Andavano in Grafana, scrivevano la loro complessa query. Questa estraeva dati per due settimane. Ne risultava un grafico bellissimo. Ma in realt\u00e0, la richiesta di dati veniva inviata ogni 10 secondi. Tutto questo si accumulava in coda, poich\u00e9 ClickHouse semplicemente non riusciva a gestire l'elaborazione. Qui si nascondeva la ragione principale. In Grafana, nulla funzionava, le richieste erano in coda e arrivavano costantemente dati obsoleti.<\/p>\n

Abbiamo riconfigurato il cluster e riadattato l'inserimento. Gli sviluppatori interni hanno riscritto il loro \"inseritore\" e ora riesce a shardare i dati correttamente.<\/p>\n

Max ha condotto un'analisi completa dell'infrastruttura. Ha delineato un piano per la transizione a un backend completo. Ma questo non \u00e8 stato soddisfacente per l'azienda. Aspettavano da Max un segreto magico che permettesse di lavorare come prima, ma in modo efficace. Il progetto era sempre sotto la supervisione di Leon, che non aveva imparato nulla. Tra tutte le opzioni proposte, ha scelto di nuovo la sua alternativa. Come sempre, \u00e8 stata la scelta pi\u00f9 audace... La soluzione pi\u00f9 audace. Leon credeva che la sua azienda seguisse un percorso speciale. Difficile e pieno di iceberg.<\/p>\n

In fondo, \u00e8 cos\u00ec che ci siamo salutati \u2014 abbiamo fatto ci\u00f2 che potevamo.<\/p>\n

\nCon le esperienze accumulate e arricchiti da questa storia, abbiamo aperto la nostra attivit\u00e0 e stabilito per noi alcuni principi. Ora non iniziamo mai pi\u00f9 un lavoro come allora.<\/p>\n

Dibi\u00e8yschik Max si \u00e8 unito a noi dopo questo progetto, e lavoriamo ancora bene insieme. Il caso con ClickHouse ci ha insegnato a condurre un audit completo e approfondito dell'infrastruttura prima di iniziare il lavoro. Ci immergiamo nel funzionamento di tutto e solo dopo accettiamo i compiti. E se prima ci eravamo precipitati a gestire l'infrastruttura, ora facciamo prima un progetto sporadico che aiuta a capire come portarla in uno stato operativo. <\/p>\n

E s\u00ec, evitiamo progetti con infrastrutture scadenti. Anche se offrono grandi somme, anche se per amicizia. Gestire progetti malati non \u00e8 redditizio. La consapevolezza di questo ci ha aiutato a crescere. O un progetto sporadico per sistemare l'infrastruttura, seguito da un contratto di assistenza, oppure semplicemente lo ignoriamo. Ignoriamo un altro iceberg.<\/p>\n

P.S. Quindi, se avete domande sulla vostra infrastruttura, non esitate a lasciare una richiesta<\/b><\/a><\/noindex>.<\/p>\n

Abbiamo 2 audit gratuiti al mese, e forse il vostro progetto sar\u00e0 tra quelli.<\/i>
\n
Fonte: habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"

\u0412\u043e\u0442 \u0438\u0441\u0442\u043e\u0440\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043d\u0430\u0432\u0441\u0435\u0433\u0434\u0430 \u043f\u0435\u0440\u0435\u0432\u0435\u0440\u043d\u0443\u043b\u0430 \u043c\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u043a \u0440\u0430\u0431\u043e\u0442\u0435 \u0434\u0435\u0432\u043e\u043f\u0441\u0430. \u0415\u0449\u0435 \u0432 \u0434\u043e\u043a\u043e\u0432\u0438\u0434\u043d\u044b\u0435 \u0432\u0440\u0435\u043c\u0435\u043d\u0430, \u0437\u0430\u0434\u043e\u043b\u0433\u043e-\u0437\u0430\u0434\u043e\u043b\u0433\u043e \u0434\u043e \u043d\u0438\u0445, \u043a\u043e\u0433\u0434\u0430 \u043c\u044b \u0441 \u043f\u0430\u0440\u043d\u044f\u043c\u0438 \u0442\u043e\u043b\u044c\u043a\u043e \u0437\u0430\u0434\u0443\u043c\u044b\u0432\u0430\u043b\u0438 \u0441\u0432\u043e\u0435 \u0434\u0435\u043b\u043e \u0438 \u0444\u0440\u0438\u043b\u0430\u043d\u0441\u0438\u043b\u0438 \u043d\u0430 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u0437\u0430\u043a\u0430\u0437\u0430\u0445, \u043c\u043d\u0435 \u0432 \u0442\u0435\u043b\u0435\u0433\u0443 \u0443\u043f\u0430\u043b\u043e \u043e\u0434\u043d\u043e \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0435. \u041a\u043e\u043c\u043f\u0430\u043d\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043d\u0430\u043f\u0438\u0441\u0430\u043b\u0430, \u0437\u0430\u043d\u0438\u043c\u0430\u043b\u0430\u0441\u044c \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u043a\u043e\u0439 \u0434\u0430\u043d\u043d\u044b\u0445. \u0415\u0436\u0435\u0434\u043d\u0435\u0432\u043d\u043e \u043e\u043d\u0430 \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u043b\u0430 \u0442\u044b\u0441\u044f\u0447\u0438 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432. \u041a \u043d\u0430\u043c \u043e\u043d\u0438 \u043f\u0440\u0438\u0448\u043b\u0438 \u0441\u043e \u0441\u043b\u043e\u0432\u0430\u043c\u0438: \u0440\u0435\u0431\u044f\u0442, \u0443 […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":96000,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-95999","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd47Mentre tutti festeggiavano il mio compleanno, io stavo riparando il cluster fino all'alba \u2014 e gli sviluppatori scaricavano su di me i loro errori | ProHoster","description":"Ecco una storia che ha cambiato per sempre il mio approccio al lavoro nel DevOps. Ancora nei tempi pre-Covid, molto tempo prima, quando io e i ragazzi stavamo appena pensando alla nostra attivit\u00e0 e lavoravamo come freelance su incarichi casuali, ricevetti un messaggio su Telegram. L'azienda che lo scrisse si occupava di analisi dei dati. Ogni giorno elaborava migliaia di richieste. Si presentarono dicendo: ragazzi, noi","canonical_url":"https:\/\/prohoster.info\/it\/blog\/administrirovanie\/poka-vse-prazdnovali-moj-den-rozhdeniya-ya-do-utra-chinil-klaster-a-razraby-valili-na-menya-svoi-oshibki","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"it_IT","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041f\u043e\u043a\u0430 \u0432\u0441\u0435 \u043f\u0440\u0430\u0437\u0434\u043d\u043e\u0432\u0430\u043b\u0438 \u043c\u043e\u0439 \u0434\u0435\u043d\u044c \u0440\u043e\u0436\u0434\u0435\u043d\u0438\u044f, \u044f \u0434\u043e \u0443\u0442\u0440\u0430 \u0447\u0438\u043d\u0438\u043b \u043a\u043b\u0430\u0441\u0442\u0435\u0440 \u2014 \u0430 \u0440\u0430\u0437\u0440\u0430\u0431\u044b \u0432\u0430\u043b\u0438\u043b\u0438 \u043d\u0430 \u043c\u0435\u043d\u044f \u0441\u0432\u043e\u0438 \u043e\u0448\u0438\u0431\u043a\u0438 | ProHoster","og:description":"\u0412\u043e\u0442 \u0438\u0441\u0442\u043e\u0440\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043d\u0430\u0432\u0441\u0435\u0433\u0434\u0430 \u043f\u0435\u0440\u0435\u0432\u0435\u0440\u043d\u0443\u043b\u0430 \u043c\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u043a \u0440\u0430\u0431\u043e\u0442\u0435 \u0434\u0435\u0432\u043e\u043f\u0441\u0430. \u0415\u0449\u0435 \u0432 \u0434\u043e\u043a\u043e\u0432\u0438\u0434\u043d\u044b\u0435 \u0432\u0440\u0435\u043c\u0435\u043d\u0430, \u0437\u0430\u0434\u043e\u043b\u0433\u043e-\u0437\u0430\u0434\u043e\u043b\u0433\u043e \u0434\u043e \u043d\u0438\u0445, \u043a\u043e\u0433\u0434\u0430 \u043c\u044b \u0441 \u043f\u0430\u0440\u043d\u044f\u043c\u0438 \u0442\u043e\u043b\u044c\u043a\u043e \u0437\u0430\u0434\u0443\u043c\u044b\u0432\u0430\u043b\u0438 \u0441\u0432\u043e\u0435 \u0434\u0435\u043b\u043e \u0438 \u0444\u0440\u0438\u043b\u0430\u043d\u0441\u0438\u043b\u0438 \u043d\u0430 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u0437\u0430\u043a\u0430\u0437\u0430\u0445, \u043c\u043d\u0435 \u0432 \u0442\u0435\u043b\u0435\u0433\u0443 \u0443\u043f\u0430\u043b\u043e \u043e\u0434\u043d\u043e \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0435. \u041a\u043e\u043c\u043f\u0430\u043d\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043d\u0430\u043f\u0438\u0441\u0430\u043b\u0430, \u0437\u0430\u043d\u0438\u043c\u0430\u043b\u0430\u0441\u044c \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u043a\u043e\u0439 \u0434\u0430\u043d\u043d\u044b\u0445. \u0415\u0436\u0435\u0434\u043d\u0435\u0432\u043d\u043e \u043e\u043d\u0430 \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u043b\u0430 \u0442\u044b\u0441\u044f\u0447\u0438 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432. \u041a \u043d\u0430\u043c \u043e\u043d\u0438 \u043f\u0440\u0438\u0448\u043b\u0438 \u0441\u043e \u0441\u043b\u043e\u0432\u0430\u043c\u0438: \u0440\u0435\u0431\u044f\u0442, \u0443","og:url":"https:\/\/prohoster.info\/it\/blog\/administrirovanie\/poka-vse-prazdnovali-moj-den-rozhdeniya-ya-do-utra-chinil-klaster-a-razraby-valili-na-menya-svoi-oshibki","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2020-10-06T11:41:58+00:00","article:modified_time":"2020-10-06T11:41:58+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"95999","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":null,"breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 10:53:26","updated":"2022-10-01 11:21:07"},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/posts\/95999","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/comments?post=95999"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/posts\/95999\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/media\/96000"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/media?parent=95999"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/categories?post=95999"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/tags?post=95999"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}