{"id":95999,"date":"2020-10-06T13:41:58","date_gmt":"2020-10-06T11:41:58","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/poka-vse-prazdnovali-moj-den-rozhdeniya-ya-do-utra-chinil-klaster-a-razraby-valili-na-menya-svoi-oshibki"},"modified":"2020-10-06T13:41:58","modified_gmt":"2020-10-06T11:41:58","slug":"poka-vse-prazdnovali-moj-den-rozhdeniya-ya-do-utra-chinil-klaster-a-razraby-valili-na-menya-svoi-oshibki","status":"publish","type":"post","link":"https:\/\/prohoster.info\/it\/blog\/administrirovanie\/poka-vse-prazdnovali-moj-den-rozhdeniya-ya-do-utra-chinil-klaster-a-razraby-valili-na-menya-svoi-oshibki","title":{"rendered":"Mentre tutti festeggiavano il mio compleanno, io ho riparato il cluster fino all'alba \u2014 e gli sviluppatori mi hanno riversato addosso i loro errori","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"<p><img decoding=\"async\" alt=\"Mentre tutti festeggiavano il mio compleanno, io ho riparato il cluster fino all&#039;alba \u2014 e gli sviluppatori mi hanno riversato addosso i loro errori\" src=\"\/wp-content\/uploads\/2020\/10\/f67882cb5b565cb2efef20f68bbef1d5.jpeg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nEcco una storia che ha cambiato per sempre il mio approccio al lavoro DevOps. Anche prima del Covid, molto tempo fa, quando io e i ragazzi stavamo solo pensando alla nostra attivit\u00e0 e lavorando come freelance su incarichi casuali, mi \u00e8 arrivata una proposta su Telegram. <\/p>\n<p>L'azienda che ha scritto si occupava di analisi dei dati. Ogni giorno elaborava migliaia di richieste. Sono venuti da noi dicendo: ragazzi, abbiamo ClickHouse e vogliamo automatizzarne la configurazione e l'installazione. Vogliamo Ansible, Terraform, Docker e che tutto questo venga archiviato in Git. Vogliamo un cluster di quattro nodi con due repliche in ciascuno. <\/p>\n<p>Richiesta standard, ce ne sono decine, e serve una soluzione standard ugualmente valida. Abbiamo detto 'ok', e dopo 2-3 settimane tutto era pronto. Hanno accettato il lavoro e hanno iniziato a migrare verso il nuovo cluster di ClickHouse con il nostro strumento. <br \/>\n<noindex><a rel=\"nofollow\" name=\"habracut\"><\/a><\/noindex><br \/>\nNessuno di loro voleva e sapeva occuparsi di ClickHouse. All'epoca pensavamo che fosse questo il loro problema principale, quindi il CTO dell'azienda ha semplicemente dato il via libera alla mia squadra per automatizzare il lavoro il pi\u00f9 possibile, in modo da non doverci pi\u00f9 mettere le mani.<\/p>\n<p>Abbiamo seguito la migrazione, si sono presentate altre sfide: configurare backup e monitoraggio. In quel momento, il CTO di quella azienda \u00e8 passato a un altro progetto, lasciandoci come comandante uno dei suoi: Leonid. Le\u00f2nid non era proprio un ragazzo dotato. Un semplice sviluppatore a cui era stato improvvisamente dato il comando su ClickHouse. Sembrava che fosse il suo primo incarico di gestione, e l'onore che ne era derivato gli aveva dato una malattia da celebrit\u00e0. <\/p>\n<p>Insieme ci siamo messi al lavoro sui backup. Ho proposto di eseguire il backup dei dati di origine immediatamente. Prenderli, zipparli ed elegantemente archiviarli in qualche S3. I dati di origine sono oro. C'era anche un'altra opzione: eseguire il backup delle stesse tabelle in ClickHouse, tramite freeze e copia. Ma Le\u00f2nid ha inventato la sua soluzione.<\/p>\n<p>Ha annunciato che avevamo bisogno di un secondo cluster di ClickHouse. E d'ora in poi scriveremo i dati su due cluster: quello principale e quello di backup. Gli ho detto che, Le\u00f2nid, non si tratter\u00e0 di un backup, ma di una replica attiva. E se i dati iniziano a perdersi in produzione, ci\u00f2 che avrai nel tuo backup sar\u00e0 lo stesso. <\/p>\n<p>Ma Le\u00f2nid si \u00e8 aggrappato saldamente al timone e ha rifiutato di ascoltare i miei argomenti. Abbiamo discusso a lungo nella chat, ma non c'era nulla da fare: Le\u00f2nid stava conducendo il progetto, noi eravamo solo ragazzi assunti dalla strada.<\/p>\n<p>Abbiamo monitorato lo stato del cluster e abbiamo addebitato solo il lavoro degli amministratori. Amministrazione pura di ClickHouse senza intromissioni nei dati. Il cluster era disponibile, i dischi a posto, i nodi in ordine. <\/p>\n<h3>Non avevamo ancora sospettato di aver ricevuto questo ordine a causa di una grave incomprensione all'interno del loro team.<\/h3>\n<p>\nIl dirigente era scontento del fatto che ClickHouse funzionasse lentamente e che a volte i dati andassero persi. Ha incaricato il suo CTO di indagare. Quest'ultimo ha fatto il possibile e ha concluso che era sufficiente automatizzare ClickHouse \u2014 e tutto qui. Ma come si \u00e8 scoperto presto \u2014 avevano bisogno di ben altro che di un team di DevOps.<\/p>\n<p>Tutto questo \u00e8 emerso in modo molto, molto doloroso. E la cosa pi\u00f9 frustrante \u00e8 stata che \u00e8 successo nel giorno del mio compleanno.<\/p>\n<p>\nVenerd\u00ec sera. Avevo prenotato un tavolo nel mio wine bar preferito e ho chiamato i miei amici. <\/p>\n<p>Quasi prima di uscire ci arriva un compito per fare un alter, lo facciamo, tutto ok. L'alter \u00e8 andato, ClickHouse ha confermato. Ci eravamo gi\u00e0 messi in cammino verso il bar, quando ci scrivono che mancano dei dati. Abbiamo controllato \u2014 sembrava che ci fosse tutto. E siamo andati a festeggiare.<\/p>\n<p>Il ristorante era rumoroso come al solito il venerd\u00ec. Dopo aver ordinato da bere e mangiare, ci siamo sistemati sui divanetti. Per tutto questo tempo il mio Slack veniva intasato da messaggi. Scrivevano qualcosa sulla mancanza di dati. Ho pensato \u2014 domani \u00e8 un giorno migliore. Soprattutto oggi.<\/p>\n<p>Verso le undici hanno iniziato a chiamare. Era il dirigente dell'azienda\u2026 \"Probabilmente ha deciso di farmi gli auguri\", ho pensato con molta incertezza, rispondendo al telefono.<\/p>\n<p>E ho sentito qualcosa tipo: \"Avete perso i nostri dati! Vi pago, ma nulla funziona! Eravate responsabili dei backup e non avete fatto niente! Metteteli a posto!\" \u2014 solo in modo ancora pi\u00f9 scortese.<\/p>\n<p>\u2014 Sai cosa, vaffanculo! Oggi \u00e8 il mio compleanno e ora berr\u00f2, non mi metter\u00f2 a risolvere le vostre stupidaggini da principianti.<\/p>\n<p>Ecco come non ho reagito. Invece, ho preso il laptop e mi sono messo al lavoro.<\/p>\n<p>No, stavo esplodendo, stavo esplodendo rabbiosamente! Scrivevo nel chat messaggi sarcastici tipo \"lo avevo detto\" \u2014 perch\u00e9 il backup, che di backup non aveva nulla, ovviamente non ha salvato niente. <\/p>\n<p>Io e i ragazzi abbiamo trovato un modo per fermare manualmente la registrazione e controllare tutto. Abbiamo effettivamente verificato che parte dei dati non veniva scritta.<\/p>\n<p>Abbiamo interrotto la registrazione, calcolato il numero di eventi che ci sono stati in un giorno. Abbiamo caricato altri dati, di cui solo un terzo non \u00e8 stato registrato. Tre shard con 2 repliche. Se inserisci 100.000 righe, 33.000 non si registrano.<\/p>\n<p>C'era un completo caos. Tutti si mandavano a quel paese a turno: il primo a farlo \u00e8 stato Lenya, seguito da me e dal fondatore dell'azienda. Solo il CTO appena entrato cercava di riportare le nostre chiamate e le chat all\u2019ordine per trovare una soluzione al problema. <\/p>\n<h3>Nessuno capiva realmente cosa stesse succedendo.<\/h3>\n<p>\nNoi ragazzi siamo rimasti sbalorditi quando abbiamo capito che un terzo di tutti i dati non solo non veniva registrato, ma si perdeva! Si scopr\u00ec che nel lavoro dell'azienda era cos\u00ec: dopo l'inserimento i dati venivano eliminati irreversibilmente, e gli eventi si perdeva a tonnellate. Mi sono immaginato come Sergei stesse convertendo tutto questo in rubli non guadagnati.<\/p>\n<p>Anche il mio compleanno finiva nei rifiuti. Eravamo seduti al bar a generare idee, cercando di risolvere l'enigma lanciato. La causa del crollo di ClickHouse non era evidente. Forse era la rete, forse le impostazioni di Linux. Follia, sono emerse abbastanza ipotesi.<\/p>\n<p>Non avevo prestato giuramento da sviluppatore, ma lasciare i ragazzi dall'altra parte del filo era scortese, anche se ci accusavano di tutto. Ero sicuro al 99% che il problema non fosse nei nostri interventi, dalla nostra parte. L'1% di possibilit\u00e0 che fossimo stati noi a sbagliare, per\u00f2, mi bruciava di preoccupazione. Ma qualunque fosse il lato del problema, dovevamo risolverlo. Lasciare i clienti, qualunque fossero, con una tale perdita di dati era troppo crudele.<\/p>\n<p>Fino alle tre del mattino abbiamo lavorato al tavolo del ristorante. Aggiungevamo eventi, insert select, e ci siamo messi a riempire i buchi. Quando perdi dei dati, si fa cos\u00ec: prendi i dati medi dei giorni precedenti e li inserisci nei dati persi.<\/p>\n<p>Dopo le tre del mattino, il mio amico ed io siamo andati a casa mia, abbiamo ordinato birra dall'alcomarket. Io ero seduto con il laptop e i problemi di ClickHouse, mentre il mio amico mi raccontava qualcosa. Alla fine, dopo un'ora, si \u00e8 offeso perch\u00e9 stavo lavorando e non bevevo birra con lui, e se n'\u00e8 andato. Classico, quando un amico del DevOps si fa sentire.<\/p>\n<p>Entro le 6 del mattino avevo ricreato la tabella da capo e i dati hanno cominciato a fluire. Tutto ha funzionato senza perdite.<\/p>\n<p><\/p>\n<h3>Dopo \u00e8 stato difficile. Tutti si accusavano della perdita di dati. Se fosse successo un nuovo bug, sono sicuro che sarebbe iniziata una guerra.<\/h3>\n<p>\nIn queste situazioni ci siamo finalmente resi conto che in azienda pensavano che fossimo quelli che lavorano con i dati e si occupano della struttura delle tabelle. Hanno confuso gli amministratori con i DBA. E sono venuti a chiedere informazioni a noi, non come amministratori.<\/p>\n<p>La loro principale lamentela era: come mai, eravate responsabili dei backup e non li avete fatti correttamente, avete perso i dati. E tutto ci\u00f2 con insulti e parolacce.<\/p>\n<p>Volevo giustizia. Ho riesumato la corrispondenza e allegato tutti gli screenshot, dove Leonid insiste con tutte le sue forze nel fare il backup che era stato eseguito. Il loro CTO \u00e8 intervenuto a nostro favore dopo la mia telefonata. Alla fine, anche Lenya ha riconosciuto le sue colpe.<\/p>\n<p>Il capo dell'azienda, al contrario, non voleva dare la colpa ai suoi. Gli screenshot e le parole non lo colpirono. Pensava che, essendo degli esperti, avremmo dovuto convincere tutti e insistere nelle nostre decisioni. Evidentemente, faceva parte del nostro compito insegnare a Lenya e, inoltre, bypassarlo, essendo lui il capo progetto, per arrivare al principale e scaricare su di lui tutte le nostre riserve sui backup. <\/p>\n<p>La chat traboccava di odio, aggressivit\u00e0 celata e non. Non sapevo cosa fare. Tutto era giunto a un punto morto. E qui mi hanno consigliato il modo pi\u00f9 semplice: scrivere in privato al capo e pianificare un incontro. Vasya, le persone non sono cos\u00ec arroganti nella vita reale come in chat. Alla mia risposta, il capo ha risposto: vieni, non c'\u00e8 problema.<\/p>\n<p>\n\u00c8 stato l'incontro pi\u00f9 difficile della mia carriera. Il mio alleato dal cliente, il CTO, non ha potuto trovare tempo. Andavo all'incontro con il capo e con Lyosha.<\/p>\n<p>Rivoltavo nella mia mente il possibile dialogo. Sono riuscito ad arrivare con largo anticipo, mezz'ora prima. C'era ansia, ho fumato 10 sigarette. Capivo, tutto, ero totalmente solo. Non sarei riuscito a convincerli. E sono entrato nell'ascensore.<\/p>\n<p>Nel mentre che salivo, strofinando il accendino, l'ho rotto.<\/p>\n<p>Alla fine, Leonid non era presente all'incontro. E noi abbiamo parlato benissimo di tutto con il principale! Sergey mi ha parlato del suo dolore. Voleva non 'automatizzare ClickHouse', ma voleva che 'le query funzionassero'.<\/p>\n<p>Non ho visto un idiota, ma un bravo ragazzo, preoccupato per la sua attivit\u00e0, immerso nel lavoro 24\/7. La chat spesso disegna per noi cattivi, traditori e sciocchi. Ma nella vita, sono persone come te. <\/p>\n<p>Sergey non aveva bisogno di un paio di DevOps assunti. Il problema che avevano si \u00e8 rivelato molto pi\u00f9 grande. <\/p>\n<p>Ho detto che posso risolvere i suoi problemi, ma \u00e8 un lavoro completamente diverso e ho un conoscente DB engineer per questo. Se avessimo saputo fin dall'inizio che si trattava di questa situazione per loro, avremmo evitato molto. \u00c8 tardi, ma abbiamo capito che il problema risiedeva in un lavoro con i dati scadente, e non nell'infrastruttura. <\/p>\n<p>Ci siamo stretti la mano, il nostro compenso \u00e8 stato aumentato di due volte e mezzo, ma a condizione che io prenda in carico completamente tutto il lavoro con i loro dati e ClickHouse. In ascensore ho contattato quel DB engineer Max e l'ho coinvolto nel lavoro. Dovevamo riesaminare l'intero cluster.<\/p>\n<p>\nC'era un sacco di spazzatura nel progetto approvato. A partire dal gi\u00e0 citato \"backup\". Si \u00e8 scoperto che questo stesso cluster di \"backup\" non era isolato. Su di esso testavano di tutto, a volte addirittura lo mettevano in produzione.<\/p>\n<p>Gli sviluppatori interni hanno creato il loro 'inseritore' di dati personalizzato. Funzionava cos\u00ec: elaborava file, eseguiva uno script e scaricava i dati in una tabella. Ma il problema principale era che un'enorme quantit\u00e0 di dati veniva richiesta per una semplice query. La query univa i dati al secondo. Tutto per un'unica cifra \u2014 il totale per giorno.<\/p>\n<p>Gli sviluppatori interni utilizzavano in modo errato lo strumento di analisi. Andavano su Grafana, scrivevano la loro query grandiosa. Questa estraeva dati per 2 settimane. Ottenevano un grafico bello. Ma in realt\u00e0 la richiesta di dati avveniva ogni 10 secondi. Tutto ci\u00f2 si accumulava in coda, poich\u00e9 ClickHouse non riusciva a gestire l'elaborazione. Qui risiedeva la vera causa. In Grafana niente funzionava, le query rimanevano in attesa, arrivavano costantemente vecchi dati non aggiornati.<\/p>\n<p>Abbiamo riconfigurato il cluster e riprogettato l'inserimento. Gli sviluppatori interni hanno riscritto il loro 'inseritore', e ha iniziato a shardare i dati correttamente.<\/p>\n<p>Max ha effettuato un audit completo dell'infrastruttura. Ha redatto un piano per la transizione a un backend completo. Ma questo non ha soddisfatto l'azienda. Aspettavano da Max un segreto magico che permettesse di lavorare nel vecchio modo, ma in modo efficace. Il progetto era ancora sotto la responsabilit\u00e0 di Leonid, che non aveva imparato nulla. Di tutto ci\u00f2 che era stato proposto, ha nuovamente scelto la sua alternativa. Come sempre, era la pi\u00f9 esclusiva... decisione audace. Leonid credeva che la sua azienda seguisse un percorso speciale. Accidentato e pieno di iceberg.<\/p>\n<p>In sostanza, ci siamo salutati cos\u00ec \u2014 abbiamo fatto ci\u00f2 che potevamo.<\/p>\n<p>\nCon le teste piene di lividi, saggiati da questa esperienza, abbiamo aperto la nostra attivit\u00e0 e stabilito alcuni principi per noi stessi. Oggi non iniziamo mai un lavoro come allora.<\/p>\n<p>Dopo questo progetto, il DB specialist Max si \u00e8 unito a noi e lavoriamo ancora benissimo insieme. Il caso con ClickHouse ci ha insegnato a condurre un audit completo e approfondito dell'infrastruttura prima di iniziare il lavoro. Comprendiamo come funziona tutto e solo dopo accettiamo i compiti. In passato, se ci fossimo lanciati subito a gestire l'infrastruttura, ora prima realizziamo un progetto a pagamento che ci aiuta a capire come metterla in uno stato operativo. <\/p>\n<p>E s\u00ec, evitiamo i progetti con infrastrutture scadenti. Anche se ci sono molti soldi coinvolti, anche se per amicizia. Gestire progetti problematici non conviene. La consapevolezza di questo ci ha aiutato a crescere. O un progetto a pagamento per sistemare l'infrastruttura e poi un contratto di assistenza, oppure semplicemente ci passiamo oltre. Oltre a un altro iceberg.<\/p>\n<p><i>P.S. Quindi, se avete domande sulla vostra infrastruttura, <noindex><a rel=\"nofollow\" href=\"https:\/\/fevlake.com\"><b>non esitare a lasciare un'applicazione<\/b><\/a><\/noindex>.<\/p>\n<p>Abbiamo 2 audit gratuiti al mese, forse il vostro progetto sar\u00e0 uno di questi.<\/i><br \/>\n<br \/>Fonte: <a content=\"nofollow\" rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/rebrainme\/blog\/522108\/\">habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"<p>\u0412\u043e\u0442 \u0438\u0441\u0442\u043e\u0440\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043d\u0430\u0432\u0441\u0435\u0433\u0434\u0430 \u043f\u0435\u0440\u0435\u0432\u0435\u0440\u043d\u0443\u043b\u0430 \u043c\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u043a \u0440\u0430\u0431\u043e\u0442\u0435 \u0434\u0435\u0432\u043e\u043f\u0441\u0430. \u0415\u0449\u0435 \u0432 \u0434\u043e\u043a\u043e\u0432\u0438\u0434\u043d\u044b\u0435 \u0432\u0440\u0435\u043c\u0435\u043d\u0430, \u0437\u0430\u0434\u043e\u043b\u0433\u043e-\u0437\u0430\u0434\u043e\u043b\u0433\u043e \u0434\u043e \u043d\u0438\u0445, \u043a\u043e\u0433\u0434\u0430 \u043c\u044b \u0441 \u043f\u0430\u0440\u043d\u044f\u043c\u0438 \u0442\u043e\u043b\u044c\u043a\u043e \u0437\u0430\u0434\u0443\u043c\u044b\u0432\u0430\u043b\u0438 \u0441\u0432\u043e\u0435 \u0434\u0435\u043b\u043e \u0438 \u0444\u0440\u0438\u043b\u0430\u043d\u0441\u0438\u043b\u0438 \u043d\u0430 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u0437\u0430\u043a\u0430\u0437\u0430\u0445, \u043c\u043d\u0435 \u0432 \u0442\u0435\u043b\u0435\u0433\u0443 \u0443\u043f\u0430\u043b\u043e \u043e\u0434\u043d\u043e \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0435. \u041a\u043e\u043c\u043f\u0430\u043d\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043d\u0430\u043f\u0438\u0441\u0430\u043b\u0430, \u0437\u0430\u043d\u0438\u043c\u0430\u043b\u0430\u0441\u044c \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u043a\u043e\u0439 \u0434\u0430\u043d\u043d\u044b\u0445. \u0415\u0436\u0435\u0434\u043d\u0435\u0432\u043d\u043e \u043e\u043d\u0430 \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u043b\u0430 \u0442\u044b\u0441\u044f\u0447\u0438 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432. \u041a \u043d\u0430\u043c \u043e\u043d\u0438 \u043f\u0440\u0438\u0448\u043b\u0438 \u0441\u043e \u0441\u043b\u043e\u0432\u0430\u043c\u0438: \u0440\u0435\u0431\u044f\u0442, \u0443 [&hellip;]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":96000,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-95999","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t<!-- All in One SEO 5.0.1.1 - aioseo.com -->\n\t<meta name=\"robots\" content=\"max-image-preview:large\" \/>\n\t<meta name=\"author\" content=\"Yuri Gagarin\"\/>\n\t<link rel=\"canonical\" href=\"https:\/\/prohoster.info\/it\/blog\/administrirovanie\/poka-vse-prazdnovali-moj-den-rozhdeniya-ya-do-utra-chinil-klaster-a-razraby-valili-na-menya-svoi-oshibki\" \/>\n\t<meta name=\"generator\" content=\"All in One SEO (AIOSEO) 5.0.1.1\" \/>\n\t\t<meta property=\"og:locale\" content=\"it_IT\" \/>\n\t\t<meta property=\"og:site_name\" content=\"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b\" \/>\n\t\t<meta property=\"og:type\" content=\"article\" \/>\n\t\t<meta property=\"og:title\" content=\"\ud83e\udd47\u041f\u043e\u043a\u0430 \u0432\u0441\u0435 \u043f\u0440\u0430\u0437\u0434\u043d\u043e\u0432\u0430\u043b\u0438 \u043c\u043e\u0439 \u0434\u0435\u043d\u044c \u0440\u043e\u0436\u0434\u0435\u043d\u0438\u044f, \u044f \u0434\u043e \u0443\u0442\u0440\u0430 \u0447\u0438\u043d\u0438\u043b \u043a\u043b\u0430\u0441\u0442\u0435\u0440 \u2014 \u0430 \u0440\u0430\u0437\u0440\u0430\u0431\u044b \u0432\u0430\u043b\u0438\u043b\u0438 \u043d\u0430 \u043c\u0435\u043d\u044f \u0441\u0432\u043e\u0438 \u043e\u0448\u0438\u0431\u043a\u0438 | ProHoster\" \/>\n\t\t<meta property=\"og:url\" content=\"https:\/\/prohoster.info\/it\/blog\/administrirovanie\/poka-vse-prazdnovali-moj-den-rozhdeniya-ya-do-utra-chinil-klaster-a-razraby-valili-na-menya-svoi-oshibki\" \/>\n\t\t<meta property=\"og:image\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:secure_url\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:width\" content=\"350\" \/>\n\t\t<meta property=\"og:image:height\" content=\"350\" \/>\n\t\t<meta property=\"article:published_time\" content=\"2020-10-06T11:41:58+00:00\" \/>\n\t\t<meta property=\"article:modified_time\" content=\"2020-10-06T11:41:58+00:00\" \/>\n\t\t<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<meta property=\"article:author\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<!-- All in One SEO -->\n\n","aioseo_head_json":{"title":"\ud83e\udd47Mentre tutti festeggiavano il mio compleanno, io ho riparato il cluster fino all'alba \u2014 e gli sviluppatori mi hanno scaricato i loro errori | ProHoster","description":"","canonical_url":"https:\/\/prohoster.info\/it\/blog\/administrirovanie\/poka-vse-prazdnovali-moj-den-rozhdeniya-ya-do-utra-chinil-klaster-a-razraby-valili-na-menya-svoi-oshibki","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"it_IT","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041f\u043e\u043a\u0430 \u0432\u0441\u0435 \u043f\u0440\u0430\u0437\u0434\u043d\u043e\u0432\u0430\u043b\u0438 \u043c\u043e\u0439 \u0434\u0435\u043d\u044c \u0440\u043e\u0436\u0434\u0435\u043d\u0438\u044f, \u044f \u0434\u043e \u0443\u0442\u0440\u0430 \u0447\u0438\u043d\u0438\u043b \u043a\u043b\u0430\u0441\u0442\u0435\u0440 \u2014 \u0430 \u0440\u0430\u0437\u0440\u0430\u0431\u044b \u0432\u0430\u043b\u0438\u043b\u0438 \u043d\u0430 \u043c\u0435\u043d\u044f \u0441\u0432\u043e\u0438 \u043e\u0448\u0438\u0431\u043a\u0438 | ProHoster","og:url":"https:\/\/prohoster.info\/it\/blog\/administrirovanie\/poka-vse-prazdnovali-moj-den-rozhdeniya-ya-do-utra-chinil-klaster-a-razraby-valili-na-menya-svoi-oshibki","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2020-10-06T11:41:58+00:00","article:modified_time":"2020-10-06T11:41:58+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"95999","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":null,"breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 10:53:26","updated":"2022-10-01 11:21:07","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/posts\/95999","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/comments?post=95999"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/posts\/95999\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/media\/96000"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/media?parent=95999"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/categories?post=95999"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/tags?post=95999"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}