{"id":34842,"date":"2019-10-31T22:00:43","date_gmt":"2019-10-31T19:00:43","guid":{"rendered":"https:\/\/prohoster.info\/blog\/ot-ezhednevnyh-avarij-k-stabilnosti-informatica-10-glazami-admina\/"},"modified":"2019-10-31T22:00:43","modified_gmt":"2019-10-31T19:00:43","slug":"ot-ezhednevnyh-avarij-k-stabilnosti-informatica-10-glazami-admina","status":"publish","type":"post","link":"https:\/\/prohoster.info\/it\/blog\/administrirovanie\/ot-ezhednevnyh-avarij-k-stabilnosti-informatica-10-glazami-admina","title":{"rendered":"Dalle emergenze quotidiane alla stabilit\u00e0: Informatica 10 attraverso gli occhi di un amministratore","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"<p><noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/rostelecom\/blog\/454126\/\"><img decoding=\"async\" alt=\"Dalle emergenze quotidiane alla stabilit\u00e0: Informatica 10 attraverso gli occhi di un amministratore\" src=\"\/wp-content\/uploads\/2019\/06\/1594fcccd46a5cd779c58ddc60e34422.jpg\" style=\"display:block;margin: 0 auto;\" \/><\/a><\/noindex><\/p>\n<p>Il componente ETL di un data warehouse \u00e8 spesso trascurato rispetto allo stesso warehouse, ricevendo meno attenzione rispetto al database principale o ai componenti front-end, BI e reportistica. Tuttavia, da un punto di vista meccanico, l'approvvigionamento dei dati nel magazzino, l'ETL gioca un ruolo chiave e richiede altrettanta attenzione da parte degli amministratori quanto gli altri componenti. Mi chiamo Alessandro, attualmente gestisco l'ETL in Rostelecom, e in questo articolo cercher\u00f2 di condividere alcune esperienze che un amministratore di un noto sistema ETL in un grande data warehouse come quello di Rostelecom deve affrontare.<br \/>\n<noindex><a rel=\"nofollow\" name=\"habracut\"><\/a><\/noindex><br \/>\nSe i gentili lettori sono gi\u00e0 familiari con il nostro progetto di data warehouse e con il prodotto Informatica PowerCenter, possono passare direttamente alla sezione successiva.<\/p>\n<p>Qualche anno fa, in Rostelecom, \u00e8 emersa e ha cominciato a prendere forma l'idea di un'unica piattaforma di archiviazione dati aziendale. Sono gi\u00e0 stati creati vari archivi per scopi specifici, ma il numero di scenari aumentava, le spese di supporto cresceva e divenne chiaro che il futuro era nella centralizzazione. Architettonicamente, questo archivio \u00e8 composto da pi\u00f9 strati, realizzato su Hadoop e GreenPlum, con database ausiliari, meccanismi ETL e BI.<\/p>\n<p>A causa dell'elevato numero di fonti dati territorialmente distribuite e eterogenee, \u00e8 stato creato un meccanismo speciale per l'esportazione dei dati, il cui funzionamento \u00e8 gestito da Informatica. Di conseguenza, i pacchetti di dati vengono inviati all'area interfaccia di Hadoop, dopo di che inizia il processo di caricamento dei dati attraverso gli strati dell'archivio, in Hadoop e GreenPlum, coordinato da un meccanismo di gestione ETL implementato in Informatica. In questo modo, il sistema Informatica \u00e8 uno degli elementi chiave che garantiscono il funzionamento dell'archivio.<\/p>\n<p>Maggiore approfondimento sul nostro archivio verr\u00e0 fornito in uno dei prossimi post.<\/p>\n<p>Informatica PowerCenter\/Big Data Management \u00e8 attualmente considerato il software leader nel settore degli strumenti di integrazione dei dati. \u00c8 un prodotto dell'azienda americana Informatica, uno dei principali attori nel campo dell'ETL (Extract Transform Load), gestione della qualit\u00e0 dei dati, MDM (Master Data Management), ILM (Information Lifecycle Management) e altro.<\/p>\n<p>Il PowerCenter che utilizziamo \u00e8 un server applicativo integrato Tomcat, dove operano le applicazioni Informatica che realizzano i suoi servizi: <\/p>\n<p><b>Dominio<\/b>, fondamentalmente questo \u00e8 la base per tutto il resto, nel dominio lavorano servizi, utenti, componenti GRID.<\/p>\n<p><b>Administrator Console<\/b>, strumento web di gestione e monitoraggio, oltre al client Informatica Developer, \u00e8 lo strumento principale per interagire con il prodotto<\/p>\n<p><b>MRS, Model Repository Service<\/b>, un repository di metadati funge da strato intermedio tra il database, in cui i metadati sono fisicamente archiviati, e il client Informatica Developer, dove avviene lo sviluppo. I repository conservano sia la descrizione dei dati che altre informazioni, inclusi quelli per vari altri servizi di Informatica, come la programmazione delle esecuzioni dei lavori (Schedules) o i dati di monitoraggio, oltre ai parameterset delle applicazioni, che consente di utilizzare la stessa applicazione con diverse fonti e destinazioni di dati.<\/p>\n<p><b>DIS, Data Integration Service<\/b>, \u00e8 il servizio in cui avvengono i principali processi funzionali, in cui operano le applicazioni e dove vengono avviati i Workflows (descrizioni della sequenza di mappings e le loro interazioni) e i Mappings (trasformazioni, blocchi in cui avvengono le trasformazioni e l'elaborazione dei dati).<\/p>\n<p><b>Configurazione GRID<\/b> \u2013 in sostanza, una costruzione del complesso che utilizza pi\u00f9 server, dove il carico generato da DIS \u00e8 distribuito tra i nodi (ossia i server che fanno parte del dominio). In questo caso, oltre alla distribuzione del carico in DIS attraverso un ulteriore strato di astrazione GRID, che unisce pi\u00f9 nodi e su cui funziona DIS invece di operare su un singolo nodo specifico, possono anche essere creati ulteriori esemplari di backup MRS. \u00c8 persino possibile implementare un'elevata disponibilit\u00e0, quando le richieste esterne possono essere effettuate attraverso nodi di backup in caso di guasto del principale. Per ora, abbiamo rinunciato a questa modalit\u00e0 di costruzione.<\/p>\n<p><img decoding=\"async\" alt=\"Dalle emergenze quotidiane alla stabilit\u00e0: Informatica 10 attraverso gli occhi di un amministratore\" src=\"\/wp-content\/uploads\/2019\/06\/3829509c50c42ac919cb551c72cbc299.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<i>Informatica PowerCenter, schematicamente<\/i><\/p>\n<p>Nelle fasi iniziali del lavoro nella catena di approvvigionamento dei dati, si sono verificati regolarmente problemi, alcuni dei quali sono stati causati dalla stabilit\u00e0 instabile di Informatica in quel momento. Intendo condividere alcuni dei momenti memorabili di questa saga \u2014 l'apprendimento di Informatica 10.<\/p>\n<p><img decoding=\"async\" alt=\"Dalle emergenze quotidiane alla stabilit\u00e0: Informatica 10 attraverso gli occhi di un amministratore\" src=\"\/wp-content\/uploads\/2019\/06\/f6247d9b3d73ebdc482b545c5b96ce99.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<i>Il precedente logo di Informatica<\/i><\/p>\n<p>L'ambito di responsabilit\u00e0 del nostro settore comprende anche altri ambienti Informatica, ognuno con le proprie specifiche a causa di un carico diverso; per ora, mi concentrer\u00f2 proprio su come Informatica si \u00e8 evoluta come componente ETL del data warehouse.<\/p>\n<h2>Come \u00e8 successo<\/h2>\n<p>\nNel 2016, quando abbiamo iniziato a gestire Informatica, era gi\u00e0 arrivata alla versione 10.0, e per i colleghi ottimisti che decidevano di utilizzare un prodotto serio con una versione minore .0, tutto sembrava ovvio: dovevano usare la nuova versione! Dal punto di vista delle risorse hardware, tutto andava benissimo in quel momento.<\/p>\n<p>Dalla primavera del 2016, la gestione di Informatica era affidata a un appaltatore, e secondo quanto riferito dai pochi utenti del sistema, \"funzionava un paio di volte a settimana\". \u00c8 importante precisare che il data warehouse era de facto in fase di PoC, non c'erano amministratori nel team e il sistema crollava costantemente per vari motivi, dopodich\u00e9 l'ingegnere dell'appaltatore lo riavviava.<\/p>\n<p>In autunno, nel team sono arrivati tre amministratori, che hanno suddiviso tra loro le responsabilit\u00e0, e ha cominciato a prendere forma un lavoro regolare nella gestione dei sistemi del progetto, inclusa Informatica. Vale la pena di sottolineare che questo prodotto non \u00e8 ampiamente diffuso e non ha una grande comunit\u00e0 in cui si possano trovare risposte a qualsiasi domanda e risolvere problemi. Pertanto, \u00e8 stata fondamentale un'assistenza tecnica completa da parte del partner russo di Informatica, che ha aiutato a correggere tutti i nostri errori e quelli della giovane Informatica 10.<\/p>\n<p>La prima cosa che abbiamo dovuto fare per gli sviluppatori del nostro team e per il fornitore \u00e8 stata stabilizzare il funzionamento stesso di Informatica, garantendo la funzionalit\u00e0 della console di amministrazione web (Informatica Administrator).<\/p>\n<p><img decoding=\"async\" alt=\"Dalle emergenze quotidiane alla stabilit\u00e0: Informatica 10 attraverso gli occhi di un amministratore\" src=\"\/wp-content\/uploads\/2019\/06\/ac4342681f655b9cdb5710a54546c649.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<i>Cos\u00ec, spesso incontravamo gli sviluppatori di Informatica.<\/i><\/p>\n<p>Al di l\u00e0 del processo di individuazione delle cause, la principale ragione per le interruzioni era il modo in cui il software Informatica interagiva con il database del repository, situato su un server relativamente lontano nel contesto della topologia di rete. Questo portava a ritardi e interferiva con i meccanismi che garantivano il monitoraggio dello stato del dominio Informatica. Dopo aver ottimizzato il database e modificato le impostazioni di Informatica per renderlo pi\u00f9 tollerante ai ritardi del database, e infine aggiornato la versione di Informatica a 10.1 e spostato il database da un server precedente a uno pi\u00f9 vicino a Informatica, il problema \u00e8 diventato obsoleto e da allora non abbiamo pi\u00f9 osservato interruzioni simili.<\/p>\n<p><img decoding=\"async\" alt=\"Dalle emergenze quotidiane alla stabilit\u00e0: Informatica 10 attraverso gli occhi di un amministratore\" src=\"\/wp-content\/uploads\/2019\/06\/e264be8e5336fad067eada9c762b2fc9.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<i>Uno dei tentativi di far funzionare Informatica Monitor<\/i><\/p>\n<p>Con la console di amministrazione la situazione era critica. Poich\u00e9 lo sviluppo attivo avveniva direttamente in un ambiente quasi produttivo, era necessario per i colleghi analizzare costantemente il funzionamento delle mappings e dei workflow \"al volo\". Nella nuova Informatica, nel Data Integration Service non \u00e8 presente uno strumento specifico per tale monitoraggio, ma nella web console di amministrazione \u00e8 stata aggiunta una sezione di monitoraggio (Informatica Administrator Monitor), dove \u00e8 possibile osservare il funzionamento delle applicazioni, dei workflow e delle mappings, delle esecuzioni e dei log. Periodicamente la console diventava completamente inaccessibile, oppure le informazioni sui processi correnti in DIS smettevano di aggiornarsi, o si verificavano errori durante il caricamento delle pagine.<\/p>\n<p><img decoding=\"async\" alt=\"Dalle emergenze quotidiane alla stabilit\u00e0: Informatica 10 attraverso gli occhi di un amministratore\" src=\"\/wp-content\/uploads\/2019\/06\/1d585c8447275cfaaf4ecbaceb52957b.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<i>Selezione dei parametri Java per stabilizzare il funzionamento<\/i><\/p>\n<p>La risoluzione del problema \u00e8 avvenuta per molte strade, sono stati condotti esperimenti di modifica dei parametri, sono stati raccolti log, jstack, inviati al supporto, e nel contempo si \u00e8 attivamente cercato su Google e si \u00e8 semplicemente osservato.<\/p>\n<p>In primo luogo, \u00e8 stato creato un MRS separato per il monitoraggio, che si \u00e8 rivelato essere uno dei principali consumatori di risorse nei nostri ambienti, poich\u00e9 i lanci delle mappature avvengono con grande intensit\u00e0. Sono stati modificati i parametri relativi al java heap e altri aspetti.<br \/>\nDi conseguenza, con il successivo aggiornamento a Informatica 10.1.1, \u00e8 stato possibile stabilizzare il funzionamento della console e del monitor, i programmatori sono diventati pi\u00f9 efficienti e i processi regolari sono diventati sempre pi\u00f9 costanti.<\/p>\n<p>L'esperienza di interazione tra sviluppo e amministrazione pu\u00f2 essere interessante. La questione della comprensione comune di come funziona tutto, cosa si pu\u00f2 e cosa non si pu\u00f2 fare, \u00e8 sempre importante quando si utilizzano sistemi complessi. Pertanto, si pu\u00f2 tranquillamente raccomandare di istruire prima il team degli amministratori su come gestire il software, e il team degli sviluppatori su come scrivere codice e disegnare processi nel sistema, e solo dopo inviare entrambi a lavorare per dei risultati. Questo \u00e8 davvero importante quando il tempo non \u00e8 una risorsa illimitata. Molti problemi possono essere risolti anche con un tentativo casuale delle opzioni, ma a volte alcuni richiedono conoscenze aprioristiche \u2014 il nostro caso conferma l'importanza di comprendere questa assioma.<\/p>\n<p>Ad esempio, cercando di abilitare la versioning in MRS (come si \u00e8 scoperto, era necessaria un'altra versione di SVN), dopo un po' abbiamo scoperto con preoccupazione che il tempo di riavvio del sistema era aumentato a diverse decine di minuti. Individuata la causa del ritardo all'avvio e disabilitando la versioning, tutto \u00e8 tornato a funzionare bene.<\/p>\n<p>Tra gli ostacoli pi\u00f9 significativi legati a Informatica, possiamo ricordare l'epica battaglia con i crescenti flussi java. A un certo punto \u00e8 arrivato il momento della replicazione, ovvero diffondere i processi consolidati su un gran numero di sistemi sorgente. Tuttavia, si \u00e8 rivelato che non tutti i processi in 10.1.1 funzionavano bene, e dopo un po' DIS diventava non funzionante. Venivano riscontrati decine di migliaia di flussi, il cui numero aumentava in modo particolarmente evidente durante la procedura di deploy delle applicazioni. A volte era necessario effettuare un riavvio pi\u00f9 volte al giorno per ripristinare la funzionalit\u00e0.<\/p>\n<p>Qui bisogna ringraziare il supporto, in quanto i problemi sono stati localizzati e risolti in modo abbastanza rapido con l'EBF (Emergency Bug Fix) \u2013 dopo di che \u00e8 sorto a tutti la sensazione che lo strumento funzionasse davvero.<\/p>\n<h2>Funziona comunque!<\/h2>\n<p>\nAll'inizio del funzionamento nella modalit\u00e0 target, Informatica era configurata come segue. Versione Informatica 10.1.1HF1 (HF1 \u00e8 HotFix1, una build del fornitore proveniente dal pacchetto EBF) con EBF aggiuntivi installati per risolvere i nostri problemi di scalabilit\u00e0 e alcuni altri, su uno dei tre server che componevano il GRID, 20 core x86_64 e storage su un enorme e lento array di dischi locali \u2014 questo \u00e8 <a class=\"wpil_keyword_link\" href=\"https:\/\/prohoster.info\/it\/server\/\"   title=\"la configurazione del server\" data-wpil-keyword-link=\"linked\"  data-wpil-monitor-id=\"1000\">la configurazione del server<\/a> per il cluster Hadoop. Su un altro server simile - un database Oracle con cui interagiscono sia il dominio di Informatica che il motore di controllo ETL. Tutto questo \u00e8 monitorato con strumenti di monitoraggio standard utilizzati dal team (Zabbix + Grafana), da entrambe le parti \u2014 sia Informatica stessa con i suoi servizi, sia i processi di caricamento che le alimentano. Attualmente, le prestazioni e la stabilit\u00e0 del lavoro, al di l\u00e0 dei fattori esterni, dipendono dalle impostazioni che limitano il carico.<\/p>\n<p>\u00c8 possibile parlare separatamente di GRID. L'ambiente \u00e8 stato costruito su tre nodi, con possibilit\u00e0 di bilanciamento del carico. Tuttavia, durante i test, \u00e8 stato riscontrato che, a causa di problemi di interazione tra le istanze delle nostre applicazioni, tale configurazione non funzionava come previsto, e si \u00e8 deciso temporaneamente di abbandonare questo schema, disattivando due dei tre nodi dal dominio. Tuttavia, lo schema \u00e8 rimasto invariato, e ora \u00e8 effettivamente un servizio GRID, ma ridotto a un solo nodo.<\/p>\n<p>Al momento, persiste la difficolt\u00e0 legata al calo delle prestazioni durante la pulizia regolare dello schema del monitor: mentre processi contemporanei in CHN e la pulizia sono in corso, possono verificarsi malfunzionamenti nel meccanismo di controllo ETL. Questo viene attualmente risolto in modo \"provvisorio\" \u2013 con la pulizia manuale dello schema del monitor, a costo di perdere tutti i dati precedenti. Non \u00e8 troppo critico per il sistema produttivo in condizioni normali di funzionamento, ma siamo ancora alla ricerca di una soluzione adeguata.<\/p>\n<p>Da questa situazione scaturisce un altro problema: a volte si verificano molteplici avvii del nostro meccanismo di controllo.<\/p>\n<p><img decoding=\"async\" alt=\"Dalle emergenze quotidiane alla stabilit\u00e0: Informatica 10 attraverso gli occhi di un amministratore\" src=\"\/wp-content\/uploads\/2019\/06\/bf612c20dd2d3d9eeb4b5884d9173156.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<i>Avvii multipli dell'applicazione che portano a un guasto del sistema<\/i><\/p>\n<p>Durante i lanci programmati in momenti di alta pressione sul sistema, possono verificarsi situazioni che portano al guasto del meccanismo. Fino ad ora, il problema \u00e8 stato risolto manualmente e si sta cercando una soluzione permanente.<\/p>\n<p>In generale, si pu\u00f2 riassumere che, in caso di alta pressione, \u00e8 fondamentale fornire risorse adeguate, riguardo le risorse hardware per Informatica e lo stesso per il suo database, cos\u00ec come garantire loro configurazioni ottimali. Inoltre, resta aperta la questione su quale schema di posizionamento del DB sia migliore: su un host separato o sullo stesso dove funziona il software di Informatica. Da un lato, avere tutto su un unico server sarebbe pi\u00f9 economico, e quasi eliminerebbe il potenziale problema delle interazioni di rete; dall'altro, il carico sull'host dal database si aggiungerebbe a quello di Informatica.<\/p>\n<p>Come in ogni prodotto serio, anche in Informatica ci sono momenti curiosi.<br \/>\nUna volta, esaminando un guasto, ho notato che nei log di MRS era strano il timestamp degli eventi.<\/p>\n<p><img decoding=\"async\" alt=\"Dalle emergenze quotidiane alla stabilit\u00e0: Informatica 10 attraverso gli occhi di un amministratore\" src=\"\/wp-content\/uploads\/2019\/06\/98cb76478e740e615ebcc8a548d2856c.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<i>Dualismo temporale nei log di MRS 'by design'<\/i><\/p>\n<p>Si \u00e8 scoperto che i timestamp vengono scritti nel formato delle 12 ore, senza specificare AM\/PM, quindi prima o dopo mezzogiorno. \u00c8 stata persino aperta una segnalazione al riguardo, e si \u00e8 ricevuta una risposta ufficiale: era cos\u00ec che era previsto, nel registro MRS le registrazioni sono scritte proprio in questo formato. Pertanto, a volte rimane un certo alone di mistero riguardo al momento di insorgenza di un errore\u2026<\/p>\n<h2>Mirare al meglio<\/h2>\n<p>\nOggi Informatica \u00e8 uno strumento abbastanza stabile, comodo per gli amministratori e gli utenti, estremamente potente per le attuali capacit\u00e0 e potenzialit\u00e0. Supera di gran lunga le nostre esigenze funzionali e di fatto viene ora utilizzato nel progetto in un modo non tipicamente caratteristico. Le difficolt\u00e0 sono in parte legate a come funzionano i meccanismi: la specificit\u00e0 \u00e8 che in un breve lasso di tempo viene avviato un gran numero di flussi che aggiornano intensamente i parameterset e lavorano con il database del repository, mentre le risorse hardware del server sono praticamente completamente utilizzate dal CPU. <\/p>\n<p>Siamo molto vicini al passaggio a Informatica 10.2.1 o 10.2.2, che introducono una revisione di alcuni meccanismi interni e la nostra assistenza promette di risolvere diversi problemi di prestazioni e funzionamento attualmente presenti. Inoltre, ci si aspetta anche server con una configurazione ottimale per noi, considerando le necessit\u00e0 future a causa della crescita e dello sviluppo dello storage.<\/p>\n<p>Naturalmente, ci sar\u00e0 bisogno di test, verifiche di compatibilit\u00e0 e, possibilmente, modifiche architetturali per quanto riguarda l'HA GRID. Lo sviluppo in ambito Informatica continuer\u00e0, poich\u00e9 nel breve termine non possiamo sostituire il sistema attuale.<br \/>\nE coloro che saranno responsabili di questo sistema in futuro sapranno certamente portarlo ai livelli richiesti di affidabilit\u00e0 e performance richiesti dai clienti.<\/p>\n<p><i>Articolo preparato dal team di gestione dati di \u00ab\u0420\u043e\u0441\u0442\u0435\u043b\u0435\u043a\u043e\u043c\u00bb<\/i><\/p>\n<p><img decoding=\"async\" alt=\"Dalle emergenze quotidiane alla stabilit\u00e0: Informatica 10 attraverso gli occhi di un amministratore\" src=\"\/wp-content\/uploads\/2019\/06\/f09a33f522b0909373bef88aad444ea3.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<i>Logo attuale di Informatica<\/i><br \/>\n<br \/>Fonte: <a content=\"nofollow\" rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/rostelecom\/blog\/454126\/\">habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"<p>ETL-\u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u0430 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u0447\u0430\u0441\u0442\u043e \u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0432 \u0442\u0435\u043d\u0438 \u0441\u0430\u043c\u043e\u0433\u043e \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430 \u0438 \u0435\u0439 \u0443\u0434\u0435\u043b\u044f\u0435\u0442\u0441\u044f \u043c\u0435\u043d\u044c\u0448\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f, \u0447\u0435\u043c \u0433\u043b\u0430\u0432\u043d\u043e\u0439 \u0431\u0430\u0437\u0435 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438\u043b\u0438 \u0444\u0440\u043e\u043d\u0442-\u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u0435, BI, \u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438 \u043e\u0442\u0447\u0451\u0442\u043e\u0432. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u0441 \u0442\u043e\u0447\u043a\u0438 \u0437\u0440\u0435\u043d\u0438\u044f \u043c\u0435\u0445\u0430\u043d\u0438\u043a\u0438 \u043d\u0430\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430 \u0434\u0430\u043d\u043d\u044b\u043c\u0438, ETL \u0438\u0433\u0440\u0430\u0435\u0442 \u043a\u043b\u044e\u0447\u0435\u0432\u0443\u044e \u0440\u043e\u043b\u044c \u0438 \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u043d\u0435 \u043c\u0435\u043d\u044c\u0448\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0430\u0434\u043c\u0438\u043d\u0438\u0441\u0442\u0440\u0430\u0442\u043e\u0440\u043e\u0432, \u0447\u0435\u043c \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u044b. \u041c\u0435\u043d\u044f \u0437\u043e\u0432\u0443\u0442 \u0410\u043b\u0435\u043a\u0441\u0430\u043d\u0434\u0440, \u0441\u0435\u0439\u0447\u0430\u0441 \u044f \u0430\u0434\u043c\u0438\u043d\u0438\u0441\u0442\u0440\u0438\u0440\u0443\u044e ETL \u0432 \u0420\u043e\u0441\u0442\u0435\u043b\u0435\u043a\u043e\u043c\u0435, \u0438 [&hellip;]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":26234,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-34842","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t<!-- All in One SEO 4.9.10 - aioseo.com -->\n\t<meta name=\"description\" content=\"ETL-\u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u0430 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u0447\u0430\u0441\u0442\u043e \u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0432 \u0442\u0435\u043d\u0438 \u0441\u0430\u043c\u043e\u0433\u043e \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430 \u0438 \u0435\u0439 \u0443\u0434\u0435\u043b\u044f\u0435\u0442\u0441\u044f \u043c\u0435\u043d\u044c\u0448\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f, \u0447\u0435\u043c \u0433\u043b\u0430\u0432\u043d\u043e\u0439 \u0431\u0430\u0437\u0435 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438\u043b\u0438 \u0444\u0440\u043e\u043d\u0442-\u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u0435, BI, \u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438 \u043e\u0442\u0447\u0451\u0442\u043e\u0432. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u0441 \u0442\u043e\u0447\u043a\u0438 \u0437\u0440\u0435\u043d\u0438\u044f \u043c\u0435\u0445\u0430\u043d\u0438\u043a\u0438 \u043d\u0430\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430 \u0434\u0430\u043d\u043d\u044b\u043c\u0438, ETL \u0438\u0433\u0440\u0430\u0435\u0442 \u043a\u043b\u044e\u0447\u0435\u0432\u0443\u044e \u0440\u043e\u043b\u044c \u0438 \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u043d\u0435 \u043c\u0435\u043d\u044c\u0448\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0430\u0434\u043c\u0438\u043d\u0438\u0441\u0442\u0440\u0430\u0442\u043e\u0440\u043e\u0432, \u0447\u0435\u043c \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u044b. \u041c\u0435\u043d\u044f \u0437\u043e\u0432\u0443\u0442 \u0410\u043b\u0435\u043a\u0441\u0430\u043d\u0434\u0440, \u0441\u0435\u0439\u0447\u0430\u0441 \u044f \u0430\u0434\u043c\u0438\u043d\u0438\u0441\u0442\u0440\u0438\u0440\u0443\u044e ETL \u0432 \u0420\u043e\u0441\u0442\u0435\u043b\u0435\u043a\u043e\u043c\u0435, \u0438\" \/>\n\t<meta name=\"robots\" content=\"max-image-preview:large\" \/>\n\t<meta name=\"author\" content=\"Yuri Gagarin\"\/>\n\t<link rel=\"canonical\" href=\"https:\/\/prohoster.info\/it\/blog\/administrirovanie\/ot-ezhednevnyh-avarij-k-stabilnosti-informatica-10-glazami-admina\" \/>\n\t<meta name=\"generator\" content=\"All in One SEO (AIOSEO) 4.9.10\" \/>\n\t\t<meta property=\"og:locale\" content=\"it_IT\" \/>\n\t\t<meta property=\"og:site_name\" content=\"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b\" \/>\n\t\t<meta property=\"og:type\" content=\"article\" \/>\n\t\t<meta property=\"og:title\" content=\"\ud83e\udd47\u041e\u0442 \u0435\u0436\u0435\u0434\u043d\u0435\u0432\u043d\u044b\u0445 \u0430\u0432\u0430\u0440\u0438\u0439 \u043a \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e\u0441\u0442\u0438: Informatica 10 \u0433\u043b\u0430\u0437\u0430\u043c\u0438 \u0430\u0434\u043c\u0438\u043d\u0430 | ProHoster\" \/>\n\t\t<meta property=\"og:description\" content=\"ETL-\u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u0430 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u0447\u0430\u0441\u0442\u043e \u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0432 \u0442\u0435\u043d\u0438 \u0441\u0430\u043c\u043e\u0433\u043e \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430 \u0438 \u0435\u0439 \u0443\u0434\u0435\u043b\u044f\u0435\u0442\u0441\u044f \u043c\u0435\u043d\u044c\u0448\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f, \u0447\u0435\u043c \u0433\u043b\u0430\u0432\u043d\u043e\u0439 \u0431\u0430\u0437\u0435 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438\u043b\u0438 \u0444\u0440\u043e\u043d\u0442-\u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u0435, BI, \u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438 \u043e\u0442\u0447\u0451\u0442\u043e\u0432. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u0441 \u0442\u043e\u0447\u043a\u0438 \u0437\u0440\u0435\u043d\u0438\u044f \u043c\u0435\u0445\u0430\u043d\u0438\u043a\u0438 \u043d\u0430\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430 \u0434\u0430\u043d\u043d\u044b\u043c\u0438, ETL \u0438\u0433\u0440\u0430\u0435\u0442 \u043a\u043b\u044e\u0447\u0435\u0432\u0443\u044e \u0440\u043e\u043b\u044c \u0438 \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u043d\u0435 \u043c\u0435\u043d\u044c\u0448\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0430\u0434\u043c\u0438\u043d\u0438\u0441\u0442\u0440\u0430\u0442\u043e\u0440\u043e\u0432, \u0447\u0435\u043c \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u044b. \u041c\u0435\u043d\u044f \u0437\u043e\u0432\u0443\u0442 \u0410\u043b\u0435\u043a\u0441\u0430\u043d\u0434\u0440, \u0441\u0435\u0439\u0447\u0430\u0441 \u044f \u0430\u0434\u043c\u0438\u043d\u0438\u0441\u0442\u0440\u0438\u0440\u0443\u044e ETL \u0432 \u0420\u043e\u0441\u0442\u0435\u043b\u0435\u043a\u043e\u043c\u0435, \u0438\" \/>\n\t\t<meta property=\"og:url\" content=\"https:\/\/prohoster.info\/it\/blog\/administrirovanie\/ot-ezhednevnyh-avarij-k-stabilnosti-informatica-10-glazami-admina\" \/>\n\t\t<meta property=\"og:image\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:secure_url\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:width\" content=\"350\" \/>\n\t\t<meta property=\"og:image:height\" content=\"350\" \/>\n\t\t<meta property=\"article:published_time\" content=\"2019-10-31T19:00:43+00:00\" \/>\n\t\t<meta property=\"article:modified_time\" content=\"2019-10-31T19:00:43+00:00\" \/>\n\t\t<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<meta property=\"article:author\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<!-- All in One SEO -->\n\n","aioseo_head_json":{"title":"\ud83e\udd47Da guasti quotidiani alla stabilit\u00e0: Informatica 10 attraverso gli occhi di un admin | ProHoster","description":"Il componente ETL per lo storage dei dati spesso si trova nell'ombra rispetto allo storage stesso, ricevendo meno attenzione rispetto al database principale o ai componenti front-end, BI e generazione di report. Tuttavia, dal punto di vista della meccanica di riempimento dello storage con i dati, l'ETL gioca un ruolo chiave e richiede altrettanta attenzione da parte degli amministratori quanto gli altri componenti. Mi chiamo Alessandro e attualmente gestisco l'ETL in Rostelecom, e","canonical_url":"https:\/\/prohoster.info\/it\/blog\/administrirovanie\/ot-ezhednevnyh-avarij-k-stabilnosti-informatica-10-glazami-admina","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"it_IT","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041e\u0442 \u0435\u0436\u0435\u0434\u043d\u0435\u0432\u043d\u044b\u0445 \u0430\u0432\u0430\u0440\u0438\u0439 \u043a \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e\u0441\u0442\u0438: Informatica 10 \u0433\u043b\u0430\u0437\u0430\u043c\u0438 \u0430\u0434\u043c\u0438\u043d\u0430 | ProHoster","og:description":"ETL-\u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u0430 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u0447\u0430\u0441\u0442\u043e \u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0432 \u0442\u0435\u043d\u0438 \u0441\u0430\u043c\u043e\u0433\u043e \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430 \u0438 \u0435\u0439 \u0443\u0434\u0435\u043b\u044f\u0435\u0442\u0441\u044f \u043c\u0435\u043d\u044c\u0448\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f, \u0447\u0435\u043c \u0433\u043b\u0430\u0432\u043d\u043e\u0439 \u0431\u0430\u0437\u0435 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438\u043b\u0438 \u0444\u0440\u043e\u043d\u0442-\u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u0435, BI, \u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438 \u043e\u0442\u0447\u0451\u0442\u043e\u0432. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u0441 \u0442\u043e\u0447\u043a\u0438 \u0437\u0440\u0435\u043d\u0438\u044f \u043c\u0435\u0445\u0430\u043d\u0438\u043a\u0438 \u043d\u0430\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430 \u0434\u0430\u043d\u043d\u044b\u043c\u0438, ETL \u0438\u0433\u0440\u0430\u0435\u0442 \u043a\u043b\u044e\u0447\u0435\u0432\u0443\u044e \u0440\u043e\u043b\u044c \u0438 \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u043d\u0435 \u043c\u0435\u043d\u044c\u0448\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0430\u0434\u043c\u0438\u043d\u0438\u0441\u0442\u0440\u0430\u0442\u043e\u0440\u043e\u0432, \u0447\u0435\u043c \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u044b. \u041c\u0435\u043d\u044f \u0437\u043e\u0432\u0443\u0442 \u0410\u043b\u0435\u043a\u0441\u0430\u043d\u0434\u0440, \u0441\u0435\u0439\u0447\u0430\u0441 \u044f \u0430\u0434\u043c\u0438\u043d\u0438\u0441\u0442\u0440\u0438\u0440\u0443\u044e ETL \u0432 \u0420\u043e\u0441\u0442\u0435\u043b\u0435\u043a\u043e\u043c\u0435, \u0438","og:url":"https:\/\/prohoster.info\/it\/blog\/administrirovanie\/ot-ezhednevnyh-avarij-k-stabilnosti-informatica-10-glazami-admina","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2019-10-31T19:00:43+00:00","article:modified_time":"2019-10-31T19:00:43+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"34842","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":"2026-02-08 21:32:10","breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-03-01 02:14:05","updated":"2026-02-08 21:32:10"},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/posts\/34842","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/comments?post=34842"}],"version-history":[{"count":1,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/posts\/34842\/revisions"}],"predecessor-version":[{"id":158197,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/posts\/34842\/revisions\/158197"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/media\/26234"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/media?parent=34842"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/categories?post=34842"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/tags?post=34842"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}