Rubrik Verwaltung
Jedes große Projekt begann mit ein paar Servern. Zunächst gab es einen DB-Server, dann kamen Slaves hinzu, um das Lesen zu skalieren. Und hier — Halt! Es gibt einen Master und viele Slaves; wenn einer der Slaves ausfällt, ist alles gut, aber wenn der Master ausfällt — wird es schlecht: Downtime, Admins machen sich Sorgen, einen Server wieder hochzufahren. Was tun? Den Master reservieren. Mein […]
Bei SitiMobil verwenden wir MySQL als Hauptspeicher für permanente Daten. Wir haben mehrere Datenbankcluster für verschiedene Dienste und Zwecke. Die ständige Verfügbarkeit des Masters ist ein kritischer Indikator für die Funktionsfähigkeit des gesamten Systems und seiner einzelnen Teile. Die automatische Wiederherstellung des Clusters im Falle eines Masterausfalls verringert die Reaktionszeit auf Vorfälle und die Ausfallzeit des Systems erheblich. […]
Hallo, Habr! Ich präsentiere Ihnen die Übersetzung des Artikels „Diving Into Delta Lake: Schema Enforcement & Evolution“ von Burak Yavuz, Brenner Heintz und Denny Lee, die im Vorfeld der Einführung des Kurses „Data Engineer“ von OTUS vorbereitet wurde. Daten, wie auch unsere Erfahrungen, sammeln sich ständig an und entwickeln sich weiter. Um nicht hinterherzuhinken, müssen unsere mentalen Modelle der Welt an die neuen Daten angepasst werden, […]
Stellen Sie sich vor, Sie und Ihr Kollege, ein leitender Programmierer, mit dem Sie die letzten 4 Jahre in der Bank gearbeitet haben, haben etwas Unvorstellbares erdacht, das der Markt dringend benötigt. Sie haben ein gutes Geschäftsmodell gewählt und starke Leute haben sich Ihrem Team angeschlossen. Ihre Idee hat greifbare Züge angenommen und das Geschäft hat praktisch begonnen, Geld zu erwirtschaften. Wenn man überhaupt keine Hygieneregeln einhält, toxisch ist, […]
Beim Arbeiten mit großen Datenmengen kann manchmal das Problem des mangelnden Speicherplatzes auf Festplatten auftreten. Eine der Lösungen für dieses Problem ist die Komprimierung, durch die es möglich ist, auf derselben Hardware den Speicherplatz zu vergrößern. In diesem Artikel werden wir betrachten, wie die Datenkomprimierung in Apache Ignite funktioniert. Nur die im Produkt umgesetzten Aspekte werden in diesem Artikel beschrieben […]
Jeder, der schon einmal ein OpenVZ-Container auf einen Server mit vollständiger KVM-Virtualisierung übertragen musste, hat bestimmte Probleme erlebt: Die meisten Informationen sind einfach veraltet und waren für längst vergangene EOL-Zyklen von Betriebssystemen relevant. Je nach Betriebssystem werden unterschiedliche Informationen bereitgestellt, und mögliche Fehler bei der Migration werden nie betrachtet. Manchmal muss man mit […]
Die Übersetzung des Artikels wurde speziell für die Studenten des Kurses „DevOps Praktiken und Werkzeuge“ vorbereitet. Fabian Reinartz ist Softwareentwickler, Go-Enthusiast und löst gerne komplexe Aufgaben. Er ist zudem der Maintainer von Prometheus und Mitbegründer von Kubernetes SIG instrumentation. Zuvor war er Production Engineer bei SoundCloud und leitete die Überwachungsgruppe bei CoreOS. Momentan arbeitet er bei Google. Bartek […]
Ich heiße Denis Rozhkov und bin Leiter der Softwareentwicklung bei „Gasinformservice“ im Produktteam Jatoba. Gesetzliche und Unternehmensrichtlinien stellen bestimmte Anforderungen an die Datensicherheit. Niemand möchte, dass Dritte Zugang zu sensiblen Informationen erhalten, daher sind folgende Themen für jedes Projekt wichtig: Identifizierung und Authentifizierung, Zugriffsmanagement auf Daten, Sicherstellung der Integrität der Informationen in […]
Am 26. Mai laden wir Sie zu der Online-Veranstaltung „Azure für alle: Einführungsseminar“ ein — dies ist eine hervorragende Gelegenheit, in nur wenigen Stunden die Möglichkeiten der Microsoft Cloud-Technologien im Online-Format kennenzulernen. Microsoft-Spezialisten helfen Ihnen, das gesamte Potenzial der Cloud zu erschließen, indem sie ihr Wissen teilen, exklusive Ideen anbieten und praktische Übungen durchführen. Im Verlauf des zweistündigen Webinars erfahren Sie mehr über die allgemeinen Konzepte der Cloud […]
Minio ist ein einfaches, schnelles und mit AWS S3 kompatibles Objektspeicher. Minio wurde zur Speicherung unstrukturierter Daten entwickelt, wie z. B. Fotos, Videos, Protokolldateien und Backups. Minio unterstützt auch den verteilten Modus (distributed mode), der die Verbindung mehrerer Festplatten zu einem einzigen Objektspeicherserver ermöglicht, auch wenn sie auf verschiedenen Maschinen liegen. Ziel dieses Beitrags ist es, […]
Laut Statista wird das Volumen des Big Data-Marktes bis 2025 auf 175 Zettabyte steigen, im Vergleich zu 41 im Jahr 2019 (Grafik). Um in diesem Bereich einen Job zu bekommen, ist es notwendig zu verstehen, wie man mit großen Datenmengen, die in der Cloud gespeichert sind, arbeitet. Cloud4Y hat eine Liste von 12 kostenpflichtigen und kostenlosen Kursen zur Datenengineering zusammengestellt, die Ihr Wissen in diesem Bereich erweitern werden und […]
QUIC (Quick UDP Internet Connections) ist ein Protokoll über UDP, das alle Funktionen von TCP, TLS und HTTP/2 unterstützt und die meisten ihrer Probleme löst. Es wird oft als neues oder „experimentelles“ Protokoll bezeichnet, hat jedoch die Experimentierphase längst hinter sich: Die Entwicklung läuft seit über 7 Jahren. In dieser Zeit hat das Protokoll zwar noch keinen Status als Standard erreicht, erfreut sich aber dennoch einer breiten Verbreitung. […]