Sekcja Administracja
Każdy duży projekt zaczynał się od kilku serwerów. Najpierw był jeden serwer DB, a potem dołączyły do niego serwery pomocnicze, aby zwiększyć skalowanie odczytu. I tutaj — stop! Mistrz jeden, a pomocników dużo; jeśli jeden z pomocników odpadnie, wszystko będzie dobrze, a jeśli zniknie mistrz — będzie źle: przestój, admini w panice przywracają serwer. Co zrobić? Zarezerwować mistrza. Mój […]
W Sitimobil korzystamy z bazy danych MySQL jako głównego magazynu danych trwałych. Mamy kilka klastrów baz danych do różnych usług i celów. Ciągła dostępność mistrza jest krytycznym wskaźnikiem funkcjonowania całego systemu i jego poszczególnych części. Automatyczne przywracanie klastra w przypadku awarii mistrza znacznie skraca czas reakcji na incydent oraz czas przestoju systemu. […]
Cześć, Habr! Przedstawiam wam tłumaczenie artykułu „Diving Into Delta Lake: Schema Enforcement & Evolution” autorstwa Burak Yavuz, Brenner Heintz i Denny Lee, który został przygotowany z okazji rozpoczęcia kursu „Data Engineer” od OTUS. Dane, podobnie jak nasze doświadczenie, nieprzerwanie się gromadzą i rozwijają. Aby nie pozostawać w tyle, nasze modele mentalne muszą dostosowywać się do nowych informacji, […]
Wyobraź sobie, że razem ze swoim kolegą, głównym programistą, z którym współpracowałeś przez ostatnie 4 lata w banku, wymyśliłeś coś niewyobrażalnego, co jest bardzo potrzebne na rynku. Wybrałeś dobry model biznesowy, a do zespołu dołączyli silni ludzie. Twoja idea przybrała dość namacalne formy i biznes niemal już zaczął przynosić zyski. Jeśli nie przestrzegać zasad higieny, być toksycznym, […]
Przy pracy z dużymi ilościami danych problem braku miejsca na dyskach może być bardzo wyraźnie odczuwany. Jednym ze sposobów rozwiązania tego problemu jest kompresja, dzięki której na tym samym sprzęcie można pozwolić sobie na zwiększenie pojemności przechowywania. W tym artykule omówimy, jak działa kompresja danych w Apache Ignite. W artykule opisane będą tylko funkcjonalności zaimplementowane w produkcie […]
Każdy, kto kiedykolwiek musiał przenieść kontener OpenVZ na serwer z pełną wirtualizacją KVM, spotkał się z pewnymi problemami: większość informacji jest po prostu przestarzała i dotyczy systemów operacyjnych, które już dawno zakończyły cykl EOL. Różne systemy operacyjne oferują różne informacje, a nigdy nie omawia się możliwych błędów podczas migracji. Czasami trzeba się zmierzyć z […]
Tłumaczenie artykułu zostało przygotowane specjalnie dla studentów kursu „Praktyki i narzędzia DevOps”. Fabian Reinartz – programista, entuzjasta Go i miłośnik rozwiązywania skomplikowanych problemów. Jest również maintainerem Prometheus i współzałożycielem Kubernetes SIG instrumentation. Wcześniej był inżynierem produkcji w SoundCloud i kierował zespołem monitorowania w CoreOS. Obecnie pracuje w Google. Bartek […]
Nazywam się Denis Rożkow, jestem kierownikiem rozwoju oprogramowania w firmie 'Gazinformservis', w zespole produktu Jatoba. Przepisy prawne i normy korporacyjne nakładają określone wymagania dotyczące bezpieczeństwa przechowywania danych. Nikt nie chce, aby osoby trzecie uzyskały dostęp do poufnych informacji, dlatego dla każdego projektu ważne są następujące kwestie: identyfikacja i uwierzytelnianie, zarządzanie dostępem do danych, zapewnienie integralności informacji w […]
26 maja zapraszamy na wydarzenie online 'Azure dla wszystkich: kurs wprowadzający' — to doskonała okazja, aby w ciągu kilku godzin zapoznać się z możliwościami chmur Microsoft w formacie online. Specjaliści z Microsoft pomogą Ci odkryć pełny potencjał chmury, dzieląc się swoją wiedzą, oferując ekskluzywne pomysły i praktyczne zajęcia. Podczas dwugodzinnego webinaru poznasz podstawowe koncepcje chmur […]
Minio to prosty, szybki i zgodny z AWS S3 magazyn obiektów. Minio stworzono do przechowywania danych nieustrukturyzowanych, takich jak fotografie, filmy, pliki dzienników, kopie zapasowe. W Minio wspierany jest również tryb rozproszony (distributed mode), który umożliwia podłączenie wielu dysków do jednego serwera przechowywania obiektów, w tym umieszczonych na różnych maszynach. Celem tego wpisu jest skonfigurowanie […]
Według danych Statista, do 2025 roku wartość rynku big data wzrośnie do 175 zettabajtów w porównaniu do 41 w 2019 roku (wykres). Aby zdobyć pracę w tej dziedzinie, trzeba znać zasady pracy z dużymi danymi przechowywanymi w chmurze. Cloud4Y przygotował listę 12 płatnych i bezpłatnych kursów z inżynierii danych, które poszerzą twoją wiedzę w tej dziedzinie i […]
QUIC (Quick UDP Internet Connections) to protokół nad UDP, który wspiera wszystkie możliwości TCP, TLS i HTTP/2 oraz rozwiązuje większość ich problemów. Często nazywa się go nowym lub „eksperymentalnym” protokołem, ale od dawna przestał być w fazie eksperymentu: rozwój trwa już ponad 7 lat. W tym czasie protokół nie stał się standardem, ale zyskał szerokie zastosowanie. […]