emne: administrasjon

"Hadoop. ZooKeeper" fra Mail.Ru Group Technostream-serien "Metoder for distribuert behandling av store datavolumer i Hadoop"

Jeg foreslår at du leser transkripsjonen av forelesningen «Hadoop. ZooKeeper» fra serien «Metoder for distribuert prosessering av store datamengder i Hadoop». Hva er ZooKeeper, dens plass i Hadoop-økosystemet. Løgner om distribuert databehandling. Diagram over et standard distribuert system. Kompleksiteten ved å koordinere distribuerte systemer. Typiske koordineringsproblemer. Prinsipper som ligger til grunn for utformingen av ZooKeeper. ZooKeeper-datamodell. Znode-flagg. Økter. Klient-API. Primitiver (konfigurasjon, […]

Bearbeiding av hendelser mottatt fra Kafka

Hei, Habr. Jeg delte nylig min erfaring om hvilke parametere vi som team oftest bruker for at Kafka Produsent og Consumer skal komme nærmere garantert levering. I denne artikkelen vil jeg fortelle deg hvordan vi organiserte re-behandlingen av en hendelse mottatt fra Kafka som et resultat av midlertidig utilgjengelighet av det eksterne systemet. Moderne applikasjoner opererer i et svært komplekst miljø. Forretningslogikk pakket […]

Overgang fra OpenVPN på WireGuard å kombinere nettverk til ett L2-nettverk

Jeg vil gjerne dele min erfaring med å kombinere nettverk i tre geografisk avsidesliggende leiligheter, som hver bruker OpenWRT-rutere som en gateway, til ett felles nettverk. Ved valg av metode for å kombinere nettverk mellom L3 med subnettruting og L2 med brobygging, når alle nettverksnoder vil være på samme subnett, ble den andre metoden foretrukket, mer […]

SSD-er for spillere og fremtidens lagring: Seagate på CES 2020

CES er alltid den mest etterlengtede utstillingen på begynnelsen av året, den største begivenheten i den teknologiske verden. Det er der dingser og konsepter først dukker opp, som fra fremtiden umiddelbart trer inn i den virkelige verden og endrer den. Utstillinger av denne skalaen har bare én ulempe: enten det er CES, IFA eller MWC, informasjonsflyten under slike arrangementer er så stor at den kan […]

Datasikkerhetskopiering ved hjelp av FreeFileSync og 7-zip

Anamnese, for å si det sånn: Fujitsu rx300 s6 server, RAID6 på 6 1TB disker, XenServer 6.2 installert, flere servere som snurrer, blant dem Ubuntu med flere baller, 3,5 millioner filer, 1,5 TB med data, alt dette vokser og svulmer gradvis opp. Oppgave: sette opp sikkerhetskopiering av data fra en filserver, dels daglig, dels ukentlig. Vi har en Windows backup-maskin med RAID5 […]

HighLoad++, Mikhail Makurov, Maxim Chernetsov (Intersvyaz): Zabbix, 100kNVPS på én server

Den neste HighLoad++-konferansen holdes 6. og 7. april 2020 i St. Petersburg. Detaljer og billetter følger lenken. HighLoad++ Moskva 2018. Hall “Moskva”. 9. november, 15:00. Sammendrag og presentasjon. * Overvåking - online og analyser. * Grunnleggende begrensninger for ZABBIX-plattformen. * Løsning for skalering av analyselagring. * Optimalisering av ZABBIX-serveren. * UI-optimalisering. * Driftserfaring […]

Uunngåeligheten av FPGA-penetrasjon i datasentre

Du trenger ikke være en brikkedesigner for å programmere for FPGA-er, akkurat som du ikke trenger å være en C++-programmerer for å skrive kode i Java. Imidlertid vil det trolig være nyttig i begge tilfeller. Målet med å kommersialisere både Java- og FPGA-teknologier er å motbevise sistnevnte påstand. Gode ​​nyheter for FPGA-er - ved å bruke passende abstraksjonslag og et sett med […]

Grunnleggende om PostgreSQL-overvåking. Alexey Lesovsky

Jeg inviterer deg til å lese transkripsjonen av Alexey Lesovskys foredrag, «PostgreSQL Monitoring Basics», fra Data Egret. I dette foredraget vil Alexey Lesovsky diskutere hovedpunktene i PostgreSQL-statistikk, hva de betyr og hvorfor de bør inkluderes i overvåking. Han vil også diskutere hvilke grafer som bør inkluderes i overvåking, hvordan de legges til og hvordan de tolkes. Dette foredraget vil være nyttig for databaseadministratorer, systemadministratorer […]

Docker Compose: Forenkle arbeidet ditt ved å bruke Makefiles

Hvert par år gjennomgår programvareutviklingsindustrien et paradigmeskifte. Et av disse fenomenene kan gjenkjennes som den økende interessen for konseptet mikrotjenester. Selv om mikrotjenester ikke er den nyeste teknologien, har populariteten bokstavelig talt skutt i været først nylig. Store monolittiske tjenester blir nå erstattet av uavhengige, autonome mikrotjenester. En mikrotjeneste kan betraktes som en applikasjon som […]

SQL HowTo: skrive en while-løkke direkte i spørringen, eller "Elementær tre-trinns"

Periodisk oppstår oppgaven med å søke etter relaterte data ved hjelp av et sett med nøkler inntil vi samler inn det nødvendige totale antallet poster. Det mest "virkelige" eksemplet er å vise de 20 eldste oppgavene på listen over ansatte (for eksempel innenfor én avdeling). For ulike ledelses-"dashboards" med korte oppsummeringer av arbeidsområder, kreves et lignende emne ganske ofte. I denne artikkelen skal vi se på implementeringen i PostgreSQL […]

Inn i kjernen Linux 5.6-aktivert VPN WireGuard

I dag flyttet Linus nett-neste gren med VPN-grensesnitt til seg selv WireGuardDette arrangementet ble annonsert på e-postlisten. WireGuardKodeinnsamling for den nye kjernen pågår for tiden. Linux 5.6. WireGuard — et raskt, neste generasjons VPN som bruker moderne kryptografi. Det ble opprinnelig utviklet som et enklere og mer praktisk alternativ til eksisterende VPN-er. Forfatteren er en kanadisk spesialist i […]

Sette opp et enkelt VPN med WireGuard og Raspberry Pi som server

Siden WireGuard vil bli en del av fremtidens kjerne Linux 5.6 bestemte jeg meg for å se hvordan jeg best kunne integrere dette VPN-et med min Raspberry Pi-baserte LTE-ruter/tilgangspunkt. Maskinvaren er en Raspberry Pi 3 med en LTE-modul og en offentlig IP-adresse. Dette vil være VPN-serveren (referert til som edgewalker i teksten). Telefonen vil være på. Android, som må bruke VPN for all kommunikasjon Bærbar PC Linux, [...]

Kjøp pålitelig hosting for nettsteder med DDoS-beskyttelse, VPS VDS-servere 🔥 Kjøp pålitelig webhotell med DDoS-beskyttelse, VPS VDS-servere | ProHoster