Materialer fra Kafka-mødet: CDC-stik, vokseværk, Kubernetes

Hej! For nylig blev der holdt et møde om Kafka på vores kontor. Pladserne foran ham spredte sig med lysets hastighed. Som en af ​​talerne sagde: "Kafka er sexet."

Med kolleger fra Booking.com, Confluent og Avito diskuterede vi den til tider vanskelige integration og support af Kafka, konsekvenserne af at krydse den med Kubernetes samt velkendte og personligt skrevne connectors til PostgreSQL

Vi redigerede videoreportager, samlede præsentationer fra oplægsholdere og udvalgte smukke billeder fra mødet. Hvis du er interesseret i at se og lytte, så gå til katten.

Videooptagelser af rapporter

Konnektorer: hvorfor er der så mange af jer - Anatoly Soldatov, Avito

Anatoly fortalte os, hvad stik er, hvilke fordele og ulemper JDBC og Debezium har, og hvordan vi hos Avito kom på ideen om at skrive vores eget CDC-stik.

00:00 — Talerintroduktion
04:09 — Hvad er Kafka Connect, hvilke forbindelser findes der
18:10 — Hvad bruges Connect normalt til?
23:47 — Første Avito-sag: databus
28:20 — Anden Avito-sag: hvordan vi lavede vores eget CDC-stik
41:28 — Svar på lytterspørgsmål

→ Præsentation af Anatoly

Hvordan tæmmer man Apache Kafka? Booking.com-oplevelse - Alexander Mironov, Booking.com

Alexander delte historier om hvem, hvilke vanskeligheder hans team stødte på, da de arbejdede med Kafka, og hvordan de løste dem.

00:00 — Talerintroduktion
06:22 — Hvilke problemer er der opstået med stigningen i antallet af use cases til brug af Kafka?
08:58 — At skabe abstraktioner for brugere
14:15 — Autentificering og sikkerhed af klynger
23:53 — Kontrolplan, som forbinder alt
27:41 — Sjove og knap så praktiske historier
34:00 — Svar på lytterspørgsmål

→ Alexanders præsentation

Kafka på Kubernetes: er Juan en sombrero? — Victor Gamov, Confluent

Victor besvarede spørgsmålet om, hvorvidt det er værd at køre Apache Kafka og applikationsbehandlingstråde på Kubernetes.

00:00 — Talerintroduktion
05:19 — Problemer med at køre stateful-applikationer på Kubernates
17:52 - Kubernetes pod
22:33 — Arbejder med opbevaring
28:24 - Brugerdefinerede Kubernetes-controllere
48:58 — Rullende opgradering
58:05 — Svar på lytterspørgsmål

→ Victors præsentation

En playliste med alle videoer kan findes på vores youtube kanal.

fotografier

Vi har lagt billeder op fra mødet på Facebook и ВКонтакте. Se hvordan det gik og tag dig selv og dine venner, hvis du deltog i mødet.

Vi vender snart tilbage med meddelelser om nye begivenheder på Avitos kontor i Moskva. Vi ses!

Kilde: www.habr.com