Materialen van de Kafka-meetup: CDC-connectoren, groeipijnen, Kubernetes

Hallo! Onlangs vond op ons kantoor een bijeenkomst over Kafka plaats. De plaatsen voor hem verspreidden zich met de snelheid van het licht. Zoals een van de sprekers zei: “Kafka is sexy.”

Met collega's van Booking.com, Confluent en Avito bespraken we de soms moeilijke integratie en ondersteuning van Kafka, de gevolgen van de kruising met Kubernetes, evenals bekende en persoonlijk geschreven connectoren voor PostgreSQL

We hebben videoreportages gemonteerd, presentaties van sprekers verzameld en prachtige foto's van de meetup geselecteerd. Als je geïnteresseerd bent in kijken en luisteren, ga dan naar de kat.

Video-opnamen van rapporten

Connectors: waarom zijn er zo veel van jullie - Anatoly Soldatov, Avito

Anatoly vertelde ons wat connectoren zijn, welke voor- en nadelen JDBC en Debezium hebben, en hoe wij bij Avito op het idee kwamen om onze eigen CDC-connector te schrijven.

00:00 — Sprekerintroductie
04:09 — Wat is Kafka Connect, welke connectoren bestaan ​​er
18:10 — Waar wordt Connect meestal voor gebruikt?
23:47 — Eerste Avito-geval: databus
28:20 — Tweede Avito-zaak: hoe we onze eigen CDC-connector hebben gemaakt
41:28 - Antwoorden op vragen van luisteraars

→ Presentatie door Anatoly

Hoe Apache Kafka temmen? Ervaring met Booking.com - Alexander Mironov, Booking.com

Alexander deelde verhalen over wie en welke moeilijkheden zijn team tegenkwam tijdens de samenwerking met Kafka, en hoe ze deze oplosten.

00:00 — Sprekerintroductie
06:22 — Welke problemen zijn er ontstaan ​​door de toename van het aantal use cases voor het gebruik van Kafka?
08:58 — Abstracties creëren voor gebruikers
14:15 — Authenticatie en beveiliging van clusters
23:53 — Controlevlak, dat alles met elkaar verbindt
27:41 — Grappige en niet zo praktische verhalen
34:00 - Antwoorden op vragen van luisteraars

→ Alexanders presentatie

Kafka op Kubernetes: is Juan een sombrero? - Victor Gamov, Confluent

Victor beantwoordde de vraag of het de moeite waard is om Apache Kafka en applicatieverwerkingsthreads op Kubernetes te draaien.

00:00 — Sprekerintroductie
05:19 — Problemen met het uitvoeren van stateful applicaties op Kubernates
17:52 - Kubernetes-pod
22:33 – Werken met opslag
28:24 - Aangepaste Kubernetes-controllers
48:58 - Rollende upgrade
58:05 - Antwoorden op vragen van luisteraars

→ Victor's presentatie

Er is een afspeellijst met alle video's te vinden op ons YouTube-kanaal.

Foto's

We hebben foto's geplaatst van de bijeenkomst op Facebook и ВКонтакте. Bekijk hoe het ging en tag jezelf en je vrienden als je bij de bijeenkomst aanwezig was.

We zijn snel terug met aankondigingen van nieuwe evenementen op het kantoor van Avito in Moskou. Tot ziens!

Bron: www.habr.com