Materials de la trobada de Kafka: connectors CDC, dolors de creixement, Kubernetes

Hola! Recentment, es va celebrar una reunió sobre Kafka a la nostra oficina. Els llocs davant seu es van dispersar a la velocitat de la llum. Com va dir un dels ponents: "Kafka és sexy".

Amb els companys de Booking.com, Confluent i Avito, vam parlar de la difícil integració i suport de Kafka, les conseqüències de creuar-lo amb Kubernetes, així com els connectors coneguts i escrits personalment per a PostgreSQL.

Hem editat informes de vídeo, hem recollit presentacions dels ponents i hem seleccionat fotografies boniques de la trobada. Si us interessa veure i escoltar, aneu al gat.

Enregistraments en vídeo dels informes

Connectors: per què sou tants - Anatoly Soldatov, Avito

Anatoly ens va explicar què són els connectors, quins avantatges i desavantatges tenen JDBC i Debezium i com a Avito se'ns va ocórrer la idea d'escriure el nostre propi connector CDC.

00:00 - Presentació del ponent
04:09 — Què és Kafka Connect, quins connectors existeixen
18:10 — Per a què s'utilitza habitualment Connect?
23:47 — Primer cas Avito: bus de dades
28:20 — Segon cas Avito: com vam fer el nostre propi connector CDC
41:28 — Respostes a les preguntes dels oients

→ Presentació d'Anatoly

Com domar Apache Kafka? Experiència Booking.com - Alexander Mironov, Booking.com

Alexander va compartir històries sobre qui, quines dificultats va trobar el seu equip quan treballava amb Kafka i com les van resoldre.

00:00 - Presentació del ponent
06:22 — Quins problemes han sorgit amb l'augment del nombre de casos d'ús per utilitzar Kafka?
08:58 — Creació d'abstraccions per als usuaris
14:15 — Autenticació i seguretat de clústers
23:53 — Pla de control, que ho connecta tot
27:41 — Històries divertides i no tan pràctiques
34:00 — Respostes a les preguntes dels oients

→ Presentació d'Alexandre

Kafka a Kubernetes: Juan és un sombrero? — Víctor Gamov, Confluent

En Victor va respondre a la pregunta sobre si val la pena executar Apache Kafka i fils de processament d'aplicacions a Kubernetes.

00:00 - Presentació del ponent
05:19 — Problemes amb l'execució d'aplicacions amb estat a Kubernates
17:52 - Pod de Kubernetes
22:33 — Treballar amb emmagatzematge
28:24 - Controladors Kubernetes personalitzats
48:58 - Actualització continuada
58:05 — Respostes a les preguntes dels oients

→ Presentació del Víctor

Es pot trobar una llista de reproducció amb tots els vídeos al nostre canal de youtube.

Fotos

Hem penjat fotos de la trobada a Facebook и ВКонтакте. Mireu com ha anat i etiqueteu-vos a vosaltres mateixos i als vostres amics si heu assistit a la reunió.

Tornarem aviat amb anuncis de nous esdeveniments a l'oficina d'Avito a Moscou. A reveure!

Font: www.habr.com