Materiales de la reunión de Kafka: conectores CDC, problemas de crecimiento, Kubernetes

¡Hola! Recientemente se celebró en nuestra oficina una reunión sobre Kafka. Los lugares frente a él se dispersaron a la velocidad de la luz. Como dijo uno de los oradores: "Kafka es sexy".

Con colegas de Booking.com, Confluent y Avito, discutimos la integración y el soporte a veces difíciles de Kafka, las consecuencias de cruzarlo con Kubernetes, así como conectores para PostgreSQL conocidos y escritos personalmente.

Editamos reportajes en video, recopilamos presentaciones de los oradores y seleccionamos hermosas fotografías de la reunión. Si estás interesado en mirar y escuchar, ve al gato.

Grabaciones de vídeo de informes.

Conectores: ¿por qué hay tantos? - Anatoly Soldatov, Avito

Anatoly nos contó qué son los conectores, qué ventajas y desventajas tienen JDBC y Debezium, y cómo a Avito se nos ocurrió la idea de escribir nuestro propio conector CDC.

00:00 — Introducción del orador
04:09 — Qué es Kafka Connect, qué conectores existen
18:10 — ¿Para qué se utiliza habitualmente Connect?
23:47 — Primer caso Avito: bus de datos
28:20 — Segundo caso Avito: cómo hicimos nuestro propio conector CDC
41:28 — Respuestas a las preguntas de los oyentes.

→ Presentación de Anatoly

¿Cómo domesticar a Apache Kafka? Experiencia en Booking.com - Alexander Mironov, Booking.com

Alexander compartió historias sobre quién, qué dificultades encontró su equipo al trabajar con Kafka y cómo las resolvieron.

00:00 — Introducción del orador
06:22 — ¿Qué problemas han surgido con el aumento del número de casos de uso del uso de Kafka?
08:58 — Creando abstracciones para los usuarios.
14:15 — Autenticación y seguridad de clusters.
23:53 — Plano de control, que conecta todo
27:41 — Historias divertidas y no tan prácticas.
34:00 — Respuestas a las preguntas de los oyentes.

→ La presentación de Alejandro.

Kafka en Kubernetes: ¿Juan es un sombrero? - Victor Gamov, Confluente

Víctor respondió a la pregunta de si vale la pena ejecutar Apache Kafka y los subprocesos de procesamiento de aplicaciones en Kubernetes.

00:00 — Introducción del orador
05:19 — Problemas al ejecutar aplicaciones con estado en Kubernates
17:52 - módulo de Kubernetes
22:33 — Trabajar con almacenamiento
28:24 - Controladores Kubernetes personalizados
48:58 — Actualización continua
58:05 — Respuestas a las preguntas de los oyentes.

→ La presentación de Víctor.

Se puede encontrar una lista de reproducción con todos los vídeos. en nuestro canal de youtube.

fotografías

Publicamos fotos de la reunión. En facebook и VKontakte. Mira cómo te fue y etiquétate a ti mismo y a tus amigos si asististe a la reunión.

Volveremos pronto con anuncios de nuevos eventos en la oficina de Avito en Moscú. ¡Hasta luego!

Fuente: habr.com