Matériel de la rencontre Kafka : connecteurs CDC, problèmes de croissance, Kubernetes

Bonjour! Récemment, une réunion sur Kafka a eu lieu dans nos bureaux. Les lieux devant lui se dispersèrent à la vitesse de la lumière. Comme l’a dit l’un des intervenants : « Kafka est sexy ».

Avec des collègues de Booking.com, Confluent et Avito, nous avons discuté de l'intégration et du support parfois difficiles de Kafka, des conséquences de son croisement avec Kubernetes, ainsi que des connecteurs bien connus et écrits personnellement pour PostgreSQL.

Nous avons édité des reportages vidéo, collecté les présentations des conférenciers et sélectionné de belles photographies de la rencontre. Si vous souhaitez regarder et écouter, allez voir le chat.

Matériel de la rencontre Kafka : connecteurs CDC, problèmes de croissance, Kubernetes

Enregistrements vidéo des rapports

Connecteurs : pourquoi êtes-vous si nombreux - Anatoly Soldatov, Avito

Anatoly nous a expliqué ce que sont les connecteurs, quels sont les avantages et les inconvénients de JDBC et Debezium et comment nous, chez Avito, avons eu l'idée d'écrire notre propre connecteur CDC.

00:00 — Présentation du conférencier
04:09 — Qu'est-ce que Kafka Connect, quels connecteurs existent
18:10 — À quoi sert Connect habituellement ?
23:47 — Premier cas Avito : bus de données
28:20 — Deuxième cas Avito : comment nous avons fabriqué notre propre connecteur CDC
41:28 — Réponses aux questions des auditeurs

Présentation d'Anatolie

Comment apprivoiser Apache Kafka ? Expérience Booking.com - Alexandre Mironov, Booking.com

Alexander a partagé des histoires sur qui, quelles difficultés son équipe a rencontrées en travaillant avec Kafka et comment ils les ont résolues.

00:00 — Présentation du conférencier
06:22 — Quels problèmes sont apparus avec l'augmentation du nombre de cas d'utilisation de Kafka ?
08:58 — Création d'abstractions pour les utilisateurs
14:15 — Authentification et sécurité des clusters
23:53 — Plan de contrôle, qui connecte tout
27:41 — Des histoires drôles et pas si pratiques
34:00 — Réponses aux questions des auditeurs

Présentation d'Alexandre

Kafka sur Kubernetes : Juan est-il un sombrero ? — Victor Gamov, Confluent

Victor a répondu à la question de savoir s'il valait la peine d'exécuter Apache Kafka et les threads de traitement d'applications sur Kubernetes.

00:00 — Présentation du conférencier
05:19 — Problèmes d'exécution d'applications avec état sur Kubernates
17:52 - Pod Kubernetes
22:33 — Travailler avec le stockage
28:24 - Contrôleurs Kubernetes personnalisés
48:58 — Mise à niveau continue
58:05 — Réponses aux questions des auditeurs

Présentation de Victor

Une playlist avec toutes les vidéos peut être trouvée sur notre chaîne YouTube.

Photographies

Nous avons posté des photos de la rencontre sur Facebook и ВКонтакте. Voyez comment cela s'est passé et identifiez-vous ainsi que vos amis si vous avez assisté à la réunion.

Matériel de la rencontre Kafka : connecteurs CDC, problèmes de croissance, Kubernetes

Nous serons bientôt de retour avec des annonces de nouveaux événements au bureau d'Avito à Moscou. À la prochaine!

Source: habr.com

Ajouter un commentaire