🥇Материалы с митапа по Кафке: СDC коннекторы, проблемы роста, Kubernetes

Привет! Недавно в нашем офисе прошёл митап по Кафке. Очные места на него разлетелись со скоростью света. Как сказал один из спикеров: «Кафка секси».

С коллегами из Booking.com, Confluent, и Авито мы обсуждали подчас нелёкую интеграцию и поддержку Кафки, последствия её скрещивания с Kubernetes, а также известные и собственноручно написанные коннекторы для PostgreSQL

Мы смонтировали видео докладов, собрали со спикеров презентации и отобрали красивые фотографии с митапа. Если вам интересно посмотреть и послушать — заходите под кат.

Видеозаписи докладов

Коннекторы: зачем вас так много — Анатолий Солдатов, Авито

Анатолий рассказал, что такое коннекторы, какие преимущества и недостатки есть у JDBC и Debezium, и как мы в Авито пришли к идее написания своего CDC коннектора.

00:00 — Представление спикера
04:09 — Что такое Kafka Connect, какие коннекторы существуют
18:10 — Для чего обычно используется Connect
23:47 — Первый кейс Авито: data-bus
28:20 — Второй кейс Авито: как мы сделали свой CDC коннектор
41:28 — Ответы на вопросы слушателей

→ Презентация Анатолия

Как приручить Apache Kafka? Опыт Booking.com — Александр Миронов, Booking.com

Александр поделился историями о ком, какие сложности возникли у его команды при работе с Кафкой, и как их решили.

00:00 — Представление спикера
06:22 — Какие проблемы появились при росте количества юзкейсов использования Кафки
08:58 — Создание абстракций для пользователей
14:15 — Аутентификация и секьюрити кластеров
23:53 — Сontrol plane, который всё связывает
27:41 — Забавные и не очень истории из практики
34:00 — Ответы на вопросы слушателей

→ Презентация Александра

Kafka на Kubernetes: а по Хуану ли сомбреро? — Виктор Гамов, Confluent

Виктор ответил на вопрос о том, стоит ли запускать Apache Kafka и обрабатывающие потоки приложения на Kubernetes.

00:00 — Представление спикера
05:19 — Проблемы запуска stateful-приложений на Kubernates
17:52 — Kubernetes pod
22:33 — Работа с хранилищем
28:24 — Custom Kubernetes controllers
48:58 — Rolling upgrade
58:05 — Ответы на вопросы слушателей