Матеріали з мітапу по Кафці: СDC конектори, проблеми росту, Kubernetes

Вітання! Нещодавно у нашому офісі пройшов мітап Кафкою. Очні місця на нього розлетілися зі швидкістю світла. Як сказав один із спікерів: «Кафка сексі».

З колегами з Booking.com, Confluent, та Авіто ми обговорювали часом нелегку інтеграцію та підтримку Кафки, наслідки її схрещування з Kubernetes, а також відомі та власноруч написані конектори для PostgreSQL

Ми змонтували відео доповідей, зібрали зі спікерів презентації та відібрали гарні фотографії з мітапу. Якщо вам цікаво подивитися та послухати – заходьте під кат.

Відеозаписи доповідей

Конектори: навіщо так багато — Анатолій Солдатов, Авіто

Анатолій розповів, що таке конектори, які переваги та недоліки є у JDBC та Debezium, і як ми в Авіто дійшли ідеї написання свого CDC конектора.

00:00 — Подання спікера
04:09 — Що таке Kafka Connect, які конектори існують
18:10 - Для чого зазвичай використовується Connect
23:47 - Перший кейс Авіто: data-bus
28:20 - Другий кейс Авіто: як ми зробили свій CDC конектор
41:28 — Відповіді на запитання слухачів

→ Презентація Анатолія

Як приручити Apache Kafka? Досвід Booking.com — Олександр Миронов, Booking.com

Олександр поділився історіями про кого, які складнощі виникли у його команди під час роботи з Кафкою, і як їх вирішили.

00:00 — Подання спікера
06:22 — Які проблеми виникли під час зростання кількості юзкейсів використання Кафки
08:58 — Створення абстракцій для користувачів
14:15 — Аутентифікація та сек'юріті кластерів
23:53 - Сontrol plane, який все пов'язує
27:41 — Смішні та не дуже історії з практики
34:00 — Відповіді на запитання слухачів

→ Презентація Олександра

Kafka на Kubernetes: а чи по Хуану сомбреро? - Віктор Гамов, Confluent

Віктор відповів на запитання про те, чи варто запускати Apache Kafka та обробні потоки програми на Kubernetes.

00:00 — Подання спікера
05:19 - Проблеми запуску stateful-додатків на Kubernates
17:52 - Kubernetes pod
22:33 - Робота зі сховищем
28:24 - Custom Kubernetes controllers
48:58 - Rolling upgrade
58:05 — Відповіді на запитання слухачів

→ Презентація Віктора

Плейлист з усіма відео можна знайти на нашому ютуб-каналі.

Фотографії

Фотографії з мітапу ми виклали у Фейсбуці и ВКонтакте. Подивіться, як все минуло, і відзначайте себе та друзів, якщо були на зустрічі.

Незабаром повернемося з анонсами нових заходів у московському офісі Авіто. До нових зустрічей!

Джерело: habr.com