Материали от срещата на Kafka: CDC конектори, проблеми с растежа, Kubernetes

Здравейте! Наскоро в нашия офис се проведе среща за Кафка. Местата пред него се разпръснаха със скоростта на светлината. Както каза един от лекторите: „Кафка е секси“.

С колеги от Booking.com, Confluent и Avito обсъдихме понякога трудната интеграция и поддръжка на Kafka, последствията от пресичането му с Kubernetes, както и добре познати и лично написани конектори за PostgreSQL

Редактирахме видео доклади, събрахме презентации от лектори и подбрахме красиви снимки от срещата. Ако ви е интересно да гледате и слушате, отидете при котката.

Видео записи на репортажи

Конектори: защо сте толкова много от вас - Анатолий Солдатов, Avito

Анатолий ни разказа какво представляват конекторите, какви предимства и недостатъци имат JDBC и Debezium и как ние от Avito стигнахме до идеята да напишем собствен CDC конектор.

00:00 — Представяне на лектора
04:09 — Какво е Kafka Connect, какви съединители съществуват
18:10 — За какво обикновено се използва Connect?
23:47 — Първи случай на Avito: шина за данни
28:20 — Втори случай на Avito: как направихме наш собствен CDC конектор
41:28 — Отговори на въпроси на слушателите

→ Презентация на Анатолий

Как да опитомим апаша Кафка? Опит на Booking.com - Александър Миронов, Booking.com

Александър сподели истории за това кой, какви трудности е срещнал екипът му при работата с Кафка и как са ги разрешили.

00:00 — Представяне на лектора
06:22 — Какви проблеми възникнаха с увеличаването на броя на случаите на използване на Kafka?
08:58 — Създаване на абстракции за потребителите
14:15 — Удостоверяване и сигурност на клъстери
23:53 — Контролна равнина, която свързва всичко
27:41 — Забавни и не толкова практични истории
34:00 — Отговори на въпроси на слушателите

→ Презентацията на Александър

Кафка за Kubernetes: Хуан сомбреро ли е? — Виктор Гъмов, Confluent

Виктор отговори на въпроса дали си струва да стартирате Apache Kafka и нишки за обработка на приложения на Kubernetes.

00:00 — Представяне на лектора
05:19 — Проблеми при стартиране на приложения със състояние на Kubernates
17:52 - Kubernetes pod
22:33 — Работа със съхранение
28:24 - Персонализирани контролери Kubernetes
48:58 — Подвижен ъпгрейд
58:05 — Отговори на въпроси на слушателите

→ Презентацията на Виктор

Може да се намери плейлист с всички видеоклипове в нашия youtube канал.

фотографии

Публикувахме снимки от срещата във Фейсбук и ВКонтакте. Вижте как е минало и маркирайте себе си и приятелите си, ако сте присъствали на срещата.

Скоро ще се върнем с съобщения за нови събития в московския офис на Avito. Ще се видим отново!

Източник: www.habr.com