Mga materyales mula sa Kafka meetup: Mga konektor ng CDC, mga problema sa paglago, Kubernetes

Kamusta! Kamakailan, isang pulong sa Kafka ay ginanap sa aming opisina. Ang mga lugar sa kanyang harapan ay nagkalat sa bilis ng liwanag. Tulad ng sinabi ng isa sa mga tagapagsalita: "Sexy si Kafka."

Sa mga kasamahan mula sa Booking.com, Confluent, at Avito, tinalakay namin ang minsan mahirap na pagsasama at suporta ng Kafka, ang mga kahihinatnan ng pagtawid nito sa Kubernetes, pati na rin ang mga kilala at personal na nakasulat na connector para sa PostgreSQL

Nag-edit kami ng mga ulat ng video, nangolekta ng mga presentasyon mula sa mga tagapagsalita at pumili ng magagandang larawan mula sa meetup. Kung interesado kang manood at makinig, pumunta sa pusa.

Pag-record ng video ng mga ulat

Mga Konektor: bakit marami sa inyo - Anatoly Soldatov, Avito

Sinabi sa amin ni Anatoly kung ano ang mga konektor, kung ano ang mga pakinabang at kawalan ng JDBC at Debezium, at kung paano kami sa Avito ay nagkaroon ng ideya na magsulat ng aming sariling CDC connector.

00:00 — Panimula ng tagapagsalita
04:09 — Ano ang Kafka Connect, anong mga konektor ang umiiral
18:10 — Ano ang karaniwang ginagamit ng Connect?
23:47 — Unang kaso ng Avito: data-bus
28:20 — Pangalawang kaso ng Avito: kung paano namin ginawa ang aming sariling CDC connector
41:28 — Mga sagot sa mga tanong ng nakikinig

→ Pagtatanghal ni Anatoly

Paano paamuin ang Apache Kafka? Karanasan sa Booking.com - Alexander Mironov, Booking.com

Ibinahagi ni Alexander ang mga kuwento tungkol sa kung sino, anong mga paghihirap ang naranasan ng kanyang koponan sa pakikipagtulungan sa Kafka, at kung paano nila nalutas ang mga ito.

00:00 — Panimula ng tagapagsalita
06:22 — Anong mga problema ang lumitaw sa pagtaas ng bilang ng mga kaso ng paggamit para sa paggamit ng Kafka?
08:58 - Paglikha ng mga abstraction para sa mga gumagamit
14:15 — Pagpapatunay at seguridad ng mga kumpol
23:53 — Kontrolin ang eroplano, na nag-uugnay sa lahat
27:41 — Nakakatawa at hindi gaanong praktikal na mga kwento
34:00 — Mga sagot sa mga tanong ng nakikinig

→ pagtatanghal ni Alexander

Kafka sa Kubernetes: sombrero ba si Juan? — Victor Gamov, Confluent

Sinagot ni Victor ang tanong tungkol sa kung sulit ba ang pagpapatakbo ng Apache Kafka at mga thread sa pagpoproseso ng aplikasyon sa Kubernetes.

00:00 — Panimula ng tagapagsalita
05:19 — Mga problema sa pagpapatakbo ng mga stateful na application sa Kubernate
17:52 - Kubernetes pod
22:33 — Paggawa gamit ang imbakan
28:24 - Mga custom na controller ng Kubernetes
48:58 — Rolling upgrade
58:05 — Mga sagot sa mga tanong ng nakikinig

→ pagtatanghal ni Victor

Ang isang playlist na may lahat ng mga video ay matatagpuan sa aming YouTube channel.

Mga larawan

Nag-post kami ng mga larawan mula sa meetup sa Facebook и ВКонтакте. Tingnan kung paano ito nangyari at i-tag ang iyong sarili at ang iyong mga kaibigan kung dumalo ka sa pulong.

Babalik kami sa lalong madaling panahon na may mga anunsyo ng mga bagong kaganapan sa opisina ng Avito sa Moscow. Sa muling pagkikita!

Pinagmulan: www.habr.com