เบงเบฑเบ”เบชเบฐเบ”เบธเบˆเบฒเบเบเบฒเบ™เบ›เบฐเบŠเบธเบก Kafka: เบ•เบปเบงเป€เบŠเบทเปˆเบญเบกเบ•เปเปˆ CDC, เบ„เบงเบฒเบกเป€เบˆเบฑเบšเบ›เบงเบ”เบ—เบตเปˆเป€เบ•เบตเบšเปƒเบซเบเปˆ, Kubernetes

เบชเบฐเบšเบฒเบเบ”เบต! เบšเปเปˆเบ”เบปเบ™เบกเบฒเบ™เบตเป‰, เบเบญเบ‡เบ›เบฐเบŠเบธเบกเบเปˆเบฝเบงเบเบฑเบš Kafka เป„เบ”เป‰เบˆเบฑเบ”เบ‚เบถเป‰เบ™เปƒเบ™เบซเป‰เบญเบ‡เบเบฒเบ™เบ‚เบญเบ‡เบžเบงเบเป€เบฎเบปเบฒ. เบชเบฐโ€‹เบ–เบฒเบ™โ€‹เบ—เบตเปˆโ€‹เบขเบนเปˆโ€‹เบ—เบฒเบ‡โ€‹เบซเบ™เป‰เบฒโ€‹เบ‚เบญเบ‡โ€‹เบžเบฃเบฐโ€‹เบญเบปเบ‡โ€‹เบเบฐโ€‹เปเบˆเบโ€‹เบเบฐโ€‹เบˆเบฒเบโ€‹เบขเบนเปˆโ€‹เปƒเบ™โ€‹เบ„เบงเบฒเบกโ€‹เป„เบงโ€‹เบ‚เบญเบ‡โ€‹เปเบชเบ‡โ€‹. เบ”เบฑเปˆเบ‡เบ—เบตเปˆเบœเบนเป‰เป€เบงเบปเป‰เบฒเบ„เบปเบ™เบ™เบถเปˆเบ‡เป€เบงเบปเป‰เบฒเบงเปˆเบฒ: "Kafka เปเบกเปˆเบ™เป€เบŠเบฑเบเบŠเบตเปˆ."

เบเบฑเบšเป€เบžเบทเปˆเบญเบ™เบฎเปˆเบงเบกเบ‡เบฒเบ™เบˆเบฒเบ Booking.com, Confluent, เปเบฅเบฐ Avito, เบžเบงเบเป€เบฎเบปเบฒเป„เบ”เป‰เบ›เบถเบเบชเบฒเบซเบฒเบฅเบทเบเปˆเบฝเบงเบเบฑเบšเบเบฒเบ™เป€เบŠเบทเปˆเบญเบกเป‚เบเบ‡เบ—เบตเปˆเบกเบตเบ„เบงเบฒเบกเบซเบเบธเป‰เบ‡เบเบฒเบเบšเบฒเบ‡เบ„เบฑเป‰เบ‡เปเบฅเบฐเบเบฒเบ™เบชเบฐเบซเบ™เบฑเบšเบชเบฐเบซเบ™เบนเบ™เบ‚เบญเบ‡ Kafka, เบœเบปเบ™เบชเบฐเบ—เป‰เบญเบ™เบ‚เบญเบ‡เบเบฒเบ™เบ‚เป‰เบฒเบกเบกเบฑเบ™เบเบฑเบš Kubernetes, เป€เบŠเบฑเปˆเบ™เบ”เบฝเบงเบเบฑเบ™เบเบฑเบšเบ•เบปเบงเป€เบŠเบทเปˆเบญเบกเบ•เปเปˆเบ—เบตเปˆเบกเบตเบŠเบทเปˆเบชเบฝเบ‡เปเบฅเบฐเป€เบ›เบฑเบ™เบฅเบฒเบเบฅเบฑเบเบญเบฑเบเบชเบญเบ™เบชเปˆเบงเบ™เบšเบธเบเบ„เบปเบ™เบชเปเบฒเบฅเบฑเบš PostgreSQL.

เบžเบงเบโ€‹เป€เบฎเบปเบฒโ€‹เป„เบ”เป‰โ€‹เปเบเป‰โ€‹เป„เบ‚โ€‹เบฅเบฒเบโ€‹เบ‡เบฒเบ™โ€‹เบงเบดโ€‹เบ”เบตโ€‹เป‚เบญโ€‹, เป€เบเบฑเบšโ€‹เบเปเบฒโ€‹เบ‚เปเป‰โ€‹เบชเบฐโ€‹เป€เบซเบ™เบตโ€‹เบˆเบฒเบโ€‹เบฅเปเบฒโ€‹เป‚เบžเบ‡โ€‹เปเบฅเบฐโ€‹เบ„เบฑเบ”โ€‹เป€เบฅเบทเบญเบโ€‹เป€เบญเบปเบฒโ€‹เบฎเบนเบšโ€‹เบžเบฒเบšโ€‹เบ—เบตเปˆโ€‹เบชเบงเบโ€‹เบ‡เบฒเบกโ€‹เบˆเบฒเบโ€‹เบเบฒเบ™โ€‹เบžเบปเบšโ€‹เบ›เบฐโ€‹. เบ–เป‰เบฒโ€‹เบซเบฒเบโ€‹เบงเปˆเบฒโ€‹เบ—เปˆเบฒเบ™โ€‹เบกเบตโ€‹เบ„เบงเบฒเบกโ€‹เบชเบปเบ™โ€‹เปƒเบˆโ€‹เปƒเบ™โ€‹เบเบฒเบ™โ€‹เป€เบšเบดเปˆเบ‡โ€‹เปเบฅเบฐโ€‹เบŸเบฑเบ‡โ€‹, เป„เบ› cat เป„เบ”เป‰โ€‹.

เบงเบฑเบ”เบชเบฐเบ”เบธเบˆเบฒเบเบเบฒเบ™เบ›เบฐเบŠเบธเบก Kafka: เบ•เบปเบงเป€เบŠเบทเปˆเบญเบกเบ•เปเปˆ CDC, เบ„เบงเบฒเบกเป€เบˆเบฑเบšเบ›เบงเบ”เบ—เบตเปˆเป€เบ•เบตเบšเปƒเบซเบเปˆ, Kubernetes

เบงเบดเบ”เบตเป‚เบญเบšเบฑเบ™เบ—เบถเบเบšเบปเบ”เบฅเบฒเบเบ‡เบฒเบ™

เบ•เบปเบงเป€เบŠเบทเปˆเบญเบกเบ•เปเปˆ: เป€เบ›เบฑเบ™เบซเบเบฑเบ‡เป€เบˆเบปเป‰เบฒเบˆเบถเปˆเบ‡เบกเบตเบซเบผเบฒเบ - Anatoly Soldatov, Avito

Anatoly เบšเบญเบเบžเบงเบเป€เบฎเบปเบฒเบงเปˆเบฒเบ•เบปเบงเป€เบŠเบทเปˆเบญเบกเบ•เปเปˆเปเบกเปˆเบ™เบซเบเบฑเบ‡, เบ‚เปเป‰เบ”เบตเปเบฅเบฐเบ‚เปเป‰เป€เบชเบ JDBC เปเบฅเบฐ Debezium เบกเบตเบซเบเบฑเบ‡เปเบ”เปˆ, เปเบฅเบฐเบงเบดเบ—เบตเบ—เบตเปˆเบžเบงเบเป€เบฎเบปเบฒเบขเบนเปˆ Avito เป€เบเบตเบ”เบ‚เบทเป‰เบ™เบเบฑเบšเบ„เบงเบฒเบกเบ„เบดเบ”เบ‚เบญเบ‡เบเบฒเบ™เบ‚เบฝเบ™เบ•เบปเบงเป€เบŠเบทเปˆเบญเบกเบ•เปเปˆ CDC เบ‚เบญเบ‡เบžเบงเบเป€เบฎเบปเบฒเป€เบญเบ‡.

00:00 - เบเบฒเบ™โ€‹เบ™เปเบฒโ€‹เบชเบฐโ€‹เป€เบซเบ™เบตโ€‹เบ‚เบญเบ‡โ€‹เบฅเปเบฒโ€‹เป‚เบžเบ‡โ€‹
04:09 - Kafka Connect เปเบกเปˆเบ™เบซเบเบฑเบ‡, เบกเบตเบ•เบปเบงเป€เบŠเบทเปˆเบญเบกเบ•เปเปˆเปƒเบ”เปเบ”เปˆ
18:10 - เบเบฒเบ™เป€เบŠเบทเปˆเบญเบกเบ•เปเปˆเปเบกเปˆเบ™เปƒเบŠเป‰เป€เบžเบทเปˆเบญเบซเบเบฑเบ‡?
23:47 - เบเปเบฅเบฐเบ™เบต Avito เบ—เปเบฒเบญเบดเบ”: data-bus
28:20 โ€” เบเปเบฅเบฐเบ™เบต Avito เบ—เบตเบชเบญเบ‡: เบžเบงเบเป€เบฎเบปเบฒเบชเป‰เบฒเบ‡เบ•เบปเบงเป€เบŠเบทเปˆเบญเบกเบ•เปเปˆ CDC เบ‚เบญเบ‡เบžเบงเบเป€เบฎเบปเบฒเป€เบญเบ‡เป„เบ”เป‰เปเบ™เบงเปƒเบ”
41:28 โ€” เบ•เบญเบšโ€‹เบ„เปเบฒโ€‹เบ–เบฒเบกโ€‹เบ‚เบญเบ‡โ€‹เบœเบนเป‰โ€‹เบŸเบฑเบ‡โ€‹

โ†’ เบเบฒเบ™เบ™เปเบฒเบชเบฐเป€เบซเบ™เบตเป‚เบ”เบ Anatoly

เบงเบดเบ—เบตเบเบฒเบ™เบฎเบฑเบเบชเบฒ Apache Kafka? เบ›เบฐเบชเบปเบšเบเบฒเบ™ Booking.com - Alexander Mironov, Booking.com

Alexander เปเบšเปˆเบ‡เบ›เบฑเบ™เป€เบฅเบทเปˆเบญเบ‡เบเปˆเบฝเบงเบเบฑเบšเปƒเบœ, เบ„เบงเบฒเบกเบซเบเบธเป‰เบ‡เบเบฒเบเบ—เบตเปˆเบ—เบตเบกเบ‡เบฒเบ™เบ‚เบญเบ‡เบฅเบฒเบงเบžเบปเบšเปƒเบ™เป€เบงเบฅเบฒเบ—เบตเปˆเป€เบฎเบฑเบ”เบงเบฝเบเบเบฑเบš Kafka, เปเบฅเบฐเบงเบดเบ—เบตเบเบฒเบ™เปเบเป‰เป„เบ‚เบžเบงเบเป€เบ‚เบปเบฒ.

00:00 - เบเบฒเบ™โ€‹เบ™เปเบฒโ€‹เบชเบฐโ€‹เป€เบซเบ™เบตโ€‹เบ‚เบญเบ‡โ€‹เบฅเปเบฒโ€‹เป‚เบžเบ‡โ€‹
06:22 - เบšเบฑเบ™เบซเบฒเบญเบฑเบ™เปƒเบ”เบ—เบตเปˆเป€เบเบตเบ”เบ‚เบทเป‰เบ™เบเบฑเบšเบเบฒเบ™เป€เบžเบตเปˆเบกเบ‚เบทเป‰เบ™เบ‚เบญเบ‡เบเปเบฅเบฐเบ™เบตเบเบฒเบ™เบ™เปเบฒเปƒเบŠเป‰เบชเปเบฒเบฅเบฑเบšเบเบฒเบ™เบ™เปเบฒเปƒเบŠเป‰ Kafka?
08:58 - เบชเป‰เบฒเบ‡โ€‹เบšเบปเบ”โ€‹เบ„เบฑเบ”โ€‹เบซเบเปเป‰โ€‹เบชเปเบฒโ€‹เบฅเบฑเบšโ€‹เบœเบนเป‰โ€‹เบŠเบปเบกโ€‹เปƒเบŠเป‰โ€‹
14:15 - เบเบฒเบ™เบเบงเบ”เบชเบญเบš เปเบฅเบฐเบ„เบงเบฒเบกเบ›เบญเบ”เป„เบžเบ‚เบญเบ‡เบเบธเปˆเบก
23:53 - เบเบปเบ™โ€‹เบ„เบงเบšโ€‹เบ„เบธเบกโ€‹, เบ—เบตเปˆโ€‹เป€เบŠเบทเปˆเบญเบกโ€‹เบ•เปเปˆโ€‹เบ—เบธเบโ€‹เบชเบดเปˆเบ‡โ€‹เบ—เบธเบโ€‹เบขเปˆเบฒเบ‡โ€‹
27:41 โ€” เป€เบฅเบทเปˆเบญเบ‡เบ•เบฐเบซเบฅเบปเบ เปเบฅเบฐเบšเปเปˆเปเบกเปˆเบ™เป€เบฅเบทเปˆเบญเบ‡เบˆเบดเบ‡
34:00 โ€” เบ•เบญเบšโ€‹เบ„เปเบฒโ€‹เบ–เบฒเบกโ€‹เบ‚เบญเบ‡โ€‹เบœเบนเป‰โ€‹เบŸเบฑเบ‡โ€‹

โ†’ เบเบฒเบ™เบ™เปเบฒเบชเบฐเป€เบซเบ™เบตเบ‚เบญเบ‡ Alexander

Kafka เปƒเบ™ Kubernetes: Juan เป€เบ›เบฑเบ™ sombrero เบšเป? โ€” Victor Gamov, เบ›เบฐโ€‹เบชเบฒเบ™

Victor เป„เบ”เป‰เบ•เบญเบšเบ„เปเบฒเบ–เบฒเบกเบเปˆเบฝเบงเบเบฑเบšเบงเปˆเบฒเบกเบฑเบ™เบ„เบธเป‰เบกเบ„เปˆเบฒเบ—เบตเปˆเบˆเบฐเบ”เปเบฒเป€เบ™เบตเบ™เบเบฒเบ™ Apache Kafka เปเบฅเบฐเบเบฐเบ—เบนเป‰เบเบฒเบ™เบ›เบฐเบกเบงเบ™เบœเบปเบ™เบ„เปเบฒเบฎเป‰เบญเบ‡เบชเบฐเบซเบกเบฑเบเปƒเบ™ Kubernetes.

00:00 - เบเบฒเบ™โ€‹เบ™เปเบฒโ€‹เบชเบฐโ€‹เป€เบซเบ™เบตโ€‹เบ‚เบญเบ‡โ€‹เบฅเปเบฒโ€‹เป‚เบžเบ‡โ€‹
05:19 - เบšเบฑเบ™เบซเบฒเปƒเบ™เบเบฒเบ™เป€เบฎเบฑเบ”เบงเบฝเบเบ‚เบญเบ‡เปเบญเบฑเบšเบžเบฅเบดเป€เบ„เบŠเบฑเบ™เบ—เบตเปˆเบกเบตเบชเบฐเบ–เบฒเบ™เบฐเบขเบนเปˆเปƒเบ™ Kubernates
17:52 - เบเบฑเบ Kubernetes
22:33 - เป€เบฎเบฑเบ”โ€‹เบงเบฝเบโ€‹เบเบฑเบšโ€‹เบเบฒเบ™โ€‹เป€เบเบฑเบšโ€‹เบฎเบฑเบโ€‹เบชเบฒโ€‹
28:24 - เบ•เบปเบงเบ„เบงเบšเบ„เบธเบก Kubernetes เปเบšเบšเบเบณเบ™เบปเบ”เป€เบญเบ‡
48:58 - เบเบฒเบ™โ€‹เบเบปเบโ€‹เบฅเบฐโ€‹เบ”เบฑเบš Rollingโ€‹
58:05 โ€” เบ•เบญเบšโ€‹เบ„เปเบฒโ€‹เบ–เบฒเบกโ€‹เบ‚เบญเบ‡โ€‹เบœเบนเป‰โ€‹เบŸเบฑเบ‡โ€‹

โ†’ เบเบฒเบ™เบ™เปเบฒเบชเบฐเป€เบซเบ™เบตเบ‚เบญเบ‡ Victor

เบฅเบฒเบเบเบฒเบ™เบซเบผเบดเป‰เบ™เบ—เบตเปˆเบกเบตเบงเบดเบ”เบตเป‚เบญเบ—เบฑเบ‡เปเบปเบ”เบชเบฒเบกเบฒเบ”เบžเบปเบšเป„เบ”เป‰ เปƒเบ™เบŠเปˆเบญเบ‡ YouTube เบ‚เบญเบ‡เบžเบงเบเป€เบฎเบปเบฒ.

เบฎเบนเบšเบžเบฒเบš

เบžเบงเบเป€เบฎเบปเบฒเป‚เบžเบชเบฎเบนเบšเบˆเบฒเบเบเบญเบ‡เบ›เบฐเบŠเบธเบก เบขเบนเปˆเปƒเบ™เป€เบŸเบชเบšเบธเบ ะธ VKontakte. เป€เบšเบดเปˆเบ‡เบงเปˆเบฒเบกเบฑเบ™เป„เบ›เปเบ™เบงเปƒเบ” เปเบฅเบฐเปเบ—เบฑเบเบ•เบปเบงเป€เบญเบ‡ เปเบฅเบฐเปเบนเปˆเบ‚เบญเบ‡เป€เบˆเบปเป‰เบฒเบซเบฒเบเป€เบˆเบปเป‰เบฒเป€เบ‚เบปเป‰เบฒเบฎเปˆเบงเบกเบเบฒเบ™เบ›เบฐเบŠเบธเบก.

เบงเบฑเบ”เบชเบฐเบ”เบธเบˆเบฒเบเบเบฒเบ™เบ›เบฐเบŠเบธเบก Kafka: เบ•เบปเบงเป€เบŠเบทเปˆเบญเบกเบ•เปเปˆ CDC, เบ„เบงเบฒเบกเป€เบˆเบฑเบšเบ›เบงเบ”เบ—เบตเปˆเป€เบ•เบตเบšเปƒเบซเบเปˆ, Kubernetes

เบžเบงเบเป€เบฎเบปเบฒเบˆเบฐเบเบฑเบšเบกเบฒเปƒเบ™เป„เบงเป†เบ™เบตเป‰เบ”เป‰เบงเบเบเบฒเบ™เบ›เบฐเบเบฒเบ”เป€เบซเบ”เบเบฒเบ™เปƒเปเปˆเบ—เบตเปˆเบซเป‰เบญเบ‡เบเบฒเบ™ Avito เบ‚เบญเบ‡ Moscow. เปเบฅเป‰เบงเบžเบปเบšเบเบฑเบ™เปƒเปเปˆ!

เปเบซเบผเปˆเบ‡เบ‚เปเป‰เบกเบนเบ™: www.habr.com

เป€เบžเบตเปˆเบกเบ„เบงเบฒเบกเบ„เบดเบ”เป€เบซเบฑเบ™