á°áá ááĽá!
á á ááľ áá
áľ áááąá áá° áŠá˛áŤ áá ፠áááľá°ááá
á¨ááááŞáŤá áá áá
ááá˘áŤ
áŠá áááľáľ á áá á áᣠá¨áĽáŤ áŤááá˝á ááááŁá á á¨á°áá°á ááᢠá á°áááś áĽáá˛á áŤá á¨áĽáŤ áŤááá˝ á áááᎠá°ááŞáľ á ááá´áá¸á ááá ááá áá, áĽááą ááá áá¸á, á á ááľá á áĽáŠ áááł áááłá°áá, ᨠ12-á°á¨á á áááŹá˝áá˝ ááááá˝á áá¨á°áá, áĽá á¨áá¨áł á°ááááá˝ áĽá áľáááľ áŚáŁáá˝ áá áá°áŠ áá˝áá.
á áá á áŠá áŤá፠á áá á¨áą áĽáá° á¨á°á¨ááá á¨ááἠááł áá áŤá. áľááá , á áá°áŠá áľ áá, á¨áľá´áľ áá áááááľ á ááĽááľ, áĽá á¨áááᎠá áááááľ á¨á áá á¨áŁáľ áá. áŠá áááľáľ á¸ááá˝á áá°áááᣠááá áá áŹáᲠáááśáá á áááľ áľááśá˝ áá áĽááłááá¨á°á á áĽááá ááŤá á ááŁá¸ááĄ-
á ááłááľ á°áá˝ áŠá áááľáľá áá° áá°á á á¨áĽáŤ áŤá áŤá¸á¨áᣠᨠRDS áá á¨áááłá°á áá á áá á¨áá°áłá°á á¨ááἠááł áĽáá°ááá áá°áá¸ááᢠáá áľá á°áľ ááᢠááááŁáľáŁ á áľááľ á¨á°áŠáŁ á°á¨á᪠áááá˝á áŤá¨á ââáĽá ᨠSRE áááá˛áśá˝á áĄáľá á¨áłáĄáŁ RDS á Kubernetes áá ááááŁáľ áá˝ááá˘
á Kubernetes áá á°á¨áŁá á¨áĽáŤ áŤááá˝á á˛áŤáŤááą ááá á°á á¨áá°á áĽááá áĽáá˛áŤá°áá áá áá áĽáááŤááᢠ"á áŠá áááľáľ áá á°á¨áŁá á¨áľáŤ áŤááá˝á ááŤááľ áĽá˝ááá" áĽáá á¨áá áá á áĽááááš á°áá˝ Kubernetes áĽá áĽá áá á áá áááľ á¨áľáŤ áŤá á á áááľ á¨áá¸ááá˘
áĽááá˛áŤá áŤááŤá á áŠá áááľáľ áá ááŽáĽ á ááĽá ? á á¸áá áĽáŤáᥠáŤá፠áŤá áŠá áááľáľ á á°áťá áááł áá°áŤá? ááá áá á áá á˝áá ááľáĽ áŤá፠áĽá áŠá áááľáľ áĽáá´áľ áĽáá°áá°ááá áĽá áĽááąá á ááŁáá áá á áááľ ááĽááśá˝ ááአáĽáá°áá˝á ááááľ á¨áááŠáľá˘
á¨áá ááá፠áá
áľá áá°á¨áłá ááá áĽááááá - á¨áŠáŤ áá á áŤáŁá˘ áŤáą
áá°áľ
á¨áŤá፠á°ááá˝ á˛áአá°áľáá áá¸áᢠTLS á¨á°áá°á áľáá ááŤáľá°ááá áá˝ááᢠááá áá á¨áŤá á°áá áá˝ ááľá áŤá á¨á°á áá á¨á áá á˛áአá¨á°á áá¨á¨ ááá áá˝áááŁááá áá áá á°ááá˝á á áááŤáá˘
á áĽááŽ
á¨áŤá፠á°ááá˝ áľááł áá ááᢠá¨JVM ááá áá á áĽááá áá á¨4-5 áᢠá¨á°áá°á áááŁááá áá áŤá፠á¨áá˝ áá¸ááŤáá á áŁá áľááá áá áĽá á¨áľáááľ áá á°á¨ áľááľáł áŤáľáááááłáᢠá Kubernetes ááľáĽ á¨ááŤáŁ ááĽáľá áŤááá áĽá á áá áá á¨áľ á¨áĽáŤá áá°áŚá˝á áŤáááá˘
á¨ááἠáá¨ááť
á ááŤáŁáá˝ ááľáĽ áŤáá á¨ááἠáá¨ááť áá áŤááá áľ áá - áĽáá°áá á˛ááá ááἠáá ááᢠááŤá፠áá¨á á¨áľáá˝ áá á áá áá áá˝áá emptyDir
, áĽá áá¤áą á°ááłáłá áááá: á¨áĽááľá á°áá ááἠá¨á°á ááá á áá áá áá. áááĽááśá˝á á ááá áĽáá° á
ááá˝ á ááá˝ á°áááá˝ áá áááᥠáá˝ááᢠáľááá
, áĽáá°áá á¨á°ááᨠá áá, áŤáá°áłáŤá á°áá á ááááŞáŤ áááá áá¨ááá˝ ááŁááľ á áá áľ, áĽá áá
áá°áľ áĽá áá áááľáľ áá˝áá.
ááá
á áá á¨á¨á
á áá á¨ááἠáá¨ááťá áá áá áŤááĽááľá˘ á¨á¤ááľá¤áá¤áľ ááá áľáááľ áá á áŤáŁá˘áŤá áŤááá á¨á¨á
á áá áá¨ááť ááá áááᣠáá áἠá áľáááᣠext4ᢠNFS á áá áá. á áľá áá
ááááᢠNFS áľáŞáśá˝ v3 ááá v4 á áá°áŠáᢠá á áአá¨áŤá፠á°áá á NFS ááľáĽ áŁáá "á¨á°á°áĽ áľá ááá¨á" á˝áá ááááŤáľ á¨ááἠáááŤáá áá°á¨á áŤááťá áá°áá¨ááᢠáĽáľáŤáá áŤááłáááŠá
á áŁá á áĽááá
á ááłá¨ áá¨áĽ
áĽáá°á áĽáááš á¨á°á¨ááá áľáááśá˝áŁ á¨áŤá á ááťá¸á á áŁá á¨á°ááŤá á¨á ááłá¨ áá¨áĽ áááá¨áľá á áľááš áĽá á¨áá°ááá፠áááľá áĽáľá¨ á¨áá°á á áá á á áá ááᢠáááá á°áááá˝ á á°ááłáłá ááľááá ááááľ áááľá°áááľ á áááአᣠáá á°ááááľá áľáááááľá˘ á¨áŠá áááľáľ ááľááá ááááľ áŤáá°áłáŤáŁ ááá á¨áŤá፠áľáĽáľáĽ áááľááᢠáĽáá˛áá á¨áŤá፠áááľá°á á ááá á¨áá¨á ááá¨áá˝ áá á áá á°ááľá˘ á Kubernetes áááľá°á á°ááłáłá áá. á áá ááłá áá áĽáŠ áľááááľ á¨á°ááŤáŠ á¨ááá áá ááá˝á ááá¨áĽ áá.
áá á
áá°á á ááááľáśáá˝
á¨áŠá áááľáľ áľá áŁá˘áŤ á ááá˘
- á ááľ á áŠá áááľáľ ááľáĽ á áŁá áľááš áá°áŤá á¨áá˝á ááá ááᢠááľ á¨áľáŤ áŤááá ááááᣠáĽá ááľ áŤáą á áááľá°áá ááľáĽ áŤáá áá°áľ áá ááááłáᢠááľ á ááľ ááá á¨á፠á áá ááŤáŁáá˝á ááá. á áľáĽáľáĄ ááľáĽ áŤáá áĽáŤááłááą á¨ZooKeeper á áááá áĽá á áŤá፠áááľá°á ááľáĽ áŤáá áĽáŤááłááą á°áá á á°áᨠááľ ááľáĽ áá°áŤáá˘
- StatefulSetáľá´áľáá á´áľ á¨áŠá áááľáľ ááá á˛áá áĽá áááłá á¨áľáŤ áŤááá˝á áŤáľá°áááłáᣠáĽá áĽáá°áá á áááľ á¨áľáŤ áŤááá˝ á áá áľá áá áááᢠStatefulSets á¨ááľ á á°á á°á¨á°á áĽá ááŠááłá¸áá á á°ááá¨á° ááľáľááá˝á áá°áŁáá˘
- ááá ááľ á¨ááá¸á á áááááśá˝á áááááśáš á ááááŽá á áľá á°á á áá ááľá á¨á°áá áá˝ áĽáá˛áá á áŤáľá˝áááłáᢠá áá ááłá áá Kubernetes ááááľ ááá á°á áŤá áá. ááá ááᣠáĽáá° ZooKeeper áĽá Kafka áŤá áľáááá á¨áľáŤ áŤááá˝á á áá°áŠá áľ áá á°áá ááťá¸á á¨á°áá°á ááłá áá áááááľ á ááŁá¸áᢠáŤáľ-á áᣠá áááááśá˝ áĽáá áááŁá: á áá áááł, á°áá áá á ááá á ááááŽá á áľá ááá¨áá, ááá áá ááľáá á ááĽáł ááááá á áŤáľáááááľá.
- á¨á¨á á áá á¨áá¨ááť áá ááĽááá áĽáŤáá˝ á¨áá á¨á°á áá°áá á áŤáŁá˘áŤá áŤááá áĽáá áá áá¨ááťá ááááá áŤáľááááá˘
á
Helm áá áłáá˝
Helm áĽáá° yumᣠaptᣠHomebrew ááá Chocolatey áŤá á¨áľááá° ááá á¨áĽá
á á áľá°áłáłáŞáá˝ áá áááłá°á á¨áá˝á á¨áŠá áááľáľ á¨áĽá
á á áľá°áłáłáŞ ááᢠá Helm áá áłáá˝ ááľáĽ á¨á°áááš ááľá á¨á°áááš á¨áśááľáá ááŹáá˝á ááŤá ááá áŤá°ááááᢠá á°áἠá¨á°áá¨á á¨ááá áťááľ áááá áááŞáŤáá˝ áĽáá´áľ á áľááá áááá áĽáá°ááťá ááá áŤá°áááá Kafka á Kubernetes áá ááá ááᢠá ááŤáł á¨áŤá፠áĽááá ááááŤáá˝ á á-áŚáá´ááá áááá
á¨ááá˝
ááá á¨á°áá°á áľáááśá˝ áľáááľ áá ááłáŞáŤ á¨áá°á á°ááłá ááľ áĽáŤáá ááᥠá¨áŠá áááľáľ áŚááŹá°áŽá˝á˘ áŚááŹá°áŠ ááŠá áááľáľ áśááľááŽá˝á áá¸á áĽáť áłááá áĽáá°áá á áááľ áśááľááŽá˝á ááá°ááŤáľ áĽá áááľá°áłá°áá ááá áľáááłáá˘
á áááአááľáĽ
áááłáááľ
á¨áŤá፠ááłáá á áááłá°á á ááťá¸áá ááá°á˝ á áľááá ááᢠáĽáá°áá
áŤá áá¨áŤáá˝ á˝ááŽá˝ á¨áá¨á°áłá¸á á ááľ áá¨á°áą á¨áá˝á ááááá˝á áááááľ áá¨áłá. áĽáá° áĽáľá ááᣠáŤá፠á áľááľá áááľ á¨á ááťá¸á ááá¨áŞáŤ ááłáŞáŤáá˝á áŤáááŁááĄ- kafka-producer-perf-test.sh
и kafka-consumer-perf-test.sh
. á áááľ á°á áááŁá¸áᢠáááŁááťáŁ á ááľáĽ á¨á°ááášáľá áá¤áśá˝ áááá¨áľ áľá˝ááá
ááááá˝
ááľáľá
á áľáááą ááľáĽ ááá˝ááľ á áŁá á áľááá áá - á áá áá፠á áĽáą ááľáĽ áá áĽá¨á°áá ᨠáĽááłá á áá¨áąá. áᏠá á°áá á¤á°á ááᤠááľáĽ á ááľáŞá áá á¨á°áá°á¨á° ááľáľáá á¨áá°áĽ á ááŤáŤ á¨ááłáŞáŤ áľáĽáľáĽ á áᢠááá ááá áááľ áłáá ááłáŞáŤáá˝ ááŽáá˛á¨áľ áĽá ááŤáá áá¸á. ááŽáá´á¨áľ ᨠJMX ááŞá á áá áá á¨ááá á¨á፠áá°áśá˝ (áŤá፠ᣠá á áŁá ᣠáŤá፠á ááá) áááŞáŤáá˝á áá°áĽá°áĽ áá˝áá - á ááá ááááľá˘ ᨠcAdvisor áááŞáŤáá˝á áŤá¨áᣠá Kubernetes ááľáĽ ááĽáśá˝ áĽáá´áľ áĽá á áá áĽáá°ááá á¨á áá áá¨áłáľ áá˝ááá˘
Strimzi ááŤá፠á¨ááŤáá áłá˝áŚááľ á áŁá ááš ááłá á ááᢠááá áááŞáŤáá˝á á ááá áááá áŤáłáŤáᣠáááłáᣠá á°áἠáŁáá°á°ááá áááá˝ ááá á¨ááľáá áá á¨áááľáᢠáĽá፠ááá ááá á áŁá ááá˝ áá. áĽááá áááŞáŤáá˝ á ááĽáľ á á ááá áĽá á á ááťá¸á áá¨á áĽáá˛áá á á°á¨áá áááł á áááá˝ á¨á°áá áá¸áᢠáľááá áá°á¨áłá á¨áŤá፠áááľá°á ááľáľáá á á¨ááą áŤááá!
ááá:
áá
áá áá á á°áá á ááľáľá (á á¸áážá˝ áĽá á á ááŤážá˝ áá áŤá áááŞáŤáá˝) áĽáá˛áá á¨áááł ááľáľá (ááá
á á á) á˘á¨áá áĽáŠ ááá˘
áááŁáľ
áááᥠááá ááłá á°ááŁá ááᢠá áĽááľá á¨áŤá፠ááŤá ááľáĽ áŤááľ ááá ááŤáŁáá˝ áááááŁá¸áá áŤá¨ááᥠstdout
и stderr
áĽá áĽáá˛áá á¨áĽááľá á¨áŠá áááľáľ áááľá°á áááá áááἠááľáłááťáá˝ áá° ááá¨áá á¨áááἠááľáłááť áá á¨á° áááľ áá°áŁá°áĽá áŤá¨áááĄáŁ áááłá
á¨á¤á áá¨áááŤ
áŠá áááľáľ á¨áĽááľá ááśá˝ á áá°á áááľ áĽá¨á°áŠ áááá¸áá áááá°á˝ ááŤáááľ áĽá áááááľ ááááŤáá˝á áá áááᢠá¨á ááá áá°áťá áŤáá°áłáŤ áŠá áááľáľ ááŤáŁáá áŤááá áĽá á¨áłáá ááľááá áááŞáŤá á áá áá°á¨áľ á¨á°ááá á áŤáľ-á°á áĽáá°áá áŤáľááá¨ááᢠá¨áááááľ áá¨áááŤá áŤáá°áłáŤ áŠá áááľáľ ááľáá á¨á áááááľ áĽáŤááá˝ áŤáááᢠáľááá , á áĽáá°áá á áááľ áááłáá˝, á áĽá á¨áá°á¨á áŁáá ááĽááľ á¨á áá á áá á áŤáľáááá, áá á áľáá á°á¨á᪠áá.
ááááá˝á á áááá áá
StatefulSets á ááśáá˛á ááťáťáŤáá˝á áá°áááᥠá¨RollingUpdate áľááľá á¨áá¨áĄ á áŤá፠áľá áŤáá áĽáŤááłááą á á°áŤ áááááᢠá áá ááááľ á¨áĽá¨ááľ áá áá° áᎠááááľ áá˝áá.
áááŁá á
á¨áŤá፠ááá áááá ááá áľáŤ á áá°ááᢠááá áŠá áááľáľ ááśá˝á áá° á°áá°á á ááá˝ ááááŤáľ á áŁá ááá áŤá°ááááᣠáá áááľ á¨ááááľá áŤá á á¨áŤá፠á°áááá˝á á á áá áááá áá˝ááᢠá áá ááłá áá á áŁá á áľá¸ááŞá ááá á¨á áŤá á áá ááá á¨ááááą á ááľ áááá˝á áĽáá°áá ááá°áĽ áá. á áľáá, Kubernetes á áá á°ááŁá áá¨áąááłá.
á áľá°áłá°á
á¨áĽááľáá á¨áŤá፠áááľá°á á¨ááľá°áłá°á áá á¨á°áŤáŤá á°ááŁáŤáľáŁ áĽáá° ááá° ááłáŽá˝á ááá á áĽá áááá˝á áĽáá°áá ááá°áĽáŁ áŤááľá á¨áźá áľááŞááśá˝ á áá áá á¨áľáĽáá ááľáá á áááá˝á á ááľá ááľáĽ á ááááľ áá¨ááá áá˝ááᢠááá áĽáá áá áááľá á áŁá ááá á áá°áá. Strimzi á¨á°áᨠáŚááŹá°á á áá áá áááśá˝á ááľá°áłá°áá áá°áááᢠáĽáá áááťáťá á¨á°áá°á áŚáł á á.
ááľáŹ áŤáľááᥠáĽá áá°áá á¨á áľ ááááą
á áá á¨áŤá፠ááááľ á áŠá áááľáľ ááááľ ááá ááá°áá. á¨áĽááľá á¨áŠá áááľáľ áááľá°á áŤáá°áłáŤáŁ á¨ááŤá á á¨á áááł ááľáĽáŁ á¨áĽááľá á¨áŤá፠áľáĽáľáĽá á ááłáŤáᢠáĽáá° ááá á
áᣠáá
á áĽááá áááľ áá¨á°áłáᣠáĽá áĽááľá ááἠáŤáŁáᢠáá
áá á áááľ á á°á áááááľ áĽáŠ á¨áá áŁá á፠á˝áá°-ááłáĽ áááááľ. MirrorMaker á áá áá áľá˝ááá
ᣠá áá
ááľáĽ áĽáá°á°áááá ááá á ááŤá S3 á áá áá ááá˘
áá°áá°ááŤ
á¨áľáá˝ áĽá ááŤá¨áá áá á áŤá፠áááľá°á áá á˛á°áŠ á°á¨á᪠á¨áá°áŁá á á˝ááłá áľááá°áĽ áĽá á¨áŚááŹá°áá áááľ áľáááŤááá áŠá áááľáľ áá áá á°áᢠááᢠá áŁá ááá
á¨ááá°áŤ á¨áááł áĽá/ááá á¨áá¤áľ ááľáááśá˝ áŤááľáŁ áá á¨áá°ááŤáľ á ááŤáá áá¤á á¨á°áťá ááá áá˝ááá˘
ááá: hab.com