ພວກເຮົາຍອມຮັບ 10 ເຫດການໃນ Yandex.Cloud. ພາກທີ 000

ສະບາຍດີຫມູ່ເພື່ອນທຸກຄົນ!

* ບົດຄວາມນີ້ແມ່ນອີງໃສ່ກອງປະຊຸມເປີດ REBRAIN & Yandex.Cloud, ຖ້າທ່ານຕ້ອງການເບິ່ງວິດີໂອ, ທ່ານສາມາດຊອກຫາໄດ້ທີ່ລິ້ງນີ້ - https://youtu.be/cZLezUm0ekE

ເມື່ອບໍ່ດົນມານີ້ພວກເຮົາໄດ້ມີໂອກາດທົດລອງໃຊ້ Yandex.Cloud ແບບສົດໆ. ເນື່ອງຈາກວ່າພວກເຮົາຕ້ອງການ probe ຍາວແລະຍາກ, ພວກເຮົາທັນທີທັນໃດປະຖິ້ມຄວາມຄິດຂອງການເປີດຕົວ blog Wordpress ງ່າຍດາຍທີ່ມີພື້ນຖານຟັງ - ມັນຫນ້າເບື່ອເກີນໄປ. ຫຼັງຈາກຄວາມຄິດບາງຢ່າງ, ພວກເຮົາໄດ້ຕັດສິນໃຈທີ່ຈະໃຊ້ບາງສິ່ງບາງຢ່າງທີ່ຄ້າຍຄືກັນກັບສະຖາປັດຕະຍະກໍາການບໍລິການການຜະລິດສໍາລັບການຮັບແລະການວິເຄາະເຫດການໃນໂຫມດເວລາທີ່ແທ້ຈິງ.

ຂ້າພະເຈົ້າແນ່ໃຈວ່າຢ່າງແທ້ຈິງວ່າສ່ວນໃຫຍ່ຂອງທຸລະກິດອອນໄລນ໌ (ແລະບໍ່ພຽງແຕ່) somehow ເກັບກໍາຂໍ້ມູນພູເຂົາກ່ຽວກັບຜູ້ໃຊ້ແລະການກະທໍາຂອງເຂົາເຈົ້າ. ຢ່າງຫນ້ອຍ, ນີ້ແມ່ນສິ່ງຈໍາເປັນສໍາລັບການຕັດສິນໃຈທີ່ແນ່ນອນ - ຕົວຢ່າງ, ຖ້າທ່ານຈັດການເກມອອນໄລນ໌, ທ່ານສາມາດເບິ່ງສະຖິຕິທີ່ຜູ້ໃຊ້ສ່ວນໃຫຍ່ມັກຈະຕິດແລະລຶບເຄື່ອງຫຼິ້ນຂອງເຈົ້າ. ຫຼືເປັນຫຍັງຜູ້ໃຊ້ອອກຈາກເວັບໄຊທ໌ຂອງທ່ານໂດຍບໍ່ໄດ້ຊື້ຫຍັງ (ສະບາຍດີ, Yandex.Metrica).

ດັ່ງນັ້ນ, ເລື່ອງຂອງພວກເຮົາ: ວິທີການທີ່ພວກເຮົາຂຽນຄໍາຮ້ອງສະຫມັກໃນ golang, ທົດສອບ kafka vs rabbitmq vs yqs, ຂຽນການຖ່າຍທອດຂໍ້ມູນໃນກຸ່ມ Clickhouse ແລະເບິ່ງເຫັນຂໍ້ມູນໂດຍໃຊ້ yandex datalens. ຕາມທໍາມະຊາດ, ທັງຫມົດນີ້ແມ່ນລະດູການທີ່ມີໂຄງສ້າງພື້ນຖານທີ່ມີຄວາມສຸກໃນຮູບແບບຂອງ docker, terraform, gitlab ci ແລະ, ແນ່ນອນ, prometheus. ໄປ​ກັນ​ເລີຍ!

ຂ້າພະເຈົ້າຢາກຈະຈອງທັນທີວ່າພວກເຮົາຈະບໍ່ສາມາດກໍານົດທຸກສິ່ງທຸກຢ່າງໃນຫນຶ່ງນັ່ງ - ສໍາລັບນີ້ພວກເຮົາຈະຕ້ອງການບົດຄວາມຈໍານວນຫນຶ່ງໃນຊຸດ. ເລັກນ້ອຍກ່ຽວກັບໂຄງສ້າງ:

ພາກທີ 1 (ທ່ານກໍາລັງອ່ານມັນ). ພວກເຮົາຈະຕັດສິນໃຈກ່ຽວກັບສະເພາະແລະສະຖາປັດຕະຍະການແກ້ໄຂ, ແລະຍັງຂຽນຄໍາຮ້ອງສະຫມັກໃນ golang.
ພາກທີ 2. ພວກເຮົາປ່ອຍຄໍາຮ້ອງສະຫມັກຂອງພວກເຮົາເຂົ້າໃນການຜະລິດ, ເຮັດໃຫ້ມັນສາມາດຂະຫຍາຍໄດ້ແລະທົດສອບການໂຫຼດ.
ພາກທີ 3. ໃຫ້ພະຍາຍາມຄິດວ່າເປັນຫຍັງພວກເຮົາຈໍາເປັນຕ້ອງເກັບຮັກສາຂໍ້ຄວາມຢູ່ໃນ buffer ແລະບໍ່ຢູ່ໃນໄຟລ໌, ແລະຍັງປຽບທຽບ kafka, rabbitmq ແລະການບໍລິການແຖວ yandex.
ພາກທີ 4 ພວກເຮົາຈະນໍາໃຊ້ກຸ່ມ Clickhouse, ຂຽນບໍລິການ streaming ເພື່ອໂອນຂໍ້ມູນຈາກ buffer ຢູ່ທີ່ນັ້ນ, ແລະຕັ້ງຄ່າການເບິ່ງເຫັນໃນ datalens.
ພາກທີ 5 ໃຫ້ພວກເຮົານໍາເອົາໂຄງສ້າງພື້ນຖານທັງຫມົດເຂົ້າໄປໃນຮູບຮ່າງທີ່ເຫມາະສົມ - ຕັ້ງຄ່າ ci / cd ໂດຍໃຊ້ gitlab ci, ເຊື່ອມຕໍ່ການຕິດຕາມແລະການຄົ້ນພົບການບໍລິການໂດຍໃຊ້ prometheus ແລະ consul.

ТЗ

ກ່ອນອື່ນ ໝົດ, ໃຫ້ພວກເຮົາສ້າງເງື່ອນໄຂການອ້າງອີງ - ສິ່ງທີ່ພວກເຮົາຕ້ອງການທີ່ຈະໄດ້ຮັບຜົນໄດ້ຮັບ.

1. ພວກເຮົາຕ້ອງການທີ່ຈະມີຈຸດສິ້ນສຸດເຊັ່ນ: events.kis.im (kis.im ແມ່ນໂດເມນທົດສອບທີ່ພວກເຮົາຈະໃຊ້ຕະຫຼອດທຸກບົດຄວາມ), ເຊິ່ງຄວນຈະໄດ້ຮັບເຫດການໂດຍໃຊ້ HTTPS.
2. ເຫດການແມ່ນ json ງ່າຍໆເຊັ່ນ: {“event”: “view”, “os”: “linux”, “browser”: “chrome”}. ໃນຂັ້ນຕອນສຸດທ້າຍພວກເຮົາຈະເພີ່ມທົ່ງນາຕື່ມອີກ, ແຕ່ນີ້ຈະບໍ່ມີບົດບາດອັນໃຫຍ່ຫຼວງ. ຖ້າທ່ານຕ້ອງການ, ທ່ານສາມາດປ່ຽນເປັນ protobuf.
3. ການບໍລິການຈະຕ້ອງສາມາດປະມວນຜົນ 10 ເຫດການຕໍ່ວິນາທີ.
4. ມັນຄວນຈະເປັນໄປໄດ້ທີ່ຈະປັບຂະຫນາດຕາມແນວນອນໂດຍການເພີ່ມຕົວຢ່າງໃຫມ່ເຂົ້າໃນການແກ້ໄຂຂອງພວກເຮົາ. ແລະມັນຈະດີຖ້າພວກເຮົາສາມາດຍ້າຍສ່ວນດ້ານຫນ້າໄປຫາສະຖານທີ່ຕັ້ງພູມສາດທີ່ແຕກຕ່າງກັນເພື່ອຫຼຸດຜ່ອນຄວາມລ່າຊ້າສໍາລັບການຮ້ອງຂໍຂອງລູກຄ້າ.
5. ຄວາມທົນທານຕໍ່ຄວາມຜິດພາດ. ການແກ້ໄຂຕ້ອງມີຄວາມຫມັ້ນຄົງພຽງພໍແລະສາມາດຢູ່ລອດຂອງການຫຼຸດລົງຂອງພາກສ່ວນໃດຫນຶ່ງ (ເຖິງຈໍານວນທີ່ແນ່ນອນ, ແນ່ນອນ).

ຖາປັດຕະຍະ

ໂດຍທົ່ວໄປ, ສໍາລັບປະເພດຂອງວຽກງານນີ້, ສະຖາປັດຕະຍະກໍາຄລາສສິກໄດ້ຖືກ invented ຍາວທີ່ອະນຸຍາດໃຫ້ຂະຫນາດປະສິດທິພາບ. ຕົວເລກສະແດງໃຫ້ເຫັນຕົວຢ່າງຂອງການແກ້ໄຂຂອງພວກເຮົາ.

ດັ່ງນັ້ນສິ່ງທີ່ພວກເຮົາມີ:

1. ຢູ່ເບື້ອງຊ້າຍແມ່ນອຸປະກອນຂອງພວກເຮົາທີ່ສ້າງເຫດການຕ່າງໆ, ບໍ່ວ່າຈະເປັນຜູ້ນສໍາເລັດລະດັບໃນ toy ໃນໂທລະສັບສະຫຼາດຫຼືສ້າງຄໍາສັ່ງໃນຮ້ານອອນໄລນ໌ໂດຍຜ່ານຕົວທ່ອງເວັບປົກກະຕິ. ເຫດການ, ຕາມທີ່ລະບຸໄວ້ໃນສະເພາະ, ແມ່ນ json ງ່າຍດາຍທີ່ຖືກສົ່ງໄປຫາຈຸດສິ້ນສຸດຂອງພວກເຮົາ - events.kis.im .

2. ສອງເຄື່ອງແມ່ຂ່າຍທໍາອິດແມ່ນຕົວດຸ່ນດ່ຽງງ່າຍດາຍ, ຫນ້າທີ່ຕົ້ນຕໍຂອງພວກເຂົາແມ່ນ:

• ມີຢູ່ສະເໝີ. ເພື່ອເຮັດສິ່ງນີ້, ທ່ານສາມາດນໍາໃຊ້, ສໍາລັບການຍົກຕົວຢ່າງ, keepalived, ເຊິ່ງຈະປ່ຽນ IP virtual ລະຫວ່າງ nodes ໃນກໍລະນີທີ່ມີບັນຫາ.
• ຢຸດ TLS. ແມ່ນແລ້ວ, ພວກເຮົາຈະຢຸດ TLS ກ່ຽວກັບພວກມັນ. ທໍາອິດ, ເພື່ອໃຫ້ການແກ້ໄຂຂອງພວກເຮົາປະຕິບັດຕາມຂໍ້ກໍານົດດ້ານວິຊາການ, ແລະອັນທີສອງ, ເພື່ອບັນເທົາພາລະຂອງການສ້າງການເຊື່ອມຕໍ່ທີ່ຖືກເຂົ້າລະຫັດຈາກເຄື່ອງແມ່ຂ່າຍ backend ຂອງພວກເຮົາ.
• ດຸ່ນດ່ຽງການຮ້ອງຂໍຂາເຂົ້າກັບເຄື່ອງແມ່ຂ່າຍ backend ທີ່ມີຢູ່. ຄໍາສໍາຄັນຢູ່ທີ່ນີ້ແມ່ນສາມາດເຂົ້າເຖິງໄດ້. ອີງຕາມການນີ້, ພວກເຮົາມາເຂົ້າໃຈວ່າ load balancers ຈະຕ້ອງສາມາດຕິດຕາມກວດກາເຄື່ອງແມ່ຂ່າຍຂອງພວກເຮົາກັບຄໍາຮ້ອງສະຫມັກແລະຢຸດເຊົາການດຸ່ນດ່ຽງການຈະລາຈອນກັບ nodes ລົ້ມເຫລວ.

3. ຫຼັງຈາກຜູ້ດຸ່ນດ່ຽງ, ພວກເຮົາມີແອັບພລິເຄຊັນເຊີຟເວີທີ່ໃຊ້ຄໍາຮ້ອງສະຫມັກທີ່ງ່າຍດາຍຫຼາຍ. ມັນຄວນຈະສາມາດຍອມຮັບຄໍາຮ້ອງຂໍທີ່ເຂົ້າມາຜ່ານ HTTP, ກວດສອບ json ທີ່ສົ່ງແລະເອົາຂໍ້ມູນເຂົ້າໄປໃນ buffer.

4. ແຜນວາດສະແດງໃຫ້ເຫັນ kafka ເປັນ buffer, ເຖິງແມ່ນວ່າ, ແນ່ນອນ, ການບໍລິການທີ່ຄ້າຍຄືກັນອື່ນໆສາມາດຖືກນໍາໃຊ້ໃນລະດັບນີ້. ພວກເຮົາຈະປຽບທຽບ Kafka, rabbitmq ແລະ yqs ໃນບົດຄວາມທີສາມ.

5. ຈຸດສຸດທ້າຍຂອງສະຖາປັດຕະຍະກໍາຂອງພວກເຮົາແມ່ນ Clickhouse - ຖານຂໍ້ມູນ columnar ທີ່ຊ່ວຍໃຫ້ທ່ານສາມາດເກັບຮັກສາແລະປະມວນຜົນຂໍ້ມູນຈໍານວນຫຼວງຫຼາຍ. ໃນລະດັບນີ້, ພວກເຮົາຈໍາເປັນຕ້ອງໄດ້ໂອນຂໍ້ມູນຈາກ buffer ກັບລະບົບການເກັບຮັກສາຕົວມັນເອງ (ເພີ່ມເຕີມກ່ຽວກັບເລື່ອງນີ້ໃນບົດຄວາມ 4).

ການອອກແບບນີ້ຊ່ວຍໃຫ້ພວກເຮົາສາມາດປັບຂະຫນາດແຕ່ລະຊັ້ນເປັນເອກະລາດຕາມແນວນອນ. ເຊີບເວີ backend ບໍ່ສາມາດຮັບມືໄດ້ - ຂໍໃຫ້ເພີ່ມສິ່ງຫນຶ່ງ - ຫຼັງຈາກທີ່ທັງຫມົດ, ພວກມັນເປັນແອັບພລິເຄຊັນທີ່ບໍ່ມີລັດ, ແລະດັ່ງນັ້ນ, ນີ້ສາມາດເຮັດໄດ້ໂດຍອັດຕະໂນມັດ. ບັບເຟີແບບ Kafka ບໍ່ເຮັດວຽກ - ໃຫ້ພວກເຮົາເພີ່ມເຄື່ອງແມ່ຂ່າຍເພີ່ມເຕີມແລະໂອນບາງສ່ວນຂອງຫົວຂໍ້ຂອງພວກເຮົາໃຫ້ກັບພວກມັນ. Clickhouse ບໍ່ສາມາດຈັດການກັບມັນ - ມັນເປັນໄປບໍ່ໄດ້ :) ໃນຄວາມເປັນຈິງ, ພວກເຮົາຍັງຈະເຊື່ອມຕໍ່ເຄື່ອງແມ່ຂ່າຍແລະ shard ຂໍ້ມູນ.

ໂດຍວິທີທາງການ, ຖ້າທ່ານຕ້ອງການທີ່ຈະປະຕິບັດສ່ວນທາງເລືອກຂອງຂໍ້ກໍານົດດ້ານວິຊາການຂອງພວກເຮົາແລະຂະຫນາດໃນພູມສັນຖານທີ່ແຕກຕ່າງກັນ, ຫຼັງຈາກນັ້ນບໍ່ມີຫຍັງງ່າຍດາຍກວ່າ:

ໃນແຕ່ລະ geolocation ພວກເຮົາ deploy ເປັນ load balancer ກັບຄໍາຮ້ອງສະຫມັກແລະ kafka. ໂດຍທົ່ວໄປ, 2 ເຄື່ອງແມ່ຂ່າຍຂອງແອັບພລິເຄຊັນ, 3 kafka nodes ແລະ cloud balancer, ສໍາລັບຕົວຢ່າງ, cloudflare, ແມ່ນພຽງພໍ, ເຊິ່ງຈະກວດສອບການມີຄໍາຮ້ອງສະຫມັກຂອງໂຫນດແລະຄໍາຮ້ອງຂໍການດຸ່ນດ່ຽງໂດຍການຕັ້ງພູມສາດໂດຍອີງໃສ່ທີ່ຢູ່ IP ແຫຼ່ງຂອງລູກຄ້າ. ດັ່ງນັ້ນ, ຂໍ້ມູນທີ່ສົ່ງໂດຍລູກຄ້າອາເມລິກາຈະລົງເທິງເຄື່ອງແມ່ຂ່າຍຂອງອາເມລິກາ. ແລະຂໍ້ມູນຈາກອາຟຣິກາແມ່ນຢູ່ໃນອາຟຣິກາ.

ຫຼັງຈາກນັ້ນ, ທຸກສິ່ງທຸກຢ່າງແມ່ນຂ້ອນຂ້າງງ່າຍດາຍ - ພວກເຮົາໃຊ້ເຄື່ອງມືກະຈົກຈາກຊຸດ Kafka ແລະຄັດລອກຂໍ້ມູນທັງຫມົດຈາກສະຖານທີ່ທັງຫມົດໄປຫາສູນຂໍ້ມູນສູນກາງຂອງພວກເຮົາທີ່ຕັ້ງຢູ່ໃນລັດເຊຍ. ພາຍໃນ, ພວກເຮົາວິເຄາະຂໍ້ມູນແລະບັນທຶກມັນຢູ່ໃນ Clickhouse ສໍາລັບການເບິ່ງເຫັນຕໍ່ມາ.

ດັ່ງນັ້ນ, ພວກເຮົາໄດ້ຈັດຮຽງສະຖາປັດຕະຍະກໍາ - ໃຫ້ພວກເຮົາເລີ່ມຕົ້ນສັ່ນ Yandex.Cloud!

ການຂຽນຄໍາຮ້ອງສະຫມັກ

ກ່ອນທີ່ຈະ Cloud, ທ່ານຍັງຕ້ອງມີຄວາມອົດທົນເລັກນ້ອຍແລະຂຽນການບໍລິການທີ່ຂ້ອນຂ້າງງ່າຍດາຍເພື່ອປະມວນຜົນເຫດການທີ່ເຂົ້າມາ. ພວກເຮົາຈະໃຊ້ golang ເນື່ອງຈາກວ່າມັນໄດ້ພິສູດຕົວເອງໄດ້ດີຫຼາຍເປັນພາສາສໍາລັບການຂຽນຄໍາຮ້ອງສະຫມັກເຄືອຂ່າຍ.

ຫຼັງຈາກໃຊ້ເວລາຫນຶ່ງຊົ່ວໂມງ (ອາດຈະເປັນສອງສາມຊົ່ວໂມງ), ພວກເຮົາໄດ້ຮັບບາງສິ່ງບາງຢ່າງເຊັ່ນນີ້: https://github.com/RebrainMe/yandex-cloud-events/blob/master/app/main.go.

ສິ່ງທີ່ເປັນຈຸດຕົ້ນຕໍທີ່ຂ້າພະເຈົ້າຢາກຈະສັງເກດຢູ່ທີ່ນີ້:

1. ເມື່ອເລີ່ມຕົ້ນຄໍາຮ້ອງສະຫມັກ, ທ່ານສາມາດກໍານົດສອງທຸງ. ຫນຶ່ງແມ່ນຮັບຜິດຊອບສໍາລັບພອດທີ່ພວກເຮົາຈະຟັງຄໍາຮ້ອງຂໍ http ຂາເຂົ້າ (-addr). ອັນທີສອງແມ່ນສໍາລັບທີ່ຢູ່ຂອງເຄື່ອງແມ່ຂ່າຍ kafka ບ່ອນທີ່ພວກເຮົາຈະບັນທຶກເຫດການຂອງພວກເຮົາ (-kafka):

addr     = flag.String("addr", ":8080", "TCP address to listen to")
kafka    = flag.String("kafka", "127.0.0.1:9092", "Kafka endpoints”)

2. ແອັບພລິເຄຊັນໃຊ້ຫ້ອງສະໝຸດ sarama ([] github.com/Shopify/sarama) ເພື່ອສົ່ງຂໍ້ຄວາມໄປຫາກຸ່ມ kafka. ພວກ​ເຮົາ​ທັນ​ທີ​ທັນ​ໃດ​ກໍາ​ນົດ​ການ​ຕັ້ງ​ຄ່າ​ເພື່ອ​ແນ​ໃສ່​ຄວາມ​ໄວ​ການ​ປຸງ​ແຕ່ງ​ສູງ​ສຸດ​:

config := sarama.NewConfig()
config.Producer.RequiredAcks = sarama.WaitForLocal
config.Producer.Compression = sarama.CompressionSnappy
config.Producer.Return.Successes = true

3. ຄໍາຮ້ອງສະຫມັກຂອງພວກເຮົາຍັງມີຕົວລູກຄ້າ prometheus, ເຊິ່ງເກັບກໍາ metrics ຕ່າງໆ, ເຊັ່ນ:

• ຈໍາ​ນວນ​ຂອງ​ຄໍາ​ຮ້ອງ​ສະ​ຫມັກ​ຂອງ​ພວກ​ເຮົາ​;
• ຈໍາ​ນວນ​ຂອງ​ຄວາມ​ຜິດ​ພາດ​ໃນ​ເວ​ລາ​ທີ່​ປະ​ຕິ​ບັດ​ຄໍາ​ຮ້ອງ​ສະ​ຫມັກ (ບໍ່​ສາ​ມາດ​ອ່ານ​ຄໍາ​ຮ້ອງ​ສະ​ຫມັກ​ຕອບ​, json ທີ່​ແຕກ​ຫັກ​, ບໍ່​ສາ​ມາດ​ຂຽນ​ໄປ Kafka​)​;
• ເວລາປະມວນຜົນສໍາລັບການຮ້ອງຂໍຫນຶ່ງຈາກລູກຄ້າ, ລວມທັງເວລາສໍາລັບການຂຽນຂໍ້ຄວາມກັບ Kafka.

4. ສາມຈຸດສິ້ນສຸດທີ່ຂະບວນການຄໍາຮ້ອງສະຫມັກຂອງພວກເຮົາ:

• / ສະຖານະພາບ - ພຽງແຕ່ກັບຄືນ ok ເພື່ອສະແດງໃຫ້ເຫັນວ່າພວກເຮົາມີຊີວິດຢູ່. ເຖິງແມ່ນວ່າທ່ານສາມາດເພີ່ມການກວດສອບບາງຢ່າງ, ເຊັ່ນ: ການມີຂອງກຸ່ມ Kafka.
• /metrics - ອີງຕາມ url ນີ້, ລູກຄ້າ prometheus ຈະສົ່ງຄືນ metrics ທີ່ມັນໄດ້ເກັບກໍາ.
• /post ແມ່ນຈຸດສິ້ນສຸດຕົ້ນຕໍທີ່ POST ຮ້ອງຂໍກັບ json ພາຍໃນຈະຖືກສົ່ງ. ຄໍາຮ້ອງສະຫມັກຂອງພວກເຮົາກວດສອບ json ສໍາລັບຄວາມຖືກຕ້ອງແລະຖ້າທຸກສິ່ງທຸກຢ່າງແມ່ນດີ, ມັນຈະຂຽນຂໍ້ມູນໃສ່ກຸ່ມ Kafka.

ຂ້ອຍຈະເຮັດການຈອງທີ່ລະຫັດບໍ່ສົມບູນແບບ - ມັນສາມາດ (ແລະຄວນ!) ສໍາເລັດ. ຕົວຢ່າງເຊັ່ນ, ທ່ານສາມາດຢຸດການໃຊ້ net/http ທີ່ມີໃນຕົວແລະປ່ຽນໄປເປັນ fasthttp ທີ່ໄວກວ່າ. ຫຼືທ່ານສາມາດໄດ້ຮັບເວລາປະມວນຜົນແລະຊັບພະຍາກອນ cpu ໂດຍການເຄື່ອນຍ້າຍການກວດສອບຄວາມຖືກຕ້ອງຂອງ json ໄປຫາຂັ້ນຕອນຕໍ່ມາ - ເມື່ອຂໍ້ມູນຖືກໂອນຈາກ buffer ໄປຫາກຸ່ມ clickhouse.

ນອກຈາກດ້ານການພັດທະນາຂອງບັນຫາ, ພວກເຮົາທັນທີທັນໃດຄິດກ່ຽວກັບໂຄງສ້າງພື້ນຖານຂອງພວກເຮົາໃນອະນາຄົດແລະຕັດສິນໃຈທີ່ຈະນໍາໃຊ້ຄໍາຮ້ອງສະຫມັກຂອງພວກເຮົາຜ່ານ docker. Dockerfile ສຸດທ້າຍສໍາລັບການກໍ່ສ້າງຄໍາຮ້ອງສະຫມັກແມ່ນ https://github.com/RebrainMe/yandex-cloud-events/blob/master/app/Dockerfile. ໂດຍທົ່ວໄປ, ມັນແມ່ນຂ້ອນຂ້າງງ່າຍດາຍ, ຈຸດດຽວທີ່ຂ້າພະເຈົ້າຢາກຈະເອົາໃຈໃສ່ແມ່ນການປະກອບ multistage, ເຊິ່ງເຮັດໃຫ້ພວກເຮົາສາມາດຫຼຸດຜ່ອນຮູບພາບສຸດທ້າຍຂອງພາຊະນະຂອງພວກເຮົາ.

ຂັ້ນຕອນທໍາອິດໃນເມຄ

ກ່ອນອື່ນ ໝົດ, ລົງທະບຽນ cloud.yandex.ru. ຫຼັງຈາກຕື່ມຂໍ້ມູນໃສ່ທຸກຂົງເຂດທີ່ຈໍາເປັນ, ພວກເຮົາຈະສ້າງບັນຊີແລະໃຫ້ການຊ່ວຍເຫຼືອລ້າສໍາລັບຈໍານວນເງິນທີ່ແນ່ນອນ, ເຊິ່ງສາມາດຖືກນໍາໃຊ້ເພື່ອທົດສອບການບໍລິການຟັງ. ຖ້າທ່ານຕ້ອງການເຮັດຊ້ໍາຂັ້ນຕອນທັງຫມົດຈາກບົດຄວາມຂອງພວກເຮົາ, ການຊ່ວຍເຫຼືອນີ້ຄວນຈະພຽງພໍສໍາລັບທ່ານ.

ຫຼັງຈາກການລົງທະບຽນ, cloud ແຍກຕ່າງຫາກແລະໄດເລກະທໍລີເລີ່ມຕົ້ນຈະຖືກສ້າງຂື້ນສໍາລັບທ່ານ, ໃນທີ່ທ່ານສາມາດເລີ່ມຕົ້ນສ້າງຊັບພະຍາກອນຄລາວ. ໂດຍທົ່ວໄປ, ໃນ Yandex.Cloud, ຄວາມສໍາພັນຂອງຊັບພະຍາກອນເບິ່ງຄືວ່າ:

ທ່ານສາມາດສ້າງຄລາວຫຼາຍອັນສໍາລັບບັນຊີດຽວ. ແລະພາຍໃນຟັງ, ສ້າງໄດເລກະທໍລີທີ່ແຕກຕ່າງກັນສໍາລັບໂຄງການຂອງບໍລິສັດທີ່ແຕກຕ່າງກັນ. ທ່ານສາມາດອ່ານເພີ່ມເຕີມກ່ຽວກັບເລື່ອງນີ້ໃນເອກະສານ - https://cloud.yandex.ru/docs/resource-manager/concepts/resources-hierarchy. ໂດຍວິທີທາງການ, ຂ້ອຍມັກຈະອ້າງເຖິງມັນຂ້າງລຸ່ມນີ້ໃນຂໍ້ຄວາມ. ເມື່ອຂ້ອຍຕັ້ງໂຄງສ້າງພື້ນຖານທັງຫມົດຕັ້ງແຕ່ເລີ່ມຕົ້ນ, ເອກະສານໄດ້ຊ່ວຍຂ້ອຍຫຼາຍກວ່າຫນຶ່ງຄັ້ງ, ດັ່ງນັ້ນຂ້ອຍແນະນໍາໃຫ້ເຈົ້າສຶກສາມັນ.

ເພື່ອຈັດການຄລາວ, ທ່ານສາມາດນໍາໃຊ້ທັງອິນເຕີເຟດເວັບແລະ console utility - yc. ການຕິດຕັ້ງແມ່ນປະຕິບັດດ້ວຍຄໍາສັ່ງດຽວ (ສໍາລັບ Linux ແລະ Mac Os):

curl https://storage.yandexcloud.net/yandexcloud-yc/install.sh | bash

ຖ້າຜູ້ຊ່ຽວຊານດ້ານຄວາມປອດໄພພາຍໃນຂອງທ່ານມີຄວາມກະຕືລືລົ້ນກ່ຽວກັບການແລ່ນສະຄິບຈາກອິນເຕີເນັດ, ຫຼັງຈາກນັ້ນ, ທໍາອິດ, ທ່ານສາມາດເປີດ script ແລະອ່ານມັນ, ແລະອັນທີສອງ, ພວກເຮົາດໍາເນີນການພາຍໃຕ້ຜູ້ໃຊ້ຂອງພວກເຮົາ - ໂດຍບໍ່ມີສິດທິຮາກ.

ຖ້າທ່ານຕ້ອງການຕິດຕັ້ງລູກຄ້າສໍາລັບ Windows, ທ່ານສາມາດນໍາໃຊ້ຄໍາແນະນໍາ ທີ່ນີ້ ແລະຫຼັງຈາກນັ້ນປະຕິບັດ yc initເພື່ອປັບແຕ່ງມັນຢ່າງສົມບູນ:

vozerov@mba:~ $ yc init
Welcome! This command will take you through the configuration process.
Please go to https://oauth.yandex.ru/authorize?response_type=token&client_id= in order to obtain OAuth token.

Please enter OAuth token:
Please select cloud to use:
 [1] cloud-b1gv67ihgfu3bp (id = b1gv67ihgfu3bpt24o0q)
 [2] fevlake-cloud (id = b1g6bvup3toribomnh30)
Please enter your numeric choice: 2
Your current cloud has been set to 'fevlake-cloud' (id = b1g6bvup3toribomnh30).
Please choose folder to use:
 [1] default (id = b1g5r6h11knotfr8vjp7)
 [2] Create a new folder
Please enter your numeric choice: 1
Your current folder has been set to 'default' (id = b1g5r6h11knotfr8vjp7).
Do you want to configure a default Compute zone? [Y/n]
Which zone do you want to use as a profile default?
 [1] ru-central1-a
 [2] ru-central1-b
 [3] ru-central1-c
 [4] Don't set default zone
Please enter your numeric choice: 1
Your profile default Compute zone has been set to 'ru-central1-a'.
vozerov@mba:~ $

ໃນຫຼັກການ, ຂະບວນການແມ່ນງ່າຍດາຍ - ທໍາອິດທ່ານຈໍາເປັນຕ້ອງໄດ້ຮັບ oauth token ເພື່ອຈັດການຟັງ, ເລືອກຟັງແລະໂຟນເດີທີ່ທ່ານຈະໃຊ້.

ຖ້າທ່ານມີບັນຊີຫຼາຍຫຼືໂຟນເດີທີ່ຢູ່ໃນຄລາວດຽວກັນ, ທ່ານສາມາດສ້າງໂປຣໄຟລ໌ເພີ່ມເຕີມດ້ວຍການຕັ້ງຄ່າແຍກຕ່າງຫາກໂດຍຜ່ານໂປຣໄຟລ໌ yc config ສ້າງແລະສະຫຼັບລະຫວ່າງພວກມັນ.

ນອກເຫນືອໄປຈາກວິທີການຂ້າງເທິງນີ້, ທີມງານ Yandex.Cloud ຂຽນໄດ້ດີຫຼາຍ plugin ສໍາລັບ terraform ສໍາລັບການຄຸ້ມຄອງຊັບພະຍາກອນຄລາວ. ສໍາລັບສ່ວນຫນຶ່ງຂອງຂ້ອຍ, ຂ້ອຍໄດ້ກະກຽມ git repository, ບ່ອນທີ່ຂ້ອຍອະທິບາຍຊັບພະຍາກອນທັງຫມົດທີ່ຈະຖືກສ້າງຂື້ນເປັນສ່ວນຫນຶ່ງຂອງບົດຄວາມ - https://github.com/rebrainme/yandex-cloud-events/. ພວກເຮົາມີຄວາມສົນໃຈໃນສາຂາຕົ້ນສະບັບ, ໃຫ້ clone ມັນຢູ່ໃນທ້ອງຖິ່ນ:

vozerov@mba:~ $ git clone https://github.com/rebrainme/yandex-cloud-events/ events
Cloning into 'events'...
remote: Enumerating objects: 100, done.
remote: Counting objects: 100% (100/100), done.
remote: Compressing objects: 100% (68/68), done.
remote: Total 100 (delta 37), reused 89 (delta 26), pack-reused 0
Receiving objects: 100% (100/100), 25.65 KiB | 168.00 KiB/s, done.
Resolving deltas: 100% (37/37), done.
vozerov@mba:~ $ cd events/terraform/

ທຸກຕົວແປຫຼັກທີ່ໃຊ້ໃນ terraform ແມ່ນຂຽນໄວ້ໃນໄຟລ໌ main.tf. ເພື່ອເລີ່ມຕົ້ນ, ສ້າງໄຟລ໌ private.auto.tfvars ໃນໂຟນເດີ terraform ທີ່ມີເນື້ອຫາຕໍ່ໄປນີ້:

# Yandex Cloud Oauth token
yc_token = ""
# Yandex Cloud ID
yc_cloud_id = ""
# Yandex Cloud folder ID
yc_folder_id = ""
# Default Yandex Cloud Region
yc_region = "ru-central1-a"
# Cloudflare email
cf_email = ""
# Cloudflare token
cf_token = ""
# Cloudflare zone id
cf_zone_id = ""

ຕົວແປທັງໝົດສາມາດຖືກເອົາມາຈາກລາຍການ yc config, ເພາະວ່າພວກເຮົາໄດ້ປັບຄ່າ console utility ແລ້ວ. ຂ້ອຍຂໍແນະນຳໃຫ້ເພີ່ມ private.auto.tfvars ໃສ່ .gitignore ທັນທີ, ເພື່ອບໍ່ໃຫ້ເຜີຍແຜ່ຂໍ້ມູນສ່ວນຕົວໂດຍບັງເອີນ.

ໃນ private.auto.tfvars ພວກເຮົາຍັງໄດ້ລະບຸຂໍ້ມູນຈາກ Cloudflare - ເພື່ອສ້າງບັນທຶກ DNS ແລະ proxy ໂດເມນຕົ້ນຕໍ events.kis.im ກັບເຄື່ອງແມ່ຂ່າຍຂອງພວກເຮົາ. ຖ້າທ່ານບໍ່ຕ້ອງການໃຊ້ cloudflare, ຫຼັງຈາກນັ້ນເອົາການເລີ່ມຕົ້ນຂອງຜູ້ໃຫ້ບໍລິການ cloudflare ໃນ main.tf ແລະໄຟລ໌ dns.tf, ເຊິ່ງຮັບຜິດຊອບໃນການສ້າງບັນທຶກ dns ທີ່ຈໍາເປັນ.

ໃນການເຮັດວຽກຂອງພວກເຮົາພວກເຮົາຈະສົມທົບທັງສາມວິທີການ - ການໂຕ້ຕອບເວັບໄຊຕ໌, ປະໂຫຍດຂອງ console, ແລະ terraform.

ເຄືອຂ່າຍສະເໝືອນ

ດ້ວຍຄວາມຊື່ສັດ, ທ່ານສາມາດຂ້າມຂັ້ນຕອນນີ້, ເພາະວ່າເມື່ອທ່ານສ້າງເມຄໃຫມ່, ທ່ານຈະມີເຄືອຂ່າຍແຍກຕ່າງຫາກໂດຍອັດຕະໂນມັດແລະ 3 ເຄືອຂ່າຍຍ່ອຍທີ່ຖືກສ້າງຂື້ນ - ຫນຶ່ງສໍາລັບແຕ່ລະເຂດທີ່ມີ. ແຕ່ພວກເຮົາຍັງຢາກສ້າງເຄືອຂ່າຍແຍກຕ່າງຫາກສໍາລັບໂຄງການຂອງພວກເຮົາດ້ວຍທີ່ຢູ່ຂອງມັນເອງ. ແຜນວາດທົ່ວໄປຂອງວິທີການເຮັດວຽກຂອງເຄືອຂ່າຍໃນ Yandex.Cloud ແມ່ນສະແດງຢູ່ໃນຮູບຂ້າງລຸ່ມນີ້ (ຊື່ສັດເອົາມາຈາກ https://cloud.yandex.ru/docs/vpc/concepts/)

ດັ່ງນັ້ນ, ທ່ານສ້າງເຄືອຂ່າຍທົ່ວໄປພາຍໃນຊັບພະຍາກອນທີ່ສາມາດສື່ສານກັບກັນແລະກັນ. ສໍາລັບແຕ່ລະເຂດທີ່ມີ, ເຄືອຂ່າຍຍ່ອຍແມ່ນຖືກສ້າງຂຶ້ນດ້ວຍທີ່ຢູ່ຂອງຕົນເອງແລະເຊື່ອມຕໍ່ກັບເຄືອຂ່າຍທົ່ວໄປ. ດັ່ງນັ້ນ, ຊັບພະຍາກອນຄລາວທັງຫມົດໃນມັນສາມາດຕິດຕໍ່ສື່ສານໄດ້, ເຖິງແມ່ນວ່າພວກເຂົາຢູ່ໃນເຂດຄວາມພ້ອມທີ່ແຕກຕ່າງກັນ. ຊັບພະຍາກອນທີ່ເຊື່ອມຕໍ່ກັບເຄືອຂ່າຍຄລາວທີ່ແຕກຕ່າງກັນສາມາດເບິ່ງເຫັນກັນແລະກັນຜ່ານທີ່ຢູ່ພາຍນອກເທົ່ານັ້ນ. ໂດຍວິທີທາງການ, magic ນີ້ເຮັດວຽກແນວໃດພາຍໃນ, ໄດ້ຖືກອະທິບາຍໄດ້ດີໃນHabre.

ການສ້າງເຄືອຂ່າຍຖືກອະທິບາຍໄວ້ໃນໄຟລ໌ network.tf ຈາກບ່ອນເກັບຂໍ້ມູນ. ຢູ່ທີ່ນັ້ນ, ພວກເຮົາສ້າງເຄືອຂ່າຍສ່ວນຕົວທົ່ວໄປຫນຶ່ງພາຍໃນແລະເຊື່ອມຕໍ່ສາມ subnets ກັບມັນໃນເຂດທີ່ມີທີ່ແຕກຕ່າງກັນ - internal-a (172.16.1.0/24), internal-b (172.16.2.0/24), internal-c (172.16.3.0/24). ).

ເລີ່ມຕົ້ນ terraform ແລະສ້າງເຄືອຂ່າຍ:

vozerov@mba:~/events/terraform (master) $ terraform init
... skipped ..

vozerov@mba:~/events/terraform (master) $ terraform apply -target yandex_vpc_subnet.internal-a -target yandex_vpc_subnet.internal-b -target yandex_vpc_subnet.internal-c

... skipped ...

Plan: 4 to add, 0 to change, 0 to destroy.

Do you want to perform these actions?
  Terraform will perform the actions described above.
  Only 'yes' will be accepted to approve.

  Enter a value: yes

yandex_vpc_network.internal: Creating...
yandex_vpc_network.internal: Creation complete after 3s [id=enp2g2rhile7gbqlbrkr]
yandex_vpc_subnet.internal-a: Creating...
yandex_vpc_subnet.internal-b: Creating...
yandex_vpc_subnet.internal-c: Creating...
yandex_vpc_subnet.internal-a: Creation complete after 6s [id=e9b1dad6mgoj2v4funog]
yandex_vpc_subnet.internal-b: Creation complete after 7s [id=e2liv5i4amu52p64ac9p]
yandex_vpc_subnet.internal-c: Still creating... [10s elapsed]
yandex_vpc_subnet.internal-c: Creation complete after 10s [id=b0c2qhsj2vranoc9vhcq]

Apply complete! Resources: 4 added, 0 changed, 0 destroyed.

ຍິ່ງໃຫຍ່! ພວກເຮົາໄດ້ສ້າງເຄືອຂ່າຍຂອງພວກເຮົາແລະໃນປັດຈຸບັນພ້ອມທີ່ຈະສ້າງການບໍລິການພາຍໃນຂອງພວກເຮົາ.

ການສ້າງເຄື່ອງ virtual

ເພື່ອທົດສອບແອັບພລິເຄຊັນ, ພວກເຮົາພຽງແຕ່ຕ້ອງການສ້າງສອງເຄື່ອງ virtual - ພວກເຮົາຈະຕ້ອງການທໍາອິດເພື່ອສ້າງແລະດໍາເນີນການແອັບພລິເຄຊັນ, ທີສອງເພື່ອດໍາເນີນການ kafka, ເຊິ່ງພວກເຮົາຈະໃຊ້ເພື່ອເກັບຂໍ້ຄວາມທີ່ເຂົ້າມາ. ແລະພວກເຮົາຈະສ້າງເຄື່ອງອື່ນທີ່ພວກເຮົາຈະ configure prometheus ເພື່ອຕິດຕາມກວດກາຄໍາຮ້ອງສະຫມັກ.

ເຄື່ອງຈັກ virtual ຈະຖືກຕັ້ງຄ່າໂດຍໃຊ້ ansible, ດັ່ງນັ້ນກ່ອນທີ່ຈະເລີ່ມຕົ້ນ terraform, ໃຫ້ແນ່ໃຈວ່າທ່ານມີຫນຶ່ງຂອງ ansible ຮຸ່ນຫຼ້າສຸດ. ແລະຕິດຕັ້ງບົດບາດທີ່ຈໍາເປັນກັບ galaxy ansible:

vozerov@mba:~/events/terraform (master) $ cd ../ansible/
vozerov@mba:~/events/ansible (master) $ ansible-galaxy install -r requirements.yml
- cloudalchemy-prometheus (master) is already installed, skipping.
- cloudalchemy-grafana (master) is already installed, skipping.
- sansible.kafka (master) is already installed, skipping.
- sansible.zookeeper (master) is already installed, skipping.
- geerlingguy.docker (master) is already installed, skipping.
vozerov@mba:~/events/ansible (master) $

ພາຍໃນໂຟນເດີ ansible ມີຕົວຢ່າງໄຟລ໌ການຕັ້ງຄ່າ .ansible.cfg ທີ່ຂ້ອຍໃຊ້. ມັນອາດຈະມາສະດວກ.

ກ່ອນທີ່ຈະສ້າງເຄື່ອງ virtual, ໃຫ້ແນ່ໃຈວ່າທ່ານມີ ssh-agent ແລ່ນແລະເພີ່ມກະແຈ ssh, ຖ້າບໍ່ດັ່ງນັ້ນ terraform ຈະບໍ່ສາມາດເຊື່ອມຕໍ່ກັບເຄື່ອງຈັກທີ່ສ້າງຂຶ້ນໄດ້. ແນ່ນອນ, ຂ້ອຍພົບບັນຫາໃນ os x: https://github.com/ansible/ansible/issues/32499#issuecomment-341578864. ເພື່ອປ້ອງກັນບໍ່ໃຫ້ເຫດການນີ້ເກີດຂຶ້ນອີກ, ໃຫ້ເພີ່ມຕົວແປນ້ອຍໆໃສ່ env ກ່ອນທີ່ຈະເປີດຕົວ Terraform:

vozerov@mba:~/events/terraform (master) $ export OBJC_DISABLE_INITIALIZE_FORK_SAFETY=YES

ໃນໂຟນເດີທີ່ມີ terraform ພວກເຮົາສ້າງຊັບພະຍາກອນທີ່ຈໍາເປັນ:

vozerov@mba:~/events/terraform (master) $ terraform apply -target yandex_compute_instance.build -target yandex_compute_instance.monitoring -target yandex_compute_instance.kafka
yandex_vpc_network.internal: Refreshing state... [id=enp2g2rhile7gbqlbrkr]
data.yandex_compute_image.ubuntu_image: Refreshing state...
yandex_vpc_subnet.internal-a: Refreshing state... [id=e9b1dad6mgoj2v4funog]

An execution plan has been generated and is shown below.
Resource actions are indicated with the following symbols:
  + create

... skipped ...

Plan: 3 to add, 0 to change, 0 to destroy.

... skipped ...

ຖ້າທຸກສິ່ງທຸກຢ່າງສິ້ນສຸດລົງຢ່າງສໍາເລັດຜົນ (ແລະມັນຄວນຈະເປັນ), ພວກເຮົາຈະມີສາມເຄື່ອງ virtual:

1. build - ເຄື່ອງສໍາລັບການທົດສອບແລະການກໍ່ສ້າງຄໍາຮ້ອງສະຫມັກ. Docker ຖືກຕິດຕັ້ງໂດຍອັດຕະໂນມັດໂດຍ Ansible.
2. monitoring - ເຄື່ອງຕິດຕາມ - prometheus & grafana ຕິດຕັ້ງໃສ່ມັນ. ເຂົ້າສູ່ລະບົບ / ລະຫັດຜ່ານມາດຕະຖານ: admin / admin
3. kafka ແມ່ນເຄື່ອງຈັກຂະຫນາດນ້ອຍທີ່ມີການຕິດຕັ້ງ kafka, ສາມາດເຂົ້າເຖິງໄດ້ໃນພອດ 9092.

ໃຫ້ແນ່ໃຈວ່າພວກມັນຢູ່ໃນສະຖານທີ່ທັງຫມົດ:

vozerov@mba:~/events (master) $ yc compute instance list
+----------------------+------------+---------------+---------+---------------+-------------+
|          ID          |    NAME    |    ZONE ID    | STATUS  |  EXTERNAL IP  | INTERNAL IP |
+----------------------+------------+---------------+---------+---------------+-------------+
| fhm081u8bkbqf1pa5kgj | monitoring | ru-central1-a | RUNNING | 84.201.159.71 | 172.16.1.35 |
| fhmf37k03oobgu9jmd7p | kafka      | ru-central1-a | RUNNING | 84.201.173.41 | 172.16.1.31 |
| fhmt9pl1i8sf7ga6flgp | build      | ru-central1-a | RUNNING | 84.201.132.3  | 172.16.1.26 |
+----------------------+------------+---------------+---------+---------------+-------------+

ຊັບພະຍາກອນຢູ່ໃນສະຖານທີ່, ແລະຈາກນີ້ພວກເຮົາສາມາດໄດ້ຮັບທີ່ຢູ່ IP ຂອງພວກເຂົາ. ຕະຫຼອດສິ່ງທີ່ຕໍ່ໄປນີ້ຂ້ອຍຈະໃຊ້ທີ່ຢູ່ IP ເພື່ອເຊື່ອມຕໍ່ຜ່ານ ssh ແລະທົດສອບຄໍາຮ້ອງສະຫມັກ. ຖ້າທ່ານມີບັນຊີ cloudflare ເຊື່ອມຕໍ່ກັບ terraform, ຮູ້ສຶກວ່າບໍ່ເສຍຄ່າທີ່ຈະໃຊ້ຊື່ DNS ທີ່ສ້າງໃຫມ່.
ໂດຍວິທີທາງການ, ເມື່ອສ້າງເຄື່ອງ virtual, IP ພາຍໃນແລະຊື່ DNS ພາຍໃນແມ່ນໃຫ້, ດັ່ງນັ້ນທ່ານສາມາດເຂົ້າເຖິງເຄື່ອງແມ່ຂ່າຍພາຍໃນເຄືອຂ່າຍໂດຍຊື່:

ubuntu@build:~$ ping kafka.ru-central1.internal
PING kafka.ru-central1.internal (172.16.1.31) 56(84) bytes of data.
64 bytes from kafka.ru-central1.internal (172.16.1.31): icmp_seq=1 ttl=63 time=1.23 ms
64 bytes from kafka.ru-central1.internal (172.16.1.31): icmp_seq=2 ttl=63 time=0.625 ms
^C
--- kafka.ru-central1.internal ping statistics ---
2 packets transmitted, 2 received, 0% packet loss, time 1001ms
rtt min/avg/max/mdev = 0.625/0.931/1.238/0.308 ms

ນີ້ຈະເປັນປະໂຫຍດສໍາລັບພວກເຮົາທີ່ຈະຊີ້ໃຫ້ເຫັນເຖິງຄໍາຮ້ອງສະຫມັກຈຸດສິ້ນສຸດກັບ kafk.

ການ​ປະ​ກອບ​ຄໍາ​ຮ້ອງ​ສະ​ຫມັກ​

ທີ່ຍິ່ງໃຫຍ່, ມີເຄື່ອງແມ່ຂ່າຍ, ມີຄໍາຮ້ອງສະຫມັກ - ທັງຫມົດທີ່ຍັງເຫຼືອແມ່ນເພື່ອປະກອບມັນແລະເຜີຍແຜ່ມັນ. ສໍາລັບການກໍ່ສ້າງພວກເຮົາຈະໃຊ້ docker build ປົກກະຕິ, ແຕ່ເປັນການເກັບຮັກສາຮູບພາບພວກເຮົາຈະໃຊ້ບໍລິການຈາກ Yandex - container registry . ແຕ່ສິ່ງທໍາອິດທໍາອິດ.

ພວກເຮົາຄັດລອກແອັບພລິເຄຊັນໃສ່ເຄື່ອງກໍ່ສ້າງ, ເຂົ້າສູ່ລະບົບຜ່ານ ssh ແລະປະກອບຮູບພາບ:

vozerov@mba:~/events/terraform (master) $ cd ..
vozerov@mba:~/events (master) $ rsync -av app/ [email protected]:app/

... skipped ...

sent 3849 bytes  received 70 bytes  7838.00 bytes/sec
total size is 3644  speedup is 0.93

vozerov@mba:~/events (master) $ ssh 84.201.132.3 -l ubuntu
ubuntu@build:~$ cd app
ubuntu@build:~/app$ sudo docker build -t app .
Sending build context to Docker daemon  6.144kB
Step 1/9 : FROM golang:latest AS build
... skipped ...

Successfully built 9760afd8ef65
Successfully tagged app:latest

ເຄິ່ງຫນຶ່ງຂອງການສູ້ຮົບແມ່ນສໍາເລັດ - ໃນປັດຈຸບັນພວກເຮົາສາມາດກວດສອບການທໍາງານຂອງຄໍາຮ້ອງສະຫມັກຂອງພວກເຮົາໂດຍການເປີດຕົວມັນແລະສົ່ງໄປທີ່ kafka:

ubuntu@build:~/app$ sudo docker run --name app -d -p 8080:8080 app /app/app -kafka=kafka.ru-central1.internal:9092</code>

С локальной машинки можно отправить тестовый event и посмотреть на ответ:

<code>vozerov@mba:~/events (master) $ curl -D - -s -X POST -d '{"key1":"data1"}' http://84.201.132.3:8080/post
HTTP/1.1 200 OK
Content-Type: application/json
Date: Mon, 13 Apr 2020 13:53:54 GMT
Content-Length: 41

{"status":"ok","partition":0,"Offset":0}
vozerov@mba:~/events (master) $

ຄໍາຮ້ອງສະຫມັກຕອບສະຫນອງກັບຜົນສໍາເລັດຂອງການບັນທຶກແລະຊີ້ບອກ id ຂອງການແບ່ງປັນແລະການຊົດເຊີຍທີ່ຂໍ້ຄວາມໄດ້ຖືກລວມເຂົ້າ. ສິ່ງທີ່ຍັງເຫຼືອທີ່ຈະເຮັດແມ່ນສ້າງການລົງທະບຽນໃນ Yandex.Cloud ແລະອັບໂຫລດຮູບພາບຂອງພວກເຮົາຢູ່ທີ່ນັ້ນ (ວິທີການເຮັດສິ່ງນີ້ໂດຍໃຊ້ສາມເສັ້ນແມ່ນໄດ້ອະທິບາຍໄວ້ໃນໄຟລ໌ registry.tf). ສ້າງບ່ອນເກັບຂໍ້ມູນ:

vozerov@mba:~/events/terraform (master) $ terraform apply -target yandex_container_registry.events

... skipped ...

Plan: 1 to add, 0 to change, 0 to destroy.

... skipped ...

Apply complete! Resources: 1 added, 0 changed, 0 destroyed.

ມີຫຼາຍວິທີທີ່ຈະພິສູດຢືນຢັນໃນບັນຊີບັນຈຸ - ໂດຍໃຊ້ oauth token, iam token, ຫຼືລະຫັດບັນຊີບໍລິການ. ລາຍລະອຽດເພີ່ມເຕີມກ່ຽວກັບວິທີການເຫຼົ່ານີ້ສາມາດພົບໄດ້ໃນເອກະສານ. https://cloud.yandex.ru/docs/container-registry/operations/authentication. ພວກເຮົາຈະໃຊ້ລະຫັດບັນຊີບໍລິການ, ດັ່ງນັ້ນພວກເຮົາຈຶ່ງສ້າງບັນຊີ:

vozerov@mba:~/events/terraform (master) $ terraform apply -target yandex_iam_service_account.docker -target yandex_resourcemanager_folder_iam_binding.puller -target yandex_resourcemanager_folder_iam_binding.pusher

... skipped ...

Apply complete! Resources: 3 added, 0 changed, 0 destroyed.

ດຽວນີ້ສິ່ງທີ່ຍັງເຫຼືອແມ່ນເພື່ອເຮັດໃຫ້ກະແຈ ສຳ ລັບມັນ:

vozerov@mba:~/events/terraform (master) $ yc iam key create --service-account-name docker -o key.json
id: ajej8a06kdfbehbrh91p
service_account_id: ajep6d38k895srp9osij
created_at: "2020-04-13T14:00:30Z"
key_algorithm: RSA_2048

ພວກເຮົາໄດ້ຮັບຂໍ້ມູນກ່ຽວກັບ id ຂອງການເກັບຮັກສາຂອງພວກເຮົາ, ໂອນລະຫັດແລະເຂົ້າສູ່ລະບົບ:

vozerov@mba:~/events/terraform (master) $ scp key.json [email protected]:
key.json                                                                                                                    100% 2392   215.1KB/s   00:00

vozerov@mba:~/events/terraform (master) $ ssh 84.201.132.3 -l ubuntu

ubuntu@build:~$ cat key.json | sudo docker login --username json_key --password-stdin cr.yandex
WARNING! Your password will be stored unencrypted in /home/ubuntu/.docker/config.json.
Configure a credential helper to remove this warning. See
https://docs.docker.com/engine/reference/commandline/login/#credentials-store

Login Succeeded
ubuntu@build:~$

ເພື່ອອັບໂຫລດຮູບພາບໃສ່ທະບຽນ, ພວກເຮົາຕ້ອງການ ID ບັນຊີບັນຈຸ, ພວກເຮົາເອົາມັນມາຈາກ yc utility:

vozerov@mba:~ $ yc container registry get events
id: crpdgj6c9umdhgaqjfmm
folder_id:
name: events
status: ACTIVE
created_at: "2020-04-13T13:56:41.914Z"

ຫຼັງຈາກນັ້ນ, ພວກເຮົາແທັກຮູບພາບຂອງພວກເຮົາດ້ວຍຊື່ໃຫມ່ແລະອັບໂຫລດ:

ubuntu@build:~$ sudo docker tag app cr.yandex/crpdgj6c9umdhgaqjfmm/events:v1
ubuntu@build:~$ sudo docker push cr.yandex/crpdgj6c9umdhgaqjfmm/events:v1
The push refers to repository [cr.yandex/crpdgj6c9umdhgaqjfmm/events]
8c286e154c6e: Pushed
477c318b05cb: Pushed
beee9f30bc1f: Pushed
v1: digest: sha256:1dd5aaa9dbdde2f60d833be0bed1c352724be3ea3158bcac3cdee41d47c5e380 size: 946

ພວກ​ເຮົາ​ສາ​ມາດ​ກວດ​ສອບ​ວ່າ​ຮູບ​ພາບ​ທີ່​ໂຫລດ​ສໍາ​ເລັດ​ຜົນ​:

vozerov@mba:~/events/terraform (master) $ yc container repository list
+----------------------+-----------------------------+
|          ID          |            NAME             |
+----------------------+-----------------------------+
| crpe8mqtrgmuq07accvn | crpdgj6c9umdhgaqjfmm/events |
+----------------------+-----------------------------+

ໂດຍວິທີທາງການ, ຖ້າທ່ານຕິດຕັ້ງ yc utility ໃນເຄື່ອງ Linux, ທ່ານສາມາດນໍາໃຊ້ຄໍາສັ່ງ

yc container registry configure-docker

ເພື່ອຕັ້ງຄ່າ docker.

ສະຫລຸບ

ພວກເຮົາໄດ້ເຮັດວຽກຫນັກຫຼາຍແລະຜົນໄດ້ຮັບ:

1. ພວກເຮົາມາພ້ອມກັບສະຖາປັດຕະຍະກໍາຂອງການບໍລິການໃນອະນາຄົດຂອງພວກເຮົາ.
2. ພວກເຮົາຂຽນຄໍາຮ້ອງສະຫມັກໃນ golang ທີ່ປະຕິບັດເຫດຜົນທາງທຸລະກິດຂອງພວກເຮົາ.
3. ພວກເຮົາເກັບກໍາມັນແລະ poured ມັນເຂົ້າໄປໃນທະບຽນບັນຈຸເອກະຊົນ.

ໃນພາກຕໍ່ໄປ, ພວກເຮົາຈະກ້າວໄປສູ່ສິ່ງທີ່ຫນ້າສົນໃຈ - ພວກເຮົາຈະປ່ອຍຄໍາຮ້ອງສະຫມັກຂອງພວກເຮົາເຂົ້າໃນການຜະລິດແລະສຸດທ້າຍໄດ້ເປີດຕົວມັນ. ຢ່າປ່ຽນ!

ເອກະສານນີ້ແມ່ນຢູ່ໃນການບັນທຶກວິດີໂອຂອງກອງປະຊຸມເປີດ REBRAIN & Yandex.Cloud: ພວກເຮົາຍອມຮັບ 10 ຄໍາຮ້ອງຂໍຕໍ່ວິນາທີໃນ Yandex Cloud - https://youtu.be/cZLezUm0ekE

ຖ້າຫາກວ່າທ່ານມີຄວາມສົນໃຈໃນການເຂົ້າຮ່ວມກິດຈະກໍາດັ່ງກ່າວອອນໄລນ໌ແລະຖາມຄໍາຖາມໃນເວລາທີ່ແທ້ຈິງ, ເຊື່ອມຕໍ່ກັບ DevOps ໂດຍຊ່ອງ REBRAIN.

ພວກເຮົາຂໍສະແດງຄວາມຂອບໃຈເປັນພິເສດຕໍ່ Yandex.Cloud ສໍາລັບໂອກາດທີ່ຈະເປັນເຈົ້າພາບເຫດການດັ່ງກ່າວ. ການ​ເຊື່ອມ​ຕໍ່​ກັບ​ເຂົາ​ເຈົ້າ - https://cloud.yandex.ru/prices

ຖ້າທ່ານຕ້ອງການຍ້າຍໄປຟັງຄລາວຫຼືມີຄໍາຖາມກ່ຽວກັບໂຄງສ້າງພື້ນຖານຂອງທ່ານ, ຮູ້ສຶກວ່າບໍ່ເສຍຄ່າເພື່ອສົ່ງຄໍາຮ້ອງຂໍ.

PS ພວກເຮົາມີ 2 ການກວດສອບຟຣີຕໍ່ເດືອນ, ບາງທີໂຄງການຂອງທ່ານຈະເປັນຫນຶ່ງໃນນັ້ນ.

ແຫຼ່ງຂໍ້ມູນ: www.habr.com