Minggu kamari kuring indit ka konferensi IT DUMP (https://dump-ekb.ru/) di Yekaterinburg jeung Abdi hoyong ngabejaan Anjeun naon anu dibahas dina bagian Backend na Devops, sarta naha konferensi IT régional patut perhatian.
Nikolay Sverchkov ti Jahat Martians ngeunaan Serverless
Aya naon wae?
Dina total, konperénsi éta ngagaduhan 8 bagian: Backend, Frontend, Mobile, Testing and QA, Devops, Design, Science and Management.
Aula panggedéna, ku jalan kitu, aya di Science and Management)) Pikeun ~ 350 urang masing-masing. Backend sareng Frontend henteu langkung alit. The Devops kamar éta pangleutikna, tapi aktip.
Kuring ngadangukeun laporan dina bagian Devops sareng Backend sareng ngobrol sakedik sareng panyatur. Abdi hoyong ngobrol ngeunaan topik anu katutupan sareng marios bagian-bagian ieu dina konperénsi éta.
Wawakil SKB-Kontur, DataArt, Martians jahat, Ekaterinburg web studio Bandéra, Miro (RealTimeBoard) spoke dina Devops na bagian Backend. Topik anu katutupan CI / CD, damel sareng jasa antrian, logging; Topik tanpa server sareng damel sareng PostgreSQL di Go katutupan ogé.
Aya ogé laporan Avito, Tinkoff, Yandex, Jetstyle, Megafon, Ak Bars Bank, tapi kuring teu boga waktu pikeun fisik hadir aranjeunna (rekaman video na slides laporan teu acan sadia, aranjeunna janji bakal masangkeunana dina 2 minggu. dina dump-ekb.ru).
bagian Devops
Anu matak pikaheraneun nyaéta bagian éta dilaksanakeun di aula pangleutikna, sakitar 50 korsi. Jalma-jalma malah nangtung di lorong :) Kuring bakal nyarioskeun ka anjeun ngeunaan laporan anu kuring junun ngadangukeun.
Elastis timbangan petabyte
Bagian dimimitian ku laporan Vladimir Lil (SKB-Kontur) ngeunaan Elasticsearch di Kontur. Aranjeunna gaduh Elastis anu cukup ageung sareng sarat (~ 800 TB data, ~ 1.3 petabytes nyandak kaleuleuwihan). Elasticsearch pikeun sakabéh jasa Kontur téh tunggal, diwangun ku 2 klaster (tina 7 jeung 9 server), sarta pohara penting yén Kontur boga insinyur Elasticsearch husus (dina kanyataanana, Vladimir sorangan).
Vladimir ogé ngabagikeun pamikiranna ngeunaan mangpaat Elasticsearch sareng masalah anu dibawa.
Kauntungan:
- Sadaya log aya dina hiji tempat, aksés gampang ka aranjeunna
- Nyimpen log pikeun sataun sareng gampang dianalisis
- Kacepetan luhur damel sareng log
- Visualisasi data cool out of the box
Masalah:
- calo pesen téh kudu boga (pikeun Kontur peranna dicoo ku Kafka)
- fitur gawé bareng Elasticsearch Curator (dijieun périodik beban tinggi tina tugas biasa di Curator)
- euweuh otorisasina diwangun-di (ngan pikeun misah, duit cukup badag, atawa salaku plugins open source tina rupa-rupa tingkat kesiapan pikeun produksi)
Aya ngan ukur ulasan anu positif ngeunaan Open Distro pikeun Elasticsearch :) Masalah otorisasi anu sami parantos direngsekeun di dinya.
Dimana asalna petabyte?Titik maranéhanana diwangun ku server kalawan 12 * 8 Tb SATA + 2 * 2 Tb SSD. Panyimpenan tiis dina SATA, SSD ngan ukur pikeun cache panas (panyimpen panas).
7 + 9 server, (7 + 9) * 12 * 8 = 1536 Tb.
Bagian tina rohangan aya di cadangan, sisihkan pikeun redundansi, jsb.
Log tina sakitar 90 aplikasi dikirim ka Elasticsearch, kalebet sadaya jasa ngalaporkeun Kontur, Elba, jsb.
Fitur pangwangunan dina Serverless
Salajengna nyaéta laporan ku Ruslan Serkin ti DataArt ngeunaan Serverless.
Ruslan ngobrol ngeunaan naon ngembangkeun kalawan pendekatan Serverless sacara umum, sarta naon fitur na.
Serverless mangrupikeun pendekatan pikeun pamekaran dimana pamekar henteu nyabak infrastruktur dina cara naon waé. Conto - AWS Lambda Serverless, Kubeless.io (Serverless jero Kubernetes), Google Cloud Functions.
Hiji aplikasi Serverless idéal nyaéta saukur fungsi nu ngirimkeun pamundut ka panyadia Serverless ngaliwatan gateway API husus. Hiji microservice idéal, bari AWS Lambda ogé ngarojong sajumlah badag basa programming modern. Biaya ngajaga sareng nyebarkeun infrastruktur janten nol dina kasus panyadia awan, ngadukung aplikasi leutik ogé bakal murah pisan (AWS Lambda - $ 0.2 / 1 juta pamundut saderhana).
Skalabilitas sistem sapertos kitu ampir idéal - panyadia awan ngurus ieu sorangan, skala Kubeless otomatis dina klaster Kubernetes.
Aya kalemahan:
- ngembangkeun aplikasi ageung janten langkung hese
- aya kasusah sareng aplikasi profiling (ngan log anu sayogi pikeun anjeun, tapi henteu profil dina rasa biasa)
- euweuh versioning
Jujur, kuring nguping ngeunaan Serverless sababaraha taun ka pengker, tapi salami sababaraha taun ieu kuring henteu terang kumaha ngagunakeunana leres. Saatos laporan Ruslan muncul pamahaman, sarta sanggeus laporan Nikolai Sverchkov (Jahat Martians) ti bagian Backend, éta konsolidasi. Teu sia-sia kuring indit ka konferensi :)
CI kanggo jalma miskin, atanapi éta patut nyerat CI anjeun nyalira pikeun studio wéb?
Mikhail Radionov, kapala studio wéb Flag ti Yekaterinburg, nyarios ngeunaan CI / CD anu ditulis sorangan.
Studio na parantos angkat tina "CI manual / CD" (asup kana server via SSH, laksanakeun git pull, malikan deui 100 kali sadinten) ka Jenkins sareng alat anu ditulis nyalira anu ngamungkinkeun anjeun ngawas kode sareng ngalaksanakeun pelepasan anu disebut Pullkins. .
Naha Jenkins teu dianggo? Éta henteu masihan kalenturan anu cukup sacara standar sareng sesah teuing pikeun ngaropea.
"Flag" ngembang dina Laravel (kerangka PHP). Nalika ngembangkeun server CI / CD, Mikhail sareng kolega-Na ngagunakeun mékanisme Laravel anu diwangun-di anu disebut Teleskop sareng Utusan. Hasilna nyaéta server dina PHP (punten dicatet) anu ngolah pamundut webhook anu asup, tiasa ngawangun frontend sareng backend, nyebarkeun ka server anu béda, sareng ngalaporkeun ka Slack.
Teras, pikeun tiasa ngalaksanakeun panyebaran biru / héjo sareng gaduh setélan seragam dina lingkungan dev-stage-prod, aranjeunna ngalih ka Docker. Kauntungannana tetep sami, kamungkinan homogenisasi lingkungan sareng panyebaran mulus ditambah, sareng kabutuhan pikeun diajar Docker pikeun damel sareng éta leres-leres ditambahkeun.
Kumaha urang ngirangan jumlah rollbacks sékrési server ku 99%
Laporan panungtungan dina bagian Devops éta ti Viktor Eremchenko, Lead devops insinyur di Miro.com (baheulana RealTimeBoard).
RealTimeBoard, produk unggulan tim Miro, dumasar kana aplikasi Java monolithic. Ngumpulkeun, nguji sareng nyebarkeun éta tanpa downtime mangrupikeun tugas anu sesah. Dina hal ieu, hal anu penting pikeun nyebarkeun versi sapertos kode supados teu kudu digulung deui (éta monolith beurat).
Dina jalan ngawangun sistem anu ngamungkinkeun anjeun ngalakukeun ieu, Miro ngalangkungan jalur anu kalebet damel dina arsitéktur, alat-alat anu dianggo (Awi Atlassian, Ansible, jsb), sareng ngerjakeun struktur tim (aranjeunna ayeuna gaduh. tim Devops dedicated + loba tim Scrum misah ti pamekar propil béda).
Jalan tétéla hésé tur thorny, sarta Koswara ngabagi akumulasi nyeri jeung optimism nu teu aya tungtungna.
Meunang buku pikeun nanyakeun patarosan
Bagian backend
Kuring junun hadir 2 laporan - ti Nikolay Sverchkov (Jahat Martians), ogé ngeunaan Serverless, sarta ti Grigory Koshelev (perusahaan Kontur) ngeunaan telemetry.
Serverless pikeun jalma biasa
Lamun Ruslan Sirkin dikaitkeun naon Serverless, Nikolay némbongkeun aplikasi basajan ngagunakeun Serverless, sarta dikaitkeun detil nu mangaruhan biaya jeung speed aplikasi dina AWS Lambda.
Detil anu pikaresepeun: unsur anu dibayar minimum nyaéta 128 Mb mémori sareng 100 ms CPU, hargana $ 0,000000208. Sumawona, 1 juta pamundut sapertos per bulan gratis.
Sababaraha fungsi Nikolai sering ngaleuwihan wates 100 mdet (aplikasi utama ditulis dina Ruby), ku kituna nulis balik aranjeunna dina Go nyadiakeun tabungan alus teuing.
Vostok Hercules - ngajadikeun telemétri hébat deui!
Laporan panganyarna tina bagian Backend ti Grigory Koshelev (perusahaan Kontur) ngeunaan telemétri. Telemétri hartosna log, métrik, ngambah aplikasi.
Pikeun tujuan ieu, Contour nganggo alat anu ditulis ku diri anu dipasang dina Github. Alat tina laporan - Hercules, , dipaké pikeun ngirimkeun data telemétri.
Laporan Vladimir Lila dina bagian Devops ngabahas nyimpen sareng ngolah log di Elasticsearch, tapi masih aya tugas pikeun ngirim log tina rébuan alat sareng aplikasi, sareng alat sapertos Vostok Hercules ngabéréskeunana.
Sirkuit ngiringan jalur anu dipikanyaho ku seueur - ti RabbitMQ ka Apache Kafka, tapi henteu sadayana saderhana)) aranjeunna kedah nambihan Zookeeper, Cassandra sareng Graphite kana sirkuit. Kuring moal pinuh nyingkab inpormasi dina laporan ieu (sanes profil kuring), upami anjeun kabetot, anjeun tiasa ngantosan slide sareng pidéo dina situs wéb konperénsi.
Kumaha dibandingkeun sareng konperénsi anu sanés?
Abdi teu tiasa ngabandingkeun éta kalayan konferensi di Moscow jeung St.
DAMP dilaksanakeun dina 8 bagian, ieu mangrupikeun catetan pikeun konferensi Ural. Bagian Élmu sareng Manajemén anu ageung pisan, ieu ogé teu biasa. Panongton di Yekaterinburg cukup terstruktur - kota ngagaduhan departemén pangembangan ageung pikeun Yandex, Kontur, Tinkoff, sareng ieu nyéépkeun laporan na.
titik metot séjén nyaéta yén loba pausahaan boga 3-4 speaker dina konferensi sakaligus (ieu kasus kalawan Kontur, Jahat Martians, Tinkoff). Seueur di antarana anu sponsor, tapi laporanna sami sareng anu sanés, ieu sanés laporan iklan.
Bade angkat atanapi henteu? Upami anjeun cicing di Urals atanapi caket dieu, anjeun gaduh kasempetan sareng kabetot dina topik - leres, tangtosna. Upami anjeun mikir ngeunaan perjalanan anu panjang, kuring bakal ningali topik laporan sareng laporan pidéo ti taun-taun saméméhna sarta nyieun kaputusan.
Kauntungan sejen tina konperénsi di daérah, biasana, nyaéta gampang pikeun komunikasi sareng panyatur saatos laporan, ngan ukur aya sakedik pelamar pikeun komunikasi sapertos kitu.
Hatur nuhun kana Dump sareng Ekaterinburg! )
sumber: www.habr.com