O le vaiaso na teʻa nei na ou alu ai i le DUMP IT conference (https://dump-ekb.ru/) i Yekaterinburg ma ou te fia taʻu atu ia te oe le mea na talanoaina i le Backend ma Devops vaega, ma pe aoga faʻasalalauga IT faʻaitulagi.
Nikolay Sverchkov mai le Evil Martians e uiga i Serverless
O le a lava le mea sa i ai?
I le aotelega, o le konafesi e 8 vaega: Backend, Frontend, Mobile, Testing and QA, Devops, Design, Science and Management.
O fale tetele, i le ala, o loʻo i Saienisi ma Pulega)) Mo ~ 350 tagata taʻitasi. Backend ma Frontend e le laiti tele. O le potu Devops o le potu aupito itiiti, ae malosi.
Sa ou faalogologo i lipoti i vaega o Devops ma Backend ma talanoa teisi ma failauga. Ou te fia talanoa e uiga i autu o loʻo aofia ai ma toe iloilo nei vaega i le konafesi.
O sui o SKB-Kontur, DataArt, Evil Martians, Ekaterinburg web studio Flag, Miro (RealTimeBoard) na saunoa i vaega Devops ma Backend. O autu e aofia ai le CI/CD, galue i le laina laina, logging autu e leai se Server ma le galulue faatasi ma PostgreSQL i le Go sa lelei ona ufiufi.
Sa i ai foi lipoti a Avito, Tinkoff, Yandex, Jetstyle, Megafon, Ak Bars Bank, ae ou te leʻi maua se taimi e auai faaletino ai ia i latou (e le o maua ata vitio ma ata o lipoti, latou te folafola atu e lafo i luga o le lafoaia- ekb.ru i totonu ole 2 vaiaso).
Vaega o Devops
O le mea na faateʻia ai, o le vaega sa faia i totonu o le fale sili ona laʻititi, e tusa ma le 50 nofoa. Sa tutu tagata i luga ole ala :) Ou te taʻu atu ia te oe lipoti na mafai ona ou faʻalogo i ai.
Elastic e mamafa se petabyte
Na amata le vaega i se lipoti a Vladimir Lil (SKB-Kontur) e uiga i Elasticsearch i Kontur. O loʻo i ai le lapopoa ma le utaina o le Elastic (~ 800 TB o faʻamaumauga, ~ 1.3 petabytes e amanaʻia le toe faʻaaogaina). Elasticsearch mo auaunaga uma a Kontur e tasi, e aofia ai 2 fuifui (o 7 ma 9 servers), ma e matua taua tele o Kontur ei ai se inisinia faapitoa Elasticsearch (o le mea moni, o Vladimir lava ia).
Na faʻasoa foʻi e Vladimir ona manatu ile aoga ole Elasticsearch ma faʻafitauli e aumaia.
Fa'amanuiaga:
- O ogalaau uma o loʻo i se nofoaga e tasi, faigofie ona maua i latou
- Teuina o ogalaau mo le tausaga ma faigofie ona suʻesuʻeina
- Saosaoa maualuga o le galue ma ogalaau
- Manaia fa'amatalaga fa'amatalaga mai le pusa
Fa'afitauli:
- e tatau ona iai le faifeʻau feʻau (mo Kontur o lana matafaioi o loʻo taʻalo e Kafka)
- foliga o le galulue faatasi ma le Elasticsearch Curator (faia i lea taimi ma lea taimi le uta maualuga mai galuega masani i le Curator)
- leai se faʻatagaina faʻapipiʻiina (naʻo mo tupe eseese, tele tele, poʻo faʻapipiʻi faʻapipiʻi tatala o tikeri eseese o le saunia mo le gaosiga)
E na'o ni iloiloga lelei e uiga i Open Distro mo Elasticsearch :) O le mataupu lava e tasi o le fa'atagaina ua uma ona foia iina.
O fea e sau ai le petabyte?O latou nodes e aofia ai 'auʻaunaga ma 12 * 8 Tb SATA + 2 * 2 Tb SSD. Teuga malulu ile SATA, SSD mo na'o le vevela vevela (velave vevela).
7+9 servers, (7 + 9) * 12 * 8 = 1536 Tb.
O se vaega o le avanoa o loʻo faʻapolopolo, tuʻu ese mo le toe faia, ma isi.
O faʻamaumauga mai le tusa ma le 90 talosaga e lafoina i Elasticsearch, e aofia ai lipoti uma a Kontur, Elba, ma isi.
Fa'aaliga ole atina'e ile Serverless
Soso'o se lipoti a Ruslan Serkin mai le DataArt e uiga i Serverless.
Na talanoa Ruslan pe o le a le atinaʻe ma le Serverless auala lautele, ma o a ona foliga.
Serverless o se auala i atinaʻe lea e le paʻi atu ai le au atinaʻe i atinaʻe i soo se auala. Faataitaiga - AWS Lambda Serverless, Kubeless.io (Serverless totonu Kubernetes), Google Cloud Functions.
O se fa'aoga lelei e leai se Server e na'o se galuega e tu'uina atu se talosaga i le Serverless e tu'uina atu e ala i se API Gateway fa'apitoa. O se microservice lelei, ae o le AWS Lambda e lagolagoina foi le tele o gagana polokalame faʻaonaponei. O le tau o le tausia ma le faʻapipiʻiina o atinaʻe e avea ma zero i le tulaga o tagata e tuʻuina atu ao, o le lagolagoina o talosaga laiti o le a matua taugofie foi (AWS Lambda - $ 0.2 / 1 miliona talosaga faigofie).
O le fa'alauteleina o sea faiga e toetoe lava a lelei - o le 'au'aunaga ao latou te tausia ia lava, Kubeless fua fa'atotonu i totonu ole fuifui Kubernetes.
E iai fa'aletonu:
- o le atiaeina o talosaga tetele ua amata ona faigata
- o loʻo i ai le faigata i faʻamatalaga faʻamatalaga (naʻo ogalaau o loʻo avanoa mo oe, ae le o faʻamatalaga i le uiga masani)
- leai se fa'aliliuga
Ina ia faʻamaoni, na ou faʻalogo e uiga i Serverless i nai tausaga talu ai, ae o nei tausaga uma e leʻo manino ia te aʻu pe faʻapefea ona faʻaoga saʻo. Ina ua uma le lipoti a Ruslan, na aliali mai le malamalama, ma ina ua uma le lipoti a Nikolai Sverchkov (Evil Martians) mai le vaega Backend, na tuufaatasia. E le o se mea fua na ou alu i le konafesi :)
CI e mo e matitiva, pe aoga le tusiaina o lau lava CI mo se upega tafaʻilagi?
O Mikhail Radionov, o le ulu o le Flag web studio mai Yekaterinburg, na saunoa e uiga i le CI/CD na tusia e le tagata lava ia.
O lana potu aoga ua alu ese mai le "manual CI / CD" (tusi i totonu o le server e ala i le SSH, fai se git pull, toe fai 100 taimi i le aso) ia Jenkins ma i se meafaigaluega na tusia e le tagata lava ia e mafai ai ona e mataʻituina le code ma faia faʻasalalauga e taʻua o Pullkins .
Aisea na le galue ai Jenkins? E le'i lava le fetuutuuna'i ona o le faaletonu ma sa faigata tele ona fa'avasega.
"Flag" e atiaʻe i Laravel (faʻavae PHP). I le atinaʻeina o se CI / CD server, na faʻaogaina e Mikhail ma ana uo ia Laravel's built-in mechanisms taʻua Telescope ma Envoy. O le taunuuga o se server ile PHP (fa'amolemole matau) o lo'o fa'agasolo ai talosaga i luga ole laiga, e mafai ona fausia le pito i luma ma tua, fa'apipi'i i 'au'aunaga eseese, ma lipoti atu i Slack.
Ma, ina ia mafai ona faʻatinoina le lanu moana / lanumeamata faʻapipiʻi ma maua ni tulaga toniga i siosiomaga dev-stage-prod, na latou fesuiaʻi i Docker. O tulaga lelei na tumau pea, o avanoa e faʻafefiloi ai le siʻosiʻomaga ma faʻaogaina le faʻaogaina na faʻaopoopoina, ma le manaʻoga e aʻoaʻo Docker e galue faʻatasi ma saʻo na faʻaopoopoina.
Na fa'afefea ona matou fa'aitiitia le numera o le fa'amalolo o le server i le 99%
O le lipoti mulimuli i le vaega Devops na mai ia Viktor Eremchenko, Lead devops engineer i Miro.com (muamua RealTimeBoard).
RealTimeBoard, le oloa fu'a a le 'au a Miro, e fa'avae i luga o se talosaga Java monolithic. O le aoina, faʻataʻitaʻiina ma le faʻaogaina e aunoa ma le faʻalavelave o se galuega faigata. I lenei tulaga, e taua le faʻapipiʻiina o sea ituaiga o code ina ia le toe faʻafoʻi i tua (o se monolith mamafa).
I luga o le ala i le fausiaina o se faiga e mafai ai ona e faia lenei mea, na alu ai Miro i se auala e aofia ai le galue i luga o le fausaga, meafaigaluega na faʻaaogaina (Atlassian Bamboo, Ansible, ma isi), ma galue i luga o le fausaga o 'au (o loʻo i ai nei. se 'au Devops tuuto + le tele o 'au Scrum eseese mai tagata atia'e o tala'aga eseese).
O le ala na iu ina faigata ma matuitui, ma sa faasoa atu e Victor le tiga ma le faamoemoe e lei gata ai iina.
Manuia se tusi mo le faia o fesili
Vaega pito i tua
Na mafai ona ou auai i lipoti e 2 - mai Nikolay Sverchkov (Evil Martians), e uiga foi i Serverless, ma mai Grigory Koshelev (kamupani Kontur) e uiga i le telemetry.
Serverless mo na'o tagata soifua
Afai na talanoa Ruslan Sirkin e uiga i le Serverless, na faʻaalia e Nikolay ni talosaga faigofie e faʻaaoga ai le Serverless, ma talanoa e uiga i faʻamatalaga e aʻafia ai le tau ma le saoasaoa o talosaga i le AWS Lambda.
O se faʻamatalaga mataʻina: o le elemene maualalo totogi o le 128 Mb o le manatua ma le 100 ms CPU, e tau $0,000000208. E le gata i lea, 1 miliona ia talosaga i le masina e leai se totogi.
O nisi o galuega a Nikolai e masani ona sili atu i le 100 ms tapulaa (o le talosaga autu na tusia i le Ruby), ma o le toe tusia i le Go e maua ai se tupe sili ona lelei.
Vostok Hercules - toe faʻaleleia tele le telemetry!
Le lipoti lata mai o le vaega Backend mai Grigory Koshelev (kamupani Kontur) e uiga i le telemetry. Telemetry o lona uiga o ogalaau, metrics, faʻasologa o talosaga.
Mo lenei faʻamoemoe, Contour e faʻaogaina meafaigaluega e tusia e le tagata lava ia na lafoina i luga o Github. Meafaigaluega mai le lipoti - Hercules, , e faʻaaogaina e tuʻuina atu faʻamatalaga telemetry.
O le lipoti a Vladimir Lila i le vaega Devops na talanoaina ai le teuina ma le gaosiga o ogalaau i Elasticsearch, ae o loʻo i ai pea le galuega o le tuʻuina atu o ogalaau mai le tele o afe o masini ma talosaga, ma meafaigaluega e pei o Vostok Hercules e foia ai.
O le matagaluega na mulimulitaʻia se auala e iloa e le toʻatele - mai RabbitMQ i Apache Kafka, ae le o mea uma e faigofie tele)) E tatau ona latou faʻaopoopo le Zookeeper, Cassandra ma le Graphite i le matagaluega. O le a ou le faʻaalia atoatoa faʻamatalaga i luga o lenei lipoti (e le o laʻu talaaga), afai e te fiafia i ai, e mafai ona e faʻatali mo ata ma vitio i luga o le upega tafaʻilagi a le konafesi.
E faapefea ona faatusatusa i isi konafesi?
E le mafai ona ou faʻatusatusaina i konafesi i Moscow ma St. Petersburg, e mafai ona ou faʻatusatusa i isi mea na tutupu i Urals ma le 404fest i Samara.
DAMP o loʻo faia i vaega e 8, o se faʻamaumauga lea mo konafesi a Ural. Tele vaega Saienisi ma Pulega, e le masani ai foi. O le au maimoa i Yekaterinburg e matua faʻatulagaina - o loʻo i ai i le taulaga le tele o matagaluega atinaʻe mo Yandex, Kontur, Tinkoff, ma e tuʻu ai lona faʻailoga i luga o lipoti.
O le isi itu manaia o le tele o kamupani e 3-4 failauga i le konafesi i le taimi e tasi (o le tulaga lea ia Kontur, Evil Martians, Tinkoff). O le tele o i latou sa lagolagoina, ae o lipoti e fai si tutusa ma isi, e le o ni lipoti faasalalau.
E alu pe leai? Afai e te nofo i Urals poʻo lata ane, e te maua le avanoa ma e te fiafia i mataupu - ioe, ioe. Afai o loʻo e mafaufau i se malaga umi, o le a ou tilotilo i autu o lipoti ma lipoti vitio mai tausaga talu ai ma faia se faaiuga.
O le isi tulaga lelei o konafesi i itulagi, e masani lava, e faigofie ona fesootai ma le failauga pe a uma lipoti e toalaiti tagata talosaga mo ia fesootaiga;
Faafetai ia Dump ma Ekaterinburg! )
puna: www.habr.com
