Bekeng e fetileng ke ile ka ea kopanong ea DUMP IT (https://dump-ekb.ru/) Yekaterinburg 'me ke batla ho u bolella se neng se tšohloa karolong ea Backend le Devops, le hore na likopano tsa IT tsa libaka li lokela ho ela hloko.
Nikolay Sverchkov ho tloha Evil Martians ka Serverless
Leha ho le joalo, ho ne ho e-na le eng?
Ka kakaretso, seboka se ne se e-na le likarolo tsa 8: Backend, Frontend, Mobile, Testing le QA, Devops, Design, Science le Management.
Liholo tse kholo ka ho fetisisa, ka tsela, li ho Saense le Tsamaiso)) Bakeng sa batho ba ~ 350 ka 'ngoe. Backend le Frontend ha li nyane haholo. Kamore ea Devops e ne e le nyane, empa e le mafolofolo.
Ke ile ka mamela litlaleho tse karolong ea Devops le Backend 'me ka bua hanyenyane le libui. Ke rata ho bua ka lihlooho tse akarelitsoeng le ho hlahloba likarolo tsena kopanong.
Baemeli ba SKB-Kontur, DataArt, Evil Martians, Ekaterinburg web studio Flag, Miro (RealTimeBoard) ba buile ka karolo ea Devops le Backend. Lihlooho tse kenyellelitsoeng CI/CD, ho sebetsa ka lits'ebeletso tsa mela, ho rema lifate; Lihlooho tse se nang seva le ho sebetsa le PostgreSQL ho Go li ile tsa koaheloa hantle.
Hape ho ne ho e-na le litlaleho tsa Avito, Tinkoff, Yandex, Jetstyle, Megafon, Ak Bars Bank, empa ke ne ke se na nako ea ho ba teng ka 'mele (lirekoto tsa video le li-slide tsa litlaleho ha li e-s'o fumanehe, li tšepisa ho li romella nakong ea libeke tsa 2. ka dump-ekb.ru).
Karolo ea Devops
Se ileng sa ’makatsa ke hore karolo eo e ne e tšoaretsoe holong e nyenyane ka ho fetisisa, e nang le litulo tse ka bang 50. Batho ba ne ba bile ba eme litseleng :) Ke tla u bolella ka litlaleho tseo ke khonneng ho li mamela.
Elastic e boima ba petabyte
Karolo e qalile ka tlaleho ea Vladimir Lil (SKB-Kontur) mabapi le Elasticsearch ho Kontur. Ba na le Elastic e kholo le e imetsoeng (~ 800 TB ea data, ~ 1.3 petabytes e nahanelang redundancy). Elasticsearch bakeng sa lits'ebeletso tsohle tsa Kontur ha e na molekane, e na le lihlopha tse 2 (tsa li-server tse 7 le tse 9), 'me e bohlokoa hoo Kontur a nang le moenjiniere ea khethehileng oa Elasticsearch (ha e le hantle, Vladimir ka boeena).
Vladimir o ile a boela a arolelana maikutlo a hae ka melemo ea Elasticsearch le mathata ao e a tlisang.
Molemo:
- Lifate tsohle li sebakeng se le seng, ho fihlella habonolo ho tsona
- Ho boloka likutu bakeng sa selemo le ho li hlahloba habonolo
- Lebelo le phahameng la ho sebetsa ka lifate
- Ponahalo e ntle ea data ka ntle ho lebokose
Mathata:
- molaetsa oa broker o tlameha ho ba le (bakeng sa Kontur karolo ea eona e bapaloa ke Kafka)
- likarolo tsa ho sebetsa le Elasticsearch Curator (nako le nako e theha mojaro o phahameng ho tsoa mesebetsing e tloaelehileng ho Curator)
- ha ho na tumello e hahelletsoeng (feela bakeng sa chelete e arohaneng, e kholo haholo, kapa joalo ka li-plugins tse bulehileng tsa maemo a fapaneng a ho itokisetsa tlhahiso)
Ho bile le maikutlo a matle feela mabapi le Open Distro bakeng sa Elasticsearch :) Taba e tšoanang ea tumello e rarollotsoe moo.
Petabyte e tsoa hokae?Li-node tsa bona li na le lisebelisoa tse nang le 12 * 8 Tb SATA + 2 * 2 Tb SSD. Poloko e batang ho SATA, SSD feela bakeng sa cache e chesang (polokelo e chesang).
7+9 li-server, (7 + 9) * 12 * 8 = 1536 Tb.
Karolo e 'ngoe ea sebaka e bolokiloe, e behelletsoeng ka thōko bakeng sa ho fokotsa mosebetsi, joalo-joalo.
Litokomane tse tsoang likopong tse ka bang 90 li romelloa ho Elasticsearch, ho kenyelletsa le lits'ebeletso tsohle tsa tlaleho tsa Kontur, Elba, joalo-joalo.
Likarolo tsa nts'etsopele ho Serverless
E latelang ke tlaleho ea Ruslan Serkin e tsoang ho DataArt mabapi le Serverless.
Ruslan o buile ka hore na tsoelo-pele e nang le mokhoa oa Serverless ke ofe ka kakaretso, le hore na likarolo tsa eona ke life.
Serverless ke mokhoa oa nts'etsopele eo bahlahisi ba sa ameng meralo ea motheo ka tsela efe kapa efe. Mohlala - AWS Lambda Serverless, Kubeless.io (Sesebelisoa ka hare ho Kubernetes), Google Cloud Functions.
Sesebelisoa se nepahetseng sa Serverless ke ts'ebetso feela e romellang kopo ho mofani oa litšebeletso ka tsela e khethehileng ea API Gateway. Microservice e loketseng, ha AWS Lambda e ts'ehetsa palo e kholo ea lipuo tsa sejoale-joale tsa mananeo. Litsenyehelo tsa ho boloka le ho tsamaisa lisebelisoa tsa motheo li fetoha zero tabeng ea bafani ba maru, ho tšehetsa likopo tse nyenyane le tsona li tla ba theko e tlaase haholo (AWS Lambda - $ 0.2 / 1 milione likopo tse bonolo).
Ho senyeha ha tsamaiso e joalo ho batla ho loketse - mofani oa maru o itlhokomela ka boeona, Kubeless sekala ka boeona ka har'a sehlopha sa Kubernetes.
Ho na le mathata:
- ho nts'etsapele lits'ebetso tse kholo ho ba thata le ho feta
- ho na le bothata ba ho etsa likopo tsa profil (o khona ho fihlella lits'oants'o feela, empa ha o na profil ka mokhoa o tloaelehileng)
- ha ho na phetolelo
Ho bua 'nete, ke utloile ka Serverless lilemong tse' maloa tse fetileng, empa lilemo tsena kaofela ho ne ho sa hlaka ho 'na hore na ke ka e sebelisa joang ka nepo. Ka mor'a tlaleho ea Ruslan, kutloisiso e ile ea hlaha, 'me ka mor'a tlaleho ea Nikolai Sverchkov (Evil Martians) ho tloha karolong ea Backend, e ile ea kopanngoa. E ne e se lefeela hore ebe ke ile ka ea kopanong :)
CI ke ea mafutsana, kapa na ho loketse ho ngola CI ea hau bakeng sa studio sa webo?
Mikhail Radionov, hlooho ea setsi sa marang-rang sa Flag ho tloha Yekaterinburg, o buile ka CI/CD e ingoletseng.
Setudio sa hae se tlohile ho "manual CI / CD" (kena ka har'a seva ka SSH, etsa git pull, pheta makhetlo a 100 ka letsatsi) ho Jenkins le sesebelisoa se ingoletseng se u lumellang ho beha leihlo khoutu le ho etsa litokollo tse bitsoang Pullkins. .
Ke hobane'ng ha Jenkins a sa sebetse? E ne e sa fane ka mokhoa o lekaneng oa ho feto-fetoha ha maemo 'me e ne e le thata haholo ho e etsa.
"Flag" e tsoela pele ho Laravel (php framework). Ha a ntse a hlahisa seva sa CI / CD, Mikhail le basebetsi-'moho le eena ba ile ba sebelisa mekhoa e hahiloeng ka har'a Laravel e bitsoang Telescope le Envoy. Sephetho ke seva ho PHP (ka kopo hlokomela) e sebetsanang le likopo tse kenang tsa webhook, e ka haha ka pele le morao-rao, ea isa ho li-server tse fapaneng, 'me ea tlaleha ho Slack.
Ebe, ho khona ho etsa deploy e putsoa / botala le ho ba le li-setting tse ts'oanang libakeng tsa dev-stage-prod, ba fetohela ho Docker. Melemo e ile ea lula e ts'oana, menyetla ea ho homogenizing tikoloho le phepelo e se nang moeli e ile ea eketsoa, mme tlhoko ea ho ithuta Docker ho sebetsa le eona ka nepo e ile ea eketsoa.
Re fokolitse palo ea li-rollback tsa li-server ka 99%
Tlaleho ea ho qetela karolong ea Devops e ne e tsoa ho Viktor Eremchenko, Moenjiniere oa Lead devops ho Miro.com (eo pele e neng e le RealTimeBoard).
RealTimeBoard, sehlahisoa se hlahelletseng sa sehlopha sa Miro, se ipapisitse le ts'ebeliso ea Java ea monolithic. Ho e bokella, ho e hlahloba le ho e sebelisa ntle le nako ea ho theoha ke mosebetsi o boima. Tabeng ena, ho bohlokoa ho tsamaisa mofuta o joalo oa khoutu e le hore e se ke ea tlameha ho khutlisetsoa morao (ke monolith e boima).
Ha a le tseleng ea ho haha sistimi e u lumellang ho etsa sena, Miro o ile a feta tseleng e kenyelletsang ho sebetsa mohahong, lisebelisoa tse sebelisoang (Atlassian Bamboo, Ansible, joalo-joalo), le ho sebetsa ka sebopeho sa lihlopha (hona joale li na le sehlopha se inehetseng sa Devops + lihlopha tse ngata tse arohaneng tsa Scrum ho tsoa ho baetsi ba li-profiles tse fapaneng).
Tsela e ile ea fetoha e thata le e meutloa, ’me Victor a arolelana bohloko bo bokelletsoeng le tšepo e sa kang ea fella moo.
O hapile buka ea ho botsa lipotso
Karolo e ka morao
Ke khonne ho ba teng litlalehong tsa 2 - ho tloha Nikolay Sverchkov (Evil Martians), hape ka Serverless, le ho tloha Grigory Koshelev (k'hamphani ea Kontur) ka telemetry.
E se nang sebete bakeng sa batho feela
Haeba Ruslan Sirkin a buile ka hore na Serverless ke eng, Nikolay o bontšitse mekhoa e bonolo ea ho sebelisa Serverless, 'me a bua ka lintlha tse amang litšenyehelo le lebelo la likopo ho AWS Lambda.
Lintlha tse khahlisang: karolo e tlase e lefuoang ke 128 Mb ea memori le 100 ms CPU, e bitsa $0,000000208. Ho feta moo, likopo tse joalo tse limilione tse 1 ka khoeli ha li lefelloe.
Tse ling tsa mesebetsi ea Nikolai hangata li ne li feta moeli oa 100 ms (kopo e kholo e ngotsoe ka Ruby), kahoo ho e ngola hape ho Go ho fane ka chelete e babatsehang.
Vostok Hercules - etsa hore telemetry e be monate hape!
Tlaleho ea morao-rao ea karolo ea Backend e tsoang ho Grigory Koshelev (k'hamphani ea Kontur) mabapi le telemetry. Telemetry e bolela lits'oants'o, metrics, mekhoa ea ts'ebeliso.
Bakeng sa morero ona, Contour e sebelisa lisebelisoa tse ngotseng tse behiloeng ho Github. Sesebelisoa se tsoang tlalehong - Hercules, , e sebelisetsoa ho fana ka lintlha tsa telemetry.
Tlaleho ea Vladimir Lila karolong ea Devops e ile ea buisana ka ho boloka le ho sebetsana le li-logs ho Elasticsearch, empa ho ntse ho e-na le mosebetsi oa ho fana ka lits'oants'o tsa lisebelisoa le lisebelisoa tse likete tse ngata, 'me lisebelisoa tse kang Vostok Hercules li li rarolla.
Potoloho e ile ea latela tsela e tsejoang ke ba bangata - ho tloha RabbitMQ ho ea Apache Kafka, empa hase ntho e 'ngoe le e' ngoe e bonolo)) Ba ile ba tlameha ho eketsa Zookeeper, Cassandra le Graphite ho potoloho. Nke ke ka senola ka botlalo lintlha tse tlalehong ena (eseng boemo ba ka), haeba u na le thahasello, u ka emela li-slide le livideo sebakeng sa marang-rang sa kopano.
E bapisoa joang le likopano tse ling?
Ha ke khone ho e bapisa le likopano tsa Moscow le St. Petersburg, nka li bapisa le liketsahalo tse ling tsa Urals le ka 404fest Samara.
DAMP e tšoaroa ka likarolo tse 8, ena ke tlaleho ea likopano tsa Ural. Likarolo tse kholo haholo tsa Saense le Tsamaiso, sena le sona ha sea tloaeleha. Bamameli ba Yekaterinburg ba hlophisitsoe hantle - toropo e na le mafapha a maholo a nts'etsopele ea Yandex, Kontur, Tinkoff, 'me sena se siea letšoao litlalehong.
Ntho e 'ngoe e thahasellisang ke hore lik'hamphani tse ngata li na le libui tsa 3-4 sebokeng hang-hang (hona ho ne ho le joalo ka Kontur, Evil Martians, Tinkoff). Bongata ba bona e ne e le batšehetsi, empa litlaleho li lumellana hantle le tse ling, tsena ha se litlaleho tsa papatso.
Ho tsamaea kapa ho se tsamaee? Haeba u lula Urals kapa haufi, u na le monyetla 'me u thahasella lihlooho - e, ho hlakile. Haeba u nahana ka leeto le lelelele, nka sheba lihlooho tsa litlaleho le litlaleho tsa video tsa lilemo tse fetileng mme a etsa qeto.
Molemo o mong oa likopano literekeng, joalo ka molao, ke hore ho bonolo ho buisana le sebui ka mor'a litlaleho; ho na le bakopi ba fokolang ba puisano e joalo.
Ke leboha Dump le Ekaterinburg! )
Source: www.habr.com