Sa miaging semana miadto ako sa komperensya sa DUMP IT (https://dump-ekb.ru/) sa Yekaterinburg ug gusto nakong isulti kanimo kung unsa ang gihisgutan sa mga seksyon sa Backend ug Devops, ug kung ang mga rehiyonal nga komperensya sa IT angay nga hatagan pagtagad.
Nikolay Sverchkov gikan sa Evil Martians mahitungod sa Serverless
Unsa man ang naa didto?
Sa kinatibuk-an, ang komperensya adunay 8 nga mga seksyon: Backend, Frontend, Mobile, Testing ug QA, Devops, Design, Science ug Management.
Ang pinakadako nga mga hawanan, sa dalan, anaa sa Science and Management)) Alang sa ~350 ka mga tawo matag usa. Ang Backend ug Frontend dili kaayo gamay. Ang kwarto sa Devops mao ang pinakagamay, apan aktibo.
Namati ko sa mga taho sa mga seksyon sa Devops ug Backend ug nakigsulti og gamay sa mga mamumulong. Gusto nakong hisgotan ang mga topiko nga nasakup ug ribyuha kini nga mga seksyon sa komperensya.
Ang mga representante sa SKB-Kontur, DataArt, Evil Martians, Ekaterinburg web studio Flag, Miro (RealTimeBoard) nagsulti sa mga seksyon sa Devops ug Backend. Ang mga hilisgutan naglangkob sa CI/CD, pagtrabaho sa mga serbisyo sa pila, pag-log; Ang mga hilisgutan nga wala’y server ug pagtrabaho kauban ang PostgreSQL sa Go maayo nga nasakup.
Adunay usab mga taho gikan sa Avito, Tinkoff, Yandex, Jetstyle, Megafon, Ak Bars Bank, apan wala akoy panahon sa pisikal nga pagtambong kanila (mga pagrekord sa video ug mga slide sa mga taho wala pa magamit, sila misaad nga i-post kini sulod sa 2 ka semana sa dump-ekb.ru).
Devops nga seksyon
Ang nakapatingala kay ang seksiyon gihimo sa kinagamyang hawanan, mga 50 ka lingkoranan. Nagbarog pa gani ang mga tawo sa mga pasilyo :) Isulti ko kanimo ang bahin sa mga taho nga nahimo nakong paminawon.
Elastic nga nagtimbang sa usa ka petabyte
Nagsugod ang seksyon sa usa ka taho ni Vladimir Lil (SKB-Kontur) bahin sa Elasticsearch sa Kontur. Adunay sila usa ka medyo dako ug puno nga Elastic (~ 800 TB nga datos, ~ 1.3 nga mga petabytes nga gikonsiderar ang redundancy). Ang Elasticsearch alang sa tanan nga mga serbisyo sa Kontur usa ra, naglangkob sa 2 nga mga kumpol (sa 7 ug 9 nga mga server), ug hinungdanon kaayo nga ang Kontur adunay usa ka espesyal nga engineer sa Elasticsearch (sa tinuud, si Vladimir mismo).
Gipaambit usab ni Vladimir ang iyang mga hunahuna sa mga benepisyo sa Elasticsearch ug ang mga problema nga gidala niini.
Kaayohan:
- Ang tanan nga mga troso naa sa usa ka lugar, dali nga ma-access kini
- Pagtipig sa mga troso sulod sa usa ka tuig ug dali nga pag-analisar niini
- Taas nga tulin sa pagtrabaho sa mga troso
- Cool nga data visualization sa gawas sa kahon
Problema:
- kinahanglan nga adunay broker sa mensahe (alang sa Kontur ang papel niini gidula ni Kafka)
- mga bahin sa pagtrabaho kauban ang Elasticsearch Curator (panagsa nga gihimo ang taas nga karga gikan sa regular nga mga buluhaton sa Curator)
- walay built-in nga awtorisasyon (para lang sa bulag, medyo dako nga kwarta, o isip open source nga mga plugins nga lainlaig ang-ang sa kaandam para sa produksyon)
Adunay ra positibo nga mga pagsusi bahin sa Open Distro para sa Elasticsearch :) Ang parehas nga isyu sa pagtugot nasulbad didto.
Diin gikan ang petabyte?Ang ilang mga node naglangkob sa mga server nga adunay 12 * 8 Tb SATA + 2 * 2 Tb SSD. Ang bugnaw nga pagtipig sa SATA, SSD alang lamang sa init nga cache (init nga pagtipig).
7+9 server, (7 + 9) * 12 * 8 = 1536 Tb.
Ang bahin sa luna anaa sa reserba, gigahin alang sa redundancy, ug uban pa.
Ang mga log gikan sa mga 90 nga aplikasyon gipadala sa Elasticsearch, lakip ang tanan nga serbisyo sa pagreport sa Kontur, Elba, ug uban pa.
Mga bahin sa kalamboan sa Serverless
Sunod usa ka taho ni Ruslan Serkin gikan sa DataArt bahin sa Serverless.
Gihisgutan ni Ruslan kung unsa ang pag-uswag sa pamaagi sa Serverless sa kinatibuk-an, ug kung unsa ang mga bahin niini.
Ang Serverless usa ka pamaagi sa pag-uswag diin ang mga developer wala magtandog sa imprastraktura sa bisan unsang paagi. Pananglitan - AWS Lambda Serverless, Kubeless.io (Serverless sulod sa Kubernetes), Google Cloud Functions.
Ang usa ka sulundon nga Serverless nga aplikasyon usa lamang ka function nga nagpadala usa ka hangyo sa usa ka Serverless provider pinaagi sa usa ka espesyal nga Gateway sa API. Usa ka sulundon nga microservice, samtang ang AWS Lambda nagsuporta usab sa daghang mga modernong programming language. Ang gasto sa pagmentinar ug pag-deploy sa imprastraktura nahimong zero sa kaso sa cloud providers, pagsuporta sa gagmay nga mga aplikasyon mahimo usab nga barato kaayo (AWS Lambda - $0.2 / 1 milyon nga yano nga mga hangyo).
Ang scalability sa ingon nga sistema hapit maayo - ang cloud provider ang nag-atiman niini mismo, ang Kubeless nga mga timbangan awtomatikong sulod sa Kubernetes cluster.
Adunay mga disadvantages:
- Ang pagpalambo sa dagkong mga aplikasyon nahimong mas lisud
- adunay kalisud sa mga aplikasyon sa pag-profile (mga log ra ang magamit kanimo, apan dili pag-profile sa naandan nga kahulugan)
- walay versioning
Sa tinuud, nakadungog ako bahin sa Serverless pipila ka tuig na ang milabay, apan niining mga tuiga dili klaro kanako kung giunsa kini paggamit sa husto. Human sa taho ni Ruslan, mitungha ang pagsabot, ug human sa taho ni Nikolai Sverchkov (Evil Martians) gikan sa Backend section, kini gikonsolida. Dili kawang nga miadto ko sa komperensya :)
Ang CI para sa mga kabus, o angayan bang isulat ang imong kaugalingon nga CI para sa usa ka web studio?
Si Mikhail Radionov, pinuno sa Flag web studio gikan sa Yekaterinburg, naghisgot bahin sa kaugalingon nga gisulat nga CI / CD.
Ang iyang studio gikan sa "manual CI / CD" (pag-log in sa server pinaagi sa SSH, paghimo og git pull, balika ang 100 ka beses sa usa ka adlaw) ngadto sa Jenkins ug sa usa ka self-written nga himan nga nagtugot kanimo sa pag-monitor sa code ug paghimo sa mga pagpagawas nga gitawag og Pullkins .
Nganong wala motrabaho si Jenkins? Wala kini naghatag og igo nga pagka-flexible pinaagi sa default ug lisud kaayo nga ipasibo.
Ang "Bandera" naugmad sa Laravel (PHP framework). Sa dihang nag-develop og CI/CD server, si Mikhail ug iyang mga kauban migamit sa mga built-in nga mekanismo ni Laravel nga gitawag og Telescope and Envoy. Ang resulta usa ka server sa PHP (palihug timan-i) nga nagproseso sa umaabot nga mga hangyo sa webhook, makatukod sa frontend ug backend, mag-deploy sa lain-laing mga server, ug magreport sa Slack.
Dayon, aron makahimo sa asul / berde nga pag-deploy ug adunay uniporme nga mga setting sa dev-stage-prod environment, mibalhin sila sa Docker. Ang mga bentaha nagpabilin nga pareho, ang mga posibilidad sa pag-homogenize sa kalikopan ug hapsay nga pag-deploy gidugang, ug ang panginahanglan sa pagkat-on sa Docker sa pagtrabaho uban niini sa husto gidugang.
Giunsa namo pagkunhod ang gidaghanon sa mga rollback sa pagpagawas sa server sa 99%
Ang katapusang taho sa seksyon sa Devops gikan kang Viktor Eremchenko, Lead devops engineer sa Miro.com (kaniadto RealTimeBoard).
Ang RealTimeBoard, ang punoan nga produkto sa Miro team, gibase sa usa ka monolithic Java nga aplikasyon. Ang pagkolekta, pagsulay ug pag-deploy niini nga walay downtime usa ka lisud nga buluhaton. Sa kini nga kaso, importante nga i-deploy ang ingon nga bersyon sa code aron dili kini kinahanglan nga ibalik (kini usa ka bug-at nga monolith).
Sa dalan sa pagtukod sa usa ka sistema nga nagtugot kaninyo sa pagbuhat niini, Miro miagi sa usa ka dalan nga naglakip sa pagtrabaho sa arkitektura, ang mga himan nga gigamit (Atlassian Bamboo, Ansible, etc), ug nagtrabaho sa istruktura sa mga teams (sila karon adunay usa ka dedikado nga grupo sa Devops + daghang bulag nga mga koponan sa Scrum gikan sa mga nag-develop sa lainlaing mga profile).
Ang dalan nahimong lisud ug tunok, ug si Victor miambit sa natigom nga kasakit ug pagkamalaumon nga wala matapos didto.
Nakadaog ug libro para sa pagpangutana
Backend nga seksyon
Nakatambong ko sa 2 nga mga taho - gikan ni Nikolay Sverchkov (Evil Martians), bahin usab sa Serverless, ug gikan sa Grigory Koshelev (Kontur nga kompanya) bahin sa telemetry.
Serverless para sa mga mortal lang
Kung si Ruslan Sirkin naghisgot kung unsa ang Serverless, gipakita ni Nikolay ang yano nga mga aplikasyon gamit ang Serverless, ug naghisgot bahin sa mga detalye nga nakaapekto sa gasto ug katulin sa mga aplikasyon sa AWS Lambda.
Usa ka makapaikag nga detalye: ang minimum nga bayad nga elemento mao ang 128 Mb nga memorya ug 100 ms CPU, nagkantidad kini $ 0,000000208. Dugang pa, ang 1 milyon nga ingon nga mga hangyo matag bulan libre.
Ang pipila sa mga gimbuhaton ni Nikolai kasagaran milapas sa 100 ms nga limitasyon (ang nag-unang aplikasyon gisulat sa Ruby), mao nga ang pagsulat pag-usab niini sa Go naghatag og maayo nga mga savings.
Vostok Hercules - paghimo sa telemetry nga maayo pag-usab!
Ang pinakabag-o nga taho sa seksyon sa Backend gikan sa Grigory Koshelev (Kontur nga kompanya) bahin sa telemetry. Ang telemetry nagpasabut nga mga troso, sukatan, pagsubay sa aplikasyon.
Alang niini nga katuyoan, ang Contour naggamit sa mga himan nga gisulat sa kaugalingon nga gi-post sa Github. Tool gikan sa report - Hercules, , gigamit sa paghatod sa telemetry data.
Ang taho ni Vladimir Lila sa seksyon sa Devops naghisgot sa pagtipig ug pagproseso sa mga troso sa Elasticsearch, apan anaa gihapon ang tahas sa paghatud sa mga troso gikan sa daghang liboan nga mga himan ug aplikasyon, ug ang mga himan sama sa Vostok Hercules nagsulbad niini.
Ang sirkito misunod sa usa ka agianan nga nahibal-an sa kadaghanan - gikan sa RabbitMQ hangtod sa Apache Kafka, apan dili tanan yano ra)) Kinahanglan nila nga idugang ang Zookeeper, Cassandra ug Graphite sa circuit. Dili nako hingpit nga ibutyag ang kasayuran sa kini nga taho (dili ang akong profile), kung interesado ka, mahimo ka maghulat sa mga slide ug video sa website sa komperensya.
Giunsa kini itandi sa ubang mga komperensya?
Dili nako kini itandi sa mga komperensya sa Moscow ug St. Petersburg, mahimo nako itandi kini sa ubang mga panghitabo sa Urals ug sa 404fest sa Samara.
Ang DAMP gihimo sa 8 nga mga seksyon, kini usa ka rekord alang sa mga komperensya sa Ural. Dako kaayo nga mga seksyon sa Science ug Management, talagsaon usab kini. Ang mga tumatan-aw sa Yekaterinburg medyo gambalay - ang siyudad adunay dagkong mga departamento sa kalamboan alang sa Yandex, Kontur, Tinkoff, ug kini nagbilin sa marka niini sa mga taho.
Ang laing makapaikag nga punto mao nga daghang mga kompanya ang adunay 3-4 nga mga mamumulong sa komperensya sa usa ka higayon (kini ang kaso sa Kontur, Evil Martians, Tinkoff). Daghan kanila ang mga sponsor, apan ang mga taho parehas ra sa uban, dili kini mga taho sa advertising.
Moadto o dili moadto? Kung nagpuyo ka sa mga Urals o sa duol, ikaw adunay oportunidad ug interesado sa mga hilisgutan - oo, siyempre. Kung naghunahuna ka bahin sa usa ka taas nga biyahe, akong tan-awon ang mga hilisgutan sa mga taho ug mga taho sa video gikan sa miaging mga tuig ug mihimo ug desisyon.
Ang laing bentaha sa mga komperensya sa mga rehiyon, ingon nga usa ka lagda, mao nga dali nga makigsulti sa mamumulong pagkahuman sa mga taho; adunay gamay nga mga aplikante alang sa ingon nga komunikasyon.
Salamat sa Dump ug Ekaterinburg! )
Source: www.habr.com