Il-ġimgħa li għaddiet mort għall-konferenza DUMP IT (https://dump-ekb.ru/) f'Yekaterinburg u rrid ngħidlek x'kien diskuss fit-taqsimiet Backend u Devops, u jekk il-konferenzi reġjonali tal-IT humiex jiswew attenzjoni.
Nikolay Sverchkov minn Evil Martians dwar Serverless
X'kien hemm xorta waħda?
B'kollox, il-konferenza kellha 8 sezzjonijiet: Backend, Frontend, Mobile, Testing and QA, Devops, Design, Science and Management.
L-akbar swali, bil-mod, huma fix-Xjenza u l-Ġestjoni)) Għal ~ 350 ruħ kull wieħed. Backend u Frontend mhumiex ħafna iżgħar. Il-kamra Devops kienet l-iżgħar, iżda attiva.
Smajt ir-rapporti fit-taqsimiet Devops u Backend u tkellimt ftit mal-kelliema. Nixtieq nitkellem dwar is-suġġetti koperti u nirrevedi dawn it-taqsimiet fil-konferenza.
Rappreżentanti ta 'SKB-Kontur, DataArt, Evil Martians, Ekaterinburg web studio Flag, Miro (RealTimeBoard) tkellmu fit-taqsimiet Devops u Backend. Suġġetti koperti CI/CD, ħidma ma 'servizzi ta' kju, illoggjar suġġetti Serverless u ħidma ma 'PostgreSQL fil Go kienu koperti tajjeb.
Kien hemm ukoll rapporti minn Avito, Tinkoff, Yandex, Jetstyle, Megafon, Ak Bars Bank, imma ma kellix ħin biex nattendihom fiżikament (ir-reġistrazzjonijiet bil-vidjo u s-slajds tar-rapporti għadhom mhumiex disponibbli, iwiegħdu li jpoġġuhom fuq dump- ekb.ru fi żmien ġimagħtejn).
Sezzjoni Devops
Li kienet sorpriża kienet li s-sezzjoni saret fl-iżgħar sala, madwar 50 siġġu. In-nies kienu saħansitra bil-wieqfa fil-passaġġi :) Jien ngħidilkom dwar ir-rapporti li rnexxieli nisma’.
Elastiku li jiżnu petabyte
Is-sezzjoni bdiet b'rapport minn Vladimir Lil (SKB-Kontur) dwar Elasticsearch f'Kontur. Huma għandhom Elastic pjuttost kbir u mgħobbi (~ 800 TB ta 'dejta, ~ 1.3 petabytes b'kont meħud ta' redundancy). Elasticsearch għas-servizzi kollha ta' Kontur huwa wieħed, jikkonsisti f'2 clusters (ta' 7 u 9 servers), u tant huwa importanti li Kontur għandu inġinier speċjali ta' Elasticsearch (fil-fatt, Vladimir innifsu).
Vladimir qasam ukoll il-ħsibijiet tiegħu dwar il-benefiċċji ta 'Elasticsearch u l-problemi li ġġib magħha.
Benefiċċju:
- Zkuk kollha huma f'post wieħed, aċċess faċli għalihom
- Taħżen zkuk għal sena u tanalizzahom faċilment
- Veloċità għolja ta 'ħidma ma' zkuk
- Kessaħ il-viżwalizzazzjoni tad-data barra mill-kaxxa
Problemi:
- sensar tal-messaġġi huwa indispensabbli (għal Kontur ir-rwol tiegħu huwa ta' Kafka)
- karatteristiċi ta 'ħidma ma' Elasticsearch Curator (tagħbija għolja maħluqa perjodikament minn kompiti regolari fil-Kuratur)
- l-ebda awtorizzazzjoni inkorporata (biss għal flus separati, pjuttost kbar, jew bħala plugins open source ta' gradi differenti ta' prontezza għall-produzzjoni)
Kien hemm biss reviżjonijiet pożittivi dwar Open Distro għal Elasticsearch :) L-istess kwistjoni ta 'awtorizzazzjoni ġiet solvuta hemmhekk.
Minn fejn ġej il-petabyte?In-nodi tagħhom jikkonsistu f'servers b'12 * 8 Tb SATA + 2 * 2 Tb SSD. Ħażna kiesħa fuq SATA, SSD biss għal hot cache (ħażna sħuna).
7 + 9 servers, (7 + 9) * 12 * 8 = 1536 Tb.
Parti mill-ispazju huwa fir-riżerva, imwarrba għas-sensji, eċċ.
Jintbagħtu logs minn madwar 90 applikazzjoni lil Elasticsearch, inklużi s-servizzi kollha ta’ rappurtar ta’ Kontur, Elba, eċċ.
Karatteristiċi ta 'żvilupp fuq Serverless
Li jmiss huwa rapport minn Ruslan Serkin minn DataArt dwar Serverless.
Ruslan tkellem dwar x'inhu l-iżvilupp bl-approċċ Serverless b'mod ġenerali, u x'inhuma l-karatteristiċi tiegħu.
Serverless huwa approċċ għall-iżvilupp li fih l-iżviluppaturi ma jmissux l-infrastruttura bl-ebda mod. Eżempju - AWS Lambda Serverless, Kubeless.io (Serverless ġewwa Kubernetes), Google Cloud Functions.
Applikazzjoni ideali Serverless hija sempliċement funzjoni li tibgħat talba lil fornitur Serverless permezz ta' Gateway API speċjali. Mikroservizz ideali, filwaqt li AWS Lambda jappoġġja wkoll numru kbir ta 'lingwi ta' programmar moderni. L-ispiża taż-żamma u l-iskjerament tal-infrastruttura ssir żero fil-każ tal-fornituri tal-cloud, l-appoġġ tal-applikazzjonijiet żgħar se jkun ukoll irħis ħafna (AWS Lambda - $ 0.2 / 1 miljun talba sempliċi).
L-iskalabbiltà ta 'sistema bħal din hija kważi ideali - il-fornitur tal-cloud jieħu ħsieb dan innifsu, Kubeless jiskala awtomatikament fi ħdan il-cluster Kubernetes.
Hemm żvantaġġi:
- l-iżvilupp ta' applikazzjonijiet kbar qed isir aktar diffiċli
- hemm diffikultà bl-applikazzjonijiet tal-profiling (logs biss huma disponibbli għalik, iżda mhux profiling fis-sens tas-soltu)
- ebda verżjoni
Biex inkun onest, smajt dwar Serverless ftit snin ilu, iżda dawn is-snin kollha ma kienx ċar għalija kif nużah b'mod korrett. Wara r-rapport ta 'Ruslan, deher il-fehim, u wara r-rapport ta' Nikolai Sverchkov (Evil Martians) mit-taqsima Backend, ġie kkonsolidat. Mhux għalxejn mort il-konferenza :)
Is-CI hija għall-foqra, jew ta' min tikteb is-CI tiegħek għal studio tal-web?
Mikhail Radionov, kap tal-istudjo tal-web Flag minn Yekaterinburg, tkellem dwar CI/CD miktuba minnha stess.
L-istudju tiegħu mar minn "manwal CI/CD" (log fis-server permezz ta' SSH, agħmel git pull, irrepeti 100 darba kuljum) għal Jenkins u għal għodda miktuba minnha nnifisha li tippermettilek tissorvelja l-kodiċi u twettaq rilaxxi msejħa Pullkins. .
Għaliex ma ħadimx Jenkins? Ma pprovdietx biżżejjed flessibilità b'mod awtomatiku u kienet diffiċli wisq biex tippersonalizza.
"Bandiera" tiżviluppa f'Laravel (qafas PHP). Meta żviluppaw server CI/CD, Mikhail u l-kollegi tiegħu użaw il-mekkaniżmi integrati ta 'Laravel imsejħa Telescope and Envoy. Ir-riżultat huwa server f'PHP (jekk jogħġbok innota) li jipproċessa t-talbiet tal-webhook deħlin, jista 'jibni l-frontend u l-backend, juża għal servers differenti, u jirrapporta lil Slack.
Imbagħad, biex ikunu jistgħu jwettqu skjerament blu/aħdar u jkollhom settings uniformi f'ambjenti dev-stage-prod, qalbu għal Docker. Il-vantaġġi baqgħu l-istess, ġew miżjuda l-possibbiltajiet ta 'omoġenizzazzjoni tal-ambjent u skjerament bla xkiel, u żdiedet il-ħtieġa li titgħallem Docker biex jaħdem miegħu b'mod korrett.
Kif naqqasna n-numru ta' rollbacks tar-rilaxx tas-server b'99%
L-aħħar rapport fit-taqsima Devops kien minn Viktor Eremchenko, inġinier Lead devops f'Miro.com (qabel RealTimeBoard).
RealTimeBoard, il-prodott ewlieni tat-tim Miro, huwa bbażat fuq applikazzjoni Java monolitika. Il-ġbir, l-ittestjar u l-iskjerament tiegħu mingħajr ħin ta' waqfien huwa kompitu diffiċli. F'dan il-każ, huwa importanti li tiġi skjerata verżjoni bħal din tal-kodiċi sabiex ma jkollhiex għalfejn tinqaleb lura (huwa monolitu tqil).
Fit-triq biex tibni sistema li tippermettilek tagħmel dan, Miro għadda minn triq li kienet tinkludi ħidma fuq l-arkitettura, l-għodod użati (Atlassian Bamboo, Ansible, eċċ), u ħidma fuq l-istruttura tat-timijiet (issa għandhom tim Devops iddedikat + ħafna timijiet Scrum separati minn żviluppaturi ta’ profili differenti).
It-triq irriżulta li kienet diffiċli u mimli xewk, u Victor qasam l-uġigħ u l-ottimiżmu akkumulati li ma spiċċawx hemm.
Irbaħ ktieb talli staqsejt mistoqsijiet
Sezzjoni backend
Irnexxieli nattendi rapporti 2 - minn Nikolay Sverchkov (Evil Martians), ukoll dwar Serverless, u minn Grigory Koshelev (kumpanija Kontur) dwar it-telemetrija.
Serverless għal sempliċi mortals
Jekk Ruslan Sirkin tkellem dwar x'inhu Serverless, Nikolay wera applikazzjonijiet sempliċi li jużaw Serverless, u tkellem dwar id-dettalji li jaffettwaw l-ispiża u l-veloċità tal-applikazzjonijiet fl-AWS Lambda.
Dettall interessanti: l-element minimu mħallas huwa 128 Mb ta 'memorja u 100 ms CPU, jiswa $0,000000208. Barra minn hekk, 1 miljun talba bħal dawn fix-xahar huma b'xejn.
Xi wħud mill-funzjonijiet ta 'Nikolai ħafna drabi qabżu l-limitu ta' 100 ms (l-applikazzjoni prinċipali kienet miktuba f'Ruby), għalhekk il-kitba mill-ġdid tagħhom f'Go pprovdiet iffrankar eċċellenti.
Vostok Hercules — erġa' agħmel it-telemetrija kbira!
L-aħħar rapport tat-taqsima Backend minn Grigory Koshelev (kumpanija Kontur) dwar it-telemetrija. Telemetrija tfisser zkuk, metriċi, traċċi ta 'applikazzjoni.
Għal dan il-għan, Contour juża għodod miktuba minnu stess imqiegħda fuq Github. Għodda mir-rapport - Hercules, , jintuża biex iwassal data tat-telemetrija.
Ir-rapport ta 'Vladimir Lila fit-taqsima Devops iddiskuta l-ħażna u l-ipproċessar ta' zkuk f'Elasticsearch, iżda għad hemm il-kompitu li jitwasslu zkuk minn ħafna eluf ta 'apparati u applikazzjonijiet, u għodod bħal Vostok Hercules isolvuhom.
Iċ-ċirkwit segwa triq magħrufa minn ħafna - minn RabbitMQ sa Apache Kafka, iżda mhux kollox huwa daqshekk sempliċi)) Kellhom iżidu Zookeeper, Cassandra u Graphite fiċ-ċirkwit. Mhux se niżvela bis-sħiħ l-informazzjoni dwar dan ir-rapport (mhux il-profil tiegħi), jekk inti interessat, tista 'tistenna s-slajds u l-vidjows fuq il-websajt tal-konferenza.
Kif tqabbel ma' konferenzi oħra?
Ma nistax inqabbelha ma 'konferenzi f'Moska u San Pietruburgu, nista' nqabbelha ma 'avvenimenti oħra fl-Urali u ma' 404fest f'Samara.
DAMP huwa miżmum fi 8 sezzjonijiet, dan huwa rekord għall-konferenzi Ural. Sezzjonijiet kbar ħafna tax-Xjenza u l-Ġestjoni, dan huwa wkoll mhux tas-soltu. L-udjenza f'Yekaterinburg hija pjuttost strutturata - il-belt għandha dipartimenti kbar ta 'żvilupp għal Yandex, Kontur, Tinkoff, u dan iħalli l-marka tiegħu fuq ir-rapporti.
Punt ieħor interessanti huwa li ħafna kumpaniji għandhom 3-4 kelliema fil-konferenza f'daqqa (dan kien il-każ ma' Kontur, Evil Martians, Tinkoff). Ħafna minnhom kienu sponsors, iżda r-rapporti huma pjuttost indaqs ma 'oħrajn, dawn mhumiex rapporti ta' reklamar.
Biex tmur jew ma tmurx? Jekk tgħix fl-Urali jew fil-qrib, għandek l-opportunità u tkun interessat fis-suġġetti - iva, ovvjament. Jekk qed taħseb dwar vjaġġ twil, inħares lejn is-suġġetti ta 'rapporti u rapporti bil-vidjo mis-snin ta' qabel u ħa deċiżjoni.
Vantaġġ ieħor tal-konferenzi fir-reġjuni, bħala regola, huwa li huwa faċli li tikkomunika mal-kelliem wara r-rapporti sempliċement hemm inqas applikanti għal tali komunikazzjoni;
Grazzi lil Dump u Ekaterinburg! )
Sors: www.habr.com
