Өткен аптада мен Екатеринбургте өткен DUMP IT конференциясына (https://dump-ekb.ru/) бардым және мен сізге Backend және Devops бөлімдерінде не талқыланғанын және аймақтық IT конференцияларының назар аударуға тұрарлық екенін айтқым келеді.
«Зұлым марсиялықтардан» Николай Сверчков Серверсіз туралы
Сонда не болды?
Конференцияда барлығы 8 секция болды: Backend, Frontend, Mobile, Testing and QA, Devops, Design, Science and Management.
Ең үлкен залдар, айтпақшы, Ғылым және Менеджментте)) Әрқайсысы ~ 350 адамға арналған. Backend және Frontend әлдеқайда аз емес. Devops бөлмесі ең кішкентай, бірақ белсенді болды.
Мен Devops және Backend бөлімдеріндегі есептерді тыңдадым және спикерлермен аздап сөйлестім. Мен конференцияда қарастырылған тақырыптар туралы айтып, осы секцияларға шолу жасағым келеді.
Devops және Backend секцияларында SKB-Kontur, DataArt, Evil Martians, Екатеринбург веб-студиясының Flag, Miro (RealTimeBoard) өкілдері сөз сөйледі. Тақырыптар CI/CD, кезек қызметтерімен жұмыс істеу, журнал жүргізу; Серверсіз тақырыптар және Go жүйесінде PostgreSQL-мен жұмыс жақсы қамтылды.
Сондай-ақ Avito, Tinkoff, Yandex, Jetstyle, Megafon, Ak Bars Bank есептері болды, бірақ мен оларға физикалық түрде қатысуға уақыт болмады (бейне жазбалар мен есептердің слайдтары әлі жоқ, олар оларды 2 апта ішінде жариялауға уәде береді. dump-ekb.ru сайтында).
Devops бөлімі
Бір қызығы, секция ең кішкентай, 50-дей орындық залда өтті. Адамдар тіпті дәліздерде тұрды :) Мен тыңдай алған есептерді айтып беремін.
Салмағы петабайт серпімді
Бөлім Контурдағы Elasticsearch туралы Владимир Лилдің (SKB-Kontur) баяндамасымен басталды. Олардың жеткілікті үлкен және жүктелген серпімділігі бар (~800 ТБ деректер, артықшылықты ескере отырып ~1.3 петабайт). Барлық Kontur қызметтері үшін Elasticsearch жалғыз, 2 кластерден (7 және 9 серверден) тұрады және Контурда арнайы Elasticsearch инженері бар (шын мәнінде Владимирдің өзі) маңызды.
Владимир сонымен қатар Elasticsearch артықшылықтары мен оның әкелетін проблемалары туралы өз ойымен бөлісті.
Артықшылықтары:
- Барлық журналдар бір жерде, оларға оңай қол жеткізу
- Бір жыл бойы журналдарды сақтау және оларды оңай талдау
- Бөренелермен жұмыс істеудің жоғары жылдамдығы
- Қораптан шыққан керемет деректер визуализациясы
Мәселелері:
- хабарлама брокері болуы керек (Контур үшін оның рөлін Кафка ойнайды)
- Elasticsearch кураторымен жұмыс істеу ерекшеліктері (куратордағы тұрақты тапсырмалардан мерзімді түрде жасалған жоғары жүктеме)
- кірістірілген авторизация жоқ (тек бөлек, айтарлықтай үлкен ақша үшін немесе өндіруге дайындығы әртүрлі дәрежедегі ашық бастапқы плагиндер ретінде)
Open Distro for Elasticsearch туралы тек оң пікірлер болды :) Сол авторизация мәселесі сонда шешілді.
Петабайт қайдан келеді?Олардың түйіндері 12*8 Тб SATA + 2*2 Тб SSD бар серверлерден тұрады. SATA, SSD-де тек ыстық кэш (ыстық сақтау) үшін салқын қойма.
7+9 серверлер, (7 + 9) * 12 * 8 = 1536 Тб.
Кеңістіктің бір бөлігі резервте, артық болу үшін бөлінген және т.б.
90-ға жуық қолданбалардың журналдары Elasticsearch-ке жіберіледі, соның ішінде Kontur, Elba және т.б. барлық есеп беру қызметтері.
Serverless жүйесінде әзірлеу ерекшеліктері
Келесіде DataArt-тен Руслан Серкиннің Серверсіз туралы есебі.
Руслан жалпы серверсіз тәсілмен дамудың не екенін және оның қандай ерекшеліктері бар екенін айтты.
Серверсіз - әзірлеушілер инфрақұрылымға ешбір жолмен қол тигізбейтін даму тәсілі. Мысал - AWS Lambda Serverless, Kubeless.io (Kubernetes ішінде серверсіз), Google Cloud функциялары.
Идеал серверсіз қолданба - бұл арнайы API шлюзі арқылы серверсіз провайдерге сұрау жіберетін функция. Мінсіз микросервис, сонымен қатар AWS Lambda көптеген заманауи бағдарламалау тілдерін қолдайды. Бұлттық провайдерлер жағдайында инфрақұрылымды ұстау және орналастыру құны нөлге тең болады, шағын қолданбаларды қолдау да өте арзан болады (AWS Lambda - $0.2 / 1 миллион қарапайым сұраныс).
Мұндай жүйенің ауқымдылығы өте қолайлы - бұлттық провайдер мұны өзі шешеді, Kubeless Kubernetes кластерінде автоматты түрде масштабталады.
Кемшіліктері бар:
- үлкен қосымшаларды әзірлеу қиындай түсуде
- қолданбаларды профильдеуде қиындықтар бар (сіз тек журналдарға қол жеткізе аласыз, бірақ әдеттегі мағынада профильдеу мүмкін емес)
- нұсқа жоқ
Шынымды айтсам, мен бірнеше жыл бұрын Serverless туралы естідім, бірақ осы жылдар бойы оны қалай дұрыс пайдалану керектігі маған түсініксіз болды. Русланның баяндамасынан кейін түсіністік пайда болды, ал Николай Сверчковтың (Зұлым марсиялықтар) Backend бөліміндегі баяндамасынан кейін ол біріктірілді. Конференцияға бекер барған жоқпын :)
CI кедейлерге арналған немесе веб-студия үшін жеке CI жазу керек пе?
Екатеринбургтен келген «Flag» веб-студиясының жетекшісі Михаил Радионов өздігінен жазылған CI/CD туралы айтты.
Оның студиясы «қолмен CI/CD» (SSH арқылы серверге кіріңіз, git pull жасаңыз, күніне 100 рет қайталаңыз) Дженкинске және кодты бақылауға және Pullkins деп аталатын шығарылымдарды орындауға мүмкіндік беретін өздігінен жазылған құралға өтті. .
Дженкинс неге жұмыс істемеді? Ол әдепкі бойынша жеткілікті икемділікті қамтамасыз етпеді және теңшеу өте қиын болды.
«Жалау» Ларавелде (PHP фреймворк) дамиды. CI/CD серверін жасау кезінде Михаил мен оның әріптестері Ларавелдің Telescope және Envoy деп аталатын кіріктірілген механизмдерін пайдаланды. Нәтиже – PHP-дегі сервер (ескертпеңіз), ол кіріс веб-құк сұрауларын өңдей алады, фронт пен серверді құра алады, әртүрлі серверлерге орналастырады және Slack-ке есеп береді.
Содан кейін, көк/жасыл орналастыруды орындау және dev-stage-prod орталарында біркелкі параметрлерге ие болу үшін олар Docker бағдарламасына ауысты. Артықшылықтары өзгеріссіз қалды, қоршаған ортаны біркелкі ету және біркелкі орналастыру мүмкіндіктері қосылды және онымен дұрыс жұмыс істеу үшін Docker үйрену қажеттілігі қосылды.
Серверді кері қайтару санын 99%-ға қалай азайттық
Devops бөліміндегі соңғы есеп Miro.com (бұрынғы RealTimeBoard) компаниясының жетекші инженері Виктор Еремченкодан болды.
RealTimeBoard, Miro командасының флагмандық өнімі монолитті Java қолданбасына негізделген. Оны тоқтаусыз жинау, сынау және қолдану қиын жұмыс. Бұл жағдайда кодтың мұндай нұсқасын оны кері айналдырудың қажеті жоқ етіп орналастыру маңызды (бұл ауыр монолит).
Мұны істеуге мүмкіндік беретін жүйені құру жолында Миро сәулетпен, қолданылатын құралдармен (Atlassian Bamboo, Ansible және т. арнайы Devops командасы + әртүрлі профильдерді әзірлеушілерден көптеген бөлек Scrum командалары).
Жол қиын және тікенді болды, ал Виктор жинақталған азап пен оптимизммен бөлісті, мұнымен аяқталмайды.
Сұрақ қойғаны үшін кітап ұтып алды
Backend бөлімі
Мен Николай Сверчковтан (Зұлым марсиялықтар), сонымен қатар Серверсіз туралы және Григорий Кошелевтен (Контур компаниясы) телеметрия туралы екі репортажға қатыса алдым.
Қарапайым адамдар үшін серверсіз
Егер Руслан Сиркин Serverless деген не екенін айтса, Николай Serverless көмегімен қарапайым қолданбаларды көрсетті және AWS Lambda қолданбаларының құны мен жылдамдығына әсер ететін мәліметтер туралы айтты.
Қызықты егжей-тегжей: ең төменгі ақылы элемент - 128 Мб жад және 100 мс CPU, оның құны $0,000000208. Оның үстіне айына 1 миллион осындай сұраныс тегін.
Николайдың кейбір функциялары жиі 100 мс шегінен асып кетті (негізгі қолданба Ruby тілінде жазылған), сондықтан оларды Go бағдарламасында қайта жазу тамаша үнемдеуді қамтамасыз етті.
Восток Геркулес — телеметрияны тағы да керемет етіңіз!
Телеметрия туралы Григорий Кошелевтің (Kontur компаниясы) Backend бөлімінің соңғы есебі. Телеметрия журналдар, метрика, қолданба іздерін білдіреді.
Осы мақсатта Contour Github сайтында жарияланған өздігінен жазылған құралдарды пайдаланады. Есептен құрал - Геркулес, , телеметрия деректерін жеткізу үшін пайдаланылады.
Владимир Лиланың Devops бөліміндегі есебі Elasticsearch жүйесінде журналдарды сақтау және өңдеуді талқылады, бірақ әлі де мыңдаған құрылғылар мен қолданбалардан журналдарды жеткізу міндеті бар, және Vostok Hercules сияқты құралдар оларды шешеді.
Схема көптеген адамдарға белгілі жолды ұстанды - RabbitMQ-дан Apache Кафкаға дейін, бірақ бәрі оңай емес)) Олар схемаға Zookeeper, Cassandra және Graphite қосуға мәжбүр болды. Мен бұл есеп бойынша ақпаратты толық ашпаймын (менің профилім емес), егер сізді қызықтырса, конференция веб-сайтында слайдтар мен бейнелерді күтуге болады.
Басқа конференциялармен салыстырғанда қандай?
Мен оны Мәскеудегі және Санкт-Петербургтегі конференциялармен салыстыра алмаймын, мен оны Оралдағы басқа оқиғалармен және Самарадағы 404fest-пен салыстыра аламын.
DAMP 8 секцияда өтеді, бұл Орал конференциялары үшін рекордтық көрсеткіш. Өте үлкен Ғылым және Менеджмент бөлімдері, бұл да ерекше. Екатеринбургтегі аудитория жеткілікті құрылымды - қалада Яндекс, Контур, Тинкофф үшін үлкен даму бөлімдері бар және бұл есептерде өз ізін қалдырады.
Тағы бір қызықты жайт, көптеген компаниялардың конференцияда бірден 3-4 спикері бар (бұл Kontur, Evil Martians, Tinkoff компанияларында болған). Олардың көпшілігі демеуші болды, бірақ есептер басқалармен бірдей, бұл жарнамалық есептер емес.
Бару немесе бармау? Егер сіз Оралда немесе жақын жерде тұрсаңыз, сізде мүмкіндік бар және тақырыптарға қызығушылық танытсаңыз - иә, әрине. Ұзақ сапар туралы ойларыңыз болса, өткен жылдардағы баяндамалар мен бейне есептердің тақырыптарын қарайтын едім және шешім қабылдады.
Өңірлердегі конференциялардың тағы бір артықшылығы, әдетте, баяндамалардан кейін спикермен байланысу оңай, мұндай байланысқа үміткерлер аз.
Дамп пен Екатеринбургке рахмет! )
Ақпарат көзі: www.habr.com