Өткөн жумада мен Екатеринбургдагы DUMP IT конференциясына (https://dump-ekb.ru/) бардым жана мен сизге Backend жана Devops бөлүмдөрүндө эмнелер талкууланганын жана аймактык IT конференциялары көңүл бурууга арзырлык экенин айткым келет.
Николай Сверчков Evil Martians Serverless жөнүндө
Эмнеси бар эле?
Жалпысынан конференцияда 8 секция бар: Backend, Frontend, Mobile, Testing and QA, Devops, Design, Science and Management.
Эң чоң залдар, айтмакчы, Илим жана Менеджментте)) Ар бири ~ 350 кишиге ылайыкталган. Backend жана Frontend анча деле кичине эмес. Девопс бөлмөсү эң кичинекей, бирок активдүү болгон.
Мен Devops жана Backend бөлүмдөрүндө баяндамаларды угуп, баяндамачылар менен бир аз сүйлөштүм. Мен конференцияда каралган темалар жөнүндө айтып, бул секцияларды карап чыгууну каалайм.
Devops жана Backend секцияларында SKB-Kontur, DataArt, Evil Martians, Екатеринбург веб студиясынын Flag, Miro (RealTimeBoard) өкүлдөрү сөз сүйлөштү. CI/CD, кезек кызматтары менен иштөө, серверсиз темалар жана Go'до PostgreSQL менен иштөө темалары жакшы камтылган.
Авито, Тинкофф, Яндекс, Джетстайл, Мегафон, Ак Барс Банктын отчеттору да болгон, бирок мен аларга физикалык жактан барганга үлгүрбөй калдым (видео жазуулар жана отчеттордун слайддары азырынча жок, алар 2 жуманын ичинде аларды жарыялоого убада беришет. dump-ekb.ru сайтында).
Devops бөлүмү
Таң калычтуусу, секция эң кичинекей, 50дөй орундуу залда өттү. Өткөөлөрдө да адамдар турушту :) Мен уга алган отчетторум жөнүндө айтып берейин.
Петабайт салмактагы ийкемдүү
Бөлүм Контурдагы Elasticsearch жөнүндө Владимир Лилдин (СКБ-Контур) баяндамасы менен башталды. Алар кыйла чоң жана жүктөлгөн Эластикке ээ (~800 ТБ маалымат, ашыкчаны эске алуу менен ~1.3 петабайт). Контурдун бардык кызматтары үчүн Elasticsearch жалгыз, 2 кластерден турат (7 жана 9 серверден) жана Контурда атайын Elasticsearch инженери бар (чындыгында Владимир өзү).
Владимир ошондой эле Elasticsearchтин артыкчылыктары жана анын алып келген көйгөйлөрү тууралуу ой бөлүштү.
Пайдасы:
- Бардык журналдар бир жерде, аларга оңой жетүү
- Бир жыл бою журналдарды сактоо жана аларды оңой анализдөө
- Журналдар менен иштөөнүн жогорку ылдамдыгы
- Кутудан чыккан салкын маалыматтарды визуализациясы
Көйгөйлөр:
- билдирүү брокери болушу керек (Контур үчүн анын ролун Кафка ойнойт)
- Elasticsearch Куратору менен иштөө өзгөчөлүктөрү (Куратордогу кадимки тапшырмалардан мезгил-мезгили менен түзүлгөн жогорку жүк)
- эч кандай орнотулган уруксат (өзүнчө, бир топ чоң акчалар үчүн, же өндүрүшкө ар кандай деңгээлдеги ачык булак плагиндери үчүн)
Open Distro for Elasticsearch жөнүндө оң гана сын-пикирлер бар болчу :) Ошол эле авторизация маселеси ал жерде чечилген.
Петабайт кайдан келет?Алардын түйүндөрү 12*8 Тб SATA + 2*2 Тб SSD менен серверлерден турат. SATA боюнча муздак сактоо, ысык кэш үчүн гана SSD (ысык сактоо).
7+9 серверлер, (7 + 9) * 12 * 8 = 1536 Тб.
мейкиндиктин бир бөлүгү резервде, ашыкча үчүн бөлүнгөн, ж.б.
90го жакын тиркемелердин журналдары Elasticsearch'ке жөнөтүлөт, анын ичинде Kontur, Elba ж.б.
Serverless боюнча өнүктүрүү өзгөчөлүктөрү
Кийинки Руслан Серкиндин DataArt компаниясынан Serverless жөнүндө отчету.
Руслан жалпысынан Serverless мамилеси менен өнүгүү деген эмне, анын кандай өзгөчөлүктөрү бар экенин айтып берди.
Серверсиз - бул иштеп чыгуучулар инфраструктурага эч кандай тийбей турган өнүгүү ыкмасы. Мисал - AWS Lambda Serverless, Kubeless.io (Kubernetes ичинде серверсиз), Google Cloud Functions.
Идеалдуу Serverless тиркеме – бул жөн гана атайын API шлюзи аркылуу Serverless провайдерине суроо-талап жөнөтүүчү функция. Идеалдуу микросервис, ал эми AWS Lambda көптөгөн заманбап программалоо тилдерин колдойт. Булут провайдерлери үчүн инфраструктураны тейлөө жана жайылтуу баасы нөлгө барабар болот, чакан тиркемелерди колдоо да абдан арзан болот (AWS Lambda - $0.2 / 1 миллион жөнөкөй суроо).
Мындай системанын масштабдуулугу дээрлик идеалдуу - булут провайдери муну өзү чечет, Kubeless Kubernetes кластеринде автоматтык түрдө масштабдалат.
кемчиликтери бар:
- чоң колдонмолорду иштеп чыгуу кыйын болуп баратат
- тиркемелерди профилдөөдө кыйынчылык бар (сиз журналдарга гана кире аласыз, бирок кадимки мааниде профилдештирүү мүмкүн эмес)
- версия жок
Чынын айтсам, мен бир нече жыл мурун Serverless жөнүндө уктум, бирок бул жылдар бою аны кантип туура колдонуу керектиги мага түшүнүксүз болгон. Русландын баяндамасынан кийин түшүнүү пайда болду, ал эми Николай Сверчковдун (Каарман марсиялыктар) Backend бөлүгүндөгү баяндамасынан кийин консолидацияланды. Конференцияга бекер барган жокмун :)
CI жакырлар үчүн же веб-студия үчүн өзүңүздүн CI жазууну туурабы?
Екатеринбургдан келген Flag веб-студиясынын жетекчиси Михаил Радионов өзү жазган CI/CD жөнүндө айтып берди.
Анын студиясы "кол менен CI/CD" (SSH аркылуу серверге кириңиз, git pull жасаңыз, күнүнө 100 жолу кайталаңыз) Дженкинске жана кодду көзөмөлдөөгө жана Pullkins деп аталган релиздерди аткарууга мүмкүндүк берген өз алдынча жазылган куралга өттү. .
Эмне үчүн Дженкинс иштеген жок? Ал демейки боюнча жетиштүү ийкемдүүлүктү камсыз кылган эмес жана ыңгайлаштыруу өтө кыйын болчу.
"Флаг" Laravel (PHP алкагында) иштеп чыгат. CI/CD серверин иштеп чыгууда Михаил жана анын кесиптештери Ларавелдин Telescope жана Envoy деп аталган орнотулган механизмдерин колдонушкан. Натыйжада PHPде сервер пайда болду (эске салыңыз), ал кирүүчү вебхук суроо-талаптарын иштетип, алдыңкы жана бэкэндди түзө алат, ар кандай серверлерге жайгаштырууга жана Slack'ке отчет берүүгө жөндөмдүү.
Андан кийин, көк/жашыл жайгаштыруу жана dev-stage-prod чөйрөлөрүндө бирдиктүү жөндөөлөргө ээ болуу үчүн, алар Dockerге өтүштү. Артыкчылыктар ошол эле бойдон калды, айлана-чөйрөнү гомогенизациялоо жана үзгүлтүксүз жайылтуу мүмкүнчүлүктөрү кошулду жана аны менен туура иштөө үчүн Докерди үйрөнүү зарылчылыгы кошулду.
Кантип биз сервердин релизинин артка кайтарылышынын санын 99% га азайттык
Devops бөлүмүндөгү акыркы отчет Miro.com (мурдагы RealTimeBoard) компаниясынын башкы инженери Виктор Еремченкодон алынган.
RealTimeBoard, Miro командасынын флагмандык продуктусу монолиттүү Java тиркемесинин негизинде түзүлгөн. Аны чогултуу, сынап көрүү жана токтоосуз колдонуу кыйын иш. Бул учурда, коддун мындай версиясын артка жылдырбоо үчүн колдонуу маанилүү (бул оор монолит).
Муну жасоого мүмкүндүк берүүчү системаны куруу жолунда Миро архитектура, колдонулган аспаптар (Atlassian Bamboo, Ansible, ж. арналган Devops командасы + ар кандай профилдерди иштеп чыгуучулардын көптөгөн өзүнчө Scrum командалары).
Жол татаал жана тикенектүү болуп чыкты, Виктор ушуну менен бүтпөй турган топтолгон азапты жана оптимизмди бөлүштү.
Суроолору үчүн китеп утуп алды
Backend бөлүмү
Мен 2 репортажга катышууга жетиштим - Николай Сверчковдон (Эвил Марстыктар), ошондой эле Серверсиз жөнүндө жана Григорий Кошелевден (Контур компаниясы) телеметрия боюнча.
Жөнөкөй адамдар үчүн серверсиз
Руслан Сиркин Serverless деген эмне экенин айтса, Николай Serverless аркылуу жөнөкөй тиркемелерди көрсөтүп, AWS Lambdaдагы тиркемелердин баасына жана ылдамдыгына таасир этүүчү майда-чүйдөсүнө чейин айтып берди.
Кызыктуу детал: минималдуу төлөнүүчү элемент 128 Мб эстутум жана 100 мс CPU, ал $0,000000208 турат. Анын үстүнө, айына 1 миллион мындай суроо-талап бекер.
Николайдын кээ бир функциялары көбүнчө 100 мс чегинен ашты (негизги тиркеме Ruby тилинде жазылган), ошондуктан аларды Go'до кайра жазуу сонун үнөмдөөнү камсыз кылды.
Восток Геркулес — телеметрияны кайрадан сонун кыл!
Телеметрия жөнүндө Григорий Кошелевдин (Контур компаниясы) Backend бөлүмүнүн акыркы репортажы. Телеметрия журналдарды, метрикаларды, колдонмолордун издерин билдирет.
Бул максатта Contour Github сайтында жайгаштырылган өз алдынча жазылган куралдарды колдонот. Отчеттон курал - Геркулес, , телеметриялык маалыматтарды жеткирүү үчүн колдонулат.
Владимир Лиланын Devops бөлүмүндөгү баяндамасында Elasticsearch'те журналдарды сактоо жана иштетүү талкууланды, бирок дагы деле көптөгөн миңдеген түзмөктөрдөн жана тиркемелерден журналдарды жеткирүү милдети бар, ошондой эле Восток Геркулес сыяктуу куралдар аларды чечет.
Схема көпчүлүккө белгилүү болгон жол менен жүрдү - RabbitMQдан Apache Кафкага чейин, бирок баары жөнөкөй эмес)) Алар схемага Zookeeper, Cassandra жана Graphite кошууга туура келди. Мен бул отчет боюнча маалыматты толук ачып бербейм (менин профилим эмес), эгер сизди кызыктырса, конференциянын веб-сайтынан слайддарды жана видеолорду күтө аласыз.
Башка конференцияларга салыштырмалуу кандай?
Мен аны Москвадагы жана Санкт-Петербургдагы конференциялар менен салыштыра албайм, мен аны Уралдагы башка окуялар менен жана Самарадагы 404fest менен салыштыра алам.
DAMP 8 секцияда өткөрүлөт, бул Урал конференциялары үчүн рекорд. Абдан чоң Илим жана Башкаруу бөлүмдөрү, бул да адаттан тыш көрүнүш. Екатеринбургдагы аудитория кыйла структураланган - шаарда Яндекс, Контур, Тинкофф үчүн чоң өнүгүү бөлүмдөрү бар жана бул отчеттордо өз изин калтырат.
Дагы бир кызыктуу жагдай, көптөгөн компаниялар конференцияда бир эле учурда 3-4 баяндамачы бар (бул Контур, Evil Martians, Tinkoff менен болгон). Алардын көбү демөөрчү болушкан, бирок отчеттор башкалар менен бирдей, бул жарнамалык отчеттор эмес.
Баруу же барбоо? Сиз Уралда же жакын жашаган болсо, анда мүмкүнчүлүк бар жана темалар кызыкдар - ооба, албетте. Эгер сиз алыскы сапарга чыгууну ойлосоңуз, өткөн жылдардагы баяндамалардын жана видеорепортаждардын темаларын карайт элем жана чечим кабыл алды.
Региондордогу конференциялардын дагы бир артыкчылыгы, эреже катары, баяндамадан кийин баяндамачы менен баарлашуу оңой;
Dump жана Екатеринбургга рахмат! )
Source: www.habr.com
