Ni ọsẹ to kọja Mo lọ si apejọ DUMP IT (https://dump-ekb.ru/) ni Yekaterinburg ati pe Mo fẹ lati sọ fun ọ ohun ti a jiroro ni awọn apakan Backend ati Devops, ati boya awọn apejọ IT agbegbe yẹ akiyesi.
Nikolay Sverchkov lati Evil Martians nipa Serverless
Kini o wa nibẹ lonakona?
Ni apapọ, apejọ naa ni awọn apakan 8: Backend, Frontend, Mobile, Idanwo ati QA, Devops, Design, Science and Management.
Awọn gbọngàn ti o tobi julọ, nipasẹ ọna, wa ni Imọ ati Isakoso)) Fun ~ 350 eniyan kọọkan. Backend ati Frontend ko kere pupọ. Yara Devops ni o kere julọ, ṣugbọn ti nṣiṣe lọwọ.
Mo tẹtisi awọn ijabọ ni awọn apakan Devops ati Backend ati sọrọ diẹ pẹlu awọn agbohunsoke. Emi yoo fẹ lati sọrọ nipa awọn koko-ọrọ ti a sọ ati ṣe atunyẹwo awọn apakan wọnyi ni apejọ.
Awọn aṣoju ti SKB-Kontur, DataArt, Evil Martians, Flag Studio wẹẹbu Ekaterinburg, Miro (RealTimeBoard) sọ ni awọn apakan Devops ati Backend. Awọn koko-ọrọ ti o bo CI / CD, ṣiṣẹ pẹlu awọn iṣẹ isinyi, gedu;
Awọn ijabọ tun wa nipasẹ Avito, Tinkoff, Yandex, Jetstyle, Megafon, Ak Bars Bank, ṣugbọn Emi ko ni akoko lati lọ si ara wọn (awọn gbigbasilẹ fidio ati awọn ifaworanhan ti awọn ijabọ ko tii wa, wọn ṣe ileri lati firanṣẹ wọn laarin ọsẹ meji 2). lori dump-ekb.ru).
Devops apakan
Ohun tó yani lẹ́nu ni pé inú gbọ̀ngàn tó kéré jù lọ ni wọ́n ti ṣe apá náà, nǹkan bí àádọ́ta ìjókòó. Awọn eniyan paapaa duro ni awọn aisles :) Emi yoo sọ fun ọ nipa awọn ijabọ ti Mo ṣakoso lati tẹtisi.
Rirọ ṣe iwọn petabyte kan
Abala naa bẹrẹ pẹlu ijabọ nipasẹ Vladimir Lil (SKB-Kontur) nipa Elasticsearch ni Kontur. Wọn ni Irọra ti o tobi pupọ ati ti kojọpọ (~ 800 TB ti data, ~ 1.3 petabytes mu sinu iroyin apọju). Elasticsearch fun gbogbo awọn iṣẹ Kontur jẹ ẹyọkan, ni awọn iṣupọ 2 (ti awọn olupin 7 ati 9), ati pe o ṣe pataki pupọ pe Kontur ni ẹlẹrọ Elasticsearch pataki kan (ni otitọ, Vladimir funrararẹ).
Vladimir tun pin awọn ero rẹ lori awọn anfani ti Elasticsearch ati awọn iṣoro ti o mu wa.
Anfani:
- Gbogbo awọn akọọlẹ wa ni aye kan, irọrun si wọn
- Titoju awọn akọọlẹ fun ọdun kan ati ni irọrun gbeyewo wọn
- Iyara giga ti ṣiṣẹ pẹlu awọn akọọlẹ
- Iwoye data tutu jade kuro ninu apoti
Awọn iṣoro:
- alagbata ifiranṣẹ gbọdọ ni (fun Kontur ipa rẹ jẹ nipasẹ Kafka)
- Awọn ẹya ti ṣiṣẹ pẹlu Olutọju Elasticsearch (ẹru ti o ṣẹda ni igbakọọkan lati awọn iṣẹ ṣiṣe deede ni Curator)
- ko si iwe-aṣẹ ti a ṣe sinu (fun lọtọ, owo nla pupọ, tabi bi awọn afikun orisun ṣiṣi ti awọn iwọn oriṣiriṣi ti imurasilẹ fun iṣelọpọ)
Awọn atunyẹwo rere nikan wa nipa Ṣii Distro fun Elasticsearch :) Ọrọ aṣẹ kanna ti ni ipinnu nibẹ.
Nibo ni petabyte wa lati?Awọn apa wọn ni awọn olupin pẹlu 12*8 Tb SATA + 2*2 Tb SSD. Ibi ipamọ tutu lori SATA, SSD nikan fun kaṣe gbona (ibi ipamọ gbona).
7+9 olupin, (7 + 9) * 12 * 8 = 1536 Tb.
Apakan aaye wa ni ipamọ, ti a ya sọtọ fun apọju, ati bẹbẹ lọ.
Awọn iforukọsilẹ lati bii awọn ohun elo 90 ni a firanṣẹ si Elasticsearch, pẹlu gbogbo awọn iṣẹ ijabọ ti Kontur, Elba, ati bẹbẹ lọ.
Awọn ẹya ara ẹrọ ti idagbasoke on Serverless
Nigbamii ni ijabọ nipasẹ Ruslan Serkin lati DataArt nipa Serverless.
Ruslan sọrọ nipa kini idagbasoke pẹlu ọna Serverless ni gbogbogbo, ati kini awọn ẹya rẹ jẹ.
Aini olupin jẹ ọna si idagbasoke ninu eyiti awọn olupilẹṣẹ ko fi ọwọ kan awọn amayederun ni eyikeyi ọna. Apeere - AWS Lambda Serverless, Kubeless.io (Serverless inu Kubernetes), Awọn iṣẹ awọsanma Google.
Ohun elo Alailẹgbẹ pipe jẹ iṣẹ kan ti o firanṣẹ ibeere kan si olupese ti ko ni olupin nipasẹ ẹnu-ọna API pataki kan. Ohun elo microservice ti o pe, lakoko ti AWS Lambda tun ṣe atilẹyin nọmba nla ti awọn ede siseto ode oni. Iye owo ti mimu ati gbigbe awọn amayederun di odo ni ọran ti awọn olupese awọsanma, atilẹyin awọn ohun elo kekere yoo tun jẹ olowo poku (AWS Lambda - $ 0.2 / 1 milionu awọn ibeere ti o rọrun).
Imudara ti iru eto kan ti fẹrẹ jẹ apẹrẹ - olupese awọsanma n ṣetọju funrararẹ, awọn iwọn Kubeless laifọwọyi laarin iṣupọ Kubernetes.
Awọn alailanfani wa:
- idagbasoke awọn ohun elo nla n di diẹ sii nira
- iṣoro wa pẹlu awọn ohun elo profaili (awọn akọọlẹ nikan wa fun ọ, ṣugbọn kii ṣe profaili ni ori deede)
- ko si versioning
Lati so ooto, Mo ti gbọ nipa Serverless kan diẹ odun seyin, ṣugbọn gbogbo awọn wọnyi odun o je ko ko o si mi bi o lati lo o tọ. Lẹhin ijabọ Ruslan, oye han, ati lẹhin iroyin ti Nikolai Sverchkov (Evil Martians) lati apakan Backend, o ti di iṣọkan. Kii ṣe asan ni mo lọ si apejọ naa :)
CI jẹ fun talaka, tabi o tọ lati kọ CI tirẹ fun ile-iṣere wẹẹbu kan?
Mikhail Radionov, olori ile-iṣẹ wẹẹbu Flag lati Yekaterinburg, sọ nipa CI / CD ti ara ẹni.
Ile-iṣere rẹ ti lọ lati “CI / CD afọwọṣe” (wọle sinu olupin nipasẹ SSH, ṣe fifa git kan, tun ṣe awọn akoko 100 ni ọjọ kan) si Jenkins ati si ohun elo ti ara ẹni ti o fun ọ laaye lati ṣe atẹle koodu ati ṣe awọn idasilẹ ti a pe ni Pullkins .
Kini idi ti Jenkins ko ṣiṣẹ? Ko pese irọrun to nipasẹ aiyipada ati pe o nira pupọ lati ṣe akanṣe.
"Flag" ndagba ni Laravel (PHP ilana). Nigbati o ba n ṣe agbekalẹ olupin CI / CD kan, Mikhail ati awọn ẹlẹgbẹ rẹ lo awọn ilana ti Laravel ti a ṣe sinu ti a npe ni Telescope ati Envoy. Abajade jẹ olupin ni PHP (jọwọ ṣakiyesi) ti o ṣe ilana awọn ibeere webhook ti nwọle, le kọ iwaju iwaju ati ẹhin, ran lọ si awọn olupin oriṣiriṣi, ati jabo si Slack.
Lẹhinna, lati ni anfani lati ṣe imuṣiṣẹ buluu / alawọ ewe ati ni awọn eto aṣọ ni awọn agbegbe-ipele-prod, wọn yipada si Docker. Awọn anfani wa kanna, awọn iṣeeṣe ti isokan ayika ati imuṣiṣẹ ailopin ni a ṣafikun, ati iwulo lati kọ ẹkọ Docker lati ṣiṣẹ pẹlu rẹ ni deede ni a ṣafikun.
Bii a ṣe dinku nọmba awọn ifilọlẹ awọn ifilọlẹ olupin nipasẹ 99%
Ijabọ ti o kẹhin ni apakan Devops wa lati ọdọ Viktor Eremchenko, Onimọ-ẹrọ devops asiwaju ni Miro.com (eyiti o jẹ RealTimeBoard tẹlẹ).
RealTimeBoard, ọja flagship ti ẹgbẹ Miro, da lori ohun elo Java monolithic kan. Gbigba, idanwo ati gbigbe lọ laisi akoko isinmi jẹ iṣẹ ti o nira. Ni idi eyi, o ṣe pataki lati mu iru ẹya ti koodu naa lọ ki o ko ni lati yiyi pada (o jẹ monolith ti o wuwo).
Ni ọna lati kọ eto ti o fun ọ laaye lati ṣe eyi, Miro lọ nipasẹ ọna ti o wa pẹlu ṣiṣẹ lori faaji, awọn irinṣẹ ti a lo (Atlassian Bamboo, Ansible, bbl), ati ṣiṣẹ lori eto awọn ẹgbẹ (wọn ni bayi. Ẹgbẹ Devops ti o yasọtọ + ọpọlọpọ awọn ẹgbẹ Scrum lọtọ lati ọdọ awọn olupilẹṣẹ ti awọn profaili oriṣiriṣi).
Ọna naa yipada lati nira ati elegun, Victor si pin irora ti a kojọpọ ati ireti ti ko pari nibẹ.
Gba iwe kan fun bibeere awọn ibeere
Ẹyin apakan
Mo ti ṣakoso lati lọ si awọn iroyin 2 - lati Nikolay Sverchkov (Evil Martians), tun nipa Serverless, ati lati Grigory Koshelev (Kontur ile) nipa telemetry.
Serverless fun kiki mortals
Ti Ruslan Sirkin ba sọrọ nipa kini Serverless jẹ, Nikolay fihan awọn ohun elo ti o rọrun nipa lilo Serverless, o si sọrọ nipa awọn alaye ti o ni ipa lori iye owo ati iyara awọn ohun elo ni AWS Lambda.
Alaye ti o nifẹ si: ipin isanwo ti o kere ju jẹ 128 Mb ti iranti ati 100 ms Sipiyu, o jẹ $ 0,000000208. Pẹlupẹlu, 1 milionu iru awọn ibeere fun oṣu kan jẹ ọfẹ.
Diẹ ninu awọn iṣẹ Nikolai nigbagbogbo kọja opin 100 ms (ohun elo akọkọ ni a kọ si Ruby), nitorinaa atunko wọn ni Go pese awọn ifowopamọ to dara julọ.
Vostok Hercules - ṣe telemetry nla lẹẹkansi!
Ijabọ tuntun ti apakan Backend lati Grigory Koshelev (ile-iṣẹ Kontur) nipa telemetry. Telemetry tumọ si awọn akọọlẹ, awọn metiriki, awọn itọpa ohun elo.
Fun idi eyi, Contour nlo awọn irinṣẹ kikọ ti ara ẹni ti a fiweranṣẹ lori Github. Ọpa lati ijabọ - Hercules, , ti wa ni lo lati fi telemetry data.
Ijabọ Vladimir Lila ni apakan Devops ti jiroro ni ifipamọ ati ṣiṣe awọn iwe-ipamọ ni Elasticsearch, ṣugbọn iṣẹ ṣi wa ti jiṣẹ awọn igbasilẹ lati ọpọlọpọ awọn ẹgbẹẹgbẹrun awọn ẹrọ ati awọn ohun elo, ati awọn irinṣẹ bii Vostok Hercules yanju wọn.
Circuit naa tẹle ọna ti a mọ si ọpọlọpọ - lati RabbitMQ si Apache Kafka, ṣugbọn kii ṣe ohun gbogbo rọrun pupọ)) Wọn ni lati ṣafikun Zookeeper, Cassandra ati Graphite si Circuit naa. Emi kii yoo ṣe afihan alaye ni kikun lori ijabọ yii (kii ṣe profaili mi), ti o ba nifẹ si, o le duro fun awọn kikọja ati awọn fidio lori oju opo wẹẹbu apejọ.
Bawo ni o ṣe afiwe si awọn apejọ miiran?
Emi ko le ṣe afiwe pẹlu awọn apejọ ni Moscow ati St.
DAMP waye ni awọn apakan 8, eyi jẹ igbasilẹ fun awọn apejọ Ural. Imọ-jinlẹ ti o tobi pupọ ati awọn apakan iṣakoso, eyi tun jẹ dani. Awọn olugbo ni Yekaterinburg jẹ iṣeto ni kikun - ilu naa ni awọn apa idagbasoke nla ti Yandex, Kontur, Tinkoff, eyi fi ami rẹ silẹ lori awọn ijabọ naa.
Ojuami miiran ti o nifẹ ni pe ọpọlọpọ awọn ile-iṣẹ ni awọn agbohunsoke 3-4 ni apejọ ni ẹẹkan (eyi jẹ ọran pẹlu Kontur, Evil Martians, Tinkoff). Pupọ ninu wọn jẹ onigbowo, ṣugbọn awọn ijabọ wa ni deede pẹlu awọn miiran, iwọnyi kii ṣe awọn ijabọ ipolowo.
Lati lọ tabi ko lati lọ? Ti o ba n gbe ni Urals tabi nitosi, o ni aye ati nifẹ ninu awọn akọle - bẹẹni, dajudaju. Ti o ba n ronu nipa irin-ajo gigun, Emi yoo wo awọn koko-ọrọ ti awọn ijabọ ati awọn ijabọ fidio lati awọn ọdun iṣaaju o si ṣe ipinnu.
Anfani miiran ti awọn apejọ ni awọn agbegbe, gẹgẹbi ofin, ni pe o rọrun lati ṣe ibaraẹnisọrọ pẹlu agbọrọsọ lẹhin awọn ijabọ;
Ọpẹ si Idasonu ati Ekaterinburg! )
orisun: www.habr.com
