Sannu! Sunana Vadim Madison, Ina jagorantar ci gaban Avito System Platform. An faɗi fiye da sau ɗaya yadda mu a cikin kamfani ke motsawa daga gine-ginen monolithic zuwa na'ura mai ƙima. Lokaci ya yi da za mu raba yadda muka canza ababen more rayuwa don samun mafi yawan amfanin ƙananan sabis kuma mu hana kanmu yin asara a cikinsu. Yadda PaaS ke taimaka mana anan, yadda muka sauƙaƙa turawa da rage ƙirƙirar microservice zuwa dannawa ɗaya - karantawa. Ba duk abin da na rubuta game da ƙasa an cika shi sosai a cikin Avito ba, wasu daga cikinsu shine yadda muke haɓaka dandamalinmu.
(Kuma a ƙarshen wannan labarin, zan yi magana game da damar da za ta halarci taron karawa juna sani na kwanaki uku daga masanin gine-ginen microservice Chris Richardson).
Yadda muka zo microservices
Avito yana ɗaya daga cikin manyan rukunin yanar gizo na duniya; sama da sabbin tallace-tallace miliyan 15 ana buga su a kowace rana. Madogararmu tana karɓar buƙatun fiye da dubu 20 a sakan daya. A halin yanzu muna da microservices ɗari da yawa.
Muna gina gine-ginen microservice shekaru da yawa yanzu. Ta yaya daidai - abokan aikinmu daki-daki a sashen mu a RIT ++ 2017. A CodeFest 2017 (duba. ), Sergey Orlov da Mikhail Prokopchuk sun bayyana dalla-dalla dalilin da ya sa muke buƙatar sauyawa zuwa microservices da kuma rawar da Kubernetes ya taka a nan. To, yanzu muna yin komai don rage girman farashin da ke cikin irin wannan gine-gine.
Da farko, ba mu ƙirƙiri yanayin yanayin da zai taimaka mana gabaɗaya don haɓakawa da ƙaddamar da ƙananan ayyuka ba. Kawai kawai sun tattara mafita na buɗe ido masu ma'ana, ƙaddamar da su a gida kuma sun gayyaci mai haɓakawa don magance su. A sakamakon haka, ya tafi zuwa wurare goma sha biyu (dashboards, ayyuka na ciki), bayan haka ya zama mai karfi a cikin sha'awar yanke lambar tsohuwar hanya, a cikin monolith. Launi mai launin kore a cikin zane-zanen da ke ƙasa yana nuna abin da mai haɓaka ya yi wata hanya ko wata tare da hannunsa, kuma launin rawaya yana nuna aiki da kai.
Yanzu a cikin PaaS CLI mai amfani, an ƙirƙiri sabon sabis tare da umarni ɗaya, kuma an ƙara sabon bayanan bayanai tare da ƙari biyu kuma an tura zuwa Stage.
Yadda za a shawo kan zamanin "microservice fragmentation"
Tare da tsarin gine-gine na monolithic, saboda daidaito na canje-canje a cikin samfurin, an tilasta masu haɓakawa su gano abin da ke faruwa tare da makwabta. Lokacin aiki akan sabon gine-gine, mahallin sabis ba ya dogara da juna.
Bugu da kari, don ginin microservice ya yi tasiri, ana buƙatar kafa matakai da yawa, wato:
• shiga;
• neman nema (Jaeger);
• tara kuskure (Sentry);
• matsayi, saƙonni, abubuwan da suka faru daga Kubernetes (Tsarin Rarraba Tafiya);
• iyakar tseren / mai watsewar kewayawa (zaka iya amfani da Hystrix);
• sarrafa haɗin sabis (muna amfani da Netramesh);
• saka idanu (Grafana);
• taro (TeamCity);
• sadarwa da sanarwa (Slack, email);
• bin diddigin ayyuka; (Jira)
• shirye-shiryen takardun shaida.
Don tabbatar da cewa tsarin ba ya rasa amincinsa kuma ya kasance mai tasiri yayin da yake sikelin, mun sake tunani game da ƙungiyar microservices a Avito.
Yadda muke sarrafa microservices
Taimako mai zuwa don aiwatar da “manufofin jam’iyya” guda ɗaya a tsakanin yawancin ƙananan sabis na Avito:
- rarraba kayayyakin more rayuwa cikin yadudduka;
- Platform a matsayin Sabis (PaaS);
- saka idanu duk abin da ke faruwa tare da microservices.
Yaduddukan abstraction na kayan aiki sun haɗa da yadudduka uku. Mu tafi daga sama zuwa kasa.
A. Top - ragar sabis. Da farko mun gwada Istio, amma ya zama cewa yana amfani da albarkatu da yawa, wanda yayi tsada sosai ga kundin mu. Saboda haka, babban injiniya a cikin tawagar gine-gine Alexander Lukyanchenko ya ɓullo da nasa bayani - (akwai a cikin Buɗaɗɗen Madogararsa), wanda a halin yanzu muke amfani da shi a samarwa kuma wanda ke cinye albarkatu da yawa sau da yawa fiye da Istio (amma baya yin duk abin da Istio zai iya fariya da shi).
B. Matsakaici - Kubernetes. Muna turawa da sarrafa microservices akansa.
C. Kasa - karfe maras tushe. Ba ma amfani da gajimare ko abubuwa kamar OpenStack, amma mun dogara kacokan akan ƙaramin ƙarfe.
Duk yadudduka ana haɗe su ta PaaS. Kuma shi wannan dandali, ya kunshi sassa uku ne.
I. Generators, sarrafawa ta hanyar amfani da CLI. Ita ce ke taimaka wa mai haɓakawa ƙirƙirar microservice a hanyar da ta dace kuma tare da ƙaramin ƙoƙari.
II. Ƙarfafa mai tarawa tare da sarrafa duk kayan aikin ta hanyar dashboard gama gari.
III. Adana. Haɗuwa tare da masu tsara tsarawa waɗanda ke saita abubuwan ta atomatik don mahimman ayyuka. Godiya ga irin wannan tsarin, ba a rasa wani aiki ɗaya kawai saboda wani ya manta da kafa wani aiki a Jira. Muna amfani da kayan aiki na ciki da ake kira Atlas don wannan.
Hakanan ana aiwatar da aiwatar da ayyukan microservices a cikin Avito bisa ga makirci ɗaya, wanda ke sauƙaƙe sarrafa su a kowane mataki na haɓakawa da saki.
Ta yaya daidaitaccen bututun ci gaban microservice ke aiki?
Gabaɗaya, sarkar ƙirƙirar microservice yayi kama da haka:
CLI-turawa → Ci gaba da Haɗuwa → Gasa → Sanya → Gwajin wucin gadi → Gwajin Canary → Gwajin Matsi → Samar da → Kulawa.
Bari mu bi ta daidai a cikin wannan tsari.
CLI-turawa
• Ƙirƙirar microservice.
Mun daɗe muna kokawa don koya wa kowane mai haɓakawa yadda ake yin microservices. Wannan ya haɗa da rubuta cikakken umarni a cikin Confluence. Amma tsare-tsaren sun canza kuma an ƙara su. Sakamakon shi ne cewa ƙwanƙwasa ya bayyana a farkon tafiya: ya ɗauki lokaci mai yawa don ƙaddamar da microservices, kuma har yanzu matsaloli sukan taso a lokacin ƙirƙirar su.
A ƙarshe, mun gina kayan aikin CLI mai sauƙi wanda ke sarrafa matakan asali lokacin ƙirƙirar microservice. A gaskiya ma, yana maye gurbin farkon git turawa. Ga dai me take yi.
- Ƙirƙirar sabis bisa ga samfuri - mataki-mataki, a cikin yanayin "mayen". Muna da samfura don manyan harsunan shirye-shirye a cikin Avito backend: PHP, Golang da Python.
- Umurni ɗaya a lokaci guda yana ƙaddamar da yanayi don ci gaban gida akan takamaiman na'ura - An ƙaddamar da Minikube, ana ƙaddamar da sigogin Helm ta atomatik a cikin kubernetes na gida.
- Haɗa bayanan da ake buƙata. Mai haɓaka baya buƙatar sanin IP, login da kalmar sirri don samun damar shiga bayanan da yake buƙata - ya kasance a gida, a Stage, ko cikin samarwa. Bugu da ƙari, ana tura ma'ajin bayanai nan da nan a cikin tsari mai jurewa kuskure kuma tare da daidaitawa.
- Yana aiwatar da taro kai tsaye. Bari mu ce mai haɓakawa ya gyara wani abu a cikin microservice ta IDE ɗinsa. Mai amfani yana ganin canje-canje a cikin tsarin fayil kuma, dangane da su, yana sake gina aikace-aikacen (don Golang) kuma ya sake farawa. Don PHP, kawai muna tura kundin adireshi a cikin cube kuma ana samun sake kunnawa kai tsaye "ta atomatik".
- Yana haifar da autotest. A cikin nau'i na blanks, amma quite dace don amfani.
• Ƙaddamar da Microservice.
Aiwatar da microservice ya kasance ɗan wahala a gare mu. An buƙaci waɗannan abubuwan:
I. Dockerfile.
II. Saita
III. Taswirar Helm, wanda kanta yana da wahala kuma ya haɗa da:
- ginshiƙi da kansu;
- samfuri;
- ƙayyadaddun ƙimar la'akari da yanayi daban-daban.
Mun cire zafi daga sake yin aikin Kubernetes bayyanuwa don haka yanzu ana ƙirƙira su ta atomatik. Amma mafi mahimmanci, sun sauƙaƙe ƙaddamarwa zuwa iyaka. Daga yanzu muna da Dockerfile, kuma mai haɓakawa yana rubuta duk tsarin a cikin gajeriyar fayil ɗin app.toml guda ɗaya.
Ee, kuma a cikin app.toml kanta babu abin da za a yi na minti ɗaya. Mun ƙididdige wurin da kofe nawa na sabis ɗin don haɓakawa (akan uwar garken dev, akan tsarawa, a samarwa), kuma muna nuna abubuwan dogaronta. Kula da girman layin = "ƙananan" a cikin toshe [injin]. Wannan ita ce iyakar da za a keɓe wa sabis ta hanyar Kubernetes.
Sa'an nan, dangane da saitin, duk abubuwan da ake bukata na Helm suna samuwa ta atomatik kuma an ƙirƙiri haɗin kai zuwa bayanan bayanai.
• Tabbatarwa na asali. Irin waɗannan cak ɗin kuma ana sarrafa su.
Bukatar waƙa:
- akwai Dockerfile;
- akwai app.toml;
- akwai takardun shaida?
- shin dogara yana cikin tsari?
- ko an saita dokokin faɗakarwa.
Har zuwa batu na ƙarshe: mai sabis ɗin da kansa ya ƙayyade wane ma'aunin samfurin don saka idanu.
• Shiri na takardu.
Har yanzu yankin matsala. Yana da alama ya zama mafi bayyane, amma a lokaci guda kuma rikodin "sau da yawa mantawa", sabili da haka haɗin gwiwa mai rauni a cikin sarkar.
Wajibi ne cewa akwai takaddun shaida ga kowane microservice. Ya haɗa da tubalan masu zuwa.
I. Takaitaccen bayanin sabis. A zahiri ƴan jimloli game da abin da yake aikatawa da kuma dalilin da yasa ake buƙata.
II. Hanyar haɗin gine-gine. Yana da mahimmanci cewa tare da kallonsa da sauri yana da sauƙin fahimta, misali, ko kuna amfani da Redis don caching ko azaman babban ma'ajin bayanai a cikin yanayin dagewa. A cikin Avito a yanzu wannan hanyar haɗi ce zuwa Confluence.
III. Runbook. Takaitaccen jagora akan fara sabis da rikitattun sarrafa shi.
IV. FAQ, inda zai yi kyau a jira matsalolin da abokan aikin ku zasu iya fuskanta yayin aiki tare da sabis ɗin.
V. Bayanin wuraren ƙarshe na API. Idan ba zato ba tsammani ba ku bayyana wuraren da za a nufa ba, abokan aikin da ke da alaƙa da naku za su kusan biya. Yanzu muna amfani da Swagger da maganin mu da ake kira takaice don wannan.
VI. Lakabi. Ko alamomin da ke nuna wane samfuri, ayyuka, ko rarrabuwar tsarin kamfani ke da sabis ɗin. Suna taimaka muku da sauri fahimta, misali, ko kuna yanke ayyukan da abokan aikinku suka fitar don rukunin kasuwanci guda mako guda da suka gabata.
VII. Mai shi ko masu sabis ɗin. A mafi yawan lokuta, shi - ko su - ana iya ƙayyade shi ta atomatik ta amfani da PaaS, amma don kasancewa a gefen aminci, muna buƙatar mai haɓakawa ya ƙayyade su da hannu.
A ƙarshe, yana da kyakkyawan al'ada don sake duba takardun, kama da sake duba lambar.
Haɗuwa ta ci gaba
- Ana shirya wuraren ajiya.
- Ƙirƙirar bututun mai a cikin TeamCity.
- Saitin hakkoki.
- Nemo masu sabis. Akwai tsarin haɗaka anan - alamar hannu da ƙaramin aiki da kai daga PaaS. Cikakken tsari na atomatik ya gaza lokacin da ake canja wurin sabis don tallafi zuwa wata ƙungiyar haɓaka ko, misali, idan mai haɓaka sabis ya yi murabus.
- Yin rijistar sabis a Atlas (duba sama). Tare da duk masu shi da abin dogaro.
- Duba ƙaura. Muna bincika ko ɗayansu yana da yuwuwar haɗari. Misali, a cikin ɗayansu akwai tebur mai canzawa ko wani abu dabam wanda zai iya karya daidaiton tsarin bayanai tsakanin nau'ikan sabis ɗin daban-daban. Sa'an nan ba a yi ƙaura ba, amma an sanya shi a cikin biyan kuɗi - PaaS dole ne ya yi alama ga mai sabis idan yana da aminci don amfani da shi.
Gasa
Mataki na gaba shine sabis na marufi kafin turawa.
- Gina aikace-aikacen. Bisa ga litattafan gargajiya - a cikin hoton Docker.
- Ƙirƙirar jadawalin Helm don sabis ɗin kanta da albarkatun da ke da alaƙa. Ciki har da bayanan bayanai da cache. Ana ƙirƙira su ta atomatik daidai da tsarin app.toml wanda aka ƙirƙira a matakin turawa CLI.
- Ƙirƙirar tikiti don admins don buɗe tashar jiragen ruwa (lokacin da ake bukata).
- Gwajin naúrar gudana da ƙididdige ɗaukar hoto. Idan murfin lambar yana ƙasa da ƙayyadaddun ƙofa, to wataƙila sabis ɗin ba zai ci gaba ba - don turawa. Idan yana kan gab da karɓuwa, to, sabis ɗin za a sanya shi a matsayin "ƙaddamarwa" ƙididdiga: to, idan babu wani ci gaba a cikin mai nuna alama a kan lokaci, mai haɓakawa zai karɓi sanarwar cewa babu wani ci gaba cikin sharuddan gwaje-gwaje (musamman). kuma akwai bukatar a yi wani abu game da shi).
- Lissafi don ƙwaƙwalwar ajiya da iyakokin CPU. Muna rubuta ƙananan ayyuka a Golang kuma muna gudanar da su a Kubernetes. Don haka dabara guda ɗaya da ke da alaƙa da keɓancewar harshen Golang: ta tsohuwa, lokacin farawa, ana amfani da duk abubuwan da ke kan injin, idan ba ku saita madaidaicin GOMAXPROCS a sarari ba, kuma lokacin da aka ƙaddamar da irin waɗannan ayyuka da yawa akan injin iri ɗaya, suna farawa. don yin gasa don samun albarkatu, yin kutse da juna. Hotunan da ke ƙasa suna nuna yadda lokacin aiwatarwa ke canzawa idan kun gudanar da aikace-aikacen ba tare da jayayya ba kuma a cikin tseren yanayin albarkatu. ( Tushen jadawali sune ).
Lokacin aiwatarwa, ƙasa ya fi kyau. Matsakaicin: 643ms, mafi ƙarancin: 42ms. Ana iya danna hoton.
Lokacin tiyata, ƙasa da ƙasa ya fi kyau. Matsakaicin: 14091 ns, mafi ƙarancin: 151 ns. Ana iya danna hoton.
A matakin shirye-shiryen taro, zaku iya saita wannan canjin a sarari ko kuna iya amfani da ɗakin karatu daga mutanen Uber.
tura
Duba ƙa'idodi. Kafin ka fara isar da majalissar sabis zuwa wuraren da kake so, kana buƙatar bincika waɗannan abubuwan:
- API ɗin ƙarshen.
- Yarda da matakan ƙarshen API tare da tsarin.
- Tsarin log.
- Saita kanun labarai don buƙatun sabis ɗin (a halin yanzu ana yin wannan ta netramesh)
- Saita alamar mai shi lokacin aika saƙonni zuwa bas ɗin taron. Ana buƙatar wannan don bin diddigin haɗin sabis a cikin bas ɗin. Kuna iya aika duka bayanan sirri zuwa bas, wanda baya haɓaka haɗin sabis (wanda yake da kyau), da bayanan kasuwanci waɗanda ke ƙarfafa haɗin sabis (wanda yake da muni sosai!). Kuma a lokacin da wannan haɗin kai ya zama matsala, fahimtar wanda ke rubutawa da karanta bas yana taimakawa wajen raba ayyuka da kyau.
Babu manyan tarurruka da yawa a cikin Avito tukuna, amma tafkin su yana faɗaɗa. Da yawan irin waɗannan yarjejeniyoyin suna samuwa a cikin nau'i wanda ƙungiyar za ta iya fahimta da fahimta, sauƙin shine kiyaye daidaito tsakanin ƙananan sabis.
Gwaje-gwajen roba
• Gwajin madauki na rufe. Don wannan yanzu muna amfani da tushen budewa . Da farko, yana rubuta ainihin kaya akan sabis ɗin, sannan - kawai a cikin rufaffiyar madauki - yana kwaikwayon shi.
• Gwajin damuwa. Muna ƙoƙarin kawo duk sabis zuwa ga mafi kyawun aiki. Kuma duk nau'ikan kowane sabis dole ne su kasance ƙarƙashin gwajin lodi - ta wannan hanyar za mu iya fahimtar aikin sabis ɗin na yanzu da bambanci tare da sigogin da suka gabata na wannan sabis ɗin. Idan, bayan sabunta sabis ɗin, aikin sa ya ragu sau ɗaya da rabi, wannan sigina ce bayyananne ga masu shi: kuna buƙatar tono lambar kuma ku gyara halin da ake ciki.
Muna amfani da bayanan da aka tattara, alal misali, don aiwatar da sikelin atomatik daidai kuma, a ƙarshe, gabaɗaya fahimtar yadda sabis ɗin ke da girma.
Yayin gwajin lodi, muna bincika ko amfani da albarkatu ya dace da iyakokin da aka saita. Kuma mun fi mayar da hankali kan matsananci.
a) Muna kallon jimlar kaya.
- Karami - mai yiwuwa wani abu ba ya aiki kwata-kwata idan kaya ya sauko sau da yawa ba zato ba tsammani.
- Girma da yawa - ana buƙatar ingantawa.
b) Muna kallon yankewa bisa ga RPS.
Anan zamu kalli bambanci tsakanin sigar yanzu da wacce ta gabata da jimillar adadin. Misali, idan sabis ya samar da rps 100, to ko dai ba a rubuta shi ba, ko kuma wannan shine ƙayyadaddun sa, amma a kowane hali, wannan shine dalilin duba sabis ɗin sosai.
Idan, akasin haka, akwai RPS da yawa, to watakila akwai wani nau'in kwaro kuma wasu daga cikin ƙarshen ƙarshen sun daina aiwatar da aikin biya, kuma wasu kawai an jawo su. return true;
Gwajin Canary
Bayan mun ƙetare gwaje-gwajen roba, muna gwada microservice akan ƙaramin adadin masu amfani. Mun fara a hankali, tare da ɗan ƙaramin kaso na masu sauraron sabis ɗin da aka nufa - ƙasa da 0,1%. A wannan mataki, yana da mahimmanci cewa an haɗa ma'auni na fasaha daidai da samfurin a cikin saka idanu don nuna matsala a cikin sabis ɗin da sauri. Matsakaicin lokacin gwajin canary shine mintuna 5, babba shine awa 2. Don hadaddun ayyuka, mun saita lokaci da hannu.
Mu yi nazari:
- takamaiman ma'auni na harshe, musamman, ma'aikatan php-fpm;
- kurakurai a cikin Sentry;
- matsayin amsa;
- lokacin amsawa, daidai da matsakaici;
- latency;
- keɓancewa, sarrafawa da rashin kulawa;
- samfurin awo.
Gwajin Matsi
Gwajin matsi kuma ana kiransa gwajin “squeezing”. An gabatar da sunan fasaha a cikin Netflix. Asalinsa shine da farko mun cika misali ɗaya tare da zirga-zirgar ababen hawa na gaske har zuwa gazawar kuma don haka saita iyaka. Sa'an nan kuma mu ƙara wani misali kuma mu ɗora wannan biyu - sake zuwa matsakaicin; muna ganin rufin su da delta tare da "matsi" na farko. Don haka muna haɗa misali ɗaya a lokaci guda kuma muna ƙididdige tsarin canje-canje.
Gwajin bayanan ta hanyar "matsi" kuma yana gudana zuwa cikin ma'auni na gama gari, inda ko dai muna wadatar da sakamakon aikin wucin gadi tare da su, ko ma musanya "synthetics" da su.
Production
• Zazzagewa. Lokacin da muka fitar da sabis don samarwa, muna lura da yadda yake auna. A cikin ƙwarewarmu, saka idanu kawai alamun CPU ba shi da tasiri. Sikelin atomatik tare da alamar RPS a cikin tsaftataccen tsari yana aiki, amma don wasu ayyuka kawai, kamar yawo akan layi. Don haka za mu fara duba ma'aunin ƙayyadaddun samfur na aikace-aikace.
A sakamakon haka, lokacin da ake yin sikelin muna yin nazari:
- CPU da RAM Manuniya,
- adadin buƙatun a cikin jerin gwano,
- lokacin amsawa,
- hasashe dangane da tarin bayanan tarihi.
Lokacin zazzage sabis, yana da mahimmanci kuma a saka idanu abubuwan dogaronsa don kar mu auna sabis na farko a cikin sarkar, kuma waɗanda suke samun damar yin amfani da su sun gaza a ƙarƙashin kaya. Don kafa nauyin da aka yarda da shi ga dukan tafkin sabis, muna duban bayanan tarihi na sabis na dogara na "mafi kusa" (dangane da haɗuwa da alamun CPU da RAM, tare da ƙayyadaddun ma'auni na app) kuma kwatanta su da bayanan tarihi. na sabis na farawa, da sauransu a cikin "sarkar dogara" ", daga sama zuwa ƙasa.
Sabis
Bayan an sanya microservice a cikin aiki, zamu iya haɗa abubuwan da ke haifar da shi.
Anan akwai yanayi na yau da kullun waɗanda abubuwan jan hankali ke faruwa.
- An gano ƙaura mai yuwuwar haɗari.
- An fitar da sabuntawar tsaro.
- Ba a sabunta sabis ɗin kanta na dogon lokaci ba.
- Abubuwan da ke kan sabis ɗin ya ragu sosai ko kuma wasu ma'aunin samfuran sa sun yi waje da kewayon al'ada.
- Sabis ɗin baya cika sabbin buƙatun dandamali.
Wasu daga cikin masu tayar da hankali suna da alhakin kwanciyar hankali na aiki, wasu - a matsayin aikin kiyaye tsarin - alal misali, wasu sabis ɗin ba a yi amfani da su na dogon lokaci ba kuma hoton sa na tushe ya daina yin binciken tsaro.
Dashboard
A takaice, dashboard shine kwamitin kula da PaaS gaba dayanmu.
- Batu ɗaya na bayani game da sabis ɗin, tare da bayanai akan kewayon gwajin sa, adadin hotunan sa, adadin kwafin samarwa, juzu'i, da sauransu.
- Kayan aiki don tace bayanai ta ayyuka da alamomi (alamomin mallakar rukunin kasuwanci, aikin samfur, da sauransu)
- Kayan aiki don haɗawa tare da kayan aikin gine-gine don ganowa, shiga, da saka idanu.
- Batu ɗaya na takaddun sabis.
- Ra'ayi guda ɗaya na duk abubuwan da suka faru a cikin sabis.
Jimlar
Kafin gabatar da PaaS, sabon mai haɓakawa zai iya ɗaukar makonni da yawa fahimtar duk kayan aikin da ake buƙata don ƙaddamar da microservice a samarwa: Kubernetes, Helm, fasalin TeamCity na cikin gida, saita haɗin kai zuwa bayanan bayanai da caches ta hanyar rashin haƙuri, da sauransu. yana ɗaukar sa'o'i biyu don karanta saurin farawa da ƙirƙirar sabis ɗin kanta.
Na ba da rahoto kan wannan batu don HighLoad ++ 2018, kuna iya kallonsa и .
Waƙar Bonus ga waɗanda suka karanta har ƙarshe
Mu a Avito muna shirya horo na kwana uku na ciki don masu haɓakawa daga , kwararre a cikin gine-ginen microservice. Muna so mu ba da damar shiga cikinsa ga ɗaya daga cikin masu karatun wannan rubutu. An buga shirin horarwa.
Taron zai gudana ne daga ranar 5 zuwa 7 ga watan Agusta a birnin Moscow. Waɗannan kwanakin aiki ne waɗanda za a cika su gaba ɗaya. Abincin rana da horo za su kasance a ofishinmu, kuma wanda aka zaɓa zai biya kuɗin tafiya da kuma masauki da kansa.
Kuna iya neman shiga . Daga gare ku - amsar tambayar dalilin da yasa kuke buƙatar halartar horo da bayanin yadda ake tuntuɓar ku. Amsa a Turanci, domin Chris ne zai zaɓi wanda zai halarci horon da kansa.
Za mu sanar da sunan ɗan takarar horo a cikin sabuntawa ga wannan post da kuma a kan cibiyoyin sadarwar jama'a Avito don masu haɓakawa (AvitoTech a cikin , , ) kafin ranar 19 ga Yuli.
source: www.habr.com