Cùl-taic, ionnsachadh innealan agus gun fhrithealaiche - na rudan as inntinniche bho cho-labhairt an Iuchair Habr

Chan e sgeulachd deasbaid a th’ ann an co-labhairt Habr. Roimhe sin, chùm sinn tachartasan Toaster meadhanach mòr airson 300-400 neach, ach a-nis cho-dhùin sinn gum biodh coinneamhan cuspaireil beaga buntainneach, as urrainn dhut an stiùireadh a shuidheachadh, mar eisimpleir, anns na beachdan. Chaidh a’ chiad cho-labhairt den chruth seo a chumail san Iuchar agus chaidh a choisrigeadh airson leasachadh backend. Dh’èist com-pàirtichean ri aithisgean mu fheartan a’ ghluasaid bhon deireadh-sheachdain gu ML agus mu dhealbhadh seirbheis Quadrupel air portal Seirbheisean na Stàite, agus ghabh iad pàirt cuideachd ann an clàr cruinn coisrigte dha Serverless. Dhaibhsan nach b’ urrainn a bhith an làthair aig an tachartas gu pearsanta, anns an dreuchd seo innsidh sinn dhut na rudan as inntinniche.

Cùl-taic, ionnsachadh innealan agus gun fhrithealaiche - na rudan as inntinniche bho cho-labhairt an Iuchair Habr

Bho leasachadh cùl-fhiosrachaidh gu ionnsachadh innealan

Dè bhios innleadairean dàta a’ dèanamh ann am ML? Ciamar a tha gnìomhan leasaiche backend agus innleadair ML coltach agus eadar-dhealaichte? Dè an t-slighe a dh’ fheumas tu a ghabhail gus a’ chiad dreuchd agad atharrachadh gu an dàrna dreuchd agad? Chaidh seo innse le Alasdair Parinov, a chaidh a-steach gu ionnsachadh innealan an dèidh 10 bliadhna de dh'obair backend.

Cùl-taic, ionnsachadh innealan agus gun fhrithealaiche - na rudan as inntinniche bho cho-labhairt an Iuchair Habr
Alasdair Parinov

An-diugh tha Alexander ag obair mar ailtire siostaman lèirsinn coimpiutair aig X5 Retail Group agus a’ cur ri pròiseactan Open Source co-cheangailte ri lèirsinn coimpiutair agus ionnsachadh domhainn (github.com/creafz). Tha na sgilean aige air an dearbhadh le bhith a 'gabhail pàirt anns an 100 as àirde de rangachadh cruinne Kaggle Master (kaggle.com/creafz), an àrd-ùrlar as mòr-chòrdte airson co-fharpaisean ionnsachadh innealan.

Carson atharrachadh gu inneal ionnsachaidh

O chionn bliadhna gu leth, thug Jeff Dean, ceannard Google Brain, pròiseact rannsachaidh tuigse fuadain stèidhichte air ionnsachadh domhainn Google, cunntas air mar a chaidh lìonra neural Tensor Flow anns an robh dìreach 500 loidhne a chuir an àite leth mhillean loidhne de chòd ann an Google Translate. Às deidh an lìonra a thrèanadh, mheudaich càileachd an dàta agus dh’fhàs am bun-structar nas sìmplidh. Bhiodh e coltach gur e seo an àm ri teachd soilleir againn: chan fheum sinn còd a sgrìobhadh tuilleadh, tha e gu leòr neurons a dhèanamh agus an lìonadh le dàta. Ach ann an cleachdadh tha a h-uile dad tòrr nas iom-fhillte.

Cùl-taic, ionnsachadh innealan agus gun fhrithealaiche - na rudan as inntinniche bho cho-labhairt an Iuchair HabrBun-structar ML aig Google

Chan eil ann an lìonraidhean neural ach pàirt bheag den bhun-structar (an ceàrnag bheag dhubh san dealbh gu h-àrd). Tha feum air mòran a bharrachd de shiostaman taice gus dàta fhaighinn, a phròiseasadh, a stòradh, a sgrùdadh càileachd, msaa, feumaidh sinn bun-structar airson trèanadh, cleachdadh còd ionnsachaidh inneal ann an cinneasachadh, agus deuchainn a dhèanamh air a’ chòd seo. Tha na gnìomhan sin uile dìreach coltach ris na bhios luchd-leasachaidh backend a’ dèanamh.

Cùl-taic, ionnsachadh innealan agus gun fhrithealaiche - na rudan as inntinniche bho cho-labhairt an Iuchair HabrPròiseas ionnsachaidh inneal

Dè an diofar eadar ML agus backend?

Ann am prògramadh clasaigeach, bidh sinn a’ sgrìobhadh còd agus tha seo a’ riaghladh giùlan a’ phrògraim. Ann am ML, tha còd modail beag againn agus tòrr dàta a bhios sinn a’ tilgeil air a’ mhodail. Tha dàta ann an ML glè chudromach: faodaidh an aon mhodail air a thrèanadh air diofar dhàta toraidhean gu tur eadar-dhealaichte a nochdadh. Is e an duilgheadas a th’ ann gu bheil an dàta cha mhòr an-còmhnaidh air a sgapadh agus air a stòradh ann an diofar shiostaman (stòr-dàta dàimheach, stòran-dàta NoSQL, logaichean, faidhlichean).

Cùl-taic, ionnsachadh innealan agus gun fhrithealaiche - na rudan as inntinniche bho cho-labhairt an Iuchair HabrTionndadh dàta

Feumaidh ML dreach a dhèanamh chan ann a-mhàin air a’ chòd, mar ann an leasachadh clasaigeach, ach cuideachd an dàta: feumar tuigsinn gu soilleir cò leis a chaidh am modail a thrèanadh. Gus seo a dhèanamh, faodaidh tu an leabharlann mòr-chòrdte Data Science Version Control (dvc.org) a chleachdadh.

Cùl-taic, ionnsachadh innealan agus gun fhrithealaiche - na rudan as inntinniche bho cho-labhairt an Iuchair Habr
Comharrachadh dàta

Is e an ath ghnìomh bileagan dàta. Mar eisimpleir, comharraich a h-uile nì san dealbh no abair dè an clas dham buin e. Tha seo air a dhèanamh le seirbheisean sònraichte mar Yandex.Toloka, leis a bheil an obair air a dhèanamh nas sìmplidhe le làthaireachd API. Bidh duilgheadasan ag èirigh mar thoradh air an “factar daonna”: faodaidh tu càileachd an dàta adhartachadh agus mearachdan a lughdachadh cho ìosal le bhith a ’toirt an aon ghnìomh do ghrunn chleasaichean.

Cùl-taic, ionnsachadh innealan agus gun fhrithealaiche - na rudan as inntinniche bho cho-labhairt an Iuchair HabrSealladh ann am Bòrd Tensor

Tha feum air logadh dheuchainnean gus coimeas a dhèanamh eadar toraidhean agus tagh am modail as fheàrr stèidhichte air cuid de mheatairean. Tha seata mòr de dh’ innealan ann airson fradharc - mar eisimpleir, Tensor Board. Ach chan eil dòighean math ann airson deuchainnean a stòradh. Bidh companaidhean beaga gu tric a’ dèanamh ceangal ri cliath-dhuilleag Excel, agus bidh feadhainn mòra a’ cleachdadh àrd-ùrlaran sònraichte airson toraidhean a stòradh ann an stòr-dàta.

Cùl-taic, ionnsachadh innealan agus gun fhrithealaiche - na rudan as inntinniche bho cho-labhairt an Iuchair HabrTha mòran àrd-ùrlaran ann airson ionnsachadh innealan, ach chan eil gin dhiubh a’ còmhdach 70% de na feumalachdan

Tha a’ chiad dhuilgheadas a dh’ fheumas a bhith mu choinneamh nuair a chuireas tu modal trèanaidh ann an cinneasachadh co-cheangailte ris an inneal as fheàrr le luchd-saidheans dàta - Jupyter Notebook. Chan eil modularity ann, is e sin, is e an toradh a leithid de “aodach-coise” de chòd nach eil air a roinn ann am pìosan loidsigeach - modalan. Tha a h-uile dad measgaichte: clasaichean, gnìomhan, rèiteachaidhean, msaa. Tha an còd seo duilich a dhreach agus a dhearbhadh.

Ciamar dèiligeadh ri seo? Faodaidh tu thu fhèin a dhreuchd a leigeil dheth, mar Netflix, agus an àrd-ùrlar agad fhèin a chruthachadh a leigeas leat na coimpiutairean-glùine sin a chuir air bhog gu dìreach ann an cinneasachadh, dàta a ghluasad thuca mar chur-a-steach agus toraidhean fhaighinn. Faodaidh tu toirt air an luchd-leasachaidh a tha a’ roiligeadh a’ mhodail gu cinneasachadh an còd ath-sgrìobhadh gu h-àbhaisteach, a bhriseadh ann am modalan. Ach leis an dòigh-obrach seo tha e furasta mearachd a dhèanamh, agus chan obraich am modail mar a bha dùil. Mar sin, is e an roghainn as fheàrr casg a chuir air cleachdadh Jupyter Notebook airson còd modail. Ma tha, gu dearbh, an luchd-saidheans dàta ag aontachadh ri seo.

Cùl-taic, ionnsachadh innealan agus gun fhrithealaiche - na rudan as inntinniche bho cho-labhairt an Iuchair HabrModail mar bhogsa dubh

Is e an dòigh as fhasa modal a thoirt a-steach gu cinneasachadh a chleachdadh mar bhogsa dubh. Tha seòrsa de chlas modail agad, chaidh cuideaman a’ mhodail a thoirt dhut (paramadairean neurons an lìonra trèanaidh), agus ma thòisicheas tu a ’chlas seo (cuir fios chun dòigh ro-innse, thoir dealbh dha), gheibh thu dealbh sònraichte. ro-innse mar thoradh. Chan eil diofar dè thachras a-staigh.

Cùl-taic, ionnsachadh innealan agus gun fhrithealaiche - na rudan as inntinniche bho cho-labhairt an Iuchair Habr
Pròiseas frithealaiche air leth le modail

Faodaidh tu cuideachd pròiseas sònraichte sònraichte a thogail agus a chuir tro ciudha RPC (le dealbhan no dàta tùsail eile. Aig an toradh gheibh sinn ro-innse.

Eisimpleir de bhith a’ cleachdadh modail ann am Flask:

@app.route("/predict", methods=["POST"])
def predict():
image = flask.request.files["image"].read()
image = preprocess_image(image)
predictions = model.predict(image)
return jsonify_prediction(predictions)

Is e an duilgheadas leis an dòigh-obrach seo cuingealachadh coileanaidh. Canaidh sinn gu bheil còd Phyton againn air a sgrìobhadh le luchd-saidheans dàta a tha slaodach, agus tha sinn airson an coileanadh as àirde a chuir a-mach. Gus seo a dhèanamh, faodaidh tu innealan a chleachdadh a thionndaidheas an còd gu dùthchasach no a thionndadh gu frèam eile a tha sònraichte airson cinneasachadh. Tha innealan mar sin ann airson a h-uile frèam, ach chan eil feadhainn air leth math ann; feumaidh tu iad fhèin a chuir ris.

Tha am bun-structar ann an ML an aon rud ri cùl-taic àbhaisteach. Tha Docker agus Kubernetes ann, dìreach airson Docker feumaidh tu ùine ruith a chuir a-steach bho NVIDIA, a leigeas le pròiseasan taobh a-staigh an t-soithich faighinn gu cairtean bhidio san òstair. Feumaidh Kubernetes plugan gus an urrainn dha frithealaichean a riaghladh le cairtean bhidio.

Cùl-taic, ionnsachadh innealan agus gun fhrithealaiche - na rudan as inntinniche bho cho-labhairt an Iuchair Habr

Eu-coltach ri prògramadh clasaigeach, ann an cùis ML tha mòran eileamaidean gluasadach anns a 'bhun-structair a dh' fheumar a sgrùdadh agus a dhearbhadh - mar eisimpleir, còd giollachd dàta, loidhne-phìoban trèanaidh modail agus riochdachadh (faic an dealbh gu h-àrd). Tha e cudromach deuchainn a dhèanamh air a 'chòd a tha a' ceangal diofar phìosan pìoban: tha mòran pìosan ann, agus bidh duilgheadasan gu math tric ag èirigh aig crìochan mhodalan.

Cùl-taic, ionnsachadh innealan agus gun fhrithealaiche - na rudan as inntinniche bho cho-labhairt an Iuchair Habr
Mar a tha AutoML ag obair

Tha seirbheisean AutoML a’ gealltainn am modail as fheàrr a thaghadh airson na h-adhbharan agad agus a thrèanadh. Ach feumaidh tu tuigsinn: tha dàta glè chudromach ann an ML, tha an toradh an urra ri ullachadh. Tha Markup air a dhèanamh le daoine, a tha làn mhearachdan. Às aonais smachd teann, is dòcha gur e sgudal a th ’anns an toradh, agus chan eil e comasach fhathast am pròiseas a dhèanamh fèin-ghluasadach; tha feum air dearbhadh le eòlaichean - luchd-saidheans dàta. Seo far a bheil AutoML a 'briseadh sìos. Ach faodaidh e a bhith feumail airson ailtireachd a thaghadh - nuair a tha thu air an dàta ullachadh mu thràth agus gu bheil thu airson sreath de dheuchainnean a ruith gus am modail as fheàrr a lorg.

Mar a gheibh thu a-steach gu ionnsachadh inneal

Is e an dòigh as fhasa faighinn a-steach do ML ma leasaicheas tu ann am Python, a tha air a chleachdadh anns a h-uile frèam ionnsachaidh domhainn (agus frèaman cunbhalach). Tha an cànan seo gu ìre mhòr riatanach airson an raon gnìomhachd seo. Tha C ++ air a chleachdadh airson cuid de ghnìomhan lèirsinn coimpiutair, mar eisimpleir, ann an siostaman smachd airson càraichean fèin-dràibhidh. JavaScript agus Shell - airson fradharc agus rudan neònach mar ruith neuron sa bhrobhsair. Bithear a’ cleachdadh Java agus Scala nuair a bhios iad ag obair le Big Data agus airson ionnsachadh innealan. Tha gaol aig R agus Julia le daoine a bhios a’ sgrùdadh staitistig matamataigeach.

Is e Kaggle an dòigh as freagarraiche airson eòlas practaigeach fhaighinn an toiseach; bidh com-pàirteachadh ann an aon de cho-fharpaisean an àrd-ùrlair a’ toirt seachad còrr air bliadhna de bhith a’ sgrùdadh teòiridh. Air an àrd-ùrlar seo faodaidh tu còd postachd agus beachd cuideigin eile a ghabhail agus feuchainn ri a leasachadh, a mheudachadh airson na h-adhbharan agad. Bònas - bidh an ìre Kaggle agad a’ toirt buaidh air do thuarastal.

Is e roghainn eile a dhol còmhla ris an sgioba ML mar leasaiche backend. Tha mòran de ghnìomhachasan tòiseachaidh ionnsachadh innealan ann far am faigh thu eòlas le bhith a’ cuideachadh do cho-obraichean gus na duilgheadasan aca fhuasgladh. Mu dheireadh, faodaidh tu a dhol còmhla ri aon de na coimhearsnachdan luchd-saidheans dàta - Open Data Science (ods.ai) agus feadhainn eile.

Chuir an neach-labhairt fiosrachadh a bharrachd mun chuspair aig a’ cheangal https://bit.ly/backend-to-ml

"Quadrupel" - seirbheis de fiosan cuimsichte air portal "Seirbheisean Stàite"

Cùl-taic, ionnsachadh innealan agus gun fhrithealaiche - na rudan as inntinniche bho cho-labhairt an Iuchair HabrEvgeny Smirnov

B 'e an ath neach-labhairt ceannard roinn leasachadh bun-structair e-riaghaltais, Evgeny Smirnov, a bhruidhinn mu dheidhinn Quadruple. Is e seo seirbheis fios cuimsichte airson portal Gosuslugi (gosuslugi.ru), an goireas riaghaltais as motha a thadhail air an Runet. Is e an luchd-èisteachd làitheil 2,6 millean, gu h-iomlan tha 90 millean neach-cleachdaidh clàraichte air an làrach, agus tha 60 millean dhiubh sin air an dearbhadh. Is e an luchd air an portal API 30 mìle RPS.

Cùl-taic, ionnsachadh innealan agus gun fhrithealaiche - na rudan as inntinniche bho cho-labhairt an Iuchair HabrTeicneòlasan air an cleachdadh ann an cùl-raon Seirbheisean Stàite

Is e seirbheis fios cuimsichte a th 'ann an "Quadrupel", le cuideachadh a gheibh an neach-cleachdaidh tairgse airson seirbheis aig an àm as freagarraiche dha le bhith a' stèidheachadh riaghailtean fios sònraichte. B’ e na prìomh riatanasan nuair a bhathar a’ leasachadh na seirbheis suidheachaidhean sùbailte agus ùine iomchaidh airson puist-d.

Ciamar a tha Quadrupel ag obair?

Cùl-taic, ionnsachadh innealan agus gun fhrithealaiche - na rudan as inntinniche bho cho-labhairt an Iuchair Habr

Tha an dealbh gu h-àrd a’ sealltainn aon de na riaghailtean obrach aig a’ Quadrupel a’ cleachdadh an eisimpleir de shuidheachadh leis an fheum air cead draibhear a chuir na àite. An toiseach, bidh an t-seirbheis a’ coimhead airson luchd-cleachdaidh aig a bheil an ceann-latha crìochnachaidh a’ tighinn gu crìch ann am mìos. Thathas a’ sealltainn bratach dhaibh le tairgse an t-seirbheis iomchaidh fhaighinn agus thèid teachdaireachd a chuir air post-d. Dha an luchd-cleachdaidh sin aig a bheil an ceann-latha air tighinn gu crìch mu thràth, bidh am bratach agus am post-d ag atharrachadh. Às deidh iomlaid chòraichean soirbheachail, gheibh an neach-cleachdaidh fiosan eile - le moladh airson an dàta ùrachadh anns an dearbh-aithne.

Bho thaobh teignigeach, is iad sin sgriobtaichean groovy anns a bheil an còd sgrìobhte. Is e dàta a th’ anns an cuir a-steach, tha an toradh fìor / meallta, air a mhaidseadh / cha robh e a’ maidseadh. Tha barrachd air 50 riaghailtean gu h-iomlan - bho bhith a 'dearbhadh co-là-breith an neach-cleachdaidh (tha an ceann-latha làithreach co-ionnan ri ceann-latha breith an neach-cleachdaidh) gu suidheachaidhean iom-fhillte. Gach latha, bidh na riaghailtean sin a’ comharrachadh timcheall air millean geama - daoine a dh’ fheumas fios fhaighinn.

Cùl-taic, ionnsachadh innealan agus gun fhrithealaiche - na rudan as inntinniche bho cho-labhairt an Iuchair HabrSianalan fios quadrupel

Fo chochall Quadrupel tha stòr-dàta anns a bheil dàta luchd-cleachdaidh air a stòradh, agus trì tagraidhean: 

  • Neach-obrach ag amas air ùrachadh dàta.
  • Rest API a’ togail agus a’ lìbhrigeadh nam brataichean iad fhèin chun portal agus aplacaid gluasadach.
  • Prògramadair a’ cur air bhog obair air ath-àireamhachadh brataichean no mòr-phostan.

Cùl-taic, ionnsachadh innealan agus gun fhrithealaiche - na rudan as inntinniche bho cho-labhairt an Iuchair Habr

Gus dàta ùrachadh, tha an backend air a stiùireadh le tachartas. Dà eadar-aghaidh - fois no JMS. Tha tòrr thachartasan ann; mus tèid a shàbhaladh agus a ghiullachd, tha iad air an cruinneachadh gus nach dèan iad iarrtasan neo-riatanach. Tha an stòr-dàta fhèin, an clàr anns a bheil an dàta air a stòradh, a’ coimhead coltach ri prìomh stòr luach - iuchair an neach-cleachdaidh agus an luach fhèin: brataichean a’ nochdadh làthaireachd no neo-làthaireachd de sgrìobhainnean buntainneach, an ùine dligheachd, staitistig iomlan air òrdugh nan seirbheisean le an neach-cleachdaidh seo, agus mar sin air adhart.

Cùl-taic, ionnsachadh innealan agus gun fhrithealaiche - na rudan as inntinniche bho cho-labhairt an Iuchair Habr

Às deidh an dàta a shàbhaladh, tha gnìomh air a shuidheachadh ann an JMS gus am bi na brataichean air an ath-àireamhachadh sa bhad - feumaidh seo a bhith air a thaisbeanadh sa bhad air an lìon. Bidh an siostam a’ tòiseachadh air an oidhche: thèid gnìomhan a thilgeil a-steach do JMS aig amannan luchd-cleachdaidh, a rèir am feumar na riaghailtean ath-àireamhachadh. Tha seo air a thogail leis na pròiseasairean a tha an sàs ann an ath-àireamhachadh. An uairsin, bidh na toraidhean giollachd a’ dol chun ath ciudha, a shàbhaileas na brataichean san stòr-dàta no a chuireas gnìomhan fios luchd-cleachdaidh chun t-seirbheis. Bidh am pròiseas a 'toirt 5-7 uairean, tha e furasta a scalable air sgàth' s gum faod thu daonnan a bhith a 'cur innealan-làimhe no a' togail chùisean le luchd-làimhseachaidh ùr.

Cùl-taic, ionnsachadh innealan agus gun fhrithealaiche - na rudan as inntinniche bho cho-labhairt an Iuchair Habr

Tha an t-seirbheis ag obair gu math. Ach tha meud an dàta a’ fàs leis gu bheil barrachd luchd-cleachdaidh ann. Bidh seo a’ leantainn gu àrdachadh san luchd air an stòr-dàta - eadhon a’ toirt fa-near gu bheil an Rest API a’ coimhead air a’ mhac-samhail. Is e an dàrna puing JMS, a tha, mar a thionndaidh e a-mach, nach eil gu math freagarrach air sgàth a chaitheamh cuimhne àrd. Tha cunnart mòr ann gum bi ciudha a’ cur thairis a’ toirt air JMS tuiteam agus gun stad an giullachd. Tha e do-dhèanta JMS a thogail às deidh seo gun na logaichean a ghlanadh.

Cùl-taic, ionnsachadh innealan agus gun fhrithealaiche - na rudan as inntinniche bho cho-labhairt an Iuchair Habr

Thathas an dùil na duilgheadasan fhuasgladh le bhith a’ cleachdadh sharding, a leigeas leis an luchd air an stòr-dàta a chothromachadh. Tha planaichean ann cuideachd an sgeama stòraidh dàta atharrachadh, agus JMS atharrachadh gu Kafka - fuasgladh nas fulangaiche ri lochdan a bheir fuasgladh air duilgheadasan cuimhne.

Backend-as-a-Seirbheis Vs. Gun fhrithealaiche

Cùl-taic, ionnsachadh innealan agus gun fhrithealaiche - na rudan as inntinniche bho cho-labhairt an Iuchair Habr
Bho chlì gu deas: Alasdair Borgart, Andrey Tomilenko, Nikolay Markov, Ara Israelyan

Cùl-taic mar sheirbheis no fuasgladh gun fhrithealaiche? B’ iad na com-pàirtichean anns an deasbad mun chùis chudromach seo aig a’ bhòrd chruinn:

  • Ara Israelyan, CTO CTO agus a stèidhich Scorocode.
  • Nikolay Markov, Àrd Innleadair Dàta aig Buidheann Rannsachaidh Co-thaobhadh.
  • Andrey Tomilenko, ceannard roinn leasachaidh RUVDS. 

Chaidh an còmhradh a mhodaladh leis an àrd leasaiche Alexander Borgart. Bidh sinn a’ taisbeanadh nan deasbadan anns an do ghabh an luchd-èisteachd pàirt ann an dreach goirid.

— Ciod e do thuigse a th' ann an Serverless?

Андрей: Is e modail coimpiutaireachd a tha seo - gnìomh Lambda a dh'fheumas dàta a phròiseasadh gus am bi an toradh an urra ris an dàta a-mhàin. Thàinig an teirm an dàrna cuid bho Google no bho Amazon agus an t-seirbheis AWS Lambda aige. Tha e nas fhasa do sholaraiche a leithid de ghnìomh a làimhseachadh le bhith a’ riarachadh amar de chomas air a shon. Faodar cunntas a thoirt air diofar luchd-cleachdaidh gu neo-eisimeileach air na h-aon luchd-frithealaidh.
Nikolai: Gus a chuir gu sìmplidh, tha sinn a’ gluasad cuid de ar bun-structar IT agus loidsig gnìomhachais chun sgòth, gu bhith a’ toirt a-mach às.
Ara: Air taobh luchd-leasachaidh - deagh oidhirp air goireasan a shàbhaladh, air a 'phàirt de luchd-margaidh - gus barrachd airgid a chosnadh.

- A bheil Serverless an aon rud ri microservices?

Nikolai: Chan e, tha Serverless nas motha de bhuidheann ailtireachd. Tha microservice na aonad atamach de chuid de loidsig. Is e dòigh-obrach a th’ ann an Serverless, chan e “eintiteas air leth.”
Ara: Faodar gnìomh gun fhrithealaiche a phacaigeadh a-steach do mhicro-sheirbheis, ach cha bhith seo tuilleadh gun Fhrithealaiche, sguir e a bhith na ghnìomh Lambda. Ann an Serverless, chan eil gnìomh a’ tòiseachadh ag obair ach aig a’ mhionaid a thèid iarraidh.
Андрей: Tha iad eadar-dhealaichte 'n am beatha. Chuir sinn gnìomh Lambda air bhog agus dhìochuimhnich sinn e. Dh'obraich e airson diog no dhà, agus faodaidh an ath neach-dèiligidh an t-iarrtas aige a phròiseasadh air inneal corporra eile.

- Dè na lannan as fheàrr?

Ara: Nuair a bhios iad a’ sgèileadh gu còmhnard, bidh gnìomhan Lambda gan giùlan fhèin dìreach mar a tha microservices.
Nikolai: Ge bith dè an àireamh de mhac-samhail a shuidhich thu, bidh na h-uimhir dhiubh ann; Chan eil duilgheadas aig Serverless le sgèileadh. Rinn mi mac-samhail de sheata ann an Kubernetes, chuir mi air bhog 20 suidheachadh “an àiteigin”, agus chaidh 20 ceangal gun urra a thilleadh thugad. Air adhart!

- A bheil e comasach backend a sgrìobhadh air Serverless?

Андрей: Gu teòiridheach, ach chan eil e a’ dèanamh ciall. Bidh gnìomhan Lambda an urra ri aon stòr - feumaidh sinn dèanamh cinnteach à gealltanas. Mar eisimpleir, ma tha neach-cleachdaidh air gnothach sònraichte a dhèanamh, an ath thuras a chuireas e fios thuige bu chòir dha faicinn: chaidh an gnothach a dhèanamh, chaidh creideas a thoirt don airgead. Cuiridh a h-uile gnìomh Lambda bacadh air a’ ghairm seo. Gu dearbh, tionndaidhidh dòrlach de ghnìomhan Serverless gu bhith na aon sheirbheis le aon àite inntrigidh cnap-starra don stòr-dàta.

- Dè na suidheachaidhean anns a bheil e ciallach ailtireachd gun fhrithealaiche a chleachdadh?

Андрей: Gnìomhan nach eil feum air stòradh co-roinnte - an aon mèinneadh, blockchain. Far am feum thu tòrr cunntais a dhèanamh. Ma tha tòrr cumhachd coimpiutaireachd agad, faodaidh tu gnìomh a mhìneachadh mar “obraich a-mach hash rudeigin an sin…” Ach faodaidh tu fuasgladh fhaighinn air an duilgheadas le stòradh dàta le bhith a’ gabhail, mar eisimpleir, gnìomhan Lambda bho Amazon agus an stòradh sgaoilte aca. . Agus tha e a 'tionndadh a-mach gu bheil thu a' sgrìobhadh seirbheis cunbhalach. Gheibh gnìomhan Lambda cothrom air an stòradh agus bheir iad seachad seòrsa de fhreagairt don neach-cleachdaidh.
Nikolai: Tha soithichean a tha a 'ruith ann an Serverless gu math cuingealaichte ann an goireasan. Chan eil ach glè bheag de chuimhne agus a h-uile càil eile. Ach ma tha am bun-structar agad gu lèir air a chleachdadh gu tur air cuid de sgòth - Google, Amazon - agus gu bheil cùmhnant maireannach agad leotha, tha buidseat ann airson seo uile, an uairsin airson cuid de ghnìomhan faodaidh tu soithichean Serverless a chleachdadh. Feumar a bhith taobh a-staigh a’ bhun-structair seo, oir tha a h-uile dad air a dhealbhadh airson a chleachdadh ann an àrainneachd shònraichte. Is e sin, ma tha thu deiseil airson a h-uile càil a cheangal ri bun-structar na sgòthan, faodaidh tu feuchainn. Is e a’ bhuannachd nach fheum thu am bun-structar seo a riaghladh.
Ara: Tha an fhìrinn nach eil Serverless ag iarraidh ort a bhith a’ riaghladh Kubernetes, Docker, stàladh Kafka, agus mar sin air adhart fèin-mhealladh. Tha an aon Amazon agus Google a 'stàladh seo. Is e rud eile gu bheil SLA agad. Is dòcha gu bheil thu cuideachd air a h-uile càil a chuir a-mach an àite a bhith ga chòdadh leat fhèin.
Андрей: Tha Serverless fhèin saor, ach feumaidh tu tòrr a phàigheadh ​​​​airson seirbheisean Amazon eile - mar eisimpleir, an stòr-dàta. Tha daoine air agairt a dhèanamh orra mar-thà leis gun do chuir iad cosgais mhòr air airgead airson geata API.
Ara: Ma tha sinn a 'bruidhinn mu dheidhinn airgead, feumaidh tu aire a thoirt don phuing seo: feumaidh tu an dòigh-obrach leasachaidh gu lèir a thionndadh anns a' chompanaidh 180 ceum gus an còd gu lèir a ghluasad gu Serverless. Bheir seo tòrr ùine agus airgead.

- A bheil roghainnean eile ann seach Serverless pàighte bho Amazon agus Google?

Nikolai: Ann an Kubernetes, bidh thu a 'cur air bhog seòrsa de dh' obair, bidh e a 'ruith agus a' bàsachadh - tha seo gu math Serverless bho thaobh ailtireachd. Ma tha thu airson loidsig gnìomhachais fìor inntinneach a chruthachadh le ciudha agus stòran-dàta, feumaidh tu smaoineachadh beagan a bharrachd mu dheidhinn. Faodar seo uile fhuasgladh gun Kubernetes fhàgail. Cha bhithinn a’ cur dragh orm buileachadh a bharrachd a tharraing a-mach.

- Dè cho cudromach sa tha e sùil a chumail air na tha a’ tachairt ann an Serverless?

Ara: An urra ri ailtireachd siostam agus riatanasan gnìomhachais. Gu bunaiteach, feumaidh an solaraiche aithris a thoirt seachad a chuidicheas sgioba devops gus duilgheadasan a dh’ fhaodadh a bhith ann a thuigsinn.
Nikolai: Tha CloudWatch aig Amazon, far a bheil na logaichean uile air an sruthadh, a 'gabhail a-steach an fheadhainn bho Lambda. Amalaich logaichean air adhart agus cleachd inneal air leth airson coimhead, rabhadh, agus mar sin air adhart. Faodaidh tu riochdairean a lìonadh a-steach do na soithichean a thòisicheas tu.

Cùl-taic, ionnsachadh innealan agus gun fhrithealaiche - na rudan as inntinniche bho cho-labhairt an Iuchair Habr

- Bheir sinn geàrr-chunntas air.

Андрей: Tha e feumail smaoineachadh air gnìomhan Lambda. Ma chruthaicheas tu seirbheis leat fhèin - chan e meanbh-sheirbheis, ach fear a sgrìobhas iarrtas, a gheibh cothrom air an stòr-dàta agus a chuireas freagairt - bidh gnìomh Lambda a’ fuasgladh grunn dhuilgheadasan: le ioma-snàthainn, scalability, agus mar sin air adhart. Ma thèid an loidsig agad a thogail san dòigh seo, san àm ri teachd bidh e comasach dhut na Lambdas sin a ghluasad gu microservices no seirbheisean treas-phàrtaidh leithid Amazon a chleachdadh. Tha an teicneòlas feumail, tha am beachd inntinneach. Tha cho reusanta sa tha e airson gnìomhachas fhathast na cheist fhosgailte.
Nikolay: Tha Serverless air a chleachdadh nas fheàrr airson gnìomhan obrachaidh na airson beagan loidsig gnìomhachais obrachadh a-mach. Bidh mi an-còmhnaidh a’ smaoineachadh air mar ghiollachd tachartais. Ma tha e agad ann an Amazon, ma tha thu ann an Kubernetes, tha. Rud eile, feumaidh tu tòrr oidhirp a chuir a-steach gus Serverless a chuir an gnìomh leat fhèin. Tha e riatanach coimhead air cùis gnìomhachais sònraichte. Mar eisimpleir, is e aon de na gnìomhan agam a-nis: nuair a nochdas faidhlichean air diosc ann an cruth sònraichte, feumaidh mi an luchdachadh suas gu Kafka. Is urrainn dhomh WatchDog no Lambda a chleachdadh. Bho shealladh loidsigeach, tha an dà roghainn freagarrach, ach a thaobh buileachadh, tha Serverless nas iom-fhillte, agus is fheàrr leam an dòigh as sìmplidh, às aonais Lambda.
Ara: Tha Serverless na bheachd inntinneach, iomchaidh, agus gu math breagha gu teicnigeach. Nas luaithe no nas fhaide air adhart, ruigidh teicneòlas an ìre far an tèid gnìomh sam bith a chuir air bhog ann an nas lugha na 100 milliseconds. An uairsin, ann am prionnsabal, cha bhi ceist sam bith ann a bheil an ùine feitheimh deatamach don neach-cleachdaidh. Aig an aon àm, tha iomchaidheachd Serverless, mar a thuirt co-obraichean mar-thà, gu tur an urra ris an duilgheadas gnìomhachais.

Tha sinn a’ toirt taing don luchd-urrais againn a chuidich sinn gu mòr:

  • Àite co-labhairt IT «Earrach» airson làrach na co-labhairt.
  • Mìosachan de thachartasan IT ID Runet agus foillseachadh"Eadar-lìon ann an àireamhan» airson taic fiosrachaidh agus naidheachdan.
  • «Acronis"airson tiodhlacan.
  • Avito airson co-chruthachadh.
  • "Comann airson Conaltradh Dealanach" RAEC airson com-pàirt agus eòlas.
  • Prìomh neach-taic RUVDS - dha na h-uile!

Cùl-taic, ionnsachadh innealan agus gun fhrithealaiche - na rudan as inntinniche bho cho-labhairt an Iuchair Habr

Source: www.habr.com