scaoileadh suntasach córas próiseála imeachta dáilte , suntasach as a aistriú chuig ailtireacht nua a cuireadh i bhfeidhm i Java, in ionad na teanga Clojure a úsáideadh roimhe seo.
Ceadaíonn an tionscadal duit próiseáil ráthaithe ar imeachtaí éagsúla a eagrú i bhfíor-am. Mar shampla, is féidir Storm a úsáid chun sruthanna sonraí a anailísiú i bhfíor-am, tascanna meaisínfhoghlama a reáchtáil, ríomhaireacht leanúnach a eagrú, RPC, ETL, etc. Tacaíonn an córas le braisliú, cruthú cumraíochtaí locht-fhulangacha, modh próiseála sonraí ráthaithe agus tá ardfheidhmíocht aige, atá leordhóthanach chun níos mó ná milliún iarratas in aghaidh an tsoicind a phróiseáil ar nód braisle amháin.
Tacaítear le comhtháthú le córais phróiseála scuaine éagsúla agus le teicneolaíochtaí bunachar sonraí. Is éard atá i gceist le hailtireacht na Stoirme ná sruthanna sonraí neamhstruchtúrtha, nuashonraithe de shíor a fháil agus a phróiseáil ag baint úsáide as próiseálaithe casta treallach atá in ann deighilt a dhéanamh idir céimeanna éagsúla ríomhaireachtaí. Tugadh an tionscadal ar láimh do phobal Apache tar éis do Twitter BackType a fháil, an chuideachta a d'fhorbair an creat ar dtús. Go praiticiúil, baineadh úsáid as Storm in BackType chun anailís a dhéanamh ar mhachnamh na n-imeachtaí i micreabhloganna, trí chomparáid a dhéanamh ar na tvuíteanna nua ar eitilt agus na naisc a úsáidtear iontu (mar shampla, rinneadh measúnú ar conas a rinne rannpháirtithe eile naisc sheachtracha nó fógraí a foilsíodh ar Twitter a athchraoladh. ).
Cuirtear feidhmiúlacht Storm i gcomparáid le hardán Hadoop, agus is é an príomh-difríocht ná nach stóráiltear na sonraí i stóras, ach go ndéantar iad a ionghabháil go seachtrach agus a phróiseáil i bhfíor-am. Níl ciseal stórála ionsuite ag Storm agus tosaítear ar an bhfiosrúchán anailíse a chur i bhfeidhm ar shonraí a thagann isteach go dtí go gcuirtear ar ceal é (cé go n-úsáideann Hadoop jabanna MapReduce le teorainn ama, úsáideann Storm an smaoineamh "topologies" a rith go leanúnach). Is féidir forghníomhú na láimhseálaithe a dháileadh ar roinnt freastalaithe - déanann Storm obair comhthreomhar go huathoibríoch le snáitheanna ar nóid bhraisle éagsúla.
Scríobhadh an córas ar dtús in Clojure agus ritheann sé taobh istigh den mheaisín fíorúil JVM. Tá tionscnamh seolta ag Fondúireacht Apache chun Storm a aistriú chuig eithne nua scríofa i Java, a bhfuil na torthaí molta i scaoileadh Apache Storm 2.0. Athscríobhtar comhpháirteanna bunúsacha uile an ardáin i Java. Coinníodh an tacaíocht do láimhseálaithe scríbhneoireachta in Clojure, ach tairgtear é anois i bhfoirm ceangail. Éilíonn Storm 2.0.0 Java 8. Tá an tsamhail phróiseála il-snáithithe athdhearadh go hiomlán, rud a ligeann méadú suntasach ar fheidhmíocht (i gcás roinnt topologies, laghdaíodh moill de 50-80%).
Tugann an leagan nua freisin API Clóscríofa Sruthanna nua a ligeann duit láimhseálaithe a shainiú ag baint úsáide as oibríochtaí feidhmiúla ar stíl ríomhchlárú. Cuirtear an API nua i bhfeidhm ar bharr an API bonn caighdeánach agus tacaíonn sé le cumasc uathoibríoch oibríochtaí chun a bpróiseáil a bharrfheabhsú. Chuir an Windowing API le haghaidh oibríochtaí fuinneoige tacaíocht breise le staid a shábháil agus a athchóiriú san inneall.
Tacaíocht chun acmhainní breise a chur san áireamh agus cinntí á ndéanamh nach bhfuil teoranta dóibh
LAP agus cuimhne, amhail socruithe líonra agus GPU. Tá líon mór feabhsuithe déanta chun comhtháthú leis an ardán a chinntiú . Leathnaíodh an córas rialaithe rochtana chun an cumas grúpaí riarthóirí a chruthú agus comharthaí toscairí a chur san áireamh. Feabhsuithe breise a bhaineann le tacaíocht SQL agus méadrachta. Tá orduithe nua le feiceáil sa chomhéadan riarthóra chun staid an bhraisle a dhífhabhtú.
Réimsí iarratais le haghaidh Storm:
- Sreafaí sonraí nua nó nuashonruithe bunachar sonraí a phróiseáil i bhfíor-am;
- Ríomhaireacht Leanúnach: Is féidir le Storm fiosrúcháin leanúnacha a reáchtáil agus sruthanna leanúnacha a phróiseáil, ag seachadadh torthaí próiseála don chliant i bhfíor-am.
- Glao um Nós Imeachta Cianda Dáilte (RPC): Is féidir Storm a úsáid chun fiosrúcháin atá dian ar acmhainní a chur i gcrích go comhthreomhar. Is feidhm é post (“topology”) i Storm a dháiltear thar nóid a fhanann go dtiocfaidh teachtaireachtaí nach mór a phróiseáil. Tar éis teachtaireacht a fháil, déanann an fheidhm í a phróiseáil sa chomhthéacs áitiúil agus cuireann sé an toradh ar ais. Sampla d’úsáid RPC dáilte is ea ceisteanna cuardaigh a phróiseáil go comhthreomhar nó oibríochtaí a dhéanamh ar shraith mhór tacair.
Gnéithe Stoirm:
- Samhail ríomhchláraithe shimplí a shimplíonn go mór próiseáil sonraí fíor-ama;
- Tacaíocht d'aon teangacha ríomhchlárúcháin. Tá modúil ar fáil le haghaidh Java, Ruby agus Python, tá oiriúnú do theangacha eile éasca a bhuíochas le prótacal cumarsáide an-simplí a éilíonn thart ar 100 líne de chód chun tacú leis;
- Caoinfhulaingt locht: chun post próiseála sonraí a reáchtáil, ní mór duit comhad jar a ghiniúint le cód. Déanfaidh Storm an comhad próca seo a dháileadh go neamhspleách ar fud na nóid bhraisle, nascfaidh sé na láimhseálaithe a bhaineann leis, agus eagróidh sé monatóireacht. Nuair a bheidh an post críochnaithe, díchumasófar an cód go huathoibríoch ar gach nód;
- Inscalability cothrománach. Déantar na ríomhanna go léir i mód comhthreomhar; de réir mar a mhéadaíonn an t-ualach, is leor nóid nua a nascadh leis an mbraisle;
- Iontaofacht. Cinntíonn Storm go ndéantar gach teachtaireacht a thagann isteach a phróiseáil go hiomlán uair amháin ar a laghad. Ní phróiseálfar an teachtaireacht ach uair amháin mura bhfuil aon earráidí agus tú ag dul tríd na láimhseálaithe go léir; má thagann fadhbanna chun cinn, déanfar iarrachtaí próiseála nár éirigh leo arís.
- Luas. Scríobhtar cód Storm le hardfheidhmíocht i gcuimhne agus úsáideann sé an córas le haghaidh teachtaireachtaí mear asincrónacha .
Foinse: oscailtenet.ru