sgaoileadh susbainteach de shiostam giollachd tachartais sgaoilte , ainmeil airson a ghluasad gu ailtireachd ùr air a chuir an gnìomh ann an Java, an àite a’ chànan Clojure a chaidh a chleachdadh roimhe.
Leigidh am pròiseact leat giollachd cinnteach de dhiofar thachartasan a chuir air dòigh ann an àm fìor. Mar eisimpleir, faodar Storm a chleachdadh gus sruthan dàta a sgrùdadh ann an àm fìor, gnìomhan ionnsachaidh inneal a ruith, coimpiutaireachd leantainneach a chuir air dòigh, RPC, ETL, msaa a chuir an gnìomh. Tha an siostam a’ toirt taic do chruinneachadh, cruthachadh rèiteachaidhean fulangach air lochdan, modh giollachd dàta cinnteach agus tha àrd-choileanadh aige, gu leòr airson còrr air millean iarrtas gach diog a làimhseachadh air aon nód cnuasachaidh.
Thathas a’ toirt taic do aonachadh le diofar shiostaman giullachd ciudha agus teicneòlasan stòr-dàta. Tha ailtireachd Stoirm a’ toirt a-steach a bhith a’ faighinn agus a’ làimhseachadh sruthan dàta neo-structaraichte, air an ùrachadh gu cunbhalach a’ cleachdadh pròiseasairean iom-fhillte neo-riaghailteach le comas sgaradh eadar diofar ìrean de àireamhachadh. Chaidh am pròiseact a thoirt seachad do choimhearsnachd Apache às deidh dha Twitter BackType fhaighinn, a’ chompanaidh a leasaich am frèam bho thùs. Ann an cleachdadh, chaidh Storm a chleachdadh ann an BackType gus sgrùdadh a dhèanamh air faileas thachartasan ann am microblogs, le bhith a’ dèanamh coimeas eadar na tweets ùra itealaich agus na ceanglaichean a chaidh a chleachdadh annta (mar eisimpleir, chaidh measadh a dhèanamh air mar a chaidh ceanglaichean taobh a-muigh no sanasan a chaidh fhoillseachadh air Twitter ath-chraoladh le com-pàirtichean eile ).
Tha comas-gnìomh Storm air a choimeas ri àrd-ùrlar Hadoop, leis a’ phrìomh eadar-dhealachadh nach eil an dàta air a stòradh ann an taigh-bathair, ach gu bheil e air a shlaodadh a-muigh agus air a phròiseasadh ann an àm fìor. Chan eil còmhdach stòraidh togte aig Storm agus bidh a’ cheist anailis a’ tòiseachadh air a chuir an sàs ann an dàta a tha a’ tighinn a-steach gus an tèid a chuir dheth (fhad ‘s a bhios Hadoop a’ cleachdadh obraichean MapReduce le ùine chrìochnaichte, bidh Storm a’ cleachdadh a’ bheachd a bhith a’ ruith “topologies”) gu leantainneach. Faodar coileanadh luchd-làimhseachaidh a sgaoileadh thairis air grunn luchd-frithealaidh - bidh Storm gu fèin-ghluasadach a ’co-thaobhadh obair le snàithleanan air diofar nodan brabhsair.
Chaidh an siostam a sgrìobhadh an toiseach ann an Clojure agus tha e a’ ruith taobh a-staigh inneal brìgheil JVM. Tha an Apache Foundation air iomairt a chuir air bhog gus Storm a ghluasad gu kernel ùr sgrìobhte ann an Java, agus tha na toraidhean air am moladh ann an sgaoileadh Apache Storm 2.0. Tha a h-uile pàirt bunaiteach den àrd-ùrlar air ath-sgrìobhadh ann an Java. Tha taic airson làimhseachadh sgrìobhaidh ann an Clojure air a ghleidheadh, ach tha e a-nis ga thabhann ann an cruth ceanglachan. Tha feum aig Storm 2.0.0 air Java 8. Chaidh am modail giullachd ioma-snàthainn ath-dhealbhadh gu tur, a’ ceadachadh àrdachadh follaiseach ann an coileanadh (airson cuid de topologies, chaidh dàil a lùghdachadh 50-80%).
Tha an dreach ùr cuideachd a’ tabhann API Streams clò-bhuailte ùr a leigeas leat luchd-làimhseachaidh a mhìneachadh a’ cleachdadh gnìomhachd ann an stoidhle prògramadh gnìomh. Tha an API ùr air a chuir an gnìomh a bharrachd air an API bunaiteach àbhaisteach agus a’ toirt taic do aonachadh fèin-ghluasadach de ghnìomhachd gus an giullachd aca a mheudachadh. Tha an Windowing API airson obair uinneig air taic a chuir ris airson sàbhaladh agus ath-nuadhachadh staid san backend.
Taic airson a bhith a’ toirt aire do ghoireasan a bharrachd nuair a thathar a’ dèanamh cho-dhùnaidhean gun a bhith cuibhrichte gu
CPU agus cuimhne, leithid roghainnean lìonra agus GPU. Chaidh àireamh mhòr de leasachaidhean a dhèanamh gus dèanamh cinnteach à amalachadh leis an àrd-ùrlar . Chaidh an siostam smachd ruigsinneachd a leudachadh gus a bhith a’ toirt a-steach comas buidhnean rianadair a chruthachadh agus comharran tiomnachaidh. Leasachaidhean a bharrachd co-cheangailte ri taic SQL agus meatrach. Tha òrdughan ùra air nochdadh anns an eadar-aghaidh rianadair airson a bhith a’ dì-bhugachadh staid a’ chlàir.
Raointean tagraidh airson Storm:
- A’ giullachd sruthan de dhàta ùr no ùrachaidhean stòr-dàta ann an àm fìor;
- Coimpiutaireachd Leantainneach: Faodaidh stoirm ceistean leantainneach a ruith agus sruthan leantainneach a phròiseasadh, a’ lìbhrigeadh toraidhean giullachd don neach-dèiligidh ann an àm fìor.
- Call Modh-obrach Iomallach Sgaoilte (RPC): Faodar stoirm a chleachdadh gus ceistean a tha dian air goireasan a choileanadh co-shìnte. Tha obair (“ topology ”) ann an Storm na ghnìomh air a sgaoileadh thairis air nodan a tha a’ feitheamh ri teachdaireachdan a ruighinn a dh’ fheumas a bhith air an giullachd. Às deidh teachdaireachd fhaighinn, bidh an gnìomh ga phròiseasadh sa cho-theacsa ionadail agus a ’tilleadh an toradh. Is e eisimpleir de bhith a’ cleachdadh RPC sgaoilte a bhith a’ làimhseachadh cheistean sgrùdaidh aig an aon àm no a’ dèanamh obrachaidhean air seata mòr de sheataichean.
Feartan stoirme:
- Modail prògramadh sìmplidh a bhios gu mòr a’ sìmpleachadh giollachd dàta fìor-ùine;
- Taic airson cànan prògramadh sam bith. Tha modalan rim faighinn airson Java, Ruby agus Python, tha atharrachadh airson cànanan eile furasta le taing do phròtacal conaltraidh gu math sìmplidh a dh’ fheumas timcheall air 100 loidhne de chòd gus taic a thoirt;
- Fulangas sgàinidhean: gus obair giollachd dàta a ruith, feumaidh tu faidhle jar a ghineadh le còd. Bidh Storm gu neo-eisimeileach a’ sgaoileadh am faidhle jar seo thairis air na nodan brabhsair, a’ ceangal na h-innealan-làimhseachaidh co-cheangailte ris, agus a’ cumail sùil air dòigh. Nuair a bhios an obair deiseil, thèid an còd a chuir à comas gu fèin-ghluasadach air a h-uile nod;
- Scalability còmhnard. Bidh a h-uile àireamhachadh air a dhèanamh ann am modh co-shìnte; mar a bhios an luchd a ’dol am meud, tha e gu leòr dìreach nodan ùra a cheangal ris a’ bhuidheann;
- earbsachd. Bidh Storm a’ dèanamh cinnteach gu bheil a h-uile teachdaireachd a thig a-steach air a phròiseasadh gu h-iomlan co-dhiù aon turas. Thèid an teachdaireachd a phròiseasadh aon turas a-mhàin mura h-eil mearachdan ann nuair a thèid thu tro gach làimhseachadh; ma dh’ èiricheas duilgheadasan, thèid oidhirpean giullachd neo-shoirbheachail a-rithist.
- Luas. Tha còd Storm air a sgrìobhadh le inntinn àrd-choileanadh agus a’ cleachdadh an t-siostam airson teachdaireachdan luath asyncronach .
Source: fosgailtenet.ru