mahinungdanon nga pagpagawas sa usa ka gipang-apod-apod nga sistema sa pagproseso sa panghitabo , bantogan tungod sa pagbalhin niini ngadto sa bag-ong arkitektura nga gipatuman sa Java, imbes sa gigamit kaniadto nga Clojure nga pinulongan.
Gitugotan ka sa proyekto nga maorganisar ang garantiya nga pagproseso sa lainlaing mga panghitabo sa tinuud nga oras. Pananglitan, ang Storm mahimong magamit sa pag-analisar sa mga stream sa datos sa tinuud nga oras, pagpadagan sa mga buluhaton sa pagkat-on sa makina, pag-organisar sa padayon nga pag-compute, pagpatuman sa RPC, ETL, ug uban pa. Ang sistema nagsuporta sa clustering, paghimo sa fault-tolerant configurations, garantisadong data processing mode ug adunay taas nga performance, igo sa pagproseso sa labaw sa usa ka milyon nga mga hangyo kada segundo sa usa ka cluster node.
Ang panagsama sa lainlaing mga sistema sa pagproseso sa pila ug mga teknolohiya sa database gisuportahan. Ang arkitektura sa Bagyo naglangkit sa pagdawat ug pagproseso nga wala’y istruktura, kanunay nga gi-update nga mga sapa sa datos gamit ang mga arbitraryo nga komplikado nga mga processor nga adunay katakus sa pagbahin tali sa lainlaing mga yugto sa mga kalkulasyon. Gitugyan ang proyekto sa komunidad sa Apache human nakuha sa Twitter ang BackType, ang kompanya nga orihinal nga nagpalambo sa balangkas. Sa praktis, gigamit ang Storm sa BackType aron analisahon ang pagpamalandong sa mga panghitabo sa mga microblog, pinaagi sa pagtandi sa mga bag-ong tweet ug ang mga link nga gigamit niini (pananglitan, gisusi kung giunsa ang mga eksternal nga link o mga anunsyo nga gipatik sa Twitter gi-rebroadcast sa ubang mga partisipante. ).
Ang pag-andar sa Storm gitandi sa Hadoop nga plataporma, nga ang hinungdan nga kalainan mao nga ang datos wala gitipigan sa usa ka bodega, apan gikaon sa gawas ug giproseso sa tinuud nga oras. Ang Storm walay built-in nga storage layer ug ang analytical query nagsugod sa pag-apply sa umaabot nga data hangtud nga kini kanselahon (samtang ang Hadoop naggamit sa finite-time nga MapReduce nga mga trabaho, ang Storm naggamit sa ideya sa padayon nga pagpadagan sa "topologies"). Ang pagpatuman sa mga handler mahimong ipang-apod-apod sa daghang mga server - Ang Storm awtomatik nga nag-parallelize sa trabaho sa mga thread sa lain-laing mga cluster node.
Ang sistema orihinal nga gisulat sa Clojure ug midagan sulod sa JVM virtual machine. Ang Apache Foundation naglunsad og usa ka inisyatiba sa pagbalhin sa Storm ngadto sa usa ka bag-ong kernel nga gisulat sa Java, ang mga resulta niini gisugyot sa pagpagawas sa Apache Storm 2.0. Ang tanan nga sukaranan nga mga sangkap sa plataporma gisulat pag-usab sa Java. Ang suporta alang sa mga tigdumala sa pagsulat sa Clojure gipabilin, apan karon gitanyag sa porma sa mga pagbugkos. Ang Storm 2.0.0 nagkinahanglan sa Java 8. Ang multi-threaded processing model hingpit nga gidesinyo pag-usab, nga nagtugot usa ka mamatikdan nga pagtaas sa pasundayag (alang sa pipila nga mga topologies, ang mga paglangan gipakunhod sa 50-80%).
Ang bag-ong bersyon nagtanyag usab usa ka bag-ong gi-type nga Streams API nga nagtugot kanimo sa paghubit sa mga tigdumala gamit ang mga operasyon nga istilo sa pagprograma. Ang bag-ong API gipatuman sa ibabaw sa standard base API ug nagsuporta sa awtomatikong paghiusa sa mga operasyon aron ma-optimize ang ilang pagproseso. Ang Windowing API alang sa mga operasyon sa bintana nagdugang suporta alang sa pagtipig ug pagpasig-uli sa estado sa backend.
Suporta alang sa pagkonsiderar sa dugang nga mga kapanguhaan kung maghimo mga desisyon nga dili limitado sa
CPU ug memorya, sama sa mga setting sa network ug GPU. Daghang mga pag-uswag ang nahimo aron masiguro ang panagsama sa plataporma . Ang sistema sa pagkontrol sa pag-access gipalapdan aron maapil ang abilidad sa paghimo sa mga grupo sa tagdumala ug pagdelegar sa mga token. Gidugang nga mga pag-uswag nga may kalabutan sa suporta sa SQL ug metrics. Ang bag-ong mga sugo nagpakita sa administrator interface alang sa pag-debug sa cluster state.
Mga dapit sa aplikasyon alang sa Bagyo:
- Pagproseso sa mga sapa sa bag-ong datos o pag-update sa database sa tinuud nga oras;
- Padayon nga Pag-compute: Ang bagyo makadagan sa padayon nga mga pangutana ug magproseso sa padayon nga mga sapa, nga maghatud sa mga resulta sa pagproseso ngadto sa kliyente sa tinuod nga panahon.
- Giapod-apod nga Remote Procedure Call (RPC): Ang Bagyo mahimong magamit aron mahatagan ang parehas nga pagpatuman sa mga pangutana nga kusog sa kapanguhaan. Ang trabaho (“topology”) sa Storm kay usa ka function nga gipang-apod-apod sa mga node nga naghulat sa mga mensahe nga moabot nga kinahanglang iproseso. Human makadawat og mensahe, giproseso kini sa function sa lokal nga konteksto ug ibalik ang resulta. Usa ka pananglitan sa paggamit sa giapod-apod nga RPC mao ang pagproseso sa mga pangutana sa pagpangita nga managsama o paghimo sa mga operasyon sa usa ka dako nga set sa mga set.
Mga Feature sa Bagyo:
- Usa ka yano nga modelo sa pagprograma nga labi nga nagpayano sa pagproseso sa datos sa tinuud nga oras;
- Suporta alang sa bisan unsang programming language. Ang mga module magamit alang sa Java, Ruby ug Python, ang pagpahiangay alang sa ubang mga sinultian dali salamat sa usa ka yano nga protocol sa komunikasyon nga nanginahanglan mga 100 nga linya sa code aron suportahan;
- Ang pagtugot sa sayup: aron makadagan ang usa ka trabaho sa pagproseso sa datos, kinahanglan nimo nga maghimo usa ka file sa banga nga adunay code. Ang Storm independente nga mag-apod-apod sa kini nga jar file sa mga cluster node, magkonektar sa mga tigdumala nga kauban niini, ug mag-organisar sa pagmonitor. Kung makompleto ang trabaho, ang code awtomatiko nga ma-disable sa tanan nga mga node;
- Horizontal scalability. Ang tanan nga mga kalkulasyon gihimo sa parallel mode, samtang ang pagtaas sa load igo na nga ikonektar ang bag-ong mga node sa cluster;
- Kasaligan. Gisiguro ni Storm nga ang matag umaabot nga mensahe hingpit nga maproseso bisan kausa. Ang mensahe iproseso kausa lamang kung walay mga kasaypanan sa pag-agi sa tanan nga mga tigdumala; kung adunay mga problema, nan ang dili malampuson nga mga pagsulay sa pagproseso masubli.
- Bilis. Ang kodigo ni Storm kay gisulat nga adunay taas nga performance sa hunahuna ug naggamit sa sistema para sa paspas nga asynchronous nga pagmemensahe .
Source: opennet.ru