serbestberdana girîng a pergala pêvajoyê ya bûyera belavkirî , bi veguheztina xwe ya li mîmariya nû ya ku li Java-yê hatî bicîh kirin, li şûna zimanê Clojure yê berê hatî bikar anîn, girîng e.
Proje dihêle hûn di wextê rast de pêvajoyek garantîkirî ya bûyerên cihêreng organîze bikin. Mînakî, Storm dikare were bikar anîn da ku di demek rast de herikên daneyan analîz bike, peywirên fêrbûna makîneyê bimeşîne, hesabkirina domdar organîze bike, RPC, ETL, û hwd bicîh bîne. Pergal piştgirî dide kombûnê, afirandina mîhengên toleransê xelet, moda hilberandina daneyê ya garantîkirî û xwedan performansa bilind e, ku têr dike ku li ser yek girêkek komê zêdetirî mîlyon daxwazî di çirkeyê de bişopîne.
Yekbûn bi pergalên cûrbecûr pêvajoyên rêzê û teknolojiyên databasê re tê piştgirî kirin. Mîmariya Storm bi wergirtin û pêvajokirina herikên daneyê yên bêsazkirî, bi domdarî nûvekirî bi karanîna pêvajoyên tevlihev ên kêfî yên ku bi şiyana dabeşkirina di navbera qonaxên cûda yên hesaban de vedihewîne. Proje radestî civata Apache hate kirin piştî ku Twitter BackType, pargîdaniya ku di destpêkê de çarçove pêşvexist, bi dest xist. Di pratîkê de, Storm di BackType de hate bikar anîn da ku ronîkirina bûyeran di mîkroblogan de analîz bike, bi berhevkirina tweetên nû û girêdanên ku di wan de hatine bikar anîn (mînak, hate nirxandin ku girêdanên derveyî an daxuyaniyên ku li ser Twitterê hatine weşandin çawa ji hêla beşdarên din ve hatine weşandin. ).
Karbidestiya Storm bi platforma Hadoop re tê berhev kirin, bi cûdahiya sereke ev e ku dane ne li depoyek têne hilanîn, lê ji derve ve têne girtin û di wextê rast de têne kirin. Storm ne xwedan qatek hilanînek çêkirî ye û lêpirsîna analîtîk dest pê dike ku li ser daneya gihîştî were sepandin heya ku ew betal bibe (dema ku Hadoop karên MapReduce-a-dem-dawî bikar tîne, Storm ramana bi domdarî xebitandina "topolojiyên" bikar tîne). Bicîhkirina destanan dikare li ser çend serveran were belav kirin - Storm bixweber xebata bi têlên li ser girêkên cihêreng ên komê re paralel dike.
Pergal bi eslê xwe li Clojure hate nivîsandin û di hundurê makîneya virtual JVM de dimeşe. Weqfa Apache ji bo koçkirina Storm ber bi kernelek nû ya ku bi Java-yê hatî nivîsandin însiyatîfek da destpêkirin, ku encamên wê di berdana Apache Storm 2.0 de têne pêşniyar kirin. Hemî hêmanên bingehîn ên platformê di Java de ji nû ve têne nivîsandin. Piştgiriya ji bo handlerên nivîsandinê li Clojure hatîye parastin, lê naha di forma girêdanan de tê pêşkêş kirin. Storm 2.0.0 Java 8-ê hewce dike. Modela pêvajoyek pir-mijarî bi tevahî ji nû ve hatî sêwirandin, destûr dide zêdebûnek berbiçav a performansê (ji bo hin topolojiyên, dereng 50-80%) kêm bûn.
Guhertoya nû di heman demê de API-ya Streams a nû ya tîpkirî jî pêşkêşî dike ku destûrê dide te ku hûn bi karanîna operasyonên şêwaza bernamesaziya fonksiyonel vekêşan destnîşan bikin. API-ya nû li ser API-ya bingehîn a standard tête bicîh kirin û yekbûna otomatîkî ya operasyonan piştgirî dike da ku pêvajoya wan xweşbîn bike. API-ya Windowing ji bo operasyonên pencereyê piştgirî ji bo hilanîn û vegerandina dewletê li paşverûyê zêde kiriye.
Piştgiriya ji bo girtina çavkaniyên zêde dema ku biryaran ne sînordar e
CPU û bîranîn, wekî mîhengên torê û GPU. Ji bo misogerkirina entegrasyonê bi platformê re jimarek mezin çêtirkirin hatine çêkirin . Pergala kontrolkirina gihîştinê hate berfireh kirin da ku şiyana afirandina komên rêveber û delegekirina nîşanan bigire. Pêşveçûnên têkildarî piştgiriya SQL û metrîkan zêde kirin. Fermanên nû di navgîniya rêveberê de ji bo xeletkirina rewşa komê xuya bûne.
Herêmên serîlêdanê ji bo Storm:
- Pêvajoya herikên daneyên nû an nûvekirinên databasê di demek rast de;
- Hesabkirina Berdewam: Storm dikare lêpirsînên domdar bimeşîne û herikên domdar pêvajoyê bike, encamên pêvajoyê di wextê rast de ji xerîdar re radest bike.
- Banga Pêvajoya Dûr a Dabeşkirî (RPC): Storm dikare were bikar anîn da ku pêkanîna paralel a pirsên çavkaniyê-dijwar peyda bike. Karek ("topolojî") di Storm de fonksiyonek e ku li ser girêkan tê belav kirin ku li benda gihîştina peyamên ku divê bêne pêvajo kirin e. Piştî wergirtina peyamek, fonksiyon wê di çarçoveya herêmî de pêvajoyê dike û encamê vedigerîne. Nimûneyek karanîna RPC-ya belavkirî dê ev be ku meriv pirsên lêgerînê bi paralelî pêvajoyê bike an operasyonan li ser komek mezin a koman bike.
Taybetmendiyên Storm:
- Modelek bernamesaziyek hêsan a ku pêvajoyek daneya rast-ê pir hêsan dike;
- Piştgiriya her zimanên bernamekirinê. Ji bo Java, Ruby û Python modul hene, adaptasyona ji bo zimanên din ji ber protokolek danûstendinê ya pir hêsan, ku ji bo piştgirîkirinê bi qasî 100 rêzikên kodê hewce dike ne dijwar e;
- Tolerasyona xeletiyê: ji bo ku hûn karek hilberandina daneyê bimeşînin, hûn hewce ne ku pelek jar bi kodê çêbikin. Storm dê serbixwe vê pelê jar-ê li ser girêkên komê belav bike, hilgirên pê re têkildar bike, û çavdêriyê organîze bike. Dema ku kar qediya, kod dê bixweber li ser hemî girêkan were neçalak kirin;
- Mezinbûna Horizontal. Hemî hesab di moda paralel de têne kirin; her ku bar zêde dibe, bes e ku meriv bi tenê girêkên nû bi komê ve girê bide;
- Reliability. Storm piştrast dike ku her peyamek gihîştî bi kêmî ve carekê bi tevahî tête pêvajoyê kirin. Dê peyam tenê carekê were pêvajo kirin heke gava ku di hemî destweran re derbas bibe xeletî nebin; heke pirsgirêk derkevin, wê hingê dê hewildanên pêvajoyê yên neserkeftî dubare bibin.
- Zûbûnî. Koda Storm di hişê xwe de bi performansa bilind tê nivîsandin û pergalê ji bo şandina bilez a asynchronous bikar tîne .
Source: opennet.ru