Apache Storm 2.0 tufatufaina faiga komepiuta avanoa

Na vaai i le malamalama fa'amatu'u taua o se faiga fa'asoa fa'agaioiga Apache Storm 2.0, iloga mo lona suiga i se fausaga fou na faʻatinoina i Java, nai lo le gagana Clojure na faʻaaogaina muamua.

O le poloketi e mafai ai e oe ona faʻatulagaina faʻamautinoaga o gaioiga eseese i le taimi moni. Mo se faʻataʻitaʻiga, e mafai ona faʻaogaina le Storm e faʻavasega ai faʻamaumauga i le taimi moni, faʻatautaia galuega aʻoaʻoga masini, faʻatulagaina faʻaauau komipiuta, faʻatino RPC, ETL, ma isi. O lo'o lagolagoina e le faiga le fa'aputuina, fa'atupuina o fa'atonuga fa'aletonu, fa'amautinoa le faiga o fa'amaumauga ma e maualuga le fa'atinoga, e lava e fa'agasolo ai le silia ma le miliona talosaga i le sekone i luga o le tasi node fuifui.

O lo'o lagolagoina le tu'ufa'atasia ma faiga fa'agaoioiga fa'asologa eseese ma tekonolosi fa'amaumauga. O le fausaga o Storm e aofia ai le mauaina ma le faʻaogaina o faʻamaumauga e leʻi faʻatulagaina, faʻafouina pea lava pea le faʻaogaina o masini faʻalavelave faʻapitoa ma le mafai ona vaelua i le va o laʻasaga eseese o faʻatusatusaga. O le poloketi na tuʻuina atu i le Apache community ina ua maua e Twitter le BackType, le kamupani na amataina le faʻavae. I le faʻatinoga, sa faʻaaogaina Storm i BackType e iloilo ai le ata o mea na tutupu i microblogs, e ala i le faʻatusatusa i luga o le lele o tweets fou ma fesoʻotaʻiga o loʻo faʻaogaina i totonu (mo se faʻataʻitaʻiga, sa iloiloina pe faʻafefea ona toe faʻasalalau sootaga i fafo poʻo faʻasalalauga i luga o Twitter e isi tagata auai. ).

O galuega a Storm e faʻatusatusa i le Hadoop platform, ma le eseesega autu o faʻamaumauga e le o teuina i totonu o se faleteuoloa, ae o loʻo faʻaogaina i fafo ma faʻatautaia i le taimi moni. O le Storm e leai se mea e teu ai ma e amata ona faʻaogaina le suʻega suʻesuʻe i faʻamatalaga o loʻo oʻo mai seʻia oʻo ina faʻaleaogaina (aʻo faʻaaogaina e Hadoop galuega MapReduce taimi, e faʻaaoga e Storm le manatu o le faʻaauau pea o "topologies"). E mafai ona tufatufaina atu le fa'atinoina o fa'au'uga i le tele o 'au'aunaga - E otometi lava ona fa'atusa e Storm le galuega ma filo i nodes eseese.

O le faiga na tusia muamua i Clojure ma tamoʻe i totonu ole masini komepiuta JVM. O le Apache Foundation ua faʻalauiloa se fuafuaga e faʻafeiloaʻi Storm i se fatu fou na tusia i Java, o taunuuga o ia mea o loʻo faʻatulagaina i le tatalaina o Apache Storm 2.0. O vaega autu uma o le faʻavae ua toe tusia i Java. Lagolago mo le au tusitusi i Clojure ua taofia, ae ua ofoina atu nei i le tulaga o fusi. Storm 2.0.0 e manaʻomia le Java 8. O le faʻataʻitaʻiga faʻasolosolo faʻasolosolo ua uma ona toe faʻatulagaina, faʻatagaina ausia o se faʻaopoopoga faʻaalia i le faʻatinoga (mo nisi topologies, faʻatuai na faʻaititia e 50-80%).

Apache Storm 2.0 tufatufaina faiga komepiuta avanoa

O lo'o ofoina mai fo'i e le lomiga fou se ta'i fou o Streams API e fa'ataga ai oe e fa'amatala tagata e fa'aaogaina le fa'aogaina o faiga fa'apolokalame. O le API fou o loʻo faʻatinoina i luga o le API faʻavae masani ma lagolagoina le tuʻufaʻatasia otometi o gaioiga e faʻamalieina ai a latou gaioiga. O le Windowing API mo faʻamalama faʻaogaina ua faʻaopoopoina le lagolago mo le faʻasaoina ma le toe faʻaleleia o le setete i tua.

Lagolago mo le amanaia o punaoa faaopoopo pe a faia faaiuga e le gata i
PPU ma manatua, e pei o fesoʻotaʻiga ma faʻatulagaga GPU. O se numera tele o faʻaleleia ua faia e faʻamautinoa ai le tuʻufaʻatasia ma le faʻavae Kafka. Ua faʻalauteleina le faʻaogaina o le faʻaogaina o le faʻaogaina e aofia ai le mafai ona fatuina vaega faʻatonu ma tuʻuina atu faʻailoga. Faʻaopoopo faʻaleleia e fesoʻotaʻi ma SQL ma metrics lagolago. O tulafono fou ua fa'aalia i totonu o le fa'atonuga fa'atonu mo le fa'avasegaina o le tulaga fa'afuifu.

Vaega o talosaga mo Storm:

  • Fa'agasolo fa'asologa o fa'amaumauga fou po'o fa'amaumauga fa'amaumauga i le taimi moni;
  • Fa'asologa Fa'aauau: E mafai e Afā ona fa'aauau fesili ma fa'agasolo fa'agasolo, tu'u atu fa'ai'uga i le kalani ile taimi tonu.
  • Fa'asoa Fa'atonu Fa'atonu Va'aiga (RPC): E mafai ona fa'aogaina le Afā e tu'uina atu ai le fa'atinoina tutusa o fa'amatalaga e fa'atatau i puna'oa. O se galuega ("topology") i Storm o se galuega e tufatufaina i nodes e faʻatali mo feʻau e oʻo mai e manaʻomia ona faʻagasolo. A mae'a ona maua se fe'au, e fa'agasolo e le galuega i le fa'alapotopotoga fa'apitonu'u ma toe fa'afo'i mai ai le taunu'uga. O se fa'ata'ita'iga o le fa'aogaina o le RPC fa'asoa o le fa'agasolo lea o fesili su'esu'e pe fa'atino galuega i se seti tele o seti.

Fa'ailoga Afa:

  • O se faʻataʻitaʻiga faʻataʻitaʻiga faigofie e faʻafaigofie tele le faʻagaioiina o faʻamaumauga o taimi moni;
  • Lagolago mo so'o se gagana polokalame. O loʻo avanoa mo Java, Ruby ma Python, fetuutuunai mo isi gagana e faigofie ona faʻafetai i se fesoʻotaʻiga faigofie tele e manaʻomia ai le 100 laina o le code e lagolago ai;
  • Fa'apalepale fa'aletonu: e fa'atino ai se galuega fa'asalalau fa'amaumauga, e mana'omia le fa'atupuina o se faila fagu ma le code. O le a tu'ufa'atasia e Storm le faila fagu lea i luga o nodes fuifui, fa'afeso'ota'i i latou e fa'atatau i ai, ma fa'atulaga le mata'ituina. A maeʻa le galuega, o le a otometi le faʻaogaina o le code i nodes uma;
  • Fa'asa'o fa'asaga. O faʻatusatusaga uma e faia i le tulaga tutusa, aʻo faʻateleina le uta, e lava naʻo le faʻafesoʻotaʻi o nodes fou i le fuifui;
  • Fa'atuatuaina. Ua fa'amautinoa e Storm o fe'au uma e o'o mai o lo'o fa'agasolo atoatoa ia le itiiti ifo ma le tasi. O le fe'au o le a fa'agasolo tasi pe a leai ni mea sese pe a pasia uma aufaipisinisi; afai e tula'i mai fa'afitauli, ona toe faia lea o taumafaiga le manuia.
  • Saosaoa. O le code a Storm ua tusia ma le maualuga o le faatinoga i le mafaufau ma faʻaogaina le faiga mo feʻau faʻavavevave ZeroMQ.

puna: opennet.ru

Faaopoopo i ai se faamatalaga