O le vaega lona lua lea o se faasologa o tala e uiga i faiga suʻesuʻe ().
I aso nei, e leai se masalosalo o le faʻaogaina saʻo o faʻamaumauga ma le faʻamatalaina o taunuʻuga e mafai ona fesoasoani toetoe o soʻo se ituaiga pisinisi. I lenei tulaga, o loʻo faʻateleina faiga suʻesuʻe ma sili atu ona faʻapipiʻiina i tapulaʻa, o loʻo faʻatupulaia le numera o faʻalavelave ma tagata faʻaoga i totonu o talosaga.
Ona o lea mea, o loʻo tuʻuina atu e kamupani a latou au suʻesuʻe le tele ma le tele o faʻamatalaga "mata" e suʻesuʻe ma liliu i filifiliga saʻo. Ole taua ole faiga ole au'ili'ili mo se kamupani e le tatau ona manatu faatauvaa, ma ole faiga lava ia e tatau ona fa'atuatuaina ma tumau.
Tagata su'esu'e
O su'esu'ega a le aufaipisinisi o se 'au'aunaga e fa'afeso'ota'i e se kamupani mo lana 'upega tafa'ilagi po'o le fa'aoga e ala i le SDK aloa'ia, tu'ufa'atasia i totonu o lana lava codebase, ma filifili fa'aoso mea. O lenei faiga o lo'o i ai se fa'aletonu manino: o fa'amaumauga uma na aoina e le mafai ona fa'atinoina atoatoa e pei ona e mana'o ai, ona o tapula'a o so'o se auaunaga filifilia. Mo se faʻataʻitaʻiga, i luga o le tasi faiga o le a le faigofie le faʻatinoina o galuega a MapReduce, i luga o le isi e le mafai ona e faʻatinoina lau faʻataʻitaʻiga. O le isi fa'aletonu o se pili masani (matagofie) mo auaunaga.
E tele faʻamatalaga auʻiliʻili a tagata faʻatau i luga o le maketi, ae i se taimi mulimuli ane, o loʻo feagai le au suʻesuʻe ma le mea moni e leai se tasi auʻaunaga lautele e talafeagai mo soʻo se galuega (aʻo faʻatupulaia pea tau mo nei auaunaga uma). I se tulaga faapena, e masani ona filifili kamupani e fatuina a latou lava auʻiliʻili faiga faʻatasi ai ma tulaga faʻapitoa uma ma foliga.
Tagata su'esu'e a le 'au'aunaga
O au'ili'iliga o le itu-aumau ose auaunaga e mafai ona fa'atino i totonu i luga o 'au'aunaga a se kamupani ma (masani) i totonu o le fale. I lenei faʻataʻitaʻiga, o mea uma a tagata faʻaoga e teuina i luga o 'auʻaunaga i totonu, faʻatagaina tagata atiae e faʻataʻitaʻi faʻamaumauga eseese mo le teuina ma filifili le fausaga sili ona talafeagai. Ma e tusa lava pe e te manaʻo pea e faʻaogaina auʻiliʻiliga a le au faipisinisi lona tolu mo nisi o galuega, e mafai lava.
E mafai ona fa'atinoina au'ili'iliga i itu e lua. Muamua: filifili nisi o punaoa tatala punaoa, faʻapipiʻi i luga o au masini ma atiaʻe faʻamatalaga pisinisi.
Плюсы
Igoa
E mafai ona e fa'avasega so'o se mea
E masani lava e faigata tele ma e manaʻomia ni atinaʻe eseese
Lua: ave auaunaga SaaS (Amazon, Google, Azure) nai lo le faʻapipiʻiina oe lava. O le a matou talanoa atili e uiga i SaaS i le vaega lona tolu.
Плюсы
Igoa
E mafai ona taugofie i luga ole volumes, ae faʻatasi ai ma se faʻaopoopoga tele o le a taugata tele
E le mafai ona fa'atonutonu uma fa'amaufa'ailoga
O le pulega o lo'o fa'asolo atoa i tauau o le 'au'aunaga
E le o iloa i taimi uma mea o loʻo i totonu o le tautua (atonu e le manaʻomia)
Faʻafefea ona aoina auʻiliʻiliga a le server
Afai tatou te mananaʻo e alu ese mai le faʻaogaina o auʻiliʻiliga a le au faipisinisi ma fausia a tatou lava mea, muamua lava e tatau ona tatou mafaufau i le fausaga o le faiga fou. I lalo o le a ou taʻu atu ia te oe i lea laasaga ma lea laasaga mea e tatau ona e mafaufau i ai, pe aisea e manaʻomia ai laasaga taʻitasi ma mea faigaluega e mafai ona e faʻaogaina.
1. Mauaina o fa'amaumauga
E pei lava o le tulaga o auʻiliʻiliga a tagata faʻatau, muamua lava, e filifilia e le au suʻega a le kamupani ituaiga o mea na tutupu latou te manaʻo e suʻesuʻe atili ma aoina i latou i se lisi. E masani lava, o nei mea tutupu e tutupu i se faasologa patino, lea e taʻua o le "mea e tupu".
E le gata i lea, seʻi o tatou mafaufau o se telefoni feaveaʻi (upega tafaʻilagi) e masani ona faʻaogaina (mea faigaluega) ma le tele o sapalai. Ina ia faʻafeiloaʻi ma le saogalemu mea na tutupu mai masini i 'auʻaunaga, e manaʻomia se vaeluagalemu. Fa'alagolago i le fausaga, e mafai ona tupu ni fa'asologa eseese.
- o lea lava , lea e faʻaaogaina e fai ma laina mo le aoina o mea tutupu.
E tusa ai i le 2014, na filifili ai le na faia Apache Kafka e faaigoa le polokalame ia Franz Kafka ona "o se faiga e sili ona lelei tusitusi" ma ona sa ia fiafia i tusitusiga a Kafka. —
I la matou faʻataʻitaʻiga, o loʻo i ai le tele o faʻamaumauga faʻamaumauga ma a latou tagata faʻatau (mea faigaluega ma sapalai), ma e fesoasoani Kafka e faʻafesoʻotaʻi i latou i le tasi ma le isi. O tagata fa'atau o le a fa'amatala auiliili atili i isi laasaga, lea o le a avea ai i latou ma tagata autu. O lenei o le a tatou iloiloina na o faʻamaumauga (mea tutupu).
Kafka faʻapipiʻiina manatu o le faʻasologa ma le vaeluaga, aemaise lava e uiga i lenei mea e sili atu le faitau i se isi mea (mo se faʻataʻitaʻiga, i totonu ). A aunoa ma le alu i faʻamatalaga, seʻi o tatou mafaufau o se telefoni feaveaʻi ua faʻalauiloaina mo faiga faʻaoga eseese e lua. Ona fa'atupuina lea e fa'asologa ta'itasi a latou lava fa'asologa o mea tutupu. E auina atu e le au gaosi mea na tutupu i Kafka, o loʻo faʻamauina i se laina talafeagai.
(ata )
I le taimi lava e tasi, Kafka faʻatagaina oe e faitau i pusi ma faʻagasolo le tafe o mea tutupu i ni vaega laiti. O le Kafka o se meafaigaluega faigofie tele e fua lelei i manaʻoga faʻatupulaia (mo se faʻataʻitaʻiga, e ala i le geolocation o mea tutupu).
E masani lava ona lava le tasi fasi, ae o mea e sili atu ona faigata i fesoʻotaʻiga pe a faʻasolo (pei o taimi uma). Masalo e leai se tasi e manaʻo e faʻaaoga naʻo le tasi le paʻu faaletino i le gaosiga, talu ai o le fausaga e tatau ona faʻafeiloaʻi masei. I le faaopoopo atu ia Kafka, o loʻo i ai se isi fofo lauiloa - RabbitMQ. Matou te leʻi faʻaaogaina i le gaosiga o se laina mo auʻiliʻiliga o mea na tutupu (afai e iai sou poto masani, taʻu mai ia i matou i faʻamatalaga!). Ae ui i lea, na faʻaaogaina AWS Kinesis.
Aʻo leʻi agai i luma i le isi laasaga, e manaʻomia le taʻua o se isi vaega faaopoopo o le faiga - o le teuina o ogalaau mata. E le ose fa'atonuga lea, ae o le a aoga pe a iai se mea e faaletonu ma toe fa'asolo le laina o mea na tupu i Kafka. O le teuina o ogalaau mata e le manaʻomia se fofo faigata ma taugata, e mafai ona e tusia i se mea i le faʻatonuga saʻo (e oʻo lava i se kesi malo).
2. Fa'afoega o fa'asologa o mea e tutupu
A maeʻa ona matou saunia mea uma na tutupu ma tuʻu i latou i laina talafeagai, matou te agai atu i le laasaga o le gaioiga. O iinei o le a ou talanoa ai e uiga i filifiliga sili ona taatele e lua.
O le filifiliga muamua o le faʻatagaina Spark Streaming i luga o se polokalama Apache. O oloa uma a Apache e ola i luga ole HDFS, o se faiga faila faila faʻamautu. Spark Streaming ose meafaigaluega faigofie e fa'aogaina e fa'agasolo lelei ai fa'amaumauga ma fua fa'atatau. Ae ui i lea, e mafai ona faigata ona tausia.
O le isi filifiliga o le fausia lea o lau oe mea e fai. Ina ia faia lenei mea, mo se faʻataʻitaʻiga, e tatau ona e tusia se Python application, fausia i le docker, ma lesitala i laina a Kafka. A oʻo mai faʻaoso i tagata faʻatau i le docker, o le a amata le gaioiga. Faatasi ai ma lenei metotia, e tatau ona e faʻaauau pea le faʻaogaina o talosaga.
Sei o tatou manatu ua tatou filifilia se tasi o filifiliga o loʻo faʻamatalaina i luga ma agai i luma i le gaioiga lava ia. E tatau ona amata le faagasologa i le siakiina o le saʻo o faʻamaumauga, faʻamama ese lapisi ma mea e "gausia". Mo le faʻamaonia e masani ona matou faʻaaogaina . A maeʻa lena, e mafai ona faia faʻafanua faʻamaumauga: faʻamaumauga mai punaoa eseese e masani ma faʻasalalau ina ia faʻaopoopo i se laulau masani.
3. Fa'amaumauga
O le laasaga lona tolu o le faʻasaoina o mea masani. Pe a galulue ma se faiga suʻesuʻe ua saunia, e masani ona tatou maua i latou, o lea e taua ai le filifilia o se faʻamaumauga talafeagai.
Afai e fetaui lelei faʻamaumauga i luga o se faʻatulagaga tumau, e mafai ona e filifili po'o se isi koluma fa'amaumauga. O lea la o agregations o le a galue vave. O le pito i lalo o le polokalame e faʻamautu ma o le mea lea e le aoga le faʻaopoopoina o mea faʻapitoa e aunoa ma le faʻaleleia (mo se faʻataʻitaʻiga, pe a tupu se mea e le masani ai). Ae e mafai ona fai vave.
Mo faʻamatalaga e leʻi faʻatulagaina, e mafai ona e ave le NoSQL, mo se faʻataʻitaʻiga, . E tamo'e i luga o le HDFS, toe fa'afoliga lelei, e mafai ona e fa'atupuina le tele o tulaga, ma e fa'apalepale masei.
E mafai ona e si'itia se mea faigofie, mo se fa'ata'ita'iga, . E fai si telegese e oo lava i tusi laiti. Ae o le faʻaopoopoga o le faigofie tele ma o lea e talafeagai mo le amataina.
4. Fa'apotopotoga
I le faʻasaoina ma le faʻaeteete mea uma na tutupu, matou te mananaʻo e aoina uma faʻamatalaga taua mai le vaega na oʻo mai ma faʻafouina le database. I le lalolagi atoa, matou te mananaʻo i dashboards talafeagai ma metrics. Mo se faʻataʻitaʻiga, mai mea na tutupu e aoina ai se faʻamatalaga tagata faʻaoga ma fuaina amioga. O mea na tutupu e fa'apotopoto, aoina, ma toe fa'asaoina (ua i ai i laulau fa'aoga). I le taimi lava e tasi, e mafai ona fausia se faiga i se auala e fesoʻotaʻi ai foi se faamama i le faʻamaopoopo faʻamaopoopo: e aoina tagata faʻaoga naʻo se ituaiga o mea na tutupu.
A maeʻa lena, afai e manaʻomia e se tasi i le 'au naʻo faʻasalalauga maualuga, e mafai ona e faʻafesoʻotaʻi faiga faʻapitoa i fafo. E mafai ona e toe ave Mixpanel. ae talu ai e fai si taugata, e le o mea uma e faʻaaogaina e auina atu iina, ae naʻo mea e manaʻomia. Ina ia faia lenei mea, tatou te manaʻomia le faʻatupuina o se faʻamaopoopo e faʻafeiloaʻi nisi o mea faʻapitoa poʻo se mea na tatou faʻapipiʻiina muamua i faiga i fafo, API poʻo faʻasalalauga faʻasalalauga.
5. Luma
E tatau ona e faʻafesoʻotaʻi le pito i luma i le faiga na faia. O se faataitaiga lelei o le auauna atu. , o se GUI faʻamaumauga e fesoasoani i le fausiaina o paneli. Auala e galue ai le fegalegaleaiga:
- E faia e le tagata fa'aoga se fesili SQL.
- I le tali atu, na ia maua ai se faailoga.
- Fausia se 'va'aiga fou' mo ia ma maua se kalafi matagofie e mafai ona e fa'asaoina oe lava.
O faʻaaliga i totonu o le 'auʻaunaga o loʻo faʻafouina faʻafou, e mafai ona e faʻatulagaina ma siaki lau mataʻituina. Redash e leai se totogi, i le tulaga o le tagata lava ia talimalo, ae pei o SaaS o le a tau $50 i le masina.
iʻuga
A maeʻa uma laasaga o loʻo i luga, o le ae faia lau auʻiliʻiliga o le itu-server. Faamolemole ia matau e le faigofie lenei mea e pei o le faʻafesoʻotaʻi auʻiliʻiliga o tagata faʻatau, aua o mea uma e manaʻomia ona faʻatulagaina e oe lava. O le mea lea, aʻo leʻi faia lau lava faiga, e aoga le faʻatusatusaina o le manaʻoga mo se faʻataʻitaʻiga faʻapitoa ma punaoa ua e sauni e tuʻuina atu i ai.
Afai na e faia uma le numera ma iloa ai o tau e maualuga tele, i le isi vaega o le a ou talanoa e uiga i le auala e faia ai se faʻatauga taugofie o faʻamatalaga pito i tua.
Faafetai mo le faitau! O le a ou fiafia i fesili i faʻamatalaga.
puna: www.habr.com