Koinei te waahanga tuarua o te raupapa tuhinga mo nga punaha tātari ().
I tenei ra, kaore e kore ko te tukatuka tika o nga raraunga me te whakamaoritanga o nga hua ka taea te awhina i nga momo pakihi katoa. I runga i tenei kaupapa, kei te piki haere nga punaha tātaritanga ki nga tawhā, kei te piki haere te maha o nga keu me nga huihuinga kaiwhakamahi i roto i nga tono.
Na tenei, kei te nui ake nga korero "mata" o nga kamupene ki o raatau kaitirotiro ki te tātari me te huri hei whakatau tika. Ko te hiranga o te punaha wetewete mo te kamupene kaua e whakahawea, me te punaha ano kia pono, kia mau tonu.
Kaitātari kiritaki
Ko te tātari kiritaki he ratonga ka honoa e tetahi kamupene mo tana paetukutuku, tono ranei ma te SDK whaimana, ka whakauru ki roto i tana ake turanga waehere, ka kowhiria nga keu takahanga. He tino koretake tenei huarahi: ko nga raraunga kua kohia katoa kaore e taea te tuka katoa ki taau e hiahia ana, na te herenga o nga ratonga kua tohua. Hei tauira, i runga i tetahi punaha kaore e ngawari ki te whakahaere i nga mahi a MapReduce, ki tetahi atu kaore e taea e koe te whakahaere i to tauira. Ko tetahi atu kino ko te pire auau (whakamiharo) mo nga ratonga.
He maha nga otinga tātaritanga a te kiritaki i runga i te maakete, engari i muri tata mai, ka pa ki nga kaitätari te meka kaore he ratonga mo te ao katoa e tika ana mo tetahi mahi (i te wa e tipu haere tonu ana nga utu mo enei ratonga katoa). I roto i tenei ahuatanga, he maha nga wa ka whakatau nga kamupene ki te hanga i a raatau ake punaha tātari me nga whakaritenga ritenga me nga ahuatanga katoa.
Kaitātari Tūmau
Ko te tātari taha-tūmau he ratonga ka taea te tuku ki roto ki runga i nga kaitoro a te kamupene me (te tikanga) i roto i te whare. I roto i tenei tauira, ka penapena nga huihuinga kaiwhakamahi katoa ki runga i nga kaitoro o roto, ka taea e nga kaihanga te whakamatau i nga papaunga raraunga rereke mo te rokiroki me te whiriwhiri i te hoahoanga tino watea. A ahakoa kei te pirangi tonu koe ki te whakamahi i nga tātaritanga taha-kiritaki-tuatoru mo etahi mahi, ka taea tonu.
E rua nga huarahi ka taea te whakamahi i nga tātaritanga taha-tūmau. Tuatahi: whiriwhirihia etahi taputapu puna tuwhera, toha ki runga i o miihini me te whakawhanake i te arorau pakihi.
Плюсы
Минусы
Ka taea e koe te whakarite i tetahi mea
I te nuinga o te wa he tino uaua, ka hiahiatia nga kaihanga motuhake
Tuarua: tangohia nga ratonga SaaS (Amazon, Google, Azure) hei utu mo te tuku i a koe ano. Ka korero maatau mo te SaaS i roto i nga waahanga tuatoru.
Плюсы
Минусы
Ka iti ake te utu mo nga pukapuka reo, engari me te pikinga nui ka nui rawa te utu
Kaore e taea te whakahaere i nga tawhā katoa
Ka huri katoa te whakahaere ki nga pokohiwi o te kaiwhakarato ratonga
Kaore i te mohiotia i nga wa katoa he aha kei roto i te ratonga (kaore pea e hiahiatia)
Me pehea te kohikohi tātaritanga tūmau
Mena kei te pirangi tatou ki te mawehe atu i te whakamahi i nga tātaritanga a te kiritaki me te hanga i a tatou ake, tuatahi me whakaaro tatou ki te hoahoanga o te punaha hou. Kei raro iho ka korero ahau ki a koe i te taahiraa i te taahiraa e hiahia ana koe ki te whakaaro, he aha i hiahiatia ai ia taahiraa me nga taputapu ka taea e koe te whakamahi.
1. Raraunga Raraunga
Pērā i te take o te tātari kiritaki, tuatahi, ka tohua e nga kaitirotiro kamupene nga momo huihuinga e hiahia ana ratou ki te ako atu me te kohi i roto i te raarangi. I te nuinga o te waa, ka puta enei huihuinga i roto i tetahi raupapa, e kiia nei ko te "kaupapa kaupapa".
I tua atu, me whakaaro tatou ko te tono pūkoro (paetukutuku) he kaiwhakamahi auau (nga taputapu) me te maha o nga kaitoro. Hei whakawhiti haumaru i nga huihuinga mai i nga taputapu ki nga kaitoro, ka hiahiatia he paparanga takawaenga. I runga ano i te hoahoanga, he maha nga rarangi huihuinga ka puta.
Ko , ka whakamahia hei rarangi mo te kohikohi kaupapa.
E ai ki i roto i te 2014, i whakatau te kaihanga o Apache Kafka ki te whakaingoa i te raupaparorohiko i muri i a Franz Kafka na te mea "he punaha tuhi-pai" na te mea i aroha ia ki nga tuhinga a Kafka. —
I roto i to maatau tauira, he maha nga kaihanga raraunga me o raatau kaihoko (nga taputapu me nga kaitoro), a ka awhina a Kafka ki te hono atu ki a raatau. Ka tino whakamaaramahia nga kaihoko i nga waahanga e whai ake nei, ka noho ko ratou nga kaiwhakaari matua. Inaianei ka whakaarohia e matou nga kaihanga raraunga anake (nga kaupapa).
Ko te Kafka te whakamaarama i nga kaupapa o te rarangi me te wehewehe, he pai ake te panui ki etahi atu waahi (hei tauira, i ). Ki te kore e uru ki nga korero taipitopito, me whakaaro tatou kua whakarewahia he tono pūkoro mo nga punaha whakahaere rereke e rua. Na ka hangaia e ia putanga tana ake roma takahanga motuhake. Ka tukuna e nga kaihanga nga huihuinga ki Kafka, ka tuhia ki te rarangi e tika ana.
(pikitia )
I te wa ano, ka taea e Kafka te panui i nga waahanga me te tukatuka i te rere o nga huihuinga i roto i nga waahanga iti. Ko te Kafka he taputapu tino watea e pai ana te pauna ki nga hiahia tipu (hei tauira, ma te waahi o nga huihuinga).
I te nuinga o te wa ka nui te maramara kotahi, engari ka uaua ake nga mea ki te whakawhitiwhiti korero ina tauine ana (penei i nga wa katoa). Kare pea he tangata e hiahia ana ki te whakamahi i tetahi maramara tinana i roto i te mahi hanga, na te mea ko te hoahoanga me noho he. I tua atu ki a Kafka, tera ano tetahi otinga rongonui - RabbitMQ. Kaore i whakamahia e matou i roto i te whakaputanga hei rarangi mo te tātari kaupapa (mehemea kei a koe he wheako penei, korero mai ki a maatau i roto i nga korero!). Heoi, i whakamahia te AWS Kinesis.
I mua i te neke ki te waahanga e whai ake nei, me whakahua ano tetahi atu paparanga o te punaha - te rokiroki o nga rakau mata. Ehara tenei i te paparanga whakahau, engari ka whai hua mena ka he tetahi mea ka tau ano nga rarangi takahanga i Kafka ki te kore. Ko te penapena i nga raarangi mata kaore e hiahiatia he otinga uaua me te utu nui, ka taea e koe te tuhi noa ki tetahi waahi i roto i te raupapa tika (ara ki te puku pakeke).
2. Te whakahaere i nga rerenga huihuinga
I muri i to maatau whakarite i nga huihuinga katoa me te whakanoho ki nga rarangi e tika ana, ka neke atu ki te taahiraa tukatuka. I konei ka korero ahau mo nga whiringa tukatuka tino noa e rua.
Ko te whiringa tuatahi ko te whakaahei i te Spark Streaming i runga i te punaha Apache. Ko nga hua Apache katoa kei runga HDFS, he punaha konae tauira haumaru. Ko te Spark Streaming he taputapu ngawari ki te whakamahi e pai ana te whakahaere i nga raraunga rerenga me te pauna pai. Heoi, he uaua ki te pupuri.
Ko tetahi atu whiringa ko te hanga i to ake kaihautu huihuinga. Hei mahi i tenei, hei tauira, me tuhi koe i tetahi tono Python, hanga i roto i te docker, ka ohauru ki nga rarangi a Kafka. Ka tae mai nga kaikorero ki nga kaihautu i te docker, ka timata te tukatuka. Ma tenei tikanga, me whakahaere tonu koe i nga tono.
Me whakaaro kua whiriwhiria e matou tetahi o nga whiringa kua whakaahuahia i runga ake nei ka haere tonu ki te tukatuka ake. Me timata nga kai-tukatuka ma te tirotiro i te mana o nga raraunga, te tarai i nga parapara me nga kaupapa "pakaru". Mo te whakamana ka whakamahia e matou . I muri i tera, ka taea te mahi mapi raraunga: ko nga raraunga mai i nga punaa rereke ka whakatauritehia, ka whakatauritehia hei taapiri atu ki tetahi ripanga noa.
3. Pātengi Raraunga
Ko te mahi tuatoru ko te tiaki i nga kaupapa kua whakaritea. I te wa e mahi ana me tetahi punaha tātari kua rite, me uru tatou ki a raatau, na reira he mea nui ki te kowhiri i tetahi putunga korero pai.
Mēnā e pai ana ngā raraunga ki runga i te aronuinga pūmau, ka taea e koe te kōwhiri etahi atu papaa raraunga pourangi ranei. Na ka tino tere nga mahi whakahiato. Ko te mea kino ko te kaupapa kua tino pumau, na reira e kore e pai ki te taapiri i nga mea noa me te kore whakamahine (hei tauira, ka puta he huihuinga kore-paerewa). Engari ka taea te mahi tere.
Mo nga raraunga kaore i hangaia, ka taea e koe te tango i te NoSQL, hei tauira, . Ka rere i runga i te HDFS, he pai te whakahoki, ka taea e koe te whakaara ake i te maha o nga waa, a he he.
Ka taea e koe te whakaara i tetahi mea ngawari ake, hei tauira, . He tino puhoi ahakoa mo nga pukapuka iti. Engari ko te taapiri he tino ngawari, na reira e tika ana mo te tiimata.
4. Huihuinga
I te ata tiaki i nga huihuinga katoa, e hiahia ana matou ki te kohikohi i nga korero nui katoa mai i te puranga i tae mai me te whakahou i te paataka raraunga. I te ao katoa, e hiahia ana matou ki nga papatohu me nga inenga e tika ana. Hei tauira, mai i nga huihuinga ki te kohikohi i tetahi tohu kaiwhakamahi me te ine i te whanonga. Ka whakahiatohia, ka kohia, ka tiakina ano (kei roto i nga ripanga kaiwhakamahi). I te wa ano, ka taea te hanga i tetahi punaha i runga i te huarahi e hono ana te tātari ki te whakahiato ruruku: ki te kohikohi i nga kaiwhakamahi mai i etahi momo huihuinga anake.
I muri i tera, ki te hiahia tetahi o te roopu ki te tātari taumata teitei anake, ka taea e koe te hono atu i nga punaha tātaritanga o waho. Ka taea e koe te tango ano i te Mixpanel. engari i te mea he tino utu, kaore nga huihuinga kaiwhakamahi katoa e tukuna ki reira, engari ko nga mea e hiahiatia ana. Hei mahi i tenei, me hanga he kairuruku hei whakawhiti i etahi huihuinga mata, tetahi mea ranei i whakahiatohia e matou i mua atu ki nga punaha o waho, API, papaa panui ranei.
5. Tuhinga o mua
Me hono koe i te pito o mua ki te punaha hanga. He tauira pai ko te mahi. , he GUI pātengi raraunga e awhina ana ki te hanga panui. Me pehea te mahi o te taunekeneke:
- Ka mahia e te kaiwhakamahi he patai SQL.
- Hei whakautu, ka whiwhi ia i tetahi tohu.
- Ka hangaia he 'whakakitenga hou' mo taua mea ka whiwhi kauwhata ataahua ka taea e koe te whakaora i a koe ano.
Ko nga tirohanga i roto i te ratonga kei te whakahou aunoa, ka taea e koe te whirihora me te whai i to aroturuki. He kore utu a Redash, i roto i te take o te manaaki whaiaro, engari ko te SaaS ka utu $50 ia marama.
mutunga
I muri i te whakaoti i nga mahi katoa i runga ake nei, ka hanga e koe to tātaritanga taha-tumau. Kia mohio koe ehara tenei i te mea ngawari ki te hono noa i nga tātaritanga a nga kaihoko, na te mea me whirihora nga mea katoa ki a koe ano. No reira, i mua i te hanga i a koe ake punaha, he mea tika ki te whakataurite i te hiahia mo te punaha tātaritanga nui me nga rauemi kua rite koe ki te tohatoha ki a ia.
Mena i mahia e koe nga pangarau katoa ka kitea he nui rawa nga utu, i te waahanga e whai ake nei ka korero ahau me pehea te hanga i tetahi waahanga iti ake o nga tātaritanga o muri.
Nga mihi mo te panui! Ka koa ahau ki nga paatai i roto i nga korero.
Source: will.com