Ena ke karolo ea bobeli ea letoto la lingoliloeng tse mabapi le litsamaiso tsa tlhahlobo ().
Kajeno ha ho na pelaelo ea hore ts'ebetso e hlokolosi ea data le tlhaloso ea liphetho e ka thusa hoo e batlang e le mofuta ofe kapa ofe oa khoebo. Tabeng ena, litsamaiso tsa ho hlahloba li ntse li eketseha ka mekhahlelo, 'me palo ea lintho tse susumetsang le liketsahalo tsa basebelisi lits'ebetsong li ntse li eketseha.
Ka lebaka lena, lik'hamphani li fa bahlahlobisisi ba tsona tlhaiso-leseling e tala ho e sekaseka le ho fetoha liqeto tse bohlale. Bohlokoa ba tsamaiso ea li-analytics bakeng sa k'hamphani ha boa lokela ho nkoa habobebe, 'me tsamaiso ka boeona e tlameha ho tšepahala le ho tsitsa.
Bahlahlobisisi ba bareki
Litlhahlobo tsa bareki ke ts'ebeletso eo k'hamphani e e hokahanyang le webosaete ea eona kapa ts'ebeliso ka SDK ea semmuso, e ikamahanya le codebase ea eona mme e khetha lintho tse susumetsang liketsahalo. Ho na le bothata bo totobetseng ba mokhoa ona: lintlha tsohle tse bokelitsoeng li ka 'na tsa se ke tsa sebetsoa hantle kamoo u ka ratang kateng ka lebaka la mefokolo ea tšebeletso leha e le efe eo u e khethang. Ka mohlala, tsamaisong e 'ngoe ho ke ke ha e-ba bonolo ho tsamaisa mesebetsi ea MapReduce, ho e 'ngoe u ke ke ua khona ho tsamaisa mohlala oa hau. Phoso e 'ngoe e tla ba tefiso ea kamehla (e khahlang) bakeng sa lits'ebeletso.
Ho na le litharollo tse ngata tsa analytics tsa bareki 'marakeng, empa kapele kapa hamorao bahlahlobisisi ba tobane le taba ea hore ha ho na tšebeletso e le 'ngoe ea bokahohle e loketseng mosebetsi o mong le o mong (ha litheko tsa litšebeletso tsena kaofela li ntse li phahama ka linako tsohle). Boemong bo joalo, hangata lik'hamphani li etsa qeto ea ho iketsetsa tsamaiso ea analytics ka litlhophiso tsohle tse hlokahalang le bokhoni.
Bahlahlobisisi ba seva
Li-analytics tsa seva ke ts'ebeletso e ka sebelisoang ka har'a k'hamphani ho li-server tsa eona le (hangata) ka boiteko ba eona. Moetsong ona, liketsahalo tsohle tsa basebelisi li bolokiloe ho li-server tse ka hare, tse lumellang bahlahisi hore ba leke li-database tse fapaneng tsa polokelo mme ba khethe meaho e loketseng ka ho fetisisa. Mme leha o ntse o batla ho sebelisa analytics ea bareki ba motho oa boraro bakeng sa mesebetsi e meng, e ntse e tla khonahala.
Litlhahlobo tsa lehlakore la seva li ka sebelisoa ka mekhoa e 'meli. Taba ea pele: khetha lisebelisoa tse ling tse bulehileng, u li sebelise mochining oa hau 'me u ntlafatse mohopolo oa khoebo.
Плюсы
Минусы
O ka Customize eng kapa eng eo ue batlang
Hangata sena se thata haholo mme se hloka bahlahisi ba arohaneng
Ea bobeli: nka litšebeletso tsa SaaS (Amazon, Google, Azure) ho e-na le hore u ipehele eona. Re tla bua ka SaaS ka ho qaqileng haholoanyane karolong ea boraro.
Плюсы
Минусы
E kanna ea ba theko e tlase ho livolume tse mahareng, empa ka kholo e kholo e ntse e tla ba theko e boima haholo
Ho ke ke ha khoneha ho laola liparamente tsohle
Tsamaiso e fetisetsoa ka ho feletseng mahetleng a mofani oa litšebeletso
Hase kamehla ho tsejoang hore na ho na le eng ka har'a ts'ebeletso (e kanna ea se hlokehe)
Mokhoa oa ho bokella li-analytics tsa seva
Haeba re batla ho tloha hole le ho sebelisa analytics ea bareki le ho iketsetsa rona, pele ho tsohle re hloka ho nahana ka boqapi ba sistimi e ncha. Ka tlase ke tla u bolella mohato ka mohato seo u lokelang ho se nahana, ke hobane'ng ha mohato o mong le o mong o hlokahala le hore na ke lisebelisoa life tseo u ka li sebelisang.
1. Ho fumana data
Feela joaloka tabeng ea li-analytics tsa bareki, pele ho tsohle, bahlahlobisisi ba khampani ba khetha mefuta ea liketsahalo tseo ba batlang ho ithuta tsona nakong e tlang ebe ba li bokella lethathamong. Ka tloaelo, liketsahalo tsena li etsahala ka tatellano e itseng, e bitsoang "mofuta oa ketsahalo."
E latelang, nahana hore sesebelisoa sa mohala (webosaete) se na le basebelisi ba kamehla (lisebelisoa) le li-server tse ngata. Ho fetisetsa liketsahalo ka mokhoa o sireletsehileng ho tloha ho lisebelisoa ho ea ho li-server, ho hlokahala lesela le mahareng. Ho ipapisitse le sebopeho, ho ka ba le mela e mengata e fapaneng ea liketsahalo.
- sena ke , e sebedisoang joalo ka mokoloko bakeng sa ho bokella diketsahalo.
Ho ea ka ka 2014, moetsi oa Apache Kafka o ile a etsa qeto ea ho reha software ka mor'a Franz Kafka hobane "ke tsamaiso e ntlafalitsoeng bakeng sa ho ngola" le hobane o ne a rata mesebetsi ea Kafka. -
Mohlala oa rona, ho na le bahlahisi ba bangata ba data le basebelisi ba data (lisebelisoa le lisebelisoa), 'me Kafka e thusa ho li hokahanya. Bareki ba tla hlalosoa ka ho qaqileng haholoanyane mehatong e latelang, moo e tla ba lihlooho tsa sehlooho. Hona joale re tla nahana feela ka bahlahisi ba data (liketsahalo).
Kafka e kenyelletsa mehopolo ea queue le karohano; ho molemo ho bala ka ho hlaka ka sena libakeng tse ling (mohlala, ho ). Ntle le ho kena lintlheng, ha re nahane hore sesebelisoa sa mohala se hlahisoa bakeng sa li-OS tse peli tse fapaneng. Ebe mofuta o mong le o mong o iketsetsa molapo oa ona oa liketsahalo o arohaneng. Bahlahisi ba romela liketsahalo Kafka, li ngotsoe ka mokoloko o loketseng.
(setšoantšo )
Ka nako e ts'oanang, Kafka e u lumella ho bala ka likotoana le ho sebetsana le letoto la liketsahalo ka li-mini-batches. Kafka ke sesebelisoa se bonolo haholo se lekanyang litlhoko tse ntseng li hola (mohlala, ka geolocation ea liketsahalo).
Hangata shard e le 'ngoe e lekane, empa lintho li ba thata le ho feta ha li lekanya (joalo ka ha li etsa kamehla). Mohlomong ha ho motho ea tla batla ho sebelisa shard e le 'ngoe feela ea' mele tlhahiso, kaha mohaho o tlameha ho ba o mamellang liphoso. Ho phaella ho Kafka, ho na le tharollo e 'ngoe e tsebahalang - RabbitMQ. Ha rea e sebelisa tlhahisong e le tatellano ea litlhahlobo tsa liketsahalo (haeba u na le boiphihlelo bo joalo, re bolelle ka eona litlatsong!). Leha ho le joalo, re sebelisitse AWS Kinesis.
Pele re fetela mohatong o latelang, re hloka ho bua ka karolo e 'ngoe hape ea sistimi - polokelo e tala ea log. Sena ha se lera le hlokahalang, empa ho tla ba molemo haeba ho na le ho hong ho sa tsamaeeng hantle 'me mela ea liketsahalo e Kafka e hlophisoa bocha. Ho boloka likutu tse tala ha ho hloke tharollo e rarahaneng le e theko e boima; o ka li ngola kae-kae ka tatellano e nepahetseng (esita le ho hard drive).
2. Ho sebetsa melapo ea liketsahalo
Ka mor'a hore re lokisetse liketsahalo tsohle le ho li beha meleng e loketseng, re fetela mohatong oa ho sebetsa. Mona ke tla u bolella ka mekhoa e 'meli e tloaelehileng ea ho sebetsa.
Khetho ea pele ke ho nolofalletsa Spark Streaming tsamaisong ea Apache. Lihlahisoa tsohle tsa Apache li phela ho HDFS, sistimi e sireletsehileng ea faele e nang le likopi tsa lifaele. Spark Streaming ke sesebelisoa se bonolo ho se sebelisa se sebetsanang le data le sekala hantle. Leha ho le joalo, ho ka ’na ha e-ba thata ho hlokomela.
Kgetho e 'ngoe ke ho iketsetsa mohlokomeli oa liketsahalo. Ho etsa sena, o hloka, mohlala, ho ngola kopo ea Python, ho e haha Docker 'me u ingolise ho queue ea Kafka. Ha li-trigger li fihla ho li-docker handlers, ts'ebetso e tla qala. Ka mokhoa ona, o hloka ho boloka lits'ebetso li sebetsa ka linako tsohle.
A re nke hore re khethile e 'ngoe ea likhetho tse hlalositsoeng ka holimo' me re tsoele pele ho sebetsa ka boeona. Basebelisi ba lokela ho qala ka ho lekola bonnete ba data, ho sefa lithōle le liketsahalo tse "robehileng". Bakeng sa netefatso eo hangata re e sebelisang . Ka mor'a sena, o ka etsa 'mapa oa data: data e tsoang mehloling e fapaneng e tloaelehile ebile e tloaelehile e le hore e kenyelelitsoe tafoleng e tloaelehileng.
3. Database
Mohato oa boraro ke ho boloka liketsahalo tse tloaelehileng. Ha re sebetsa ka mokhoa o lokiselitsoeng oa ho hlahloba, re tla tlameha ho li fumana hangata, kahoo ke habohlokoa ho khetha database e loketseng.
Haeba data e lumellana hantle le morero o tsitsitseng, o ka khetha kapa database e 'ngoe ea columnar. Ka tsela ena li-aggregations li tla sebetsa ka potlako haholo. Taba e nyahamisang ke hore morero o tsitsitse ka mokhoa o tsitsitseng mme ka hona ho ke ke ha khoneha ho eketsa lintho tse se nang boikaketsi ntle le phetoho (mohlala, ha ketsahalo e sa tloaelehang e etsahala). Empa u ka bala ka potlako haholo.
Bakeng sa data e sa hlophisoang, o ka nka NoSQL, mohlala, . E sebetsa ho HDFS, e pheta-pheta hantle, o ka hlahisa maemo a mangata, 'me e mamella liphoso.
U ka boela ua phahamisa ntho e bonolo haholoanyane, mohlala, . E lieha haholo ebile e na le livolume tse nyane. Empa ho kenyelletsa ke hore e bonolo haholo mme ka hona e loketse ho qala.
4. Aggregations
Ha re se re bolokile liketsahalo tsohle ka hloko, re batla ho bokella lintlha tsohle tsa bohlokoa ho tsoa sehlopheng se fihlileng le ho nchafatsa database. Lefatšeng ka bophara, re batla ho fumana li-dashboards le metrics tse amehang. Mohlala, bokella boemo ba mosebelisi ho tsoa liketsahalong 'me ka tsela e itseng u lekanye boitšoaro. Liketsahalo lia kopanngoa, lia bokelloa, 'me li bolokoa hape (litafoleng tsa basebelisi). Ka nako e ts'oanang, o ka haha sistimi e le hore o ka hokela sefahla ho mohokahanyi oa aggregator: bokella basebelisi feela ho tsoa mofuteng o itseng oa ketsahalo.
Ka mor'a moo, haeba motho e mong sehlopheng a hloka feela li-analytics tsa boemo bo phahameng, mekhoa ea ho hlahloba ka ntle e ka kopanngoa. U ka nka Mixpanel hape. empa kaha e turu haholo, ha se liketsahalo tsohle tsa basebelisi tse romelloang moo, empa ke se hlokahalang feela. Ho etsa sena, re hloka ho theha mohokahanyi ea tla fetisetsa liketsahalo tse ling tse tala kapa ntho eo rona re e kopantseng pejana ho litsamaiso tsa kantle, li-API kapa li-platform tsa papatso.
5. Ka pele
U hloka ho hokahanya karolo e ka pele ho sistimi e bōpiloeng. Mohlala o motle ke tšebeletso , ke GUI ea database e thusang ho haha li-dashboards. Tšebelisano e sebetsa joang:
- Mosebelisi o etsa potso ea SQL.
- Ha a arabela o fumana pontšo.
- E etsa 'pono e ncha' bakeng sa eona 'me e fumana graph e ntle eo u ka ipolokelang eona.
Lipono tse ka har'a ts'ebeletso li inchafatsa ka boits'oaro, u ka khona ho etsa le ho lekola leihlo la hau. Redash e lokolohile haeba e iketselitse, empa joalo ka SaaS e tla bitsa $ 50 ka khoeli.
fihlela qeto e
Ka mor'a ho qeta mehato eohle e ka holimo, u tla etsa li-analytics tsa seva sa hau. Ka kopo hlokomela hore sena ha se bonolo joaloka feela ho hokahanya analytics ea bareki, hobane ntho e 'ngoe le e' ngoe e hloka ho lokisoa ka bouena. Ka hona, pele u theha sistimi ea hau, ho bohlokoa ho bapisa tlhoko ea sistimi e tebileng ea analytics le lisebelisoa tseo u ikemiselitseng ho li abela tsona.
Haeba u entse lipalo 'me u fumane hore litšenyehelo li phahame haholo, karolong e latelang ke tla bua ka mokhoa oa ho etsa phetolelo e theko e tlaase ea li-server-side analytics.
Re leboha ho bala! Ke tla thabela ho botsa lipotso ka litlhaloso.
Source: www.habr.com