Rafitra analyse mpizara

Ity no ampahany faharoa amin'ny andian-dahatsoratra momba ny rafitra famakafakana (rohy mankany amin'ny fizarana 1).

Amin'izao fotoana izao dia tsy misy isalasalana intsony fa ny fanodinana angon-drakitra amim-pitandremana sy ny fandikana ny valiny dia afaka manampy saika karazana orinasa rehetra. Amin'io lafiny io, ny rafitra famakafakana dia mihabetsaka ny masontsivana, ary mitombo ny isan'ny trigger sy ny hetsika mpampiasa amin'ny fampiharana.
Noho izany, ny orinasa dia manome vaovao manta bebe kokoa ho an'ny mpanadihady mba hamakafaka sy hivadika ho fanapahan-kevitra tsara. Ny maha-zava-dehibe ny rafitra analyse ho an'ny orinasa iray dia tsy tokony hohamaivanina, ary ny rafitra mihitsy dia tsy maintsy azo antoka sy azo antoka.

Mpandinika mpanjifa

Ny famakafakana ny mpanjifa dia serivisy ampifandraisin'ny orinasa amin'ny tranokalany na fampiharana amin'ny alàlan'ny SDK ofisialin'ny SDK, ampidirina ao amin'ny codebase-ny manokana ary misafidy ireo trigger hetsika. Misy lafy ratsiny miharihary amin'ity fomba fiasa ity: ny angon-drakitra rehetra voaangona dia mety tsy azo karakaraina araka izay irinao noho ny fetran'ny serivisy rehetra nofidinao. Ohatra, amin'ny rafitra iray dia tsy ho mora ny fampandehanana ny asa MapReduce, amin'ny iray hafa dia tsy ho afaka hampandeha ny modelyo ianao. Ny fatiantoka iray hafa dia ny volavolan-dalàna mahazatra (manaitra) ho an'ny serivisy.
Betsaka ny vahaolana momba ny famakafakana mpanjifa eny an-tsena, fa na ho ela na ho haingana, ny mpandinika dia miatrika ny zava-misy fa tsy misy tolotra iraisam-pirenena mety amin'ny asa rehetra (raha toa ka mitombo hatrany ny vidin'ireo serivisy rehetra ireo). Amin'ny toe-javatra toy izany, matetika ny orinasa dia manapa-kevitra ny hamorona ny rafitra analyse azy manokana miaraka amin'ireo lamina sy fahaiza-manao ilaina rehetra.

Mpanadihady mpizara

Ny analytics amin'ny lafiny server dia serivisy azo apetraka ao anatin'ny orinasa iray amin'ny mpizara azy manokana ary (matetika) miaraka amin'ny ezaka ataony manokana. Amin'ity maodely ity, ny hetsika rehetra ataon'ny mpampiasa dia voatahiry ao amin'ny lohamilina anatiny, ahafahan'ny mpamorona manandrana angon-drakitra fitahirizana samihafa ary misafidy ny maritrano mety indrindra. Ary na dia mbola te hampiasa famakafakana mpanjifa avy amin'ny antoko fahatelo ho an'ny asa sasany aza ianao dia mbola azo atao izany.
Ny famakafakana amin'ny lafiny server dia azo apetraka amin'ny fomba roa. Voalohany: misafidiana fampiasa loharano misokatra, apetraho amin'ny milinanao izy ireo ary amboary ny lojikan'ny fandraharahana.

Плюсы
Минусы

Azonao atao ny manamboatra izay tianao
Matetika dia tena sarotra izany ary mitaky developer misaraka

Faharoa: raiso ny serivisy SaaS (Amazon, Google, Azure) fa tsy ny tenanao no mampiasa azy. Hiresaka bebe kokoa momba ny SaaS amin'ny ampahany fahatelo isika.

Плюсы
Минусы

Mety ho mora kokoa amin'ny boky antonony izany, saingy amin'ny fitomboana lehibe dia mbola ho lafo be
Tsy ho azo atao ny mifehy ny masontsivana rehetra

Ny fitantanana dia afindra tanteraka eo an-tsoroky ny mpanome tolotra
Tsy fantatra foana izay ao anatin'ny serivisy (mety tsy ilaina izany)

Ahoana ny fanangonana analytics server

Raha te hiala amin'ny fampiasana ny famakafakana mpanjifa isika ary hanangana ny tenantsika, voalohany indrindra dia mila mieritreritra ny rafitry ny rafitra vaovao isika. Ity ambany ity dia hilaza aminao tsikelikely ny zavatra tokony hodinihinao, nahoana no ilaina ny dingana tsirairay ary inona ny fitaovana azonao ampiasaina.

1. Mandray angona

Tahaka ny amin'ny famakafakana mpanjifa, voalohany indrindra, ny mpandinika ny orinasa dia misafidy ireo karazana hetsika tiany hianarana amin'ny ho avy ary manangona azy ireo ao anaty lisitra. Amin'ny ankapobeny, ireo fisehoan-javatra ireo dia miseho amin'ny filaharana manokana, antsoina hoe "modely hetsika".
Manaraka, alaivo sary an-tsaina fa ny fampiharana finday (tranonkala) dia manana mpampiasa mahazatra (fitaovana) sy mpizara maro. Mba hamindrana tsara ny hetsika avy amin'ny fitaovana mankany amin'ny mpizara dia ilaina ny sosona mpanelanelana. Miankina amin'ny maritrano, mety hisy filaharana hetsika maro samihafa.
Apache Kafka - ity dia filaharana pub/sub, izay ampiasaina ho filaharana fanangonana hetsika.

Araka ny lahatsoratra tao amin'ny Quora tamin'ny taona 2014, nanapa-kevitra ny mpamorona ny Apache Kafka hanome anarana ny rindrankajy amin'ny anaran'i Franz Kafka satria “rafitra namboarina ho an'ny fanoratana” izy io ary noho izy tia ny sangan'i Kafka. - Wikipedia

Ao amin'ny ohatra ataontsika, maro ny mpamokatra angona sy mpanjifa data (fitaovana sy mpizara), ary manampy ny mampifandray azy ireo i Kafka. Ny mpanjifa dia hofaritana amin'ny antsipiriany amin'ireto dingana manaraka ireto, izay ho lohahevitra fototra. Ankehitriny isika dia handinika afa-tsy ny angona mpamokatra (hetsika).
Kafka dia mandrakotra ny foto-kevitry ny filaharana sy ny fisarahana; tsara kokoa ny mamaky manokana momba izany any an-kafa (ohatra, amin'ny tahirin-kevitra). Raha tsy miditra amin'ny antsipiriany, andeha hojerentsika fa misy fampiharana finday natomboka ho an'ny OS roa samy hafa. Avy eo, ny dikan-teny tsirairay dia mamorona ny renirano hetsika manokana. Mandefa hetsika any Kafka ny mpamokatra, voarakitra ao anaty filaharana mety.

(sary avy eto)

Mandritra izany fotoana izany, ny Kafka dia mamela anao hamaky amin'ny ampahany ary handamina hetsika amin'ny ampahany kely. Kafka dia fitaovana mety tsara izay mizana tsara amin'ny filàna mitombo (ohatra, amin'ny geolocation ny hetsika).
Amin'ny ankapobeny dia ampy ny sombin-javatra iray, saingy mihasarotra kokoa ny zava-drehetra rehefa mi-scaling (araka ny fanaony). Angamba tsy misy olona te hampiasa afa-tsy ampahany ara-batana iray ihany amin'ny famokarana, satria ny maritrano dia tsy maintsy mandefitra amin'ny fahadisoana. Ho fanampin'ny Kafka, misy vahaolana malaza iray hafa - RabbitMQ. Tsy nampiasa azy io izahay tamin'ny famokarana ho filaharana ho an'ny fanadihadiana momba ny hetsika (raha manana traikefa toy izany ianao dia lazao anay amin'ny fanehoan-kevitra!). Na izany aza, nampiasa AWS Kinesis izahay.

Alohan'ny hirosoana amin'ny dingana manaraka dia mila manonona sosona iray fanampiny amin'ny rafitra isika - fitehirizam-bokatra manta. Tsy soso-kevitra takiana izany, fa ilaina izany raha misy tsy mety ary averina ny filaharana hetsika ao amin'ny Kafka. Ny fitehirizana logs manta dia tsy mitaky vahaolana sarotra sy lafo, azonao atao ny manoratra azy ireo any amin'ny toerana marina (na dia amin'ny fiara mafy aza).

2. Fanodinana ny fizotran'ny hetsika

Rehefa avy nanomana ny hetsika rehetra isika ary mametraka azy ireo amin'ny filaharana mifanaraka amin'izany, dia miroso amin'ny dingana fanodinana. Eto aho dia hilaza aminao momba ireo safidy fanodinana roa mahazatra indrindra.
Ny safidy voalohany dia ny mamela ny Spark Streaming amin'ny rafitra Apache. Ny vokatra Apache rehetra dia miaina ao amin'ny HDFS, rafitra fichier azo antoka misy kopia rakitra. Spark Streaming dia fitaovana mora ampiasaina izay mitantana tsara ny angon-drakitra sy ny mizana. Mety ho sarotra anefa ny fikojakojana azy.
Safidy iray hafa dia ny manangana mpandrindra hetsika anao manokana. Mba hanaovana izany dia mila, ohatra, manoratra fampiharana Python ianao, manangana azy ao amin'ny Docker ary misoratra anarana amin'ny filaharana Kafka. Rehefa tonga any amin'ny mpitantana docker ny trigger dia hanomboka ny fanodinana. Amin'ity fomba ity dia mila mitazona ny fampiharana mandeha amin'ny fotoana rehetra ianao.
Andeha hatao hoe nifidy ny iray amin'ireo safidy voalaza etsy ambony isika ary miroso amin'ny fanodinana. Ny processeurs dia tokony hanomboka amin'ny fanamarinana ny maha-ara-dalàna ny angon-drakitra, ny fanivanana ny fako ary ny hetsika "simba". Ho an'ny fanamarinana dia matetika ampiasainay Cerberus. Aorian'izany dia afaka manao sarintany angon-drakitra ianao: ny angon-drakitra avy amin'ny loharano samihafa dia atao ara-dalàna sy manara-penitra mba hampidirana latabatra iraisana.

3. angon-drakitra

Ny dingana fahatelo dia ny fitazonana ny hetsika ara-dalàna. Rehefa miasa miaraka amin'ny rafitra famakafakana efa vita dia tsy maintsy miditra amin'izy ireo matetika isika, noho izany dia zava-dehibe ny mifidy tahiry mety.
Raha mifanaraka tsara amin'ny rafitra raikitra ny angona dia azonao atao ny misafidy clickhouse na database columnar hafa. Amin'izany fomba izany dia hiasa haingana dia haingana ny aggregations. Ny lafy ratsiny dia raikitra mafy ilay rafitra ary noho izany dia tsy azo atao ny manampy zavatra tsy misy dikany raha tsy misy fanovana (ohatra, rehefa misy hetsika tsy manara-penitra). Afaka manisa haingana be anefa ianao.
Ho an'ny angona tsy voarindra dia azonao atao ny maka NoSQL, ohatra, Apache cassandra. Izy io dia mandeha amin'ny HDFS, mamerina tsara, afaka manangana tranga maro ianao, ary mahazaka fahadisoana.
Azonao atao koa ny manangana zavatra tsotra kokoa, ohatra, MongoDB. Tena miadana izy io ary ho an'ny boky kely. Fa ny miampy dia ny hoe tena tsotra ary noho izany mety ho fanombohana.

4. Fanangonana

Rehefa voatahiry tsara ny zava-nitranga rehetra, te-hanangona ny fampahalalana manan-danja rehetra avy amin'ny andiany tonga izahay ary manavao ny angon-drakitra. Maneran-tany, te-hahazo dashboard sy metrika mifandraika izahay. Ohatra, manangona ny mombamomba ny mpampiasa avy amin'ny hetsika ary mandrefy fihetsika. Ny hetsika dia atambatra, angonina ary tehirizina indray (ao amin'ny tabilao mpampiasa). Amin'izay fotoana izay ihany koa dia afaka manangana rafitra ianao mba hahafahanao mampifandray sivana amin'ny mpandrindra aggregator ihany koa: manangona mpampiasa avy amin'ny karazana hetsika iray ihany.
Aorian'izay, raha misy olona ao amin'ny ekipa mila analytics avo lenta fotsiny, dia azo ampifandraisina ny rafitra analyse ivelany. Afaka maka Mixpanel indray ianao. fa satria lafo be dia tsy ny hetsika rehetra ataon'ny mpampiasa no alefa any fa izay ilaina ihany. Mba hanaovana izany dia mila mamorona mpandrindra isika izay hamindra hetsika manta na zavatra izay natambatray teo aloha ho any amin'ny rafitra ivelany, API na sehatra dokam-barotra.

5. Frontend

Mila mampifandray ny frontend amin'ny rafitra noforonina ianao. Ohatra tsara dia ny serivisy redash, dia GUI database izay manampy amin'ny fananganana dashboard. Ahoana ny fiasan'ny fifandraisana:

1. Ny mpampiasa dia manao fangatahana SQL.
2. Ho setrin'izany dia nahazo famantarana izy.
3. Mamorona 'visualisation vaovao' ho azy io ary mahazo kisary tsara tarehy azonao tehirizina ho an'ny tenanao.

Ny fahitana ao amin'ny serivisy dia fanavaozana mandeha ho azy, azonao atao ny manamboatra sy manara-maso ny fanaraha-maso anao. Maimaimpoana ny Redash raha mampiantrano tena, fa amin'ny SaaS dia mitentina $50 isam-bolana.

famaranana

Rehefa vita ny dingana rehetra etsy ambony dia hamorona analyse mpizara ianao. Mariho fa tsy tsotra toy ny fampifandraisana ny analytics mpanjifa fotsiny izany, satria ny zava-drehetra dia mila amboarina ho anao. Noho izany, alohan'ny hamoronana ny rafitrao manokana dia ilaina ny mampitaha ny filana rafitra famakafakana matotra amin'ny loharanon-karena izay tianao atokana ho azy.
Raha nanao ny kajy ianao ary nahita fa lafo loatra ny vidiny, amin'ny ampahany manaraka dia hiresaka momba ny fomba fanaovana analytics amin'ny lafiny server aho.

Misaotra namaky! Ho faly aho hametraka fanontaniana ao amin'ny fanehoan-kevitra.

Source: www.habr.com